Ryan_Yang_
Ryan_Yang_

【R的网络提取】CSDN博客列表和url的提取

最近在读《基于R语言的自动数据收集》，在连续看了几天之后，手痒开始进行实践，这本书总体来说不错，推荐入坑。

但是对于一个没有HTML/XML等网页基础的数据狗来说，理解这个原理有点复杂，好在书中和网上信息丰富，得以管中窥豹。、

个人理解，初级的网络内容爬取，主要的原理和步骤很简单：
1. 理解网页的编写逻辑
2. 找到批量提取的机械路径
3. 根据提取目的编写提取函数

先说第一点，这一点我觉得是非常重要的，每个网页编写的逻辑不同，比如CSDN和虎嗅的首页逻辑肯定有差别，更不用说网易新闻、腾讯新闻等这种单网页多模块，其中还包括JS的复杂网页了，顺便说一句，博客类网站（包括知乎）主要以文字为主，而且根据前端的表现，也没有各种网页交互，广告满天飞、需要各种点击等，逻辑相对简单；反过来说，尝试理解京东的首页逻辑，感觉就复杂的多。本文也以这类博客类网站为主。

我们需要知道，网页编写是有逻辑的，这也是自动化的基础，那么有一定的逻辑编写，也有一定的逻辑提取；就好比网页后台是2.5*2，前台展示5，我们知道后台的逻辑就是前台展示除2的话，我们就可以通过前台的数据去转到后台提取。

基础知识储备：xpath，xml、正则表达式

先说xml，我们在网页上看到的无论表格、博客的摘要、标题等一系列都有一个标准的，称为w3c标准；其中通过审查元素可以看到网页的XML元素，如我在我的首页进行查看（浏览器点审查元素，或查看源代码），有这个东西：
【R的网络提取】CSDN博客列表和url的提取_第1张图片

右面密密麻麻的代码就是XML规则编写的代码，这边仔细看是有规律的（具体的规律后面会详述），我们理解的代码就是这套代码

OK，假设我们对代码了如指掌，下一步就是进行信息抽取了，这个工具或者语法就是xpath，xpath可以认为反过来针对编写好的xml规则进行提取，比如针对网页头的xml代码是

<head>我是个开头head>

根据这个属性可以对中间那段话进行提取

最后就是利用万能的R进行数据提取了，我们提取的内容有很多种，比如提取url，如果有下载链接的话，批量下载csv、pdf、xls等，或者我们只提取日期、作者然后做下一步的统计等等，用途也不同，可能有的单纯为了观测和资料搜集（可以放到csv中），或者直接后续用R进行聚类，等等等等；接下来我们就用第一种对我的博客进行资料提取的例子，最后扩展成一个封装的R函数，可以提取更多人的博客标题和对应的url，输出一个列表，方便我们查看。下面开始：

我们从最简单的入手，我们网络提取的目标为看我这个博客中所有的文章、摘要和url，最后形成一个列表，方便查看；基于这个目的和前面说的步骤，需要理解下xml的代码。

先观察代码和整个页面逻辑，CSDN博客首页的文章应该按照统一的逻辑生成，包含标题、摘要、时间、阅读数、评论数等，如图：
【R的网络提取】CSDN博客列表和url的提取_第2张图片；

每个文章显示的部分都是一致的，这也是未来我们可以提取的可能；个人有个技巧，可以在源码界面搜索标题，比如‘若干排序问题’，就可以看到对应的XML代码，如图：

【R的网络提取】CSDN博客列表和url的提取_第3张图片

OK，看到我们的路径：比较多

【R的网络提取】CSDN博客列表和url的提取_第4张图片

现在我们理解了网页，并往下看，其实原理都一样；整个网页的博客名称显示逻辑是：

的class属性为list_item article_item的段落，下面的内容

具体点开看，这个< div>中有三段：

【R的网络提取】CSDN博客列表和url的提取_第5张图片

第一段是article_title，对应标题
第二段是article_description，对应摘要
第三段是article_manage，对应其他的阅读数、评论数之类的

下面用xpath进行提取路径，整个需要载入两个包：

library(XML)
library(stringr)

然后尝试去提取url：

 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(R,r语言,爬虫)

        

            

                
    
                    
  • 900 万人次都在用！打印机驱动大师：兄弟 驱动安装一步到位
                        文哥工具箱2
软件工程电脑开源软件
                        
    各位打印界的老铁们，你们知道吗？我就是那个传说中服务PT-18R标签打印机的“最佳损友”小助手！当你想把电脑里那些花里胡哨的标签设计变成能摸得着的实物时，嘿嘿，软件下载地址本助手就闪亮登场啦！插上USB线的瞬间，我立马在你电脑里“安营扎寨”，悄悄给你和打印机搭起一座“鹊桥”，让你们无障碍沟通，那叫一个丝滑！你在编辑软件里鼓捣的文字、条形码，甚至那些可可爱爱的小图标，全靠我这个“翻译官”精准转换成打
    
                    
    • 
                    
  • Anaconda 和 Miniconda：功能详解与选择建议
                        古月฿
python入门pythonconda
                        
    Anaconda和Miniconda详细介绍一、Anaconda的详细介绍1.什么是Anaconda？Anaconda是一个开源的包管理和环境管理工具，在数据科学、机器学习以及科学计算领域发挥着关键作用。它以Python和R语言为基础，为用户精心准备了大量预装库和工具，极大地缩短了搭建数据科学环境的时间。对于那些想要快速开展数据分析、模型训练等工作的人员来说，Anaconda就像是一个一站式的“数
    
                    
    • 
                    
  • Gerapy爬虫管理框架深度解析：企业级分布式爬虫管控平台
                        Python×CATIA工业智造
爬虫分布式pythonpycharm
                        
    引言：爬虫工程化的必然选择随着企业数据采集需求指数级增长，传统单点爬虫管理模式面临三重困境：管理效率瓶颈：手动部署耗时占开发总时长的40%以上系统可靠性低：研究显示超过65%的爬虫故障源于部署或调度错误资源利用率差：平均爬虫服务器CPU利用率不足30%爬虫管理方案对比：┌───────────────┬─────────────┬───────────┬───────────┬──────────
    
                    
    • 
                    
  • 2/7-1组-泡菜
                        上海健康产业蔡文俊

                        
    片段主题：分享、分享、再分享片段来源：认知突围R:很多人并不清楚，其实分享是最好的学习方法。第一，分享是一件利己利人的事。我把好的思想或方法论分享给你，你多少有所得。反过来，也许你会提出一些不同的东西，触发我更多的思考。哪怕你并没有提出什么新见解，单单是我自己在分享的时候，也是一个对知识的自我记忆和强化的过程，依然是非常有好处的。第二，分享是一件能倒逼你完善知识体系的事。很多人都有过这样的经历，当
    
                    
    • 
                    
  • 宝妈兼职的10个项目这些较适合,这10个适合长期发展的正规兼职请收藏
                        氧惠全网优惠

                        
    大家好！我是氧惠平台最大团队&联合创始人破局导师。相较于其它返利app，氧惠佣金更高，模式更好，终端用户不流失！氧惠目前属于邀请制社交电商，需要凭邀请码才能体验，请输入我的邀请码：SJ8M8R，进行体验吧！宝妈兼职是一种越来越受欢迎的工作方式，适用于压力山大的家庭主妇、退休妇女以及需要额外收入的人们。这种工作方式可以实现财务自由和工作生活平衡。下面将为大家介绍10种适合宝妈兼职的正规长期项目。第一
    
                    
    • 
                    
  • R语言笔记Day1（排序、筛选以及分类汇总））
                        养猪场小老板

                        
    一、排序1、单变量序列排序2、数据表（矩阵）排序二、筛选三、分类汇总一、排序1、单变量序列排序rank、sort和order函数>aa[1]315#rank用来计算序列中每个元素的秩#这里的“秩”可以理解为该元素在序列中由小到大排列的次序#上面例子给出的序列[3,1,5]中，1最小，5最大，3居中#于是1的秩为1，3的秩为2，5的秩为3，(3,1,5)对应的秩的结果就是(2,1,3)>rank(a
    
                    
    • 
                    
  • 2022年拼多多618活动什么时候开始和结束
                        日常购物技巧呀

                        
    马上就是618咯，小伙们准备好购物资金了吗？可不能将鸡蛋都放在一个篮子里，多去各个电商平台逛逛，享受多重618优惠服务。那么2022拼多多618活动什么时候开始呢？快和小编一起来了解一下吧。时间：5.29日20点—6.20日每天抽三次红包，最高可领28888r‼️参与方式很简单，直接去桃宝搜官方密令即可领取，现在分享给大家！密令：【天降红包61666】这是官方密令，中大包的概率更高，现在就可以去搜
    
                    
    • 
                    
  • Linux文件权限与进程管理解析
                        雨季西柚
linux
                        
    控制对文件的访问1。什么是文件系统权限？它是如何工作的？如何查看文件的权限？答：文件系统权限就是规定谁能对文件/文件夹做什么（比如看、改、删）的规则。简单说，就是分"所有者、所属组、其他人"三类，给每类分配"读、写、执行"三种权限。操作时系统先看你属于哪类，再查有没有对应权限，有就允许，没有就拦着。查看方式：Linux/mac：终端输ls-l文件名，看开头的rwxr--r--这类字符（3个一组，对
    
                    
    • 
                    
  • 智慧施工：AI技术赋能建筑安全监测新纪元
                        

                        
    开发AI智能应用，就下载InsCodeAIIDE，一键接入DeepSeek-R1满血版大模型！智慧施工：AI技术赋能建筑安全监测新纪元在现代建筑行业中，施工安全始终是核心关注点之一。随着科技的飞速发展，人工智能（AI）和大数据分析逐渐成为提升施工安全的重要工具。本文将探讨如何利用智能化软件和大模型API来构建高效的施工安全监测系统，并介绍一款强大的开发工具——InsCodeAIIDE的应用场景及其
    
                    
    • 
                    
  • 控制障碍函数
                        

                        
    控制障碍函数（ControlBarrierFunction,CBF）是控制理论中的一个重要工具，尤其是在确保系统安全和稳定性方面。CBF使得控制系统能够在运行的同时遵循特定的约束条件，从而避免进入不安全的状态。接下来，我们将详细介绍控制障碍函数的定义、性质及其应用。1.控制障碍函数的定义控制障碍函数是用于描述系统状态在某些约束条件下的行为的函数。通常，一个控制障碍函数b:Rn→R通过以下形式定义约
    
                    
    • 
                    
  • MySQL笔记上
                        程程呀是小白
毕业季mysql数据库
                        
    本文是本人以前笔记，如果说是在掘金上看到的话没错，还是本人程程呀的个人主页-动态-掘金只有这一个。如果有哪里不对的话欢迎各位大佬指出问题，本人是一个小白。特殊情况（倘若在终端win+r输入mysql-uroot-p进入SQL）MySQL的下载与安装：按照安装流程步骤安装即可配置环境变量，方便命令行操作：步骤：右键“我的电脑”，选择“属性”，选择“高级”窗口中的“环境变量”，设置“系统变量”中的pa
    
                    
    • 
                    
  • 阿里云企业新用户与个人新用户首次购买云服务器配置推荐
                        阿里云最新优惠和活动汇总

                        
    2023年阿里云活动中的云服务器实例规格以通用算力型u1、计算型c7、通用型g7、内存型r7等为主，但是阿里云将各活动中的云服务器可选带宽统一调整成为了1-5M可选，也就是说在活动中购买云服务器最大只能选5M带宽了，活动时长也由以往的1-3年改为现在的1年为主，根据目前的活动信息，小编决定为大家推荐两款值得企业新用户与个人新用户首次购买时选择的阿里云服务器。阿里云个人新用户首次购买云服务器推荐推荐
    
                    
    • 
                    
  • Error: C++14 standard requested but CXX14 is not defined
                        闹钟又响了

                        
    在R中安装包如果遇到上述问题，基本上去修改一下Makevars文件即可。可以用vim编辑，也可以在R中编辑，如下dotR<-file.path(Sys.getenv("HOME"),".R")if(!file.exists(dotR))dir.create(dotR)M<-file.path(dotR,"Makevars")if(!file.exists(M))file.create(M)cat(
    
                    
    • 
                    
  • 一对多/多对一RIA
                        李健Brian

                        
    【概念/关键词名称】一对多、多对一【分类】[x]wow突破点[x]知识连接点[x]探索点【R:原文】【多对一：多模型思维】*所谓科学的方法主要体现为“可复现”。也就是说，只要定理假设的条件满足了，多模型思维就一定会比单模型思维好，不以任何外在因素而变化。这也是模型的威力所在。*【孔多赛陪审团定理】*陪审团是一种通过多数投票进行决策的方式，一般是二元决策——有罪或无罪，陪审团成员之间彼此不受影响地独
    
                    
    • 
                    
  • 沿瑾+教练春哥+第三拆作业
                        sunny0902

                        
    拆书帮长沙橘洲分舵第10期训练营第三拆作业～2020.03.18选自《亲密关系》P163-164【R•阅读原文片段】在沟通中当我们接收到他人的信息时，有两个重要的任务要完成。第一是要准确的理解对方话语所表达的意思，第二是要向对方传达关注和理解，让他知道我们对他的话是在意的。这两个任务都可以通过复述（paraphrasing）接受到的信息而完成。即用自己的话重复对方的意思，让信息传递着有机会肯定那就
    
                    
    • 
                    
  • 远程服务器windows对外开放端口,Windows Server 2008 R2开启新端口远程桌面
                        

                        
    【要求】1、修改默认端口。2、不用关闭防火墙。【步骤】1、用PowerShell查看：(Get-ItemProperty-Path"hklm:SYSTEM\CurrentControlSet\Control\TerminalServer\Wds\rdpwd\Tds\tcp").PortNumber(Get-ItemProperty-Path"hklm:SYSTEM\CurrentControlSe
    
                    
    • 
                    
  • 10月26日分享
                        移动小翁

                        
    A:计划赶不上变化，上午8点半接到分管领导电话，9点宁德地区三级经理9人，临时要加入队伍开展行销。M:紧张，忐忑。B:调整心态，马上协商本次罗源支援团体的市场部经理，分配人员行销扫街路线图及分组。通过罗源及宁德公司人员混搭，带领他们学习福州扫街的模式。R:宁德公司对我们的工作认可，同时学习到了福州公司行销的模式。
    
                    
    • 
                    
  • 从0开始学习R语言--Day58--竞争风险模型
                        

                        
    在用传统生存分析方法的场景中（如Kaplan-Meier和Cox回归），假设所有事件都是独立且互斥的，但在现实中，研究对象可能面临多种互斥的终点事件（如癌症患者可能死于癌症本身，也可能死于其他原因），如果直接去分析，模型会把这种结局时间错误地纳入评估，从而提高了病症的分析。而竞争风险模型可以在考虑其他竞争风险存在的情况下，排除干扰求得某特定事件发生的概率。以下是一个例子：library(cmprs
    
                    
    • 
                    
  • day18-作业
                        oct___d38e9

                        
    server.pyfromsocketimport*importosserver=socket()server.bind(('10.7.181.100',8888))server.listen(512)withopen('start.txt','r',encoding='utf-8')asf:start=f.read()whileTrue:connet,adress=server.accept()
    
                    
    • 
                    
  • MGRE综合实验报告
                        

                        
    MGRE综合实验实验步骤:1.先写DHCP服务(动态主机配置协议)私有网段AR1-4对应内网的不冲突设计R1-R4的DHCP和网关配置，写完代码，打开PC基础配置将静态改为DHCP[r1]dhcpenable[r1]ippool1[r1-ip-pool-1]network192.168.1.0mask24[r1-ip-pool-1]gateway-list192.168.1.254[r1-ip-p
    
                    
    • 
                    
  • 强化学习入门三（SARSA）
                        第六五签
算法模型算法人工智能
                        
    SARSA算法详解SARSA是强化学习中另一种经典的时序差分（TD）学习算法，与Q-Learning同属无模型（model-free）算法，但在更新策略上有显著差异。SARSA的名称来源于其更新公式中涉及的五个元素：状态（State）、动作（Action）、奖励（Reward）、下一状态（NextState）、下一动作（NextAction），即(S,A,R,S’,A’)。SARSA与Q-Lear
    
                    
    • 
                    
  • Python爬虫【五十八章】Python数据清洗与分析全攻略：从Pandas到深度学习的异常检测进阶
                        程序员_CLUB
Python入门到进阶python爬虫pandas
                        
    目录背景与需求分析第一章：结构化数据清洗实战（Pandas核心技法）1.1数据去重策略矩阵1.2智能缺失值处理体系第二章：深度学习异常检测进阶2.1自动编码器异常检测（时序数据）2.2图神经网络异常检测（关系型数据）第三章：综合案例实战案例1：金融交易反欺诈系统案例2：工业传感器异常检测第四章：性能优化与工程实践4.1大数据处理加速技巧4.2模型部署方案第五章：方法论总结与展望5.1方法论框架5.
    
                    
    • 
                    
  • Python【一】Python全方位知识指南
                        程序员_CLUB
python开发语言
                        
    目录背景：为什么Python成为开发者必备技能？‌‌一、Python是什么？‌‌二、Python能做什么？六大核心应用场景‌‌1.自动化办公‌‌2.网络爬虫‌‌3.数据分析‌‌三、零基础入门Python：环境搭建与学习路径‌‌1.环境搭建（Windows/Mac详细步骤）‌2‌.基础语法速成（7天掌握）‌四、实战项目推荐（*****）‌‌五、学习建议与避坑指南（新手常见错误）‌六、总结：**背景：
    
                    
    • 
                    
  • Python爬虫【三十五章】爬虫高阶：基于Docker集群的动态页面自动化采集系统实战
                        程序员_CLUB
Python入门到进阶python爬虫docker
                        
    目录一、技术演进与行业痛点二、核心技术栈深度解析2.1动态渲染三件套2.2Docker集群架构设计2.3自动化调度系统三、进阶实战案例3.1电商价格监控系统1.技术指标对比2.实现细节3.2新闻聚合平台1.WebSocket监控2.字体反爬破解四、性能优化与运维方案4.1资源消耗对比测试4.2集群运维体系五、总结与未来展望六、Python爬虫相关文章（推荐）一、技术演进与行业痛点在Web3.0时代
    
                    
    • 
                    
  • Python爬虫【三十二章】爬虫高阶：动态页面处理与Scrapy+Selenium+BeautifulSoup分布式架构深度解析实战
                        

                        
    目录引言一、动态页面爬取的技术背景1.1动态页面的核心特征1.2传统爬虫的局限性二、技术选型与架构设计2.1核心组件分析2.2架构设计思路1.分层处理2.数据流三、代码实现与关键技术3.1Selenium与Scrapy的中间件集成3.2BeautifulSoup与ScrapyItem的整合3.3分布式爬取实现3.3.1Scrapy-Redis部署3.3.2多节点启动四、优化与扩展4.1性能优化策略
    
                    
    • 
                    
  • Python爬虫【三十三章】爬虫高阶：动态页面破解与验证码OCR识别全流程实战
                        程序员_CLUB
Python入门到进阶python爬虫ocr
                        
    目录一、技术背景与行业痛点二、核心技术与实现路径2.1动态页面处理方案对比2.2Selenium深度集成实践2.3OCR验证码破解方案1.预处理阶段：2.识别阶段：3.后处理阶段三、典型应用场景解析3.1电商价格监控系统1.技术架构2.实现效果3.2社交媒体舆情分析1.特殊挑战2.优化方案：四、合规性与风险控制五、总结Python爬虫相关文章（推荐）一、技术背景与行业痛点在Web3.0时代，网站反
    
                    
    • 
                    
  • Python爬虫【三十四章】爬虫高阶：动态页面处理与Playwright增强控制深度解析
                        程序员_CLUB
Python入门到进阶python爬虫开发语言
                        
    目录一、技术演进背景与行业挑战二、核心技术栈深度解析2.1动态渲染双引擎架构2.2浏览器指纹伪装方案2.3BeautifulSoup集成实践三、进阶应用场景突破3.1电商价格监控系统3.1.1技术架构创新3.1.2实现效果3.2社交媒体舆情分析3.2.1无限滚动模拟3.2.2WebSocket监控3.2.3Canvas指纹防护四、性能优化与合规方案4.1资源消耗对比测试4.2反爬对抗升级方案五、总
    
                    
    • 
                    
  • Python爬虫【三十一章】爬虫高阶：动态页面处理与Scrapy+Selenium+Celery弹性伸缩架构实战
                        

                        
    目录引言一、动态页面爬取的技术挑战1.1动态页面的核心特性1.2传统爬虫的局限性二、Scrapy+Selenium：动态爬虫的核心架构2.1技术选型依据2.2架构设计2.3代码实现示例三、Celery：分布式任务队列的引入3.1为什么需要Celery？3.2Celery架构设计3.3代码实现示例3.4Scrapy与Celery的集成四、优化与扩展4.1性能优化4.2分布式部署4.3反爬对抗五、总结
    
                    
    • 
                    
  • 因果推断推荐系统工具箱 - PRS（二）
                        processor4d

                        
    文章名称【WSDM-2021】【UniversityofVirginia-Google】Non-ClicksMeanIrrelevant?PropensityRatioScoringAsaCorrection核心要点上一节讲解了在unbiasL2R的场景中，基于pairwise比较的损失函数的IPS的方法存在与真实评估指标偏离的问题，这一节讲解如何环节这一问题，并学习模型参数。方法细节问题引入作者
    
                    
    • 
                    
  • centos9 配置yum源（清华源）
                        风异
centos
                        
    sudocp-r/etc/yum.repos.d/etc/yum.repos.d.backup备份yum源sudovim/etc/yum.repos.d/CentOS-Base.repo编辑yum源仓库[baseos]name=CentOSStream$releasever-BaseOSbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stre
    
                    
    • 
                                
  • Spring4.1新特性——Spring MVC增强
                                    jinnianshilongnian
spring 4.1
                                    
    目录 
Spring4.1新特性——综述 
Spring4.1新特性——Spring核心部分及其他 
Spring4.1新特性——Spring缓存框架增强 
Spring4.1新特性——异步调用和事件机制的异常处理 
Spring4.1新特性——数据库集成测试脚本初始化 
Spring4.1新特性——Spring MVC增强 
Spring4.1新特性——页面自动化测试框架Spring MVC T
    
                                
    • 
                                
  • mysql 性能查询优化
                                    annan211
javasql优化mysql应用服务器
                                    
    

1 时间到底花在哪了？
  mysql在执行查询的时候需要执行一系列的子任务，这些子任务包含了整个查询周期最重要的阶段，这其中包含了大量为了
  检索数据列到存储引擎的调用以及调用后的数据处理，包括排序、分组等。在完成这些任务的时候，查询需要在不同的地方
  花费时间，包括网络、cpu计算、生成统计信息和执行计划、锁等待等。尤其是向底层存储引擎检索数据的调用操作。这些调用需要在内存操
    
                                
    • 
                                
  • windows系统配置
                                    cherishLC
windows
                                    
    删除Hiberfil.sys ：使用命令powercfg -h off 关闭休眠功能即可： 
http://jingyan.baidu.com/article/f3ad7d0fc0992e09c2345b51.html 
类似的还有pagefile.sys 
 
msconfig 配置启动项 
shutdown 定时关机 
 
ipconfig 查看网络配置 
ipconfig /flushdns
    
                                
    • 
                                
  • 人体的排毒时间
                                    Array_06
工作
                                    
    ======================== 
||  人体的排毒时间是什么时候？|| 
========================  
 
转载于： 
http://zhidao.baidu.com/link?url=ibaGlicVslAQhVdWWVevU4TMjhiKaNBWCpZ1NS6igCQ78EkNJZFsEjCjl3T5EdXU9SaPg04bh8MbY1bR
    
                                
    • 
                                
  • ZooKeeper
                                    cugfy
zookeeper
                                    
    Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如同步， 配置管理，集群管理，名空间。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。 Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来lea
    
                                
    • 
                                
  • 网络爬虫的乱码处理
                                    随意而生
爬虫网络
                                    
    下边简单总结下关于网络爬虫的乱码处理。注意，这里不仅是中文乱码，还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因为他们的解决方式 是一致的，故在此统一说明。     网络爬虫，有两种选择，一是选择nutch、hetriex，二是自写爬虫，两者在处理乱码时，原理是一致的，但前者处理乱码时，要看懂源码后进行修改才可以，所以要废劲一些；而后者更自由方便，可以在编码处理
    
                                
    • 
                                
  • Xcode常用快捷键
                                    张亚雄
xcode
                                    
    一、总结的常用命令： 
 
    隐藏xcode command+h 
 
    退出xcode command+q 
 
    关闭窗口 command+w 
 
    关闭所有窗口 command+option+w 
 
    关闭当前
    
                                
    • 
                                
  • mongoDB索引操作
                                    adminjun
mongodb索引
                                    
    一、索引基础：    MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令：    > db.test.ensureIndex({"username":1})    可以通过下面的名称查看索引是否已经成功建立： &nbs
    
                                
    • 
                                
  • 成都软件园实习那些话
                                    aijuans
成都 软件园 实习
                                    
    无聊之中，翻了一下日志，发现上一篇经历是很久以前的事了，悔过~~ 
　　断断续续离开了学校快一年了，习惯了那里一天天的幼稚、成长的环境，到这里有点与世隔绝的感觉。不过还好，那是刚到这里时的想法，现在感觉在这挺好，不管怎么样，最要感谢的还是老师能给这么好的一次催化成长的机会，在这里确实看到了好多好多能想到或想不到的东西。 
　　都说在外面和学校相比最明显的差距就是与人相处比较困难，因为在外面每个人都
    
                                
    • 
                                
  • Linux下FTP服务器安装及配置
                                    ayaoxinchao
linuxFTP服务器vsftp
                                    
    检测是否安装了FTP 
[root@localhost ~]# rpm -q vsftpd 
如果未安装：package vsftpd is not installed  安装了则显示：vsftpd-2.0.5-28.el5累死的版本信息 
  
安装FTP 
运行yum install vsftpd命令，如[root@localhost ~]# yum install vsf
    
                                
    • 
                                
  • 使用mongo-java-driver获取文档id和查找文档
                                    BigBird2012
driver
                                    
    注：本文所有代码都使用的mongo-java-driver实现。 
  
在MongoDB中，一个集合（collection）在概念上就类似我们SQL数据库中的表（Table），这个集合包含了一系列文档（document）。一个DBObject对象表示我们想添加到集合（collection）中的一个文档（document），MongoDB会自动为我们创建的每个文档添加一个id，这个id在
    
                                
    • 
                                
  • JSONObject以及json串
                                    bijian1013
jsonJSONObject
                                    
    一.JAR包简介 
    要使程序可以运行必须引入JSON-lib包，JSON-lib包同时依赖于以下的JAR包： 
    1.commons-lang-2.0.jar 
    2.commons-beanutils-1.7.0.jar 
    3.commons-collections-3.1.jar 
&n
    
                                
    • 
                                
  • [Zookeeper学习笔记之三]Zookeeper实例创建和会话建立的异步特性
                                    bit1129
zookeeper
                                    
    为了说明问题，看个简单的代码， 
  
    import org.apache.zookeeper.*;  
      
    import java.io.IOException;  
    import java.util.concurrent.CountDownLatch;  
    import java.util.concurrent.ThreadLocal
    
                                
    • 
                                
  • 【Scala十二】Scala核心六：Trait
                                    bit1129
scala
                                    
    Traits are a fundamental unit of code reuse in Scala. A trait encapsulates method and field definitions, which can then be reused by mixing them into classes. Unlike class inheritance, in which each c
    
                                
    • 
                                
  • weblogic version 10.3破解
                                    ronin47
weblogic
                                    
    版本：WebLogic Server 10.3 
 
说明：%DOMAIN_HOME%：指WebLogic Server 域(Domain）目录 
例如我的做测试的域的根目录 DOMAIN_HOME=D:/Weblogic/Middleware/user_projects/domains/base_domain 
 
1.为了保证操作安全，备份%DOMAIN_HOME%/security/Defa
    
                                
    • 
                                
  • 求第n个斐波那契数
                                    BrokenDreams

                                    
            今天看到群友发的一个问题：写一个小程序打印第n个斐波那契数。 
        自己试了下，搞了好久。。。基础要加强了。 
        
  &nbs
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-访问者模式-Visitor
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 


import java.util.ArrayList;
import java.util.List;

interface IVisitor {
	
	//第二次分派，Visitor调用Element
	void visitConcret
    
                                
    • 
                                
  • MatConvNet的excise 3改为网络配置文件形式
                                    cherishLC
matlab
                                    
    MatConvNet为vlFeat作者写的matlab下的卷积神经网络工具包，可以使用GPU。 
主页：
http://www.vlfeat.org/matconvnet/ 
教程：
http://www.robots.ox.ac.uk/~vgg/practicals/cnn/index.html 
 
注意：需要下载新版的MatConvNet替换掉教程中工具包中的matconvnet：
http
    
                                
    • 
                                
  • ZK Timeout再讨论
                                    chenchao051
zookeepertimeouthbase
                                    
    http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息： 
Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003
    
                                
    • 
                                
  • CASE WHEN 用法介绍
                                    daizj
sqlgroup bycase when
                                    
    CASE WHEN 用法介绍 
 
1. CASE WHEN 表达式有两种形式 
 
 
--简单Case函数  
 
CASE sex  
WHEN '1' THEN '男'  
WHEN '2' THEN '女'  
ELSE '其他' END  
 
--Case搜索函数  
 
CASE 
WHEN sex = '1' THEN 
    
                                
    • 
                                
  • PHP技巧汇总:提高PHP性能的53个技巧
                                    dcj3sjt126com
PHP
                                    
    PHP技巧汇总:提高PHP性能的53个技巧　　用单引号代替双引号来包含字符串，这样做会更快一些。因为PHP会在双引号包围的字符串中搜寻变量，　　单引号则不会，注意：只有echo能这么做，它是一种可以把多个字符串当作参数的函数译注：　　PHP手册中说echo是语言结构，不是真正的函数，故把函数加上了双引号)。　　1、如果能将类的方法定义成static，就尽量定义成static，它的速度会提升将近4倍
    
                                
    • 
                                
  • Yii框架中CGridView的使用方法以及详细示例
                                    dcj3sjt126com
yii
                                    
    CGridView显示一个数据项的列表中的一个表。 
表中的每一行代表一个数据项的数据,和一个列通常代表一个属性的物品(一些列可能对应于复杂的表达式的属性或静态文本)。　　CGridView既支持排序和分页的数据项。排序和分页可以在AJAX模式或正常的页面请求。使用CGridView的一个好处是,当用户浏览器禁用JavaScript,排序和分页自动退化普通页面请求和仍然正常运行。 
实例代码如下：
    
                                
    • 
                                
  • Maven项目打包成可执行Jar文件
                                    dyy_gusi
assembly
                                    
    Maven项目打包成可执行Jar文件 
在使用Maven完成项目以后，如果是需要打包成可执行的Jar文件，我们通过eclipse的导出很麻烦，还得指定入口文件的位置，还得说明依赖的jar包，既然都使用Maven了，很重要的一个目的就是让这些繁琐的操作简单。我们可以通过插件完成这项工作，使用assembly插件。具体使用方式如下： 
1、在项目中加入插件的依赖： 
<plugin>
	
    
                                
    • 
                                
  • php常见错误
                                    geeksun
PHP
                                    
    1.  kevent() reported that connect() failed (61: Connection refused) while connecting to upstream, client: 127.0.0.1, server: localhost, request: "GET / HTTP/1.1", upstream: "fastc
    
                                
    • 
                                
  • 修改linux的用户名
                                    hongtoushizi
linuxchange password
                                    
    Change Linux Username 
更改Linux用户名，需要修改4个系统的文件： 
/etc/passwd 
/etc/shadow 
/etc/group 
/etc/gshadow 
古老/传统的方法是使用vi去直接修改，但是这有安全隐患（具体可自己搜一下），所以后来改成使用这些命令去代替： 
vipw 
vipw -s 
vigr 
vigr -s 
  
具体的操作顺
    
                                
    • 
                                
  • 第五章 常用Lua开发库1-redis、mysql、http客户端
                                    jinnianshilongnian
nginxlua
                                    
    对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。 
一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。 
  Redis客户端 
lua-resty-r
    
                                
    • 
                                
  • zkClient 监控机制实现
                                    liyonghui160com
zkClient 监控机制实现
                                    
      
       直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举
    
                                
    • 
                                
  • 在Mysql 众多表中查找一个表名或者字段名的 SQL 语句
                                    pda158
mysql
                                    
    在Mysql 众多表中查找一个表名或者字段名的 SQL 语句：   
　　方法一：SELECT table_name, column_name from information_schema.columns WHERE column_name LIKE 'Name';
　　方法二：SELECT column_name from information_schema.colum
    
                                
    • 
                                
  • 程序员对英语的依赖
                                    Smile.zeng
英语程序猿
                                    
    1、程序员最基本的技能，至少要能写得出代码，当我们还在为建立类的时候思考用什么单词发牢骚的时候，英语与别人的差距就直接表现出来咯。 
2、程序员最起码能认识开发工具里的英语单词，不然怎么知道使用这些开发工具。 
3、进阶一点，就是能读懂别人的代码，有利于我们学习人家的思路和技术。 
4、写的程序至少能有一定的可读性，至少要人别人能懂吧... 
 
以上一些问题，充分说明了英语对程序猿的重要性。骚年
    
                                
    • 
                                
  • Oracle学习笔记(8) 使用PLSQL编写触发器
                                    vipbooks
oraclesql编程活动Access
                                    
        时间过得真快啊，转眼就到了Oracle学习笔记的最后个章节了，通过前面七章的学习大家应该对Oracle编程有了一定了了解了吧，这东东如果一段时间不用很快就会忘记了，所以我会把自己学习过的东西做好详细的笔记，用到的时候可以随时查找，马上上手！希望这些笔记能对大家有些帮助！ 
    这是第八章的学习笔记，学习完第七章的子程序和包之后
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他