58爬虫了百姓，赶集和58互爬，最后各种信息相同，都是爬虫后的数据库调用，
潜规则 啊，几家独大还暗中各种攻击，赶驴网的幽默事例我不想多评价。这个时代是砸.钱*养.钱的时代，各种姚晨杨幂葛优，各种地铁公车广告，各种卫视广告，铺天盖地~~~
来谈php爬虫抓取信息~~
php爬虫首推Curl函数了，先来认识下它。0x01.curl扩展的安装： 0x02.先来熟悉下curl再去采集抓取，信息时代，大爆炸，爬虫个信息不是难事。顺便测试登陆，COOKIE。
PHP中的CURL函数库（Client URL Library Function）是个强大的库。
curl_close — 关闭一个curl会话
curl_init()函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。
简单实例：
0x03.关于CURL_SETOPT()函数的设置
bool curl_setopt (int ch, string option, mixed value)
curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置，value是这个选项给定的值。
下列选项的值将被作为长整形使用(在option参数中指定)：
* CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。
下列选项的值将被作为字符串：
* CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。
PHP实现最简单爬虫原型（话说原作者的正则注释反了，出现错误哈哈）
代码如下
function _getUrlContent($url){
$handle = fopen($url, "r");
if($handle){
$content = stream_get_contents($handle,1024*1024);
return $content;
}else{
return false;
}
}
function _filterUrl($web_content){
$reg_tag_a = "/<[a|A].*?href=['"]{0,1}([^>'" ]*).*?>/";
//$result = preg_match_all($reg_tag_a,$web_content,$match_result);
$result = preg_match_all("/
]*?name=['"]?description['"]?[^>]*?>/is",$web_content,$match_result);
代码如下
class CurlComponent {
var $headers ;
var $user_agent ;
var $compression ;
var $cookie_file ;
var $proxy ;
function set_value ( $cookies = TRUE , $cookie = 'cookies.txt' , $compression = 'gzip' , $proxy = '' ) {
$this -> headers [ ] = "Accept: image/gif, image/x-bitmap, image/jpeg, image/pjpeg" ;
$this -> headers [ ] = "Connection: Keep-Alive" ;
$this -> headers [ ] = "Content-type: application/x-www-form-urlencoded" ;
$this -> user_agent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)" ;
$this -> compression = $compression ;
$this -> proxy = $proxy ;
$this -> cookies = $cookies ;
if ( $this -> cookies == TRUE ) $this -> cookie ( $cookie ) ;
}
function cookie ( $cookie_file ) {
if ( file_exists ( $cookie_file ) ) {
$this -> cookie_file = $cookie_file ;
} else {
@ fopen ( $cookie_file , 'w' ) or $this -> error ( "The cookie file could not be opened. Make sure this directory has the correct permissions" ) ;
$this -> cookie_file = $cookie_file ;
@ fclose ( $cookie_file ) ;
}
}
function get ( $url , $refer = '' ) {
$process = curl_init ( $url ) ;
curl_setopt ( $process , CURLOPT_REFERER , $refer ) ;
curl_setopt ( $process , CURLOPT_HTTPHEADER , $this -> headers ) ;
curl_setopt ( $process , CURLOPT_USERAGENT , $this -> user_agent ) ;
if ( $this -> cookies == TRUE ) curl_setopt ( $process , CURLOPT_COOKIEFILE , $this -> cookie_file ) ;
if ( $this -> cookies == TRUE ) curl_setopt ( $process , CURLOPT_COOKIEJAR , $this -> cookie_file ) ;
curl_setopt ( $process , CURLOPT_ENCODING , $this -> compression ) ;
curl_setopt ( $process , CURLOPT_TIMEOUT , 30000 ) ;
if ( $this -> proxy ) curl_setopt ( $cUrl , CURLOPT_PROXY , 'proxy_ip:proxy_port' ) ;
curl_setopt ( $process , CURLOPT_RETURNTRANSFER , 1 ) ;
$return = curl_exec ( $process ) ;
curl_close ( $process ) ;
return $return ;
}
function post ( $url , $data , $refer ) {
$process = curl_init ( $url ) ;
curl_setopt ( $process , CURLOPT_REFERER , $refer ) ;
curl_setopt ( $process , CURLOPT_HTTPHEADER , $this -> headers ) ;
curl_setopt ( $process , CURLOPT_USERAGENT , $this -> user_agent ) ;
if ( $this -> cookies == TRUE ) curl_setopt ( $process , CURLOPT_COOKIEFILE , $this -> cookie_file ) ;
if ( $this -> cookies == TRUE ) curl_setopt ( $process , CURLOPT_COOKIEJAR , $this -> cookie_file ) ;
curl_setopt ( $process , CURLOPT_ENCODING , $this -> compression ) ;
curl_setopt ( $process , CURLOPT_TIMEOUT , 30000 ) ;
if ( $this -> proxy ) curl_setopt ( $cUrl , CURLOPT_PROXY , 'proxy_ip:proxy_port' ) ;
curl_setopt ( $process , CURLOPT_POSTFIELDS , $data ) ;
curl_setopt ( $process , CURLOPT_RETURNTRANSFER , 1 ) ;
curl_setopt ( $process , CURLOPT_FOLLOWLOCATION , 1 ) ;
curl_setopt ( $process , CURLOPT_POST , 1 ) ;
$return = curl_exec ( $process ) ;
curl_close ( $process ) ;
return $return ;
}
function error ( $error ) {
echo "cURL Error
;
die ;
}
}
?>
0x04 .POST数据
代码如下
﹤?php
$phoneNumber
=
'13812345678'
;
$message
=
'This message was generated by curl and php'
;
$curlPost
=
'pNUMBER='
.
urlencode
(
$phoneNumber
)
.
'&MESSAGE='
.
urlencode
(
$message
)
.
'&SUBMIT=Send'
;
$ch
= curl_init
(
)
;
curl_setopt
(
$ch
, CURLOPT_URL
,
'http://www.lxvoip.com/sendSMS.php'
)
;
curl_setopt
(
$ch
, CURLOPT_HEADER
,
1
)
;
curl_setopt
(
$ch
, CURLOPT_RETURNTRANSFER
,
1
)
;
curl_setopt
(
$ch
, CURLOPT_POST
,
1
)
;
curl_setopt
(
$ch
, CURLOPT_POSTFIELDS
,
$curlPost
)
;
$data
= curl_exec
(
)
;
curl_close
(
$ch
)
;
?﹥
!
extension_loaded
(
'curl'
)
&&
die
(
'The curl extension is not loaded.'
)
;
$discuz_url
=
'http://www.lxvoip.com'
;
//论坛地址
$login_url
=
$discuz_url
.
'/logging.php?action=login'
;
//登录页地址
$get_url
=
$discuz_url
.
'/my.php?item=threads'
;
//我的帖子
$post_fields
=
array
(
)
;
//以下两项不需要修改
$post_fields
[
'loginfield'
]
=
'username'
;
$post_fields
[
'loginsubmit'
]
=
'true'
;
//用户名和密码，必须填写
$post_fields
[
'username'
]
=
'lxvoip'
;
$post_fields
[
'password'
]
=
'88888888'
;
//安全提问
$post_fields
[
'questionid'
]
=
0
;
$post_fields
[
'answer'
]
=
''
;
//@todo验证码
$post_fields
[
'seccodeverify'
]
=
''
;
//获取表单FORMHASH
$ch
= curl_init
(
$login_url
)
;
curl_setopt
(
$ch
, CURLOPT_HEADER
,
0
)
;
curl_setopt
(
$ch
, CURLOPT_RETURNTRANSFER
,
1
)
;
$contents
= curl_exec
(
$ch
)
;
curl_close
(
$ch
)
;
preg_match
(
'/
,
$contents
,
$matches
)
;
if
(
!
empty
(
$matches
)
)
{
$formhash
=
$matches
[
1
]
;
}
else
{
die
(
'Not found the forumhash.'
)
;
}
//POST数据，获取COOKIE
$cookie_file
=
dirname
(
__FILE__ )
.
'/cookie.txt'
;
//$cookie_file = tempnam('/tmp');
$ch
= curl_init
(
$login_url
)
;
curl_setopt
(
$ch
, CURLOPT_HEADER
,
0
)
;
curl_setopt
(
$ch
, CURLOPT_RETURNTRANSFER
,
1
)
;
curl_setopt
(
$ch
, CURLOPT_POST
,
1
)
;
curl_setopt
(
$ch
, CURLOPT_POSTFIELDS
,
$post_fields
)
;
curl_setopt
(
$ch
, CURLOPT_COOKIEJAR
,
$cookie_file
)
;
curl_exec
(
$ch
)
;
curl_close
(
$ch
)
;
//带着上面得到的COOKIE获取需要登录后才能查看的页面内容
$ch
= curl_init
(
$get_url
)
;
curl_setopt
(
$ch
, CURLOPT_HEADER
,
0
)
;
curl_setopt
(
$ch
, CURLOPT_RETURNTRANSFER
,
0
)
;
curl_setopt
(
$ch
, CURLOPT_COOKIEFILE
,
$cookie_file
)
;
$contents
= curl_exec
(
$ch
)
;
curl_close
(
$ch
)
;
var_dump
(
$contents
)
;
?>
再看几个模拟登录的例子：
代码如下
error_reporting(E_ALL);
$login_url = '192.168.18.25/test/php-curl-login.php';//模拟登录地址
$cookie_url='192.168.18.25/test/php-curl-cookie.php'; //模拟发帖
$post_fields = array();
$post_fields['user_name'] = 'phpcto';
$post_fields['pass_word'] = 'phpcto123';
$cookie_file =tempnam('./temp','cookie');
ob_start();
echo '
';
';
ob_end_flush();
代码如下
php 使用curl模拟登录discuz以及模拟发帖
代码如下
$cookie_file = dirname(__FILE__)."/cookie_".md5(basename(__FILE__)).".txt"; // 设置Cookie文件保存路径及文件名
function vlogin($url,$data){ // 模拟登录获取Cookie函数
$curl = curl_init(); // 启动一个CURL会话
curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post 提交的数据包
curl_setopt($curl, CURLOPT_COOKIEJAR, $GLOBALS['cookie_file']); // 存放 Cookie信息的文件名称
curl_setopt($curl, CURLOPT_COOKIEFILE, $GLOBALS['cookie_file']); // 读取上面所储存的Cookie信息
curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
$tmpInfo = curl_exec($curl); // 执行操作
if (curl_errno($curl)) {
echo 'Errno'.curl_error($curl);
}
curl_close($curl); // 关闭 CURL会话
return $tmpInfo; // 返回数据
}
function vget($url){ // 模拟获取内容函数
$curl = curl_init(); // 启动一个CURL会话
curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
curl_setopt($curl, CURLOPT_HTTPGET, 1); // 发送一个常规的Post请求
curl_setopt($curl, CURLOPT_COOKIEFILE, $GLOBALS['cookie_file']); // 读取上面所储存的Cookie信息
curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
$tmpInfo = curl_exec($curl); // 执行操作
if (curl_errno($curl)) {
echo 'Errno'.curl_error($curl);
}
curl_close($curl); // 关闭 CURL会话
return $tmpInfo; // 返回数据
}
function vpost($url,$data){ // 模拟提交数据函数
$curl = curl_init(); // 启动一个CURL会话
curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post 提交的数据包
curl_setopt($curl, CURLOPT_COOKIEFILE, $GLOBALS['cookie_file']); // 读取上面所储存的Cookie信息
curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
$tmpInfo = curl_exec($curl); // 执行操作
if (curl_errno($curl)) {
echo 'Errno'.curl_error($curl);
}
curl_close($curl); // 关键 CURL会话
return $tmpInfo; // 返回数据
}
function delcookie($cookie_file){ // 删除 Cookie函数
@unlink($cookie_file); // 执行删除
}
// 使用实例
// vlogin('192.168.18.25/test/login.php','user_name=yang&pass_word=yangjs123'); // 登录获取 Cookie
//echo vget('192.168.18.25/test/login.php');
echo vpost('192.168.18.25/test/login.php','user_name=yang&pass_word=yangjs123');
?>
0x06.PHP多线程抓取网页实现代码
代码如下
$ch1 = curl_init();
$ch2 = curl_init();
curl_setopt($ch1, CURLOPT_URL, "http://www.XX.com/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.00.com/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
$mh = curl_multi_init();
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
do{
curl_multi_exec($mh,$flag);
}while($flag > 0);
curl_multi_remove_handle($mh,$ch1);
curl_multi_remove_handle($mh,$ch2);
curl_multi_close($mh);
?>
0x07.抓取和分析一个文件是非常简单的事。
file函数也可以，不同的网站要写不同的正则表达式来匹配抓取想要的内容。
代码如下
header('Content-Type: text/html; charset=gbk');
$url ="http://www.jj59.com/qingganwenzhang/093750.html";
$lines_array=file($url);//read entire web file into array
//var_dump($lines_array);
$lines_string = implode('', $lines_array);//maybe not in a row,so join the array elements with a string
$count=count($lines_string);
for($i=0;$i<$count;$i++){
if(preg_match("/
(.*) /is",$lines_string,$title)){//标题
$title=$title[0];
}
if(preg_match("/
]*?name=['"]?keywords['"]?[^>]*?>/is",$lines_string,$keywords)){//关键字
]*?name=['"]?description['"]?[^>]*?>/is",$lines_string,$description)){//描述
(.*)
(.*)
(.*)
/is",$lines_string,$content)){//描述
代码如下
header('Content-Type: text/html; charset=gbk');
error_reporting(E_CORE_ERROR);
$url ="http://yxmhero1989.blog.163.com";
$lines_array=file($url);//read entire web file into array
//var_dump($lines_array);
$lines_string = implode('', $lines_array);//maybe not in a row,so join the array elements with a string
$count=count($lines_string);
for($i=0;$i<$count;$i++){
//if(preg_match("/(.*) /is",$lines_string,$title)){//标题
if(eregi("(.*) ",$lines_string,$title)){
$title=$title[0];
}
if(preg_match("/]*?name=['"]?keywords['"]?[^>]*?>/is",$lines_string,$keywords)){//关键字
$title2=$keywords[0];
}
if(preg_match("/]*?name=['"]?description['"]?[^>]*?>/is",$lines_string,$description)){//描述
$title3=$description[0];
}
}
$title=substr($title,7,-19);
$title2=substr($title2,31,-3);
$title3=substr($title3,34,-5);
echo "Title:".$title."
echo "KeyWords:".$title2."
echo "Description:".$title3."
//$query="insert into insun4 values('$i','$title','$title2','$title3')";
//$result=mysql_query($query) or die("查询数据失败");//执行查询
?>
0x08.找到了的数据存到数据库，然后CSS+DIV架个前台，在前台用分页调用，代码就不贴了，直接上图片：
你看多简单，前面的几个大站互爬数据添加到数据库，然后前台调用，充实了自己的信息库，减少了手动的工作量，何其乐啊，可是不知道算不算违反？大概恶意竞争才算，所以反爬虫机制必须的~~~
0x09.浅谈反爬虫机制： 文本文件 ，用来定义网站上哪些内容可以或不能供网络爬虫存取，Yahoo也在网站上说明如何利用robots.txt以避免网站或特定网页数据不被搜索引擎搜集及索引。③。如果是爬虫程序来访，则user-agent会显示Googlebot或MSNBot等搜索引擎爬虫程序名称，每个搜索引擎都有自己的user-agent，以下分别列出国内主要的爬虫程序。
百度baidu.com—-Baiduspider 谷歌google.com—-Googlebot
雅虎yahoo.com—-Yahoo 有道yodao.com—-YodaoBot
搜搜soso.com—-Sosospider/Sosoimagespider 搜狗sogou.com—-sogou 微软msn.com—-msnbot
自写程序，if不是上面就access deny，这样不失流量，也遏制了对手的肆意爬取信息，减少了对公司的损失。
④。重要的2篇文章 分析了反爬虫策略。
