如何抓取爱帮网加密的电话号码

最近有客户咨询能否抓取爱帮网（http://www.aibang.com/）上的数据，主要是因为爱帮网的电话号码是经过加密处理的，常规的方法获取不到真实的电话号码。

打开客户所说的网页，启动Firebug工具，很快就看到了爱帮网数据信息中电话号码的组成，原来是将正常的电话号码拆分成了若干组，每组包含电话号码中的两位数值。只需用Xpath将所有的组合提取出来，然后按顺序组合不就行了嘛。

      然而，很快，问题就出现了。我发现提取出来的电话号码跟网页上显示出来的真实电话号码相去甚远，原本加上长途区号一共是12位的电话号码，抓取的结果却变成了20几位，比如这样了: 02-0-0200-0-20-8120710-2817308113。看来并非如开始时想像的那么简单。

     

      借助于Firebug工具，忽然发现在电话号码的组成部分中，有的分组显示正常，有的分组显示却显示为灰色的，而正是那些显示正常的分组，组合起来才是真正的电话号码。我恍然大悟，原来诀窍在这里呀，电话号码的分组中加入了起干扰作用的分组，难怪取出来的号码里会多出来很多数值呢。那么，去除这些干扰分组，不就能获取到真正的电话号码了吗？！

 

 

      然而，在数据采集的程序中怎样才能区分出哪些分组是正常分组，哪些又是干扰分组呢？这又成一个困惑我的问题。本人功力尚浅，百思不得其解之余，不得不求助于同事了。同事果然是火眼金睛，很快就发现了端倪，原来所有的分组，正常的和干扰的分组tag名称，都在样式表里记录着呢，就相当于有一个类别选择器，在网页显示内容时就会根据这个选择器自动过滤掉干扰的分组了，所以我们在网页上看到的电话号码就是正常的，但用Xpath提取出来的分组，因为没有过滤，所以就包含了诸多的干扰分组的数据了。

 

     明白了这个原理，再找到样式表中的类别选择记录，在提取到电话号码的分组时加以过滤，去除了干扰分组，很快，真实的电话号码就完全呈现在我的面前了。

 

   

     下面是部分示例代码：

view plaincopy to clipboardprint?

1. m = re.compile(r'<link rel="stylesheet" type="text/css" href="\"([^"]+)\"">').search(html)  

2. if m:  

3.     confusion_link = m.groups()[0]  

4.     #confusion_html = D.get(confusion_link, dl=download.Download.REMOTE)  

5.     confusion_html = D.get(confusion_link)  

6.     n = re.compile(r'\{display:inline;\}([^{}]+)\{display:none;\}').search(confusion_html)  

7.     if not n:  

8. n = re.compile(r'/\* - Confusion.css - \*/\s*([^{}]+)\{display:none;\}')\  

9. .search(confusion_html)  

10.     if n:  

11.         display_none_str = n.groups()[0]  

12.         display_none = display_none_str.replace('.', '').split(',')  

13.         phone = ''  

14.         phone_span = xpath.get(html, '//span[@class="call_me f_arial"]')  

15.         span_classes = xpath.search(phone_span, '//span/@class ')  

16.         span_nums = xpath.search(phone_span, '//span')  

17.         for i in range(0, len(span_classes)):  

18.             if span_classes[i] not in display_none:  

19.                 phone = phone + span_nums[i]  

20.        print ‘phone number is: %s ’% phone  

特别说明：该文章为鲲鹏数据原创文章 ，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）

http://www.site-digger.com/  
西安鲲之鹏网络信息技术有限公司 - 国内最专业Web数据采集服务提供商  
选择我们，所有数据都是你的！  
电话：13389148466（周先生）或   13571845363（齐先生）
QQ：1649677458 或 312602670
Email：[email protected]