python多线程图片爬虫

学习python后写的第一个程序：抓妹子图。。。

环境：linux  python2.7

默认放在/home/fantasy/pics/ 目录下

思路：

1.进入http://girl-atlas.com/后（咳咳，看一下快回来）发现页面右侧每个妹子都有一个标签，就从这里下手。

2.针对每个妹子建立一个线程，抓取到这个人的名字创建一个文件夹，抓取她的简介放在这个文件夹里。

3.接下来就是抓取每个妹子的图集然后放在刚才创建的文件夹中。

代码如下：

# -*- coding: utf-8 -*-
#!/usr/bin/python
#---------------------------------------
#   程序：MM爬虫
#   版本：0.1
#   作者：fantasy
#   日期：2014-06-05
#   语言：Python 2.7
#   功能：将网站的图片内容分目录存储到本地
#----------------------------------------

import string
import urllib2
import urllib
import re
from threading import Thread
from Queue import Queue
from time import sleep
import os
import sys

#Q是任务队列(元素针对每个人)
#thread_num是并发线程总数
Q = Queue()
thread_num = 7


#----------- 处理页面上的各种标签 -----------
class HTML_Tool:
    # 用非 贪婪模式 匹配 \t 或者 \n 或者 空格 或者 超链接 或者 图片
    BgnCharToNoneRex = re.compile("(\t|\n| ||)")
    
    # 用非 贪婪模式 匹配 任意<>标签
    EndCharToNoneRex = re.compile("<.*?>")

    # 用非 贪婪模式 匹配 任意
标签
    BgnPartRex = re.compile("")
    CharToNewLineRex = re.compile("(
|
||
|
)")
    CharToNextTabRex = re.compile("")

    # 将一些html的符号实体转变为原始符号
    replaceTab = [("<","<"),(">",">"),("&","&"),("&","\""),(" "," "),(""","\"")]
    
    def Replace_Char(self,x):
        x = self.BgnCharToNoneRex.sub("",x)
        x = self.BgnPartRex.sub("\n    ",x)
        x = self.CharToNewLineRex.sub("\n",x)
        x = self.CharToNextTabRex.sub("\t",x)
        x = self.EndCharToNoneRex.sub("",x)

        for t in self.replaceTab:  
            x = x.replace(t[0],t[1])  
        return x  
#----------- 处理页面上的各种标签 -----------  


class MM_Spider:
	# 构造函数
	def __init__(self,url):
		self.myUrl=url
		self.urlNum=0
		self.myTool = HTML_Tool() 
		print u'MM爬虫start。。。。。。'

	#header伪装获得html内容
	def get_html(self,url):
		req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
		req_timeout = 20
		try:
			req = urllib2.Request(url,None,req_header)
			page = urllib2.urlopen(req,None,req_timeout)
			html = page.read().decode("utf-8")
		except urllib2.URLError as e:
			print e.message
		except socket.timeout as e:
			user_html(self.myUrl)
		return html


	#每个线程去抓一个人的图，简介等，要自己组织文件目录
	def working(self):
		while True:
			url=Q.get()
			self.get_MM_pic(url)
			#sleep(1)
			Q.task_done()
			
	def get_MM_pic(self,url):
		personal_page=self.get_html(url)
		#
		title=re.search(r'