爬虫（五）（splinter）动态内容

Splinter对已有的自动化工具（如：Selenium、PhantomJS和zope.testbrowser）进行抽象，形成一个全新的上层应用API，它使为Web应用编写自动化测试脚本变的更容易。

最早的时候大家都会使用 Phantomjs 来实现headless，但是多多少少会有一些不足的地方。现在 Chrome 和 Firefox 都已经提供了相应的 headless 模式，而且 Splinter 也已经集成。

http://blog.csdn.net/qq_24338883/article/details/52462699
https://zhuanlan.zhihu.com/p/30208753
http://splinter-docs-zh-cn.readthedocs.io/zh/latest/

步骤：

1. 装依赖 pip install splinter
2. 把 chrome / firefox 驱动加 path

import platform
import os
from time import sleep
from splinter import Browser

def add_chrome_webdriver():
    print(platform.system())
    working_path = os.getcwd()
    library = 'library'
    path = os.path.join(working_path, library)
    os.environ['PATH'] += '{}{}{}'.format(os.pathsep, path, os.pathsep)
    print(os.environ['PATH'])

Browser是整个测试的基础，你可以把它理解为一个浏览器。
将驱动加入到环境变量：①可以手动加入，②可以通过上面函数加入，③还可以直接将驱动复制到已有 PATH 下（比如 python）。firefox 和 chrome 各有自己的驱动

图片.png

图片.png

os.getcwd() ：当前执行文件的容器目录，感觉和 os.path 的值一样
os.pathsep ： ；

图片.png

def find_website():
    with Browser() as browser:
        # Visit URL
        url = "http://www.baidu.com"
        browser.visit(url)

        input = browser.find_by_css('#kw')
        input.fill('知乎')

        # Find and click the 'search' button
        button = browser.find_by_css('#su')
        # Interact with elements
        button.click()

        if browser.is_text_present('发现更大的世界'):
            print("Yes, the official website was found!")
        else:
            print("No, it wasn't found... We need to improve our SEO techniques")

with Browser('chrome', headless=True) as browser:
driver_name='chrome'：指定浏览器，默认是 firefox
headless=True ： 无头模式，不然会打开图形界面，在服务器部署时一定要加入

• with 打开浏览器，不用手动关闭，创建实例
• visit() ：指定 url ，可访问任意指定的站点
• find_by_css() ：方法能够进行 css 选择，找到输入框；
• fill() ：方法能够自动输入相关内容
  • 前两步合并：xx.fill("wd", "dataman")即可在搜索栏搜索dataman。
  • browser.fill('wd', 'splinter - python acceptance testing for web applications')
  • 也就是使用"dataman"填充页面中‘name’是‘wd’的元素
• find_by_css() ：找到点击按钮
• click()：触发点击事件
• is_text_present() ：检查页面上是否存在某个值

def main():
    add_chrome_webdriver()
    find_website()

if __name__ == '__main__':
    main()

---

图片.png

图片.png

图片.png

#-*- coding:utf-8 -*-
#京东抢手机脚本
from splinter.browser import Browser
import time

#登录页
def login(b):  #登录京东
    b.click_link_by_text("你好，请登录")
    time.sleep(3)
    b.fill("loginname","account*****")  #填写账户密码
    b.fill("nloginpwd","passport*****")
    b.find_by_id("loginsubmit").click()
    time.sleep(3)
    return b

#订单页
def loop(b):  #循环点击
    try:
        if b.title=="订单结算页 -京东商城":
            b.find_by_text("保存收货人信息").click()
            b.find_by_text("保存支付及配送方式").click()
            b.find_by_id("order-submit").click()
            return b
        else:  #多次抢购操作后，有可能会被转到京东首页，所以要再打开手机主页
            b.visit("http://item.jd.com/2707976.html")
            b.find_by_id("choose-btn-qiang").click()
            time.sleep(10)
            loop(b)  #递归操作
    except Exception as e: #异常情况处理，以免中断程序
        b.reload()  #重新刷新当前页面，此页面为订单提交页
        time.sleep(2)
        loop(b)  #重新调用自己


b=Browser(driver_name="chrome") #打开浏览器
b.visit("http://item.jd.com/2707976.html")
login(b)
b.find_by_id("choose-btn-qiang").click() #找到抢购按钮，点击
time.sleep(10)  #等待10sec
while True:
    loop(b)
    if b.is_element_present_by_id("tryBtn"): #订单提交后显示“再次抢购”的话
        b.find_by_id("tryBtn").click()  #点击再次抢购，进入读秒5，跳转订单页
        time.sleep(6.5)
    elif b.title=="订单结算页 -京东商城": #如果还在订单结算页
        b.find_by_id("order-submit").click() 
    else:
        print('恭喜你，抢购成功')
        break