【python爬虫】设计自己的爬虫 4. 封装模拟浏览器 PyppeteerSimulate

Pyppeteer是Puppeteer的Python版实现
Pyppeteer的背后实际上有一个类似于Chrome的浏览器–Chromium

class PyppeteerSimulate(BrowserSimulateBase):
    def __init__(self):
        self.browser = None
        self.page = None

    # 启动浏览器
    # is_headless 是否开启无头模式
    # is_cdp 是否使用cdp (Chrome Devtools Protocol)
    async def start_browser(self, is_headless=False, is_dev=False, proxy=None, is_socks5=False, *args, **kwargs):
        """
        异步启动浏览器。

        Args:
            is_headless (bool, optional): 是否开启无头模式。默认为 False。
            is_dev (bool, optional): 是否启用调试模式。默认为 False。
            proxy (str, optional): 代理设置。默认为 None。
            is_socks5 (bool, optional): 是否使用 SOCKS5 代理。默认为 False。
            *args, **kwargs: 其他参数。

        Returns:
            BrowserContext: 已启动的浏览器对象。
        """
        args = ['--disable-infobars', f'--window-size={WINDOW_WIDTH},{WINDOW_HEIGHT}']

        if proxy:
            proxy_protocol = 'socks5://' if is_socks5 else 'http://'
            args.append('--proxy-server=' + proxy_protocol + proxy)

        self.browser = await launch(headless=is_headless, devtools=is_dev, args=args, autoClose=True)

        return self.browser

    async def start_page(self, url: str):
        """
        在已启动的浏览器上创建新页面并访问指定的 URL。

        Args:
            url (str): 要访问的页面的 URL。

        Returns:
            Page: 新创建的页面对象。
        """
        context = await self.browser.createIncognitoBrowserContext()
        self.page = await context.newPage()

        await self.page.setViewport({'width': WINDOW_WIDTH, 'height': WINDOW_HEIGHT})
        await self.page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')
        await self.page.goto(url)

        return self.page

    # 显式等待
    async def wait_until_element(self, selector_location, timeout=None, selector_type=None):
        """
        等待直到页面中出现指定的元素。

        参数:
        selector_location (str): 要等待的元素选择器。

        返回:
        element (ElementHandle or None): 如果找到元素，返回元素的句柄，否则返回None。
        """

        try:
            element = await self.page.waitForSelector(selector_location)
            return element
        except Exception as e:
            print(f"等待元素时发生错误: {str(e)}")
            return None

    # 等待时间 s
    async def wait_for_time(self, timeout):
        """
        在异步上下文中等待指定的时间（秒）。

        参数:
        timeout (int): 等待的时间（秒）。

        无返回值。
        """
        await self.page.waitFor(timeout * 1000)

    # 查找多个元素
    async def find_elements(self, selector_location, selector_type=None):
        """
        使用指定的选择器查找所有匹配的元素。

        参数:
        selector_location (str): 要查找的元素选择器。
        selector_type (str, optional): 选择器类型（例如 'css', 'xpath' 等）。

        返回:
        elements (List): 匹配的元素列表。
        """

        elements = await self.page.JJ(selector_location)
        return elements

    # 查找元素
    async def find_element(self, selector_location, selector_type=None):
        """
        使用指定的选择器查找第一个匹配的元素。

        参数:
        selector_location (str): 要查找的元素选择器。
        selector_type (str, optional): 选择器类型（例如 'css', 'xpath' 等）。

        返回:
        element (ElementHandle or None): 匹配的元素句柄，如果未找到则返回 None。
        """
        return await self.page.J(selector_location)

    # iframe 查找多个元素
    async def find_iframe_elements(self, selector_location, iframe):
        """
        在指定的 iframe 中查找所有匹配的元素。

        参数:
        selector_location (str): 要查找的元素选择器。
        iframe (Frame): 包含要查找元素的 iframe 对象。

        返回:
        elements (List): 匹配的元素列表。
        """
        return await iframe.JJ(selector_location)

    # iframe 查找元素
    async def find_iframe_element(self, selector_location, iframe):
        """
        在指定的 iframe 中查找第一个匹配的元素。

        参数:
        selector_location (str): 要查找的元素选择器。
        iframe (Frame): 包含要查找元素的 iframe 对象。

        返回:
        element (ElementHandle or None): 匹配的元素句柄，如果未找到则返回 None。
        """
        return await iframe.J(selector_location)

    # 查找并获取元素属性的值
    async def find_element_all_eval(self, selector_location, selector_type=None, script_command=None):
        """
        使用指定的选择器和脚本命令查找所有匹配的元素。

        参数:
        selector_location (str): 要查找的元素选择器。
        script_command (str, optional): 用于评估元素的自定义脚本命令。

        返回:
        elements (List): 匹配的元素列表。
        """
        return await self.page.JJeval(selector_location, script_command)

    # 浏览器回退
    async def go_back(self):
        """
        在浏览器中执行后退操作，返回上一页。

        无返回值。
        """
        await self.page.goBack()

    # 浏览器前进
    async def go_forward(self):
        """
        在浏览器中执行前进操作，前往下一页。

        无返回值。
        """
        await self.page.goForward()

    # 获取cookies
    async def get_cookies(self):
        """
        获取当前页面的所有 Cookies。

        返回:
        cookies (List): 包含所有 Cookies 的列表。
        """
        return await self.page.cookies()

    # 添加cookies
    async def add_cookie(self, cookie):
        """
        向当前页面添加一个 Cookie。

        参数:
        cookie (dict): 要添加的 Cookie 对象，应包含 'name' 和 'value' 属性。

        无返回值。
        """
        await self.page.setCookie(cookie)

    # 删除cookies
    async def del_cookies(self):
        """
        删除当前页面的所有 Cookies。

        无返回值。
        """
        await self.page.deleteCookie()

    # 切换选项卡
    async def switch_tab(self, tab):
        """
        在浏览器窗口中切换到指定的标签页。

        参数:
        tab (int): 要切换到的标签页的索引号。

        无返回值。
        """
        pages = await self.browser.pages()
        await pages[tab].bringToFront()

    # 刷新页面
    async def reload_page(self):
        """
        重新加载当前页面。

        无返回值。
        """
        await self.page.reload()

    # 截图
    async def screen_page(self, file_path=None):
        """
        截取当前页面的屏幕截图。

        参数:
        file_path (str, optional): 截图文件保存的路径和名称。如果未提供路径，将在当前工作目录保存。

        无返回值。
        """
        await self.page.screenshot(path=file_path)

    # 关闭浏览器
    async def close_browser(self):
        """
        关闭浏览器。

        无返回值。
        """
        await self.browser.close()

    # 获取页面内容
    async def get_content(self):
        """
        获取当前页面的内容。

        返回:
        content (str): 当前页面的HTML内容。
        """
        return await self.page.content()

    # 点击
    async def click(self, selector_location, selector_type=None):
        """
        在指定的选择器位置执行点击操作。

        参数:
        selector_location (str): 要点击的元素选择器。
        selector_type (str, optional): 选择器类型（例如 'css', 'xpath' 等）。

        无返回值。
        """
        return await self.page.click(selector_location)

    # 输入内容
    async def send_keys(self, selector_location, input_content, selector_type=None):
        """
        在指定的选择器位置输入文本内容。

        参数:
        selector_location (str): 要输入文本的元素选择器。
        input_content (str): 要输入的文本内容。
        selector_type (str, optional): 选择器类型（例如 'css', 'xpath' 等）。

        无返回值。
        """
        return await self.page.type(selector_location, input_content)

    async def drag_and_drop(self, source, target):
        """
        模拟拖拽操作，将源元素拖拽到目标元素位置。

        参数:
        source (ElementHandle): 要拖拽的源元素句柄。
        target (ElementHandle): 拖拽的目标元素句柄。

        无返回值。
        """
        source_box = await source.boundingBox()
        target_box = await target.boundingBox()

        # 计算源和目标元素的中心点
        source_x = source_box['x'] + source_box['width'] / 2
        source_y = source_box['y'] + source_box['height'] / 2
        target_x = target_box['x'] + target_box['width'] / 2
        target_y = target_box['y'] + target_box['height'] / 2

        # 模拟拖拽操作
        await self.page.mouse.move(source_x, source_y)
        await self.page.mouse.down()
        await self.page.mouse.move(target_x, target_y)
        await self.page.mouse.up()

    # iframe
    async def to_iframe(self, iframe):
        """
        切换到指定名称的 iframe。

        参数:
        iframe_name (str): 要切换到的 iframe 的名称。

        返回:
        target_frame (Frame or None): 匹配的 iframe 对象，如果未找到则返回 None。
        """

        frames = self.page.frames
        # 找到你需要的iframe
        for frame in frames:
            if frame.name == iframe:
                target_frame = frame
        return target_frame

测试代码

# 测试代码
async def test_pyppeteer():
    await pyppeteer_simulate.start_browser()
    # await pyppeteer_simulate.start_page('https://www.baidu.com/')
    # await pyppeteer_simulate.wait_until_element('.s_ipt')
    # await pyppeteer_simulate.wait_for_time(2)
    # await pyppeteer_simulate.screen_page('../../files/pyppeteer_example.png')
    # print(await pyppeteer_simulate.get_content())

    await pyppeteer_simulate.start_page('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    target_frame = await pyppeteer_simulate.to_iframe('iframeResult')

    # 在特定的iframe中查找元素
    source = await pyppeteer_simulate.find_iframe_element('#draggable', target_frame)
    target = await pyppeteer_simulate.find_iframe_element('#droppable', target_frame)
    await pyppeteer_simulate.drag_and_drop(source, target)

    await pyppeteer_simulate.close_browser()


if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(test_pyppeteer())