疯帮主
疯帮主

BeautyfulSoup/python3基本使用

简单开始

# 这个代码是不完整的，有些没有闭合标签
html = """



    
    迅影网,迅雷电影下载,最新电影下载,高清电影下载
    <link rel="icon" href="/static/favicon.ico">
    <link rel="stylesheet" href="/static/bootstrap/css/bootstrap.min.css">
</head>
<body>
<header>
<div class="header-box">
    <div class="container">
        <span class="header-help">欢迎来到迅影网，一起分享电影给我们带来的快乐。</span>
        <div class="pull-right">
            <a class="header-help" onclick="notice('快捷键 Ctrl+D 可以快速添加到收藏夹。')" href="javascript:;">Ctrl+D 加入收藏夹</a> -
            <a class="header-help" style="color:red;" href="http://www.xunyingwang.com/tools/savewebsite">保存到桌面
        </div>

"""
soup = bs4.BeautifulSoup(html, 'lxml')
# 格式化代码，其实也不是很好用，闭合不准确
print(soup.prettify())
print(soup.title.string)
print(soup.span.string)
</code></pre> 
 <p>输出：</p> 
 <pre><code class="text"><!DOCTYPE html>
<html lang="zh-CN">
 <head>
  <meta charset="utf-8"/>
  <title>
   迅影网,迅雷电影下载,最新电影下载,高清电影下载
   <link href="/static/favicon.ico" rel="icon"/>
   <link href="/static/bootstrap/css/bootstrap.min.css" rel="stylesheet"/>
  
 
 
  

   

    

     
      欢迎来到迅影网，一起分享电影给我们带来的快乐。
     
     

      
       Ctrl+D 加入收藏夹
      
      -
      
       保存到桌面
      
     

    

   

  

 

None
欢迎来到迅影网，一起分享电影给我们带来的快乐。

标签选择器

选择元素

html = """



    
    迅影网,迅雷电影下载,最新电影下载,高清电影下载
    
    






    

        欢迎来到迅影网，一起分享电影给我们带来的快乐。
        

            Ctrl+D 加入收藏夹 -
            保存到桌面
        


"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(type(soup.title))
print(soup.title)
print(soup.head)
print(soup.link)

输出:


迅影网,迅雷电影下载,最新电影下载,高清电影下载


迅影网,迅雷电影下载,最新电影下载,高清电影下载

当有相同的标签时，会选第一个

获取名称

html = """
    
"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.link.name)

输出:

link

获取属性

html = """
    
"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.link['rel'])
print(soup.link.attrs['rel'])

输出:

['stylesheet']
['stylesheet']

获取内容

html = """


在这


"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.string)

html = """

在这

"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.string)

输出:

None
在这

一个换行就匹配不到了

嵌套选择

html = """


在这


"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.b.string)

输出:

在这

获取子节点

使用contents

html = """


            Ctrl+D 加入收藏夹 -
            保存到桌面
        

"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.contents)

输出：

['\n', Ctrl+D 加入收藏夹, ' -\n            ', 保存到桌面, '\n']

每个标签和每个标签间的字符都是一个元素

使用children

html = """


            Ctrl+D 加入收藏夹 -
            保存到桌面
        

"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.children)
for i,child in enumerate(soup.div.children):
    print(i, child)

输出：


0 

1 Ctrl+D 加入收藏夹
2  -
            
3 保存到桌面
4

children返回的是一个迭代器
enumerate返回迭代索引和内容

使用返回子孙节点

html = """


            Ctrl+D 加入收藏夹 -
            
            
            保存到桌面
            
            
        

"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.descendants)
for i,child in enumerate(soup.div.descendants):
    print(i, child)

输出：


0 

1 Ctrl+D 加入收藏夹
2 Ctrl+D 加入收藏夹
3  -
            
4 

保存到桌面


5 

6 
保存到桌面

7 

8 保存到桌面

9 保存到桌面
10 

11 

12 

13

父节点

单个父节点

html = """




            Ctrl+D 加入收藏夹 -
            保存到桌面
        



"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.div.parent)

输出：




Ctrl+D 加入收藏夹 -
            保存到桌面

祖父节点

html = """

    
        

            
I am

            
Here

        

    

"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.p.parents)
for i, parent in enumerate(soup.p.parents):
    print(i, parent)

输出：


0 


I am


Here



1 



I am


Here




2 




I am


Here





3 




I am


Here

兄弟节点

html = """


    
I am here?

    
Where are you now?

    
See you late

    
You are my sunshine

    
How much I love you



"""
soup = bs4.BeautifulSoup(html, 'lxml')
# 小兄弟节点
print(list(enumerate(soup.p.next_siblings)))
# 大兄弟节点
print(list(enumerate(soup.p.previous_siblings)))

输出：

[(0, '\n'), (1, 
Where are you now?
), (2, '\n'), (3, 
See you late
), (4, '\n'), (5, 
You are my sunshine
), (6, '\n'), (7, 
How much I love you
), (8, '\n')]
[(0, '\n')]

​

标准选择器

find_all(name, attrs, recursive, text, **kwargs)

name标签名

html = """


    
I am here?

    
Where are you now?

    
See you late

    
You are my sunshine

    
How much I love you



"""
soup = bs4.BeautifulSoup(html, 'lxml')
print(soup.find_all('p'))
print(type(soup.find_all('p')))
print(soup.find_all('p')[0])
print(type(soup.find_all('p')[0]))

输出：

[
I am here?
, 
Where are you now?
, 
See you late
, 
You are my sunshine
, 
How much I love you
]


I am here?

attrs属性

html = """


        反贪风暴3 迅雷下载
        
反贪风暴3 迅雷下载

    
    

        黄金兄弟 迅雷下载
        
黄金兄弟 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载

    
    

        江湖儿女 迅雷下载
        
江湖儿女 迅雷下载

    
    

        蚁人2：黄蜂女现身 迅雷下载
        
蚁人2：黄蜂女现身 迅雷下载
""" soup = bs4.BeautifulSoup(html, 'lxml') print(soup.find_all(attrs={'href': 'http://www.xunyingwang.com/movie/430296.html'})) print(soup.find_all(attrs={"class": 'carousel-caption'})) print(soup.find_all(class_='carousel-caption'))

输出：

[超人总动员2 迅雷下载]
[
反贪风暴3 迅雷下载
, 
黄金兄弟 迅雷下载
, 
超人总动员2 迅雷下载
, 
江湖儿女 迅雷下载
, 
蚁人2：黄蜂女现身 迅雷下载
]
[
反贪风暴3 迅雷下载
, 
黄金兄弟 迅雷下载
, 
超人总动员2 迅雷下载
, 
江湖儿女 迅雷下载
, 
蚁人2：黄蜂女现身 迅雷下载
]

text文本内容

html = """


        反贪风暴3 迅雷下载
        
反贪风暴3 迅雷下载

    
    

        黄金兄弟 迅雷下载
        
黄金兄弟 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载

    
    

        江湖儿女 迅雷下载
        
江湖儿女 迅雷下载

    
    

        蚁人2：黄蜂女现身 迅雷下载
        
蚁人2：黄蜂女现身 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载
""" soup = bs4.BeautifulSoup(html, 'lxml') print(soup.find_all(text='超人总动员2 迅雷下载'))

输出：

['超人总动员2 迅雷下载', '超人总动员2 迅雷下载']

find方法

html = """


        反贪风暴3 迅雷下载
        
反贪风暴3 迅雷下载

    
    

        黄金兄弟 迅雷下载
        
黄金兄弟 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载

    
    

        江湖儿女 迅雷下载
        
江湖儿女 迅雷下载

    
    

        蚁人2：黄蜂女现身 迅雷下载
        
蚁人2：黄蜂女现身 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载
""" soup = bs4.BeautifulSoup(html, 'lxml') print(soup.find(text='超人总动员2 迅雷下载'))

输出：

超人总动员2 迅雷下载

CSS选择器

html = """


        反贪风暴3 迅雷下载
        
反贪风暴3 迅雷下载

    
    

        黄金兄弟 迅雷下载
        
黄金兄弟 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载

    
    

        江湖儿女 迅雷下载
        
江湖儿女 迅雷下载

    
    

        蚁人2：黄蜂女现身 迅雷下载
        
蚁人2：黄蜂女现身 迅雷下载

    
    

        超人总动员2 迅雷下载
        
超人总动员2 迅雷下载
""" soup = bs4.BeautifulSoup(html, 'lxml') print(soup.select(".item .carousel-caption")) print(soup.select(".item a img")) print(soup.select(".item div")[2].get_text()) print(soup.select(".item a img")[4]['alt'])

输出：

[
反贪风暴3 迅雷下载
, 
黄金兄弟 迅雷下载
, 
超人总动员2 迅雷下载
, 
江湖儿女 迅雷下载
, 
蚁人2：黄蜂女现身 迅雷下载
, 
超人总动员2 迅雷下载
]
[反贪风暴3 迅雷下载, 黄金兄弟 迅雷下载, 超人总动员2 迅雷下载, 江湖儿女 迅雷下载, 蚁人2：黄蜂女现身 迅雷下载, 超人总动员2 迅雷下载]
超人总动员2 迅雷下载
蚁人2：黄蜂女现身 迅雷下载

参考文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.html

你可能感兴趣的:(BeautyfulSoup/python3基本使用)

  • 百度地图 雷达/地理编码 功能使用 安卓开发者
    目录(?)[-]地图雷达基本使用首先你需要在你的API控制台注册你的雷达初始化并注入你的信息开始上传单次上传定时重复上传取回信息打完收工元古巨坑地理编码最近一直在优化软件的bug..然后后面可能又要大改..所以趁这两天有时间赶紧码两篇博文..=.=地图功能可以说是现在APP中最常用的功能…呃..之一..不管是电商,社交,o2o,b2c,p2p,锟斤拷,烫烫烫都需要用地图来辅助..博客里基本的地图实
  • lesson20：Python函数的标注 你的电影很有趣 python开发语言
    目录引言：为什么函数标注是现代Python开发的必备技能一、函数标注的基础语法1.1参数与返回值标注1.2支持的标注类型1.3Python3.9+的重大改进：标准集合泛型二、高级标注技巧与最佳实践2.1复杂参数结构标注2.2函数类型与回调标注2.3变量注解与类型别名三、静态类型检查工具应用3.1mypy：最流行的类型检查器3.2Pyright与IDE集成3.3运行时类型验证四、函数标注的工程价值与
  • 基于Python引擎的PP-OCR模型库推理 张欣-男 pythonocr开发语言PaddleOCRPaddlePaddle
    基于Python引擎的PP-OCR模型库推理1.文本检测模型推理#下载超轻量中文检测模型：wgethttps://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tartarxfch_PP-OCRv3_det_infer.tarpython3tools/infer/predict_det.py--image_dir=".
  • LLaMA-Factory微调教程1：LLaMA-Factory安装及使用 Cachel wood LLM和AIGCllamapython开发语言react.jsjavascript前端microsoft
    文章目录环境搭建LLaMA-Factory安装教程模型大小选择环境搭建Windows系统RTX4060Ti（16G显存）python3.10cuda=12.6cudnntorch==2.7.1+cu126torchvision==0.22.1+cu126torchaudio==2.7.1+cu126PSC:\Users\18098>nvidia-smiTueJul2201:52:192025+<
  • python3中，pycharm中怎么连接数据库 weixin_33736832 数据库python开发工具
    因为python3现在还不能直接连接数据库，所有如果想连接，就只能通过以下方法：在APP中的，__init__.py中，添加以下代码就可以：importpymysqlpymysql.install_as_MySQLdb()当然前提是，那就的在setting.py中连接数据库添加所连接的mysql数据库的详细信息，如下：DATABASES={'default':{'ENGINE':'django.d
  • GIT教程+面试问答（完整） Little_monster. 代码版本控制工具git
    GIT文章目录GITGit笔记git的安装git的使用使用前配置gitconfig--globaluser.name提交人姓名gitconfig--globaluser.email提交人邮箱查看配置信息：gitconfig--list面试问答什么是git，git与svn有什么不同？git有哪些常用的图形界面客户端工具？在线Git代码托管平台有哪些？git的基本使用（常用命令）？Git笔记git的安
  • 常见4种主流ORM介绍与基本使用（Peewee ORM、Django ORM、SQLAlchemy ORM、Tortoise ORM） ACERT333 python后端开发笔记笔记djangopython后端ORM
    ORM对象关系映射（ObjectRelationalMapping，简称ORM）是一种程序设计技术，用于在面向对象编程语言和关系数据库之间进行数据转换。ORM的核心思想是通过创建一个“虚拟对象数据库”，使开发者可以使用面向对象的方式操作数据库，而不需要直接编写复杂的SQL语句。基本原理：ORM的基本原理是将数据库中的表映射为编程语言中的类，将表中的记录映射为类的实例，将表中的字段映射为类的属性。通
  • Python3.14正式支持Free Threaded版本！ 程序元元 PythonGIL并发多线程性能优化Python3.14技术突破
    Python社区迎来了划时代的突破：Python3.14在beta3版本中正式将Free‑Threaded（无GIL）构建列为受支持选项，不再只是“实验性”功能。这意味着困扰我们多年的GIL（全局解释器锁）问题，终于迈出了实质性的一步！这一变化标志着PEP 703（移除GIL）从之前的“可选无GIL”项目，正式转入PhaseII：Free‑Threaded构建进入稳定支持阶段。需要注意的是，目前它
  • 【Python系列】从内存分析到性能剖析 檀越@新空间 s1Pythonpython开发语言
    博客目录一、内存分析利器：memory-profiler1.1安装与基本使用1.2查看与分析内存数据1.3高级功能与可视化二、性能剖析专家：cProfile2.1基本使用方法2.2高级分析与结果保存三、综合分析与优化策略3.1分析流程3.2常见问题与解决方案3.3优化技巧四、实战案例分析在Python开发过程中，随着项目规模的增长和业务逻辑的复杂化，代码的性能问题往往会逐渐显现。如何有效地识别和解
  • Python 之进程间通信（multiprocessing.Queue）的基本使用以及原理(78) Android 小码蜂 Python入门介绍python开发语言
    Python之进程间通信（multiprocessing.Queue）的基本使用以及原理一、引言在多进程编程中，不同进程之间往往需要进行数据交换和信息传递，以协同完成复杂的任务。进程间通信（Inter-ProcessCommunication，简称IPC）就是用于解决这一问题的关键技术。Python的multiprocessing模块提供了多种IPC机制，其中multiprocessing.Que
  • python3基础语法梳理(三) 幼稚园的山代王 pythonpython开发语言
    接上一篇博客猜数字小游戏-Python版游戏规则：系统随机生成一个1到10的整数玩家输入猜测的数字使用if语句判断玩家猜得是否正确提示“猜对了”或“太大/太小了”importrandomsecret_number=random.randint(1,10)attempts=0#尝试次数print("欢迎来到猜数字游戏！")print("我已经想好了一个1到10之间的数字。")print("快来猜一猜
  • vscode 找不到python解释器,VS Code找不到python 3解释器 miao君 vscode找不到python解释器
    IaminstallingPython3.7.2forthefirsttime,andI'musingtheVSCodepythonextension.WhenIrunpython-VIgetPython2.7.10whichisnotcorrect!WhenIselecttheusr/local/bin/python3interpreterinVSCodeIgetthiserrorwhenrun
  • FastAPI的介绍，特性，及几个常用案例 数据知道 python3案例和总结fastapipython开发语言
    更多内容请见：python3案例和总结-专栏介绍和目录文章目录一.介绍二.关键特性三.几个常用案例3.1第一个案例3.1.2使用浏览器访问:[http://127.0.0.1:8000/items/5?q=somequery](http://127.0.0.1:8000/items/5?q=somequery)3.1.3你已经创建了一个具有以下功能的API：3.1.4交互式API文档3.2自定义响
  • 零基础入门：用 Tkinter 打造多功能计时器 安东尼唐 python青少年编程用户界面
    零基础入门：用Tkinter打造多功能计时器前言：关于本教程本教程将带你从零开始理解并实现一个包含倒计时和秒表功能的多功能计时器。我们会逐行解析代码逻辑，即使你没有Tkinter基础，也能通过跟随教程掌握GUI程序的开发思路。所有代码保持原样，你只需专注于理解每个部分的作用即可。准备工作：环境与工具在开始前，请确保你的电脑已安装：Python3.x（推荐3.7及以上版本）任意代码编辑器（如VSCo
  • PythonGUI之TKinter实现学生信息管理系统（Python+TKinter+CSV读写操作） 安东尼唐 python开发语言
    学生信息管理系统（Python3.10+TKinter）项目介绍本教程将带领大家使用Python的TKinter库制作一个简单的学生信息管理系统，该系统可以实现学生信息的展示、添加和删除功能，数据将保存在CSV文件中。即使你是编程零基础，只要按照教程一步步操作，也能完成这个项目。环境准备安装Python：前往Python官网下载并安装Python（建议安装Python3.7及以上版本），安装时记得
  • DBeaverEE连接MongoDB-4.2.8 广彐水厂 大数据mongodblinux数据库
    前置准备CentOS7、mongodb-4.2.8、DBeaverEE-6.3.0想要完成本期视频中所有操作，需要以下准备：MongoDB安装及基本使用-视频教程一、配置修改进入MongoDB安装目录的bin目录，新增mongodb.conf文件，文件内容如下#bind_ip标识允许连接的客户端IP地址，此处设为0.0.0.0，表示允许所有机器连接。也可设置特定机器的IPbind_ip=0.0.0
  • anaconda修改python版本 发际线的忧伤 python开发语言
    Anaconda是一个流行的Python发行版，提供了一个方便的方式来安装Python和许多Python包。Anaconda默认提供了Python2和Python3版本，但有时候我们需要使用不同的Python版本，本文将介绍如何在Anaconda中修改Python版本。一、查看当前Python版本在Anaconda中，我们可以使用conda命令来查看当前Python版本。打开终端或命令提示符，输入
  • Python--Anaconda如何切换python版本
    在Anaconda中切换Python版本可以通过以下几种方法实现：方法1：创建新环境并指定Python版本创建新环境（推荐）：condacreate-n新环境名python=版本号例如创建Python3.8的环境：condacreate-npy38_envpython=3.8激活新环境：condaactivatepy38_env#Windows/Linux/macOS(conda4.6+)验证版本
  • 在 Windows 使用 Nginx/HAProxy 实现负载均衡 程序员乐逍遥 系统架构专题windowsnginx负载均衡
    在本实验中，我们将在Windows系统上使用Python编写一个TCP服务器，并启动两个服务实例。然后使用Nginx或HAProxy作为负载均衡器，将来自多个客户端的请求分发到这两个服务实例上，验证负载均衡效果。环境准备操作系统：Windows10/Windows11Python3.x（建议使用Python3.10+）NginxforWindows或HAProxyforWindows10个客户端（
  • 【算法竞赛学习笔记】基础算法篇：枚举
    前言本文为个人学习的算法学习笔记，学习笔记，学习笔记，不是经验分享与教学，不是经验分享与教学，不是经验分享与教学，若有错误各位大佬轻喷(T^T)。主要使用编程语言为Python3，各类资料题目源于网络，主要自学途径为蓝桥云课，侵权即删。算法思想枚举即通过遍历所有可能情况得到目标结果（暴力求解）。将问题空间划分为一系列离散的状态,并通过遍历这些状态来寻找解决方案。题目特征求解多个数，多种情况，有限制
  • 【算法竞赛学习笔记】基础算法篇：二分 悠哉悠哉愿意 算法学习笔记学习笔记python算法
    前言本文为个人学习的算法学习笔记，学习笔记，学习笔记，不是经验分享与教学，不是经验分享与教学，不是经验分享与教学，若有错误各位大佬轻喷(T^T)。主要使用编程语言为Python3，各类资料题目源于网络，主要自学途径为蓝桥云课，侵权即删。算法思想用中间值逼近某个值求解无理数根号n，可先确定一个范围，通过中点不断缩小这个范围从而估算无理数的值。二分法：每次将搜索范围缩小一半，可以在O(logn)时间内
  • danted 使用 雨声不在 danted
    这个只是个人小实验，请勿用于生产环境基本使用可以这样配置部署：#安装apt-getupdateapt-getinstalldante-serveradduser--no-create-home--shell/usr/sbin/nologindante-socks#启动代理nohup/usr/sbin/danted-f/etc/danted.conf&#本机验证转发curl-xsocks5h://1
  • Python 3.7.2官方文档全解析：从入门到精通 泓三宝
    本文还有配套的精品资源，点击获取简介：Python3.7.2官方文档是一个全面的资源，为初学者和有经验的开发者提供Python编程语言的所有特性和功能。文档详尽地介绍了Python的基础语法、面向对象编程、异常处理、标准库、文件操作、模块和包、生成器、上下文管理器、函数式编程、类型注解、异步编程、元编程、性能分析和错误调试等多个方面的关键知识。学习这些内容能够帮助开发者理解和掌握Python编程的
  • 第72讲：MySQL数据库锁机制剖析：行级锁、间隙锁与临键锁详解及应用指南 Jiangxl~ 《MySQLDBA封神打怪之路》#《Python基础语法入门篇》数据库mysql云计算运维数据结构链表
    文章目录1.行级锁的概念2.行锁的概念以及基本使用2.1.行锁的概念2.2.常见的SQL语句所对应的行锁类别2.3.行锁的基本使用3.间隙锁和临键锁的概念以及基本使用3.1.间隙锁和临键锁的概念3.2.间隙锁和临键锁的基本使用1.行级锁的概念行级锁指的是，每次操作锁住的是表中一行的数据，锁的力度最小，发生锁冲突的概率也是最低的，并且并发度也是最高的，行级锁主要应用于InnoDB存储引擎中。在Inn
  • 【Python深入浅出㉛】Python3多线程：解锁高效并发编程 奔跑吧邓邓子 Python深入浅出python开发语言多线程
    目录一、引言二、Python3多线程基础（一）线程与进程的区别（二）多线程的优势（三）Python3中的线程模块三、Python3多线程的使用方法（一）函数式创建线程（二）类式创建线程（三）线程的基本方法四、线程同步与锁机制（一）为什么需要线程同步（二）锁的类型与使用（三）死锁问题及解决方法五、多线程应用场景（一）网络编程（二）文件处理（三）数据分析六、多线程常见问题与解决方案（一）GIL（全局解
  • 机器学习实战笔记（四）：决策树（Python3 实现） max_bay 机器学习实战笔记机器学习实战决策树python
    1决策树的构造1.1决策树的特点优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型。在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划分为几个数据子集。这些数据子集会分
  • 壁纸管理 API 文档 william️_Aaron pythonflaskfastapi
    壁纸管理API文档环境：Python3.9+、Flask2.x、PyMySQL1.x运行：pythonapp.py监听：http://0.0.0.0:5000通用响应格式{"code":200,//业务码：200成功，201创建成功，400参数错误，404资源不存在，500服务器错误"message":"success","data":{...},//具体数据"total":10//部分列表接口返
  • 爬虫逆向：一篇文章掌握 Hopper 的详细使用（macOS 和 Linux 反汇编程序：对可执行文件进行静态分析） 数据知道 爬虫和逆向教程macoslinux运维爬虫逆向数据采集
    文章目录一、Hopper概述1.1Hopper介绍和用途1.2界面介绍1.3相关概念说明1.4安装二、基本使用2.1打开二进制文件2.2汇编模式2.3CFG模式2.4伪代码2.5十六进制模式三、浏览文件3.1段和节3.2符号、标签和字符串3.3导航堆栈3.4导航栏3.5使用检查器四、修改文件4.1十六进制编辑器4.2汇编程序更多内容请见：爬虫和逆向教程-专栏介绍和目录文章目录一、Hopper概述1
  • Python库 python-pyper 的详细使用（优秀的并发数据处理框架） 数据知道 python3案例和总结python开发语言
    更多内容请见：python3案例和总结-专栏介绍和目录文章目录一、Python-pyper概述1.1Python-pyper介绍1.2安装1.3核心概念1.4的核心优势：1.5典型应用场景二、基础使用2.1创建简单流水线2.2并发执行三、高级使用3.1多阶段流水线3.2批处理模式3.3错误处理3.4执行器配置-使用不同后端3.5自定义执行器3.6数据ETL流程3.7日志处理系统3.8动态批处理3.
  • Conda 基本使用指南（Linux 入门版） 0基础入门教学 small_jimmy Linux虚拟机condalinux
    Conda基本使用指南（Linux入门版）适合刚接触Linux和Conda的新手！1、Conda下载与安装（以Miniconda为例）①下载安装包打开终端输入：wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh说明：wget是Linux常用的下载工具。如果提示没有wget，可以安装：sudoaptupd
  • tomcat基础与部署发布 暗黑小菠萝 Tomcat java web
    从51cto搬家了，以后会更新在这里方便自己查看。 做项目一直用tomcat，都是配置到eclipse中使用，这几天有时间整理一下使用心得，有一些自己配置遇到的细节问题。 Tomcat：一个Servlets和JSP页面的容器，以提供网站服务。 一、Tomcat安装     安装方式：①运行.exe安装包      &n
  • 网站架构发展的过程 ayaoxinchao 数据库应用服务器网站架构
    1.初始阶段网站架构：应用程序、数据库、文件等资源在同一个服务器上 2.应用服务和数据服务分离：应用服务器、数据库服务器、文件服务器 3.使用缓存改善网站性能：为应用服务器提供本地缓存，但受限于应用服务器的内存容量，可以使用专门的缓存服务器，提供分布式缓存服务器架构 4.使用应用服务器集群改善网站的并发处理能力：使用负载均衡调度服务器，将来自客户端浏览器的访问请求分发到应用服务器集群中的任何
  • [信息与安全]数据库的备份问题 comsci 数据库
          如果你们建设的信息系统是采用中心-分支的模式,那么这里有一个问题   如果你的数据来自中心数据库,那么中心数据库如果出现故障,你的分支机构的数据如何保证安全呢?    是否应该在这种信息系统结构的基础上进行改造,容许分支机构的信息系统也备份一个中心数据库的文件呢?  &n
  • 使用maven tomcat plugin插件debug关联源代码 商人shang mavendebug查看源码tomcat-plugin
    *首先需要配置好'''maven-tomcat7-plugin'''，参见[[Maven开发Web项目]]的'''Tomcat'''部分。 *配置好后，在[[Eclipse]]中打开'''Debug Configurations'''界面，在'''Maven Build'''项下新建当前工程的调试。在'''Main'''选项卡中点击'''Browse Workspace...'''选择需要开发的
  • 大访问量高并发 oloz 大访问量高并发
    大访问量高并发的网站主要压力还是在于数据库的操作上，尽量避免频繁的请求数据库。下面简 要列出几点解决方案： 01、优化你的代码和查询语句，合理使用索引 02、使用缓存技术例如memcache、ecache将不经常变化的数据放入缓存之中 03、采用服务器集群、负载均衡分担大访问量高并发压力 04、数据读写分离 05、合理选用框架，合理架构(推荐分布式架构)。
  • cache 服务器 小猪猪08 cache
    Cache   即高速缓存.那么cache是怎么样提高系统性能与运行速度呢？是不是在任何情况下用cache都能提高性能？是不是cache用的越多就越好呢？我在近期开发的项目中有所体会，写下来当作总结也希望能跟大家一起探讨探讨，有错误的地方希望大家批评指正。 　　1.Cache   是怎么样工作的? 　　Cache   是分配在服务器上
  • mysql存储过程 香水浓 mysql
    Description:插入大量测试数据 use xmpl; drop procedure if exists mockup_test_data_sp; create procedure mockup_test_data_sp( in number_of_records int ) begin declare cnt int; declare name varch
  • CSS的class、id、css文件名的常用命名规则 agevs JavaScriptUI框架Ajaxcss
      CSS的class、id、css文件名的常用命名规则     (一)常用的CSS命名规则 　　头：header 　　内容：content/container 　　尾：footer 　　导航：nav 　　侧栏：sidebar 　　栏目：column 　　页面外围控制整体布局宽度：wrapper 　　左右中：left right
  • 全局数据源 AILIKES javatomcatmysqljdbcJNDI
    实验目的：为了研究两个项目同时访问一个全局数据源的时候是创建了一个数据源对象，还是创建了两个数据源对象。 1：将diuid和mysql驱动包（druid-1.0.2.jar和mysql-connector-java-5.1.15.jar）copy至%TOMCAT_HOME%/lib下；2：配置数据源，将JNDI在%TOMCAT_HOME%/conf/context.xml中配置好,格式如下：&l
  • MYSQL的随机查询的实现方法 baalwolf mysql
    MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablename ORDER BY RAND() LIMIT 1。但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中，
  • JAVA的getBytes()方法 bijian1013 javaeclipseunixOS
        在Java中，String的getBytes()方法是得到一个操作系统默认的编码格式的字节数组。这个表示在不同OS下，返回的东西不一样！      String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示，如： byte[] b_gbk = "
  • AngularJS中操作Cookies bijian1013 JavaScriptAngularJSCookies
            如果你的应用足够大、足够复杂，那么你很快就会遇到这样一咱种情况：你需要在客户端存储一些状态信息，这些状态信息是跨session(会话)的。你可能还记得利用document.cookie接口直接操作纯文本cookie的痛苦经历。         幸运的是，这种方式已经一去不复返了，在所有现代浏览器中几乎
  • [Maven学习笔记五]Maven聚合和继承特性 bit1129 maven
    Maven聚合   在实际的项目中，一个项目通常会划分为多个模块，为了说明问题，以用户登陆这个小web应用为例。通常一个web应用分为三个模块： 1. 模型和数据持久化层user-core, 2. 业务逻辑层user-service以 3. web展现层user-web， user-service依赖于user-core user-web依赖于user-core和use
  • 【JVM七】JVM知识点总结 bit1129 jvm
      1. JVM运行模式 1.1 JVM运行时分为-server和-client两种模式，在32位机器上只有client模式的JVM。通常，64位的JVM默认都是使用server模式，因为server模式的JVM虽然启动慢点，但是，在运行过程，JVM会尽可能的进行优化 1.2 JVM分为三种字节码解释执行方式：mixed mode, interpret mode以及compiler
  • linux下查看nginx、apache、mysql、php的编译参数 ronin47
    在linux平台下的应用，最流行的莫过于nginx、apache、mysql、php几个。而这几个常用的应用，在手工编译完以后，在其他一些情况下（如：新增模块），往往想要查看当初都使用了那些参数进行的编译。这时候就可以利用以下方法查看。 1、nginx [root@361way ~]# /App/nginx/sbin/nginx -V nginx: nginx version: nginx/
  • unity中运用Resources.Load的方法？ brotherlamp unity视频unity资料unity自学unityunity教程
    问：unity中运用Resources.Load的方法？ 答：Resources.Load是unity本地动态加载资本所用的方法,也即是你想动态加载的时分才用到它,比方枪弹,特效,某些实时替换的图像什么的,主张此文件夹不要放太多东西,在打包的时分,它会独自把里边的一切东西都会集打包到一同,不论里边有没有你用的东西,所以大多数资本应该是自个建文件放置 1、unity实时替换的物体即是依据环境条件
  • 线段树-入门 bylijinnan java算法线段树
    /** * 线段树入门 * 问题：已知线段[2,5] [4,6] [0,7]；求点2,4,7分别出现了多少次 * 以下代码建立的线段树用链表来保存，且树的叶子结点类似[i,i] * * 参考链接：http://hi.baidu.com/semluhiigubbqvq/item/be736a33a8864789f4e4ad18 * @author lijinna
  • 全选与反选 chicony 全选
      <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <title>全选与反选</title>
  • vim一些简单记录 chenchao051 vim
    mac在/usr/share/vim/vimrc linux在/etc/vimrc   1、问：后退键不能删除数据，不能往后退怎么办？       答：在vimrc中加入set backspace=2   2、问：如何控制tab键的缩进？       答：在vimrc中加入set tabstop=4 (任何
  • Sublime Text 快捷键 daizj 快捷键sublime
    [size=large][/size]Sublime Text快捷键：Ctrl+Shift+P：打开命令面板Ctrl+P：搜索项目中的文件Ctrl+G：跳转到第几行Ctrl+W：关闭当前打开文件Ctrl+Shift+W：关闭所有打开文件Ctrl+Shift+V：粘贴并格式化Ctrl+D：选择单词，重复可增加选择下一个相同的单词Ctrl+L：选择行，重复可依次增加选择下一行Ctrl+Shift+L：
  • php 引用(&)详解 dcj3sjt126com PHP
    在PHP 中引用的意思是：不同的名字访问同一个变量内容. 与Ｃ语言中的指针是有差别的．Ｃ语言中的指针里面存储的是变量的内容在内存中存放的地址 变量的引用 PHP 的引用允许你用两个变量来指向同一个内容  复制代码代码如下: <?  $a="ABC";  $b =&$a;  echo
  • SVN中trunk,branches,tags用法详解 dcj3sjt126com SVN
    Subversion有一个很标准的目录结构，是这样的。比如项目是proj，svn地址为svn://proj/，那么标准的svn布局是svn://proj/|+-trunk+-branches+-tags这是一个标准的布局，trunk为主开发目录，branches为分支开发目录，tags为tag存档目录（不允许修改）。但是具体这几个目录应该如何使用，svn并没有明确的规范，更多的还是用户自己的习惯。
  • 对软件设计的思考 e200702084 设计模式数据结构算法ssh活动
    软件设计的宏观与微观    软件开发是一种高智商的开发活动。一个优秀的软件设计人员不仅要从宏观上把握软件之间的开发，也要从微观上把握软件之间的开发。宏观上，可以应用面向对象设计，采用流行的SSH架构，采用web层，业务逻辑层，持久层分层架构。采用设计模式提供系统的健壮性和可维护性。微观上，对于一个类，甚至方法的调用，从计算机的角度模拟程序的运行情况。了解内存分配，参数传
  • 同步、异步、阻塞、非阻塞 geeksun 非阻塞
    同步、异步、阻塞、非阻塞这几个概念有时有点混淆，在此文试图解释一下。   同步：发出方法调用后，当没有返回结果，当前线程会一直在等待（阻塞）状态。 场景：打电话，营业厅窗口办业务、B/S架构的http请求-响应模式。   异步：方法调用后不立即返回结果，调用结果通过状态、通知或回调通知方法调用者或接收者。异步方法调用后，当前线程不会阻塞，会继续执行其他任务。 实现：
  • Reverse SSH Tunnel 反向打洞實錄 hongtoushizi ssh
    實際的操作步驟： # 首先，在客戶那理的機器下指令連回我們自己的 Server，並設定自己 Server 上的 12345 port 會對應到幾器上的 SSH port ssh -NfR 12345:localhost:22 [email protected] # 然後在 myhost 的機器上連自己的 12345 port，就可以連回在客戶那的機器 ssh localhost -p 1
  • Hibernate中的缓存 Josh_Persistence 一级缓存Hiberante缓存查询缓存二级缓存
    Hibernate中的缓存   一、Hiberante中常见的三大缓存：一级缓存，二级缓存和查询缓存。 Hibernate中提供了两级Cache，第一级别的缓存是Session级别的缓存，它是属于事务范围的缓存。这一级别的缓存是由hibernate管理的，一般情况下无需进行干预；第二级别的缓存是SessionFactory级别的缓存，它是属于进程范围或群集范围的缓存。这一级别的缓存
  • 对象关系行为模式之延迟加载 home198979 PHP架构延迟加载
    形象化设计模式实战     HELLO!架构   一、概念 Lazy Load：一个对象，它虽然不包含所需要的所有数据，但是知道怎么获取这些数据。 延迟加载貌似很简单，就是在数据需要时再从数据库获取，减少数据库的消耗。但这其中还是有不少技巧的。     二、实现延迟加载 实现Lazy Load主要有四种方法：延迟初始化、虚
  • xml 验证 pengfeicao521 xmlxml解析
    有些字符，xml不能识别，用jdom或者dom4j解析的时候就报错 public static void testPattern() { // 含有非法字符的串 String str =       "Jamey&#52828;&#01;&#02;&#209;&#1282
  • div设置半透明效果 spjich css半透明
    为div设置如下样式：   div{filter:alpha(Opacity=80);-moz-opacity:0.5;opacity: 0.5;}        说明： 1、filter：对win IE设置半透明滤镜效果，filter:alpha(Opacity=80)代表该对象80%半透明，火狐浏览器不认2、-moz-opaci
  • 你真的了解单例模式么？ w574240966 java单例设计模式jvm
        单例模式，很多初学者认为单例模式很简单，并且认为自己已经掌握了这种设计模式。但事实上，你真的了解单例模式了么。   一，单例模式的5中写法。（回字的四种写法，哈哈。）     1，懒汉式           （1）线程不安全的懒汉式 public cla
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他