GHope
GHope

Pandas（数据清洗）

在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。 这工作会占到分析师时间的80%或更多。

pandas和内置的Python标准库提供了一组高级的、灵活的、快速的工具，可以让你轻松地将数据规整为想要的格式。

处理缺失数据

检测缺失数据

Pandas（数据清洗）_第1张图片
检测

在统计应用中，NA数据可能是不存在的数据或者虽然存在，但是没有观察到（例如，数据采集中发生了问题）。当进行数据清洗以进行分析时，好直接对缺失数据进行分析，以判断数据采集的问题或缺失数据可能导致的偏差。

Python内置的None值在对象数组中也可以作为NA：

Pandas（数据清洗）_第2张图片
None

滤除缺失数据

Pandas（数据清洗）_第3张图片
滤除缺失

DataFrame对象，dropna默认丢弃任何含有缺失值的行

Pandas（数据清洗）_第4张图片
丢弃含有缺失值的行

传入how=‘all’将只丢弃全为NA的行

Pandas（数据清洗）_第5张图片
丢弃全为NA的行

将特殊值置为NA之后进行相关操作

Pandas（数据清洗）_第6张图片
根据非NA的个数决定是否删除

填充缺失数据

fillna方法是主要的函数。通过一个常数调用fillna就会将缺失值替换为那个常数值。

Pandas（数据清洗）_第7张图片
常数替换

通过一个字典调用fillna，就可以实现对不同的列填充不同的值。

Pandas（数据清洗）_第8张图片
字典参数，实现分列填值

fillna默认会返回新对象，但也可以对现有对象进行就地修改。

Pandas（数据清洗）_第9张图片
默认返回对象，也可以就地修改

对reindexing有效的那些插值方法也可用于fillna

Pandas（数据清洗）_第10张图片
插值方法

传入Series的平均值或中位数

Pandas（数据清洗）_第11张图片
传入平均值

数据转换

移除重复数据

Pandas（数据清洗）_第12张图片
重复数据

DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行

Pandas（数据清洗）_第13张图片
判断是否是重复行

drop_duplicates方法，它会返回一个DataFrame，重复的数组会标为False

Pandas（数据清洗）_第14张图片
返回无重复行的数组

只希望根据k1列过滤重复项

Pandas（数据清洗）_第15张图片
指定列去重

duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入keep=‘last’则保留最后一个

Pandas（数据清洗）_第16张图片
指定多列去重并选择保留值

利用函数或映射进行数据转换

根据数组、Series或DataFrame列中的值来实现转换工作

Pandas（数据清洗）_第17张图片
数据准备

添加一列表示该肉类食物来源的动物类型。我们先编写一个不同肉类到动物的映射

Pandas（数据清洗）_第18张图片
映射

使用Series的str.lower方法，将各个值转换为小写

Pandas（数据清洗）_第19张图片
完成映射

也可以传入一个能够完成全部这些工作的函数

Pandas（数据清洗）_第20张图片
一个函数搞定

替换值

Pandas（数据清洗）_第21张图片
数据准备

-999这个值可能是一个表示缺失数据的标记值。要将其替换为pandas能够理解的NA值

Pandas（数据清洗）_第22张图片
替换缺失数据

一次性替换多个值

Pandas（数据清洗）_第23张图片
替换多个缺失数据

让每个值有不同的替换值，可以传递一个替换列表

Pandas（数据清洗）_第24张图片
对应替换多个缺失数据

你可能感兴趣的:(Pandas（数据清洗）)

  • Pandas：数据科学的超级瑞士军刀 科技林总 DeepSeek学AI人工智能
    **——从零基础到高效分析的进化指南**###**一、Pandas诞生：数据革命的救世主****2010年前的数据分析噩梦**：```python#传统Python处理表格数据data=[]forrowincsv_file:ifrow[3]>100androw[2]=="China":data.append(float(row[5])#代码冗长易错！```**核心痛点**：-Excel处理百万行崩
  • 一个开源AI牛马神器 | AiPy，平替Manus，装完直接上手写Python！ Agent加载失败 人工智能python开源算法AI编程
    还记得三个月前那个在闲鱼被炒到万元邀请码的Manus吗？现在你点官网，直接提示「所在地区不可用」了它走了，但更香的国产开源项目出现了：AiPy（爱派）。主打一个极致简化的AIAgent理念：别搞什么插件市场、Agent路由，直接给AI一个Python解释器，让它用自然语言写代码干活。听起来狠活？实际体验更狠：•完全本地化，界面傻瓜式操作，支持自然语言生成&执行Python任务；•数据清洗、文档总结
  • 使用Python操作Excel，删重复数据及keep参数用法并保存的例子 白帽黑客艾登 pythonexcel开发语言Python编程Python学习技能分享
    01Ex按列标题删重复的数据解析：我们使用了pandas库读取Excel文件，并使用drop_duplicates()函数删除重复数据。其中，subset参数指定了删除重复数据的列（列名），keep参数指定了保留哪个重复记录（默认为第一个记录）。inplace=True参数表示在原始数据上进行操作。最后，我们使用to_excel()函数将处理后的数据，保存到一个新的Excel文件中，其中index
  • 【Python高阶开发】1. Pandas工业级时序数据处理实战：从振动传感器数据到轴承故障预警系统 AI_DL_CODE pythonpandas时序数据处理振动传感器工业数据清洗特征工程
    摘要：在工业设备健康监测中，振动传感器数据是评估设备状态的核心依据，但高频噪声干扰、数据传输缺失、多设备时间戳错位等问题严重影响分析准确性。本文基于PythonPandas构建工业级时序数据处理流水线，提出"时间校正-缺失填充-噪声过滤-特征提取"四步清洗法，针对工业场景设计专用策略：短时缺失采用线性插值、长时缺失标记异常，振动数据结合移动平均与Z-score检测保留真实特征。通过时域（峰值、峭度
  • 使用 PyTorch 和 Pandas 进行 Kaggle 房价预测 Clang's Blog AIpytorchpandas人工智能
    文章目录1、环境设置2、数据下载3、数据预处理4、模型构建5、训练和验证6、训练模型并生成预测结果7、完整代码在本篇博文中，我们将探索如何使用PyTorch和Pandas库，构建一个用于Kaggle房价预测的模型。我们将详细讨论数据加载、预处理、模型构建、训练、验证及最终预测的全过程。1、环境设置我们首先需要导入所需的库，包括用于数据处理的pandas和numpy，以及用于深度学习的torch。i
  • Python爬虫【五十八章】Python数据清洗与分析全攻略：从Pandas到深度学习的异常检测进阶 程序员_CLUB Python入门到进阶python爬虫pandas
    目录背景与需求分析第一章：结构化数据清洗实战（Pandas核心技法）1.1数据去重策略矩阵1.2智能缺失值处理体系第二章：深度学习异常检测进阶2.1自动编码器异常检测（时序数据）2.2图神经网络异常检测（关系型数据）第三章：综合案例实战案例1：金融交易反欺诈系统案例2：工业传感器异常检测第四章：性能优化与工程实践4.1大数据处理加速技巧4.2模型部署方案第五章：方法论总结与展望5.1方法论框架5.
  • 【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 微博文章数据可视化分析-文章分类下拉框实现 java1234_小锋 NLPNLLP微博舆情分析python自然语言处理flask
    大家好，我是java1234_小锋老师，最近写了一套【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts)视频教程，持续更新中，计划月底更新完，感谢支持。今天讲解微博文章数据可视化分析-文章分类下拉框实现视频在线地址：2026版【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts+爬虫)视频教程（火爆连载更
  • Python与机器学习库Scikit-learn进阶 master_chenchengg pythonpythonPythonpython开发IT
    Python与机器学习库Scikit-learn进阶Scikit-learn进阶之旅：从新手到高手的必经之路为什么选择Scikit-learn？安装与环境设置特征工程的艺术：打造更强大的预测模型数据清洗特征构造模型调优秘籍：网格搜索与交叉验证的最佳实践网格搜索交叉验证集成学习的魅力：提升模型性能的组合拳随机森林梯度提升机堆叠实战案例解析：使用Scikit-learn解决真实世界问题数据准备模型训练
  • 【Python】pandas.cut()函数的用法
    pandas.cut()函数是一个非常有用的工具，用于将数值型数据按照指定的分箱或区间进行分割，从而将连续的数值变量转换为离散的类别变量。这在数据分析和机器学习的特征工程中尤其有用，因为它可以帮助揭示不同区间内的数据分布特征，或者简化模型的输入。基本用法pandas.cut()的基本语法如下：pandas.cut(x,bins,right=True,labels=None,retbins=Fals
  • 基于Python的酒店订单数据分析与可视化实战 不若浮生一梦 python作业python数据分析开发语言
    本文将通过一个酒店订单数据集，展示如何使用Python进行完整的数据分析流程，包括数据清洗、特征工程、探索性分析、可视化以及业务洞察，适合数据分析初学者或想通过项目提升数据思维的开发者。一、项目背景随着旅游业的迅速发展，酒店运营者越来越依赖数据分析来提升客户体验与优化收益管理。本项目基于某国际连锁酒店集团提供的真实订单数据，包含超过10万条记录，涵盖订单类型、顾客行为、取消情况等多个维度。目标是通
  • Python Pandas.cut函数解析与实战教程 皓月照山川 pandaspythonpandas开发语言
    PythonPandas.cut函数解析与实战教程摘要pandas.cut是数据分析工具库Pandas中一个极其强大且常用的函数。它的核心功能是将连续的数值型数据根据指定的间断点（bins）进行分割，转换成离散化的区间类别（categoricaldata）。这种操作在数据预处理、特征工程和数据可视化中至关重要，例如，将用户的年龄分段、将考试分数评级、或将销售额划分为不同的等级。本文章将从基础用法到
  • AI技术落地的综合实战经验报告，结合最新行业案例、代码示例及可视化图表，系统阐述AI在开发提效、算法优化与行业应用中的实践路径。
    一、自动化开发革命：从代码生成到低代码架构1.1自然语言转代码（NL2Code）实战技术架构基于GPT-4/Codex的代码生成器实现以下流程：graphTDA[自然语言输入]-->B(GPT-4/Codex解析)B-->C{代码解析器}C-->D[Python/Java/SQL]C-->E[测试用例]D-->F[代码质量检测]F-->G[可执行程序]典型场景：数据清洗函数生成python#输入提
  • 实践篇：构建基于LLM与本地Pandas的混合式数据分析引擎 超人阿亚 pandas数据分析数据挖掘
    公众号：dify实验室基于LLMOps平台-Dify的一站式学习平台。包含不限于：Dify工作流案例、DSL文件分享、模型接入、Dify交流讨论等各类资源分享。在上一篇《思路探索：当大型语言模型遇见数据分析的现实挑战》中，我们阐述了团队确立的技术路线：利用大型语言模型（LLM）作为自然语言到代码的“翻译器”，并结合PythonPandas库作为后端的高性能“计算核心”。本文将从工程实践的角度，详细
  • python小工具合集 Aronup pythonexcel开发语言
    小工具合集1.python切分excel2.python检查excel输出每列最大长度[目录下所有文件or目录下每个文件]1.python切分excel"""@Project：pythonProject@File：splitFile.py@IDE：PyCharm@Author：alice@Date：2025/3/2113:48"""importpandasaspdimportosdefsplit_
  • 代谢组数据分析（二十四）：基于tidymass包从质谱原始数据到代谢物注释结果的实践指南 生信学习者1 代谢组数据分析(2025版)数据分析数据挖掘r语言数据可视化
    禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者!文章目录介绍加载R包数据准备原始数据处理导入massDataset数据对象交互图数据探索更新样本表格信息峰分布情况缺失值情况数据清洗数据质量评估去除噪声代谢特征过滤立群样本填补缺失值数据标准化和整合预处理后评估代谢物注释增加MS2图谱到数据对象数据库1注释数据库2注释数据库3注释结果统计分析剔除无注释代谢物追踪数据对象的相
  • pandas.to_sql mysql_pandas to_sql weixin_39929595 pandas.to_sqlmysql
    实例：importpymysqlimportpandasaspdimportnumpyasnpfromsqlalchemyimportcreate_enginedf=pd.DataFrame([[1,"Bob",0],[2,"Kim",1]],columns=["id","name","sex"])dfidnamesex01Bob012Kim1fromsqlalchemyimportcreate_
  • pandas 读取sqlserver_Python中pandas函数操作数据库
    将pandas的DataFrame数据写入MySQL+sqlalchemypython强大的处理数据的能力很大一部分来自Pandas，pandas不仅限于读取本地的离线文件，也可以在线读取数据库的数据，处理后再写回数据库中。pandas主要是以sqlalchemy方式与数据库建立链接，支持Mysql、postgresql、Oracle、MSSQLServer、SQLite等主流数据库。一：创建链接
  • DataFrame（数据框） 追逐此刻 SQLsql
    一种二维表格型数据结构，类似于电子表格（如Excel）或SQL表，由行（记录）和列（字段）组成。它是数据分析、机器学习和科学计算中最常用的数据结构之一，尤其在Python的Pandas库中被广泛使用。1.DataFrame的核心特点特点说明二维结构类似表格，有行（记录）和列（字段）。列名（ColumnNames）每列有一个名称（如name,age,salary）。行索引（Index）每行有一个索引
  • Python 数据分析实战：洞察 2025 热门行业发展新态势
    目录一、案例背景二、代码实现2.1数据收集2.2数据探索性分析2.3数据清洗2.4数据分析2.4.1人工智能技术热点挖掘2.4.2汽车行业市场趋势分析2.4.3能源行业绿色能源发展预测三、主要的代码难点解析3.1数据收集3.2数据清洗-汽车市场数据异常值处理3.3数据分析-人工智能技术热点挖掘3.4数据分析-汽车行业市场趋势分析3.5数据可视化四、可能改进的代码4.1数据收集改进4.2数据清洗改进
  • 数据编辑器所具备的数据整理功能 ykjhr_3d 编辑器
    在企业的数据处理过程中，数据清洗与整理是至关重要的环节，而数据编辑器在这方面发挥着关键作用。在一份包含客户信息的数据表中，常常会出现缺失值的情况。比如客户的年龄、联系方式等字段可能因为各种原因没有被记录，这就形成了缺失值。数据编辑器提供了多种处理缺失值的方法。对于数值型变量，如客户的消费金额，如果存在缺失值，可以使用均值、中位数等方法进行填补。假设一家电商企业的数据表中，部分客户的某次消费金额缺失
  • day 34 打卡 weixin_39908253 AI学习笔记python机器学习
    day21常见的降维算法#先运行之前预处理好的代码importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsimportwarningswarnings.filterwarnings('ignore')#设置中文字体plt.rcParams['font.sans-serif']=['SimHei']pl
  • 论文复现 Rank consistent ordinal regression for neural networks withapplication to age estimation DeniuHe Pytorch算法
    importtorchimporttorch.nn.functionalasFfromtorchimportnnfromtorch.autogradimportVariableimportpandasaspdimportnumpyasnpfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccurac
  • Pytorch实现目标检测
    importosimportrandomimportpandasaspdimportnumpyasnpimportcv2fromsklearn.model_selectionimporttrain_test_splitimporttorchfromtorch.utils.dataimportDataset,DataLoaderimporttorch.nnasnnimporttorch.nn.fun
  • 【Python高阶开发】2. Dask分布式加速实战：TB级生产日志分析效率提升指南
    摘要：随着工业4.0的深入推进，工业生产日志数据量呈指数级增长，某汽车制造厂日均产生2TB生产日志，传统单机Pandas处理面临内存不足、耗时过长、资源利用率低三大瓶颈。本文基于Dask分布式计算框架，构建工业级日志分析解决方案，通过“集群部署-高效加载-数据处理-性能优化”四步法，实现日志分析效率5倍提升。详细阐述Dask核心原理（任务调度、延迟计算、数据分区），对比单机与分布式架构差异，提供从
  • R语言-数据清洗-缺失值处理 刘大帅1
    当对数据库中的芯片进行id转换后有许多NA值，这时候需要将这些数据值删掉。缺失值处理包括两个步骤，即缺失数据的识别和缺失值处理。在R语言总缺失值以NA表示，可以使用函数is.na()判断缺失值是否存在，函数complete.cases()可识别样本数据是否完整从而判断缺失情况。缺失值处理常用方法有删除法、替换法、插补法。（1）删除法：可分为删除观测样本与删除变量。删除观测样本通过na.omit()
  • go语言trim的使用 许墨の小蝴蝶 golang
    在Go语言中，`strings.Trim`函数用于去除字符串**首尾**指定的字符集。通过该函数，您可以灵活地删除字符串开头和结尾的特定字符，使字符串符合预期的格式。####主要作用1.**数据清洗**：处理用户输入或外部数据时，去除首尾不需要的字符，如空格、标点符号等。2.**字符串格式化**：确保字符串以特定的格式呈现，便于后续处理或展示。####函数签名```gofuncTrim(sstri
  • 如何在 Python 中高效处理大数据：Pandas 的实战技巧 程序员威哥 python大数据pandas
    随着数据量的不断增大，Python成为数据科学和数据分析领域最受欢迎的编程语言之一。Pandas，作为Python中处理数据的强大库，以其简洁易用和强大的功能，成为数据分析的首选工具。然而，随着数据量的急剧增长，如何高效地处理和分析大数据成为了一个关键问题。本文将深入解析如何利用Pandas高效处理大数据，探索一些实用的技巧，帮助你提升数据处理性能和优化内存使用，让你能够在大数据分析中游刃有余。1
  • python学习DAY4打卡 星仔编程 python学习打卡学习
    DAY4缺失值的处理题目：初识pandas库与缺失数据的补全pandas是Python里一个强大且广泛使用的开源数据分析与处理库按照示例代码的要求，去尝试补全信贷数据集中的数值型缺失值打开数据（csv文件、excel文件）查看数据（尺寸信息、查看列名等方法）查看空值众数、中位数填补空值利用循环补全所有列的空值完成后在py文件中独立完成一遍，并且利用debugger工具来查看属性（不借助函数显式查看
  • python学习Day5打卡 WYH49 学习
    day5离散特征的独热编码先按照示例代码过一遍，然后完成下列题目现在在py文件中一次性处理data数据中所有的连续变量和离散变量1.读取data数据importpandasaspddata=pd.read_csv(r"C:\Users\LENOVO\Desktop\daim\data.csv")fordesribe_featuresindata.columns:ifdata[desribe_fea
  • python学习DAY22打卡 星仔编程 python学习打卡学习
    作业：自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码kaggle泰坦尼克号人员生还预测importwarningswarnings.filterwarnings("ignore")#忽略警告信息#数据处理清洗包importpandasaspdimportnumpyasnpimportrandomasrnd#可视化包importseabornassnsimportmatp
  • 辗转相处求最大公约数 沐刃青蛟 C++漏洞
    无言面对”江东父老“了，接触编程一年了，今天发现还不会辗转相除法求最大公约数。惭愧惭愧！   为此，总结一下以方便日后忘了好查找。   1.输入要比较的两个数a,b   忽略：2.比较大小（因为后面要的是大的数对小的数做%操作）   3.辗转相除（用循环不停的取余，如a%b,直至b=0）   4.最后的a为两数的最大公约数 &
  • F5负载均衡会话保持技术及原理技术白皮书 bijian1013 F5负载均衡
    一.什么是会话保持？        在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次交互过程的处理结果，或者上几步的交互过程结果，服务器进行下
  • Object.equals方法：重载还是覆盖 Cwind javagenericsoverrideoverload
    本文译自StackOverflow上对此问题的讨论。 原问题链接   在阅读Joshua Bloch的《Effective Java（第二版）》第8条“覆盖equals时请遵守通用约定”时对如下论述有疑问： “不要将equals声明中的Object对象替换为其他的类型。程序员编写出下面这样的equals方法并不鲜见，这会使程序员花上数个小时都搞不清它为什么不能正常工作：” pu
  • 初始线程 15700786134
          暑假学习的第一课是讲线程，任务是是界面上的一条线运动起来。            既然是在界面上，那必定得先有一个界面，所以第一步就是，自己的类继承JAVA中的JFrame，在新建的类中写一个界面，代码如下： public class ShapeFr
  • Linux的tcpdump 被触发 tcpdump
    用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支 持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。 实用命令实例 默认启动 tcpdump 普通情况下，直
  • 安卓程序listview优化后还是卡顿 肆无忌惮_ ListView
    最近用eclipse开发一个安卓app，listview使用baseadapter，里面有一个ImageView和两个TextView。使用了Holder内部类进行优化了还是很卡顿。后来发现是图片资源的问题。把一张分辨率高的图片放在了drawable-mdpi文件夹下，当我在每个item中显示，他都要进行缩放，导致很卡顿。解决办法是把这个高分辨率图片放到drawable-xxhdpi下。 &nb
  • 扩展easyUI tab控件，添加加载遮罩效果 知了ing jquery
    (function () { $.extend($.fn.tabs.methods, { //显示遮罩 loading: function (jq, msg) { return jq.each(function () { var panel = $(this).tabs(&
  • gradle上传jar到nexus 矮蛋蛋 gradle
    原文地址： https://docs.gradle.org/current/userguide/maven_plugin.html configurations {     deployerJars } dependencies {     deployerJars "org.apache.maven.wagon
  • 千万条数据外网导入数据库的解决方案。 alleni123 sqlmysql
    从某网上爬了数千万的数据，存在文本中。 然后要导入mysql数据库。 悲剧的是数据库和我存数据的服务器不在一个内网里面。。 ping了一下， 19ms的延迟。 于是下面的代码是没用的。 ps = con.prepareStatement(sql); ps.setString(1, info.getYear())............; ps.exec
  • JAVA IO InputStreamReader和OutputStreamReader 百合不是茶 JAVA.io操作 字符流
    这是第三篇关于java.io的文章了，从开始对io的不了解-->熟悉--->模糊，是这几天来对文件操作中最大的感受，本来自己认为的熟悉了的，刚刚在回想起前面学的好像又不是很清晰了，模糊对我现在或许是最好的鼓励 我会更加的去学 加油！： JAVA的API提供了另外一种数据保存途径，使用字符流来保存的，字符流只能保存字符形式的流   字节流和字符的难点：a,怎么将读到的数据
  • MO、MT解读 bijian1013 GSM
    MO= Mobile originate，上行，即用户上发给SP的信息。MT= Mobile Terminate，下行，即SP端下发给用户的信息； 上行:mo提交短信到短信中心下行:mt短信中心向特定的用户转发短信，你的短信是这样的，你所提交的短信，投递的地址是短信中心。短信中心收到你的短信后，存储转发，转发的时候就会根据你填写的接收方号码寻找路由，下发。在彩信领域是一样的道理。下行业务：由SP
  • 五个JavaScript基础问题 bijian1013 JavaScriptcallapplythisHoisting
    下面是五个关于前端相关的基础问题，但却很能体现JavaScript的基本功底。 问题1：Scope作用范围 考虑下面的代码：  (function() { var a = b = 5; })(); console.log(b); 什么会被打印在控制台上？  回答：         上面的代码会打印 5。 &nbs
  • 【Thrift二】Thrift Hello World bit1129 Hello world
    本篇，不考虑细节问题和为什么，先照葫芦画瓢写一个Thrift版本的Hello World，了解Thrift RPC服务开发的基本流程   1. 在Intellij中创建一个Maven模块，加入对Thrift的依赖，同时还要加上slf4j依赖，如果不加slf4j依赖，在后面启动Thrift Server时会报错 <dependency>
  • 【Avro一】Avro入门 bit1129 入门
    本文的目的主要是总结下基于Avro Schema代码生成，然后进行序列化和反序列化开发的基本流程。需要指出的是，Avro并不要求一定得根据Schema文件生成代码，这对于动态类型语言很有用。   1. 添加Maven依赖   <?xml version="1.0" encoding="UTF-8"?> <proj
  • 安装nginx+ngx_lua支持WAF防护功能 ronin47
    需要的软件:LuaJIT-2.0.0.tar.gz                   nginx-1.4.4.tar.gz          &nb
  • java-5.查找最小的K个元素-使用最大堆 bylijinnan java
    import java.util.Arrays; import java.util.Random; public class MinKElement { /** * 5.最小的K个元素 * I would like to use MaxHeap. * using QuickSort is also OK */ public static void
  • TCP的TIME-WAIT bylijinnan socket
    原文连接： http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html 以下为对原文的阅读笔记 说明： 主动关闭的一方称为local end，被动关闭的一方称为remote end 本地IP、本地端口、远端IP、远端端口这一“四元组”称为quadruplet，也称为socket 1、TIME_WA
  • jquery ajax 序列化表单 coder_xpf Jquery ajax 序列化
       checkbox 如果不设定值，默认选中值为on；设定值之后，选中则为设定的值   <input type="checkbox" name="favor" id="favor" checked="checked"/> $("#favor&quo
  • Apache集群乱码和最高并发控制 cuisuqiang apachetomcat并发集群乱码
    都知道如果使用Http访问，那么在Connector中增加URIEncoding即可，其实使用AJP时也一样，增加useBodyEncodingForURI和URIEncoding即可。 最大连接数也是一样的，增加maxThreads属性即可，如下，配置如下： <Connector maxThreads="300" port="8019" prot
  • websocket dalan_123 websocket
    一、低延迟的客户端-服务器 和 服务器-客户端的连接 很多时候所谓的http的请求、响应的模式，都是客户端加载一个网页，直到用户在进行下一次点击的时候，什么都不会发生。并且所有的http的通信都是客户端控制的，这时候就需要用户的互动或定期轮训的，以便从服务器端加载新的数据。   通常采用的技术比如推送和comet（使用http长连接、无需安装浏览器安装插件的两种方式：基于ajax的长
  • 菜鸟分析网络执法官 dcj3sjt126com 网络
      最近在论坛上看到很多贴子在讨论网络执法官的问题。菜鸟我正好知道这回事情.人道"人之患好为人师" 手里忍不住,就写点东西吧. 我也很忙.又没有MM,又没有MONEY....晕倒有点跑题. OK,闲话少说,切如正题. 要了解网络执法官的原理. 就要先了解局域网的通信的原理. 前面我们看到了.在以太网上传输的都是具有以太网头的数据包. 
  • Android相对布局属性全集 dcj3sjt126com android
    RelativeLayout布局android:layout_marginTop="25dip" //顶部距离android:gravity="left" //空间布局位置android:layout_marginLeft="15dip //距离左边距 // 相对于给定ID控件android:layout_above 将该控件的底部置于给定ID的
  • Tomcat内存设置详解 eksliang jvmtomcattomcat内存设置
    Java内存溢出详解   一、常见的Java内存溢出有以下三种：   1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。 可以利用JVM提
  • Java6 JVM参数选项 greatwqs javaHotSpotjvmjvm参数JVM Options
    Java 6 JVM参数选项大全（中文版）   作者：Ken Wu Email: [email protected] 转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！   本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Opt
  • weblogic创建JMC i5land weblogicjms
    进入 weblogic控制太 1.创建持久化存储 --Services--Persistant Stores--new--Create FileStores--name随便起--target默认--Directory写入在本机建立的文件夹的路径--ok 2.创建JMS服务器 --Services--Messaging--JMS Servers--new--name随便起--Pers
  • 基于 DHT 网络的磁力链接和BT种子的搜索引擎架构 justjavac DHT
    上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。 系统包括几个独立的部分： 使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子； 使用 PHP CI 框架开发的简易网站； 搜索引擎目前直接使用的 MySQL，将来可以考虑使
  • sql添加、删除表中的列 macroli sql
    添加没有默认值：alter table Test add BazaarType char(1) 有默认值的添加列：alter table Test add BazaarType char(1) default(0) 删除没有默认值的列：alter table Test drop COLUMN BazaarType 删除有默认值的列：先删除约束（默认值）alter table Test DRO
  • PHP中二维数组的排序方法 abc123456789cba 排序二维数组PHP
    <?php/*** @package     BugFree* @version     $Id: FunctionsMain.inc.php,v 1.32 2005/09/24 11:38:37 wwccss Exp $*** Sort an two-dimension array by some level
  • hive优化之------控制hive任务中的map数和reduce数 superlxw1234 hivehive优化
    一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 
  • Spring Boot 1.2.4 发布 wiselyman spring boot
    Spring Boot 1.2.4已于6.4日发布，repo.spring.io and Maven Central可以下载(推荐使用maven或者gradle构建下载)。   这是一个维护版本，包含了一些修复small number of fixes,建议所有的用户升级。   Spring Boot 1.3的第一个里程碑版本将在几天后发布，包含许多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他