清筱筱
清筱筱

Notes on 数据挖掘

绪论

数据的特点：有效、有用、非直观

邦弗朗尼原理：避免过度挖掘

聚类

K-Means

基本流程

  1. 选择类的数目
    • 根据最终类的平均半径选取
  2. 初始化每个类：选取一个点作为中心
    • 随机选取一个点，然后尽量发散地选取其它点
  3. 将每个点放入到类中心最近的类
  4. 调整每个类的中心
  5. 重复3~4

目标函数

计算复杂度

线性

例：BFR算法-在高维欧式空间进行聚类

基本假设

簇是以簇心为期望的正态分布

三种对象

废弃集、压缩集（迷你簇）、留存集

基本流程
  1. 加载一个块到内存
  2. 将块中离类中心足够近的点放入该类并放入废弃集
    • 马氏距离
  3. 将其他点与留存集内的点进行聚类，并将这些类加入压缩集
  4. 调整每个类的类中心
  5. 将距离近的压缩集合并
  6. 重复1~5，直到最后一轮
  7. 将压缩集和留存集放入最近的簇

层次聚类

分裂式、合并式

非线性聚类

在复杂数据下被经常使用

社区网络

模块度（Modularity）算法

目的

选取社区个数

目标函数

  • ：相连为 1，不相连为 0

    ：顶点度数

  • ： 和 间变的期望数量

归一化割（Normalized-cut）算法

目标函数

优点

相比最小割，可以使得分割后的社区网络大小更加平衡

推荐系统

基于内容

特点

考察项的性质与用户模型的匹配度

优点

  1. 不需要其他用户的数据，可以单独评价某一用户
  2. 处理新的项或不流行的项较容易
  3. 可解释性强

缺点

  1. 难以寻找合适的特征作为项的性质
  2. 难以评价新的用户
  3. 不能利用其他用户给予的信息

基于协同过滤

特点

考察相似的用户对项的评价来判断匹配度

优点

  1. 适用于各种类型的项，不用选取特征
  2. 充分利用不同用户给予的信息

缺点

  1. 需要大量的用户的数据
  2. 用户的评价矩阵稀疏
  3. 难以评价新的或不流行的项
  4. 具有关注度偏差

数据流挖掘

基本策略

查找近似解，侧重最近的样本点信息

数据抽样

固定比例（fixed proportion）

hash算法

固定大小（fixed size）

蓄水池算法（Reservoir Sampling）

  • 基本流程

    1. 选定蓄水池大小为
    2. 将前 个数据放入蓄水池
    3. 对于第 个数据，以 的概率随机替换蓄水池中的元素

  • 证明：算法可以抽取精确比例的样本

    1. 当 时，每个元素选中概率为 1。

    2. 假设 时，每个元素被选中概率为

    3. 当 时，蓄水池中元素被保留的概率为

      第 个元素加入蓄水池的概率也为

    4. 由数学归纳法，抽取比例为

窗口计数

DGIM算法

基本流程
  1. 利用桶（bucket）对滑动窗口进行划分
    • 每个桶保存以下信息
      • 桶的大小，该数目为2的幂
      • 桶的最右边位即最后进入流的位的时间戳
      • 桶中1的个数
    • 对滑动窗口进行划分时遵循以下5条规则
      • 桶最右边的位必须是1
      • 1个位最多属于1个桶
      • 每种大小的桶有1个或者2个
      • 每个桶的大小是2的幂
      • 桶的大小从右到左非降序排列
  2. 有新加入的位时，对桶进行更新
    • 如果最左边的桶已经没有处于窗口中的位，则丢弃这个桶
    • 新加入的位如果其为0，则无操作；否则建立一个包含新加入位的大小为1的桶
    • 从右往左将连续出现三个相同大小的桶的左边两个进行合并
  3. 查询最近 位
    • 寻找含查询位的最左的桶
    • 查询结果为 右边所有桶包含1的数量总和，加上b的大小的一半
估计值误差（fractional error）
  • 至少是正确值的50%：最差情况b中都是1
  • 最多超过正确值的50%：最差情况b只有最右边一位为1

PageRank

基本流程

  1. 所有网页初始值为

  2. 使用幂迭代（Power Iteration）直到收敛

    • 证明：幂迭代可以计算出 的主特征向量

      设 有 个特征向量分别为 ，分别对应特征值

      不失一般性假设
      \begin{align} r^{(0)}&=c_1x_1+c_2x_2+\dots+c_nx_n\\\\ Mr^{(0)}&=M(c_1x_1+c_2x_2+\dots+c_nx_n)\\ &=c_1\lambda_1x_1+c_2\lambda_2x_2+\dots+c_n\lambda_nx_n\\\\ M^kr^{(0)}&=M(c_1x_1+c_2x_2+\dots+c_nx_n)\\ &=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\dots+c_n\lambda_n^kx_n\\ &=\lambda_1^k[c_1x_1+c_2(\frac{\lambda_2}{\lambda_1})^kx_2+\dots+c_n(\frac{\lambda_n}{\lambda_1})^kx_n] \end{align}
      由于

      当 时 ，则

终止点与采集器陷阱

终止点

没有出链的网页

采集器陷阱

一系列没有指向集合之外的节点的集合

抽税法

进行随机跳转（teleport），避免终止点和采集器陷阱

在线广告

在线二分图匹配

最大匹配

极大匹配（Maximal Matching）：在当前已完成的匹配下，无法再增加匹配边的匹配

最大匹配（maximum matching）：所有极大匹配当中边数最大的一个匹配

完全匹配

所有的顶点都是匹配点的匹配

贪心算法

优先匹配最大收益的边

竞争率

在最差的情况下，在线算法匹配数与离线算法匹配数之比

证明：贪心算法竞争率

设 为最大匹配， 为贪心算法匹配

为在 中匹配但在 中不匹配的左节点的集合， 为 中所有左顶点所连接的右顶点的集合

可以得到

由 可得到 ，再结合 可以得到 ，即

频繁项集

基本定义

项集

包含 个二值属性项（item）构成的集合

支持度

频繁项集

其中 为支持度阈值

最大频繁项集

任意超集均是非频繁项集的频繁项集

闭合项集

任意超集的支持度均小于本身的支持度的项集

关联规则

表示集合 出现引起 出现

其中， 且

置信度

兴趣度

A-priori算法

原理

如果一个项集是非频繁的，那么它的所有超集也是非频繁的

基本流程

  1. 对所有项计数，去除非频繁的项
  2. 剩下的项进行组合以生成包含两个元素的二元项集
  3. 类似地，使用剩余项集组成多元组，直到所有项集都被去掉

相似项发现

Shingling

k-shingle

文档中任意长度为k的子串

文档签名

特征矩阵的最小hash

选择行的任意一个重置后，每行排列次序下第一个列值为1的行号组成的向量

最小hash与Jaccard相似度

Jaccard相似度

关联

两个集合置换后的最小哈希值相等的概率等于Jaccard相似度

最小hash签名

随机选取 个置换，得到的最小hash 构成的向量

计算签名矩阵

设 为签名矩阵中第 个hash函数在第 列上的元素

  1. 初始化 为
  2. 计算
  3. 如果 在 行为 0，则什么也不做；否则，将 替换为

局部敏感hash

使用局部敏感hash函数线性时间区分低距离对和高距离对

你可能感兴趣的:(Notes on 数据挖掘)

  • 数据分析领域中AI人工智能的发展前景展望 AI大模型应用工坊 AI大模型开发实战数据分析人工智能数据挖掘ai
    数据分析领域中AI人工智能的发展前景展望关键词：数据分析、人工智能、机器学习、深度学习、数据挖掘、预测分析、自动化摘要：本文深入探讨了人工智能在数据分析领域的发展现状和未来趋势。我们将从核心技术原理出发，分析AI如何改变传统数据分析范式，详细讲解机器学习算法在数据分析中的应用，并通过实际案例展示AI驱动的数据分析解决方案。文章还将探讨行业应用场景、工具生态以及未来发展面临的挑战和机遇，为数据分析师
  • AI人工智能中的数据挖掘：提升智能决策能力
    AI人工智能中的数据挖掘：提升智能决策能力关键词：数据挖掘、人工智能、机器学习、智能决策、数据分析、特征工程、模型优化摘要：本文深入探讨了数据挖掘在人工智能领域中的核心作用，重点分析了如何通过数据挖掘技术提升智能决策能力。文章从基础概念出发，详细介绍了数据挖掘的关键算法、数学模型和实际应用场景，并通过Python代码示例展示了数据挖掘的全流程。最后，文章展望了数据挖掘技术的未来发展趋势和面临的挑战
  • 【日更挑战】2023-04-30比赛日NOTES（季后赛） 扁圆柱体
    日更挑战当前排名：第741天，第585名，排名较昨日前进1名。比赛日，官网给出每场比赛的Notes（极个别场次没有），翻译如下TLDR：枫叶上一次在季后赛晋级，还是2004年东部1/4决赛对阵参议员；游骑兵前锋Kreider在输球就回家的比赛中打入16球，追平MarkMessier成为联盟历史第一；Bouchard在强打中得到8分，这是联盟历史上后卫单系列赛的强打最高得分（并列）。MapleLea
  • 数据挖掘算法：KNN、SVM、决策树详解 大力出奇迹985 数据挖掘算法支持向量机
    本文将详细解析数据挖掘领域中常用的三种经典算法：KNN（K近邻算法）、SVM（支持向量机）和决策树。首先分别阐述每种算法的核心原理、实现步骤，再分析它们的优缺点及适用场景，最后对这三种算法进行综合对比与总结。通过本文，读者能全面了解这三种算法的特性，为实际数据挖掘任务中算法的选择提供参考，助力提升数据处理与分析的效率和准确性。在当今信息爆炸的时代，数据挖掘技术在各行各业发挥着至关重要的作用，而算法
  • Python爬虫实战：研究flanker相关技术 ylfhpy 爬虫项目实战python爬虫开发语言flanker
    1.引言1.1研究背景与意义在当今信息爆炸的时代，互联网上的数据量呈现出指数级增长的趋势。如何从海量的网页数据中高效地获取有价值的信息，成为了一个重要的研究课题。网络爬虫作为一种自动获取网页内容的技术，能够帮助用户快速、准确地收集所需的信息，因此在信息检索、数据挖掘、舆情分析等领域得到了广泛的应用。Flanker技术是一种基于文本分析的信息提取技术，它能够从非结构化的文本中识别和提取出特定类型的信
  • webpack实用教程 前端的爬行之旅
    packjson.js终端输入$npminit-y{"name":"2","version":"1.0.0","description":"","main":"webpack.config.js","scripts":{"test":"echo\"Error:notestspecified\"&&exit1",},"keywords":[],"author":"","license":"ISC",
  • 数据分析概念和总结 小小少年Boy
    参考：什么是数据分析？总结：决策=数据+分析数据分析的框架：明确分析目标、数据收集、数据清理、数据分析、数据报告、执行与反馈数据分析与数据挖掘，前者偏向于业务分析，后者偏向于数据库算法，借助数据来指导决策数据分析的框架1.首先是数据分析的目的性极强区别于数据挖掘的找关联、分类、聚类，数据分析更倾向于解决现实中的问题。我想解决什么问题？通过这次的分析能让我产生什么决策？比如是否在某个高校举办一场活动
  • 高省没有邀请码怎么注册？高省app总部邀请码是什么？ 日常购物技巧呀
    基于第三方电商平台海量数据挖掘与分析，“高省”APP通过内容制作、分享等方式，为消费者打通吃喝玩乐购全场景全业态，让消费者省心省钱省时省力，为平台和品牌方导流创造收入，拓展了商家新的销售渠道。高省app逐渐构筑起了集各大主流电商平台，外卖平台，旅游、票务、出行、加油等高频生活服务全场景的线上生活商城。高省是正规平台吗？高省还能做吗？最新资讯【高省】分会员和运营商，会员定位是自用的，而运营是针对推广
  • 生信数据挖掘+实验验证 | 鉴定RECK基因为胃癌的保护性预后指标和肿瘤抑制因子（抑制ERK/MAPK 信号通路） 生信宝库
    前言image.png据相关统计，胃癌(GC)在所有癌症中的发生率位居第五位，相关死亡率排第四位。大多数GC患者在诊断时已处于晚期并发生肿瘤转移，导致预后不佳，5年总生存率低于30%。因此，迫切需要找到用于早期诊断和治疗的特异性、敏感性预后相关分子标志物，并阐明GC发生和转移的分子机制。本研究旨在探索RECK作为预后分子标志物的潜力，并揭示其在肿瘤发生和转移中的潜在机制。RECK（具有Kazal基
  • 厌氧菌数据挖掘可行性评估报告 pk_xz123456 算法python数据挖掘人工智能深度学习超分辨率重建数学建模神经网络
    厌氧菌数据挖掘可行性评估报告前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家，觉得好请收藏。点击跳转到网站。1.项目概述本报告旨在评估使用Python从两个目标网站（https://www.dbdata.com/和https://pubmed.ncbi.nlm.nih.gov/）爬取20种厌氧菌的培养基、培养条件及文献来源信息的可行性。客户希望构建一个网站，使用户能
  • 50天50个小项目 (Vue3 + Tailwindcss V4) ✨ | NotesApp（便签笔记组件） sunbyte TailiwindCSS实战指南笔记vue.js前端javascriptcsstailwindcss
    我们继续50个小项目挑战！——NotesApp组件仓库地址：https://github.com/SunACong/50-vue-projects项目预览地址：https://50-vue-projects.vercel.app/。使用Vue3的CompositionAPI搭配TailwindCSS和marked库，构建一个支持Markdown渲染的笔记应用。该应用允许用户添加、编辑、删除笔记，并
  • 【Python-网络爬虫】爬虫的基础概念介绍 敖云岚 python爬虫开发语言
    目录一、爬虫的介绍1.1爬虫的概念1.2爬虫的作用1.搜索引擎数据索引2.商业数据采集与分析3.舆情监控与社交分析4.学术研究与数据挖掘5.信息聚合与服务优化二、爬虫的分类三、爬虫的基本流程3.1基本流程3.2Robots协议一、爬虫的介绍1.1爬虫的概念爬虫的概念：通过模拟浏览器发送请求，从而获取响应1.2爬虫的作用1.搜索引擎数据索引搜索引擎如Google、百度等依赖爬虫技术构建庞大的网页索引
  • 数据挖掘实战-基于随机森林算法的空气质量污染预测模型 艾派森 数据挖掘实战合集信息可视化人工智能python数据挖掘随机森林
    ‍♂️个人主页：@艾派森的个人主页✍作者简介：Python学习者希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.数据集介绍3.技术工具4.实验过程
  • KNN 算法进阶：从基础到优化的深度解析 二向箔reverse 人工智能机器学习
    在机器学习的广袤领域中，K-近邻算法（K-NearestNeighbors,KNN）以其简洁直观的理念，宛如一颗璀璨的明星，照亮了无数初学者踏入机器学习大门的道路。自1951年由EvelynFix和JosephHodges创立，并经ThomasCover进一步完善以来，KNN算法凭借其独特的魅力，在数据挖掘、推荐系统、物联网等众多领域发挥着中流砥柱的作用，成为了监督学习算法家族中不可或缺的一员。一
  • 数据科学与大数据技术专业的核心课程体系及发展路径全解析 YangYang9YangYan 大数据
    CDA数据分析师证书含金量高，适应了未来数字化经济和AI发展趋势，难度不高，行业认可度高，对于找工作很有帮助。一、课程体系三维地图二、核心课程能力矩阵课程模块关键技能行业应用场景工具链分布式计算Spark调优用户行为日志分析AWSEMR/Databricks数据挖掘特征工程金融反欺诈模型Scikit-learn实时数据处理Flink窗口计算物联网设备监控Kafka+Flink数据治理元数据管理企业
  • Python 爬虫进阶：优化代码设计，实现高效爬取与存储
    随着数据的不断增多，爬虫技术已成为数据获取和数据挖掘中不可或缺的一部分。对于简单的爬虫来说，代码实现相对简单，但当爬取目标网站的数据量增大时，如何优化代码设计、提高爬取效率、确保数据的准确存储和避免被封禁，就成了爬虫开发中的关键问题。本篇文章将深入探讨如何优化Python爬虫的设计，主要关注以下几个方面：高效的网页爬取：如何提升爬虫的抓取效率。代码模块化设计：如何将爬虫任务拆解成可复用的模块。并发
  • 数据挖掘领域经典算法——CART算法 丨程序之道丨
    简介CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益C4.5：特征划分基于信息增益比CART：特征划分基于基尼指数基本思想CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限
  • Day 17: 常见的聚类算法
    聚类算法聚类算法是一种无监督学习技术，用于将数据集中的相似对象分组到不同的类别（称为“簇”）中，而不需要预先定义的标签。其核心目标是：同一簇内的数据点尽可能相似（高内聚性），不同簇之间的数据点尽可能不同（高分离性）。聚类广泛应用于数据挖掘、模式识别、图像处理等领域，如客户细分、文档分类或异常检测。聚类算法的基本原理聚类依赖于相似度度量（如欧氏距离）来评估数据点之间的接近程度。假设数据集包含nnn个
  • 量化投资革命：卫星图像数据如何提升价值投资准确率 AI量化价值投资入门到精通 ai
    量化投资革命：卫星图像数据如何提升价值投资准确率关键词：量化投资、卫星图像数据、价值投资、准确率提升、数据挖掘摘要：本文聚焦于量化投资领域，深入探讨卫星图像数据在提升价值投资准确率方面的关键作用。首先介绍量化投资与价值投资的背景，引出卫星图像数据的引入。接着详细阐述卫星图像数据的核心概念、与投资的联系以及数据处理的核心算法原理。通过数学模型和公式分析其如何助力投资决策。结合实际项目案例展示卫星图像
  • Scikitlearn：Python机器学习库 AI天才研究院 AI人工智能与大数据AI大模型企业级应用开发实战AI实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    -Scikit-learn：Python机器学习库1.背景介绍1.1什么是Scikit-learnScikit-learn是一个基于Python语言的开源机器学习库。它建立在NumPy、SciPy和matplotlib等优秀的科学计算库之上,为用户提供了一系列高效的数据挖掘和数据分析工具,涵盖了分类、回归、聚类、降维、模型选择和预处理等机器学习的各个方面。Scikit-learn的目标是提供一个高
  • 【JS逆向基础】script框架 是星凡呢 python与JS逆向javascript开发语言ecmascriptpythonJS逆向
    scrapy框架1，基本介绍Scrapy一个开源和协作的框架，其最初是为了页面抓取(更确切来说,网络抓取)所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫。Scrapy是基于twisted
  • 中国计算机学会（CCF）推荐学术会议-B（数据库／数据挖掘／内容检索）：CIDR 2026 爱思德学术 数据分析系统架构数据库
    CIDR2026TheConferenceonInnovativeDataSystemsResearch(CIDR)isasystems-orientedconference,complementaryinitsmissiontothemainstreamdatabaseconferenceslikeSIGMODandVLDB,emphasizingthesystemsarchitecturepe
  • 中国计算机学会（CCF）推荐学术会议-A（数据库／数据挖掘／内容检索）：ACM KDD 2026 爱思德学术 大数据人工智能数据挖掘
    ACMKDD2026KDDisthepremierDataScienceandAIconference,hostingbothaResearchandanAppliedDataScienceTrack.TheconferencewilltakeplacefromAugust9to13,2026,inJeju,Korea.KDDhastwosubmissioncyclesperyear.Thisca
  • 250714脑电分析课题进展——基础知识扩展与论文阅读
    脑电分析课题进展目录脑电分析课题进展一、概要二、论文阅读（一）内容（二）创新（三）不足三、书籍阅读四、基础知识学习（一）机器学习（二）代码能力五、总结与展望一、概要本周课题进展聚焦于论文与书籍阅读，以及基础知识的学习（包括机器学习与PyTorch的代码学习）论文阅读以毕明川学姐的学位论文为参考《基于EEG的冥想状态数据挖掘研究》书籍阅读以李颖洁的《脑电信号分析方法及其应用》第一章内容为重点机器学习
  • 软考 | 系统架构设计师：信息系统综合知识大纲（思维导图） 啊有礼貌 软考系统架构设计师架构师思维导图软件架构
    1.计算机软件与网络基础知识1.1操作系统操作系统的类型和结构操作系统基本原理网络操作系统及网络管理嵌入式操作系统与实时操作系统1.2数据库系统数据库管理系统的类型、结构和性能评价常用的关系型数据库管理系统数据库模式数据库规范化分布式数据库系统，并行数据库系统数据仓库与数据挖掘技术数据库工程备份恢复1.3嵌入式系统嵌入式系统的特点嵌入式系统的硬件组成与设计嵌入式系统应用软件及开发平台嵌入式系统网络
  • 小红书获取笔记评论接口调用详解 蓝倾976 数据库小红书开放平台开发语言电商开放平台开放API
    一、接口定义与核心参数小红书笔记评论接口用于获取指定笔记下的用户评论数据，支持分页与身份认证。以下是接口的关键信息：接口地址官方假设地址：https://api.xiaohongshu.com/v2/notes/{note_id}/comments第三方工具地址（需验证）：https://api.xiaohongshu.com/comment/get请求方式HTTPGET：适用于简单参数传递（如笔
  • AI系统Spark原理与代码实战案例讲解 AI天才研究院 AI大模型企业级应用开发实战AgenticAI实战AI人工智能与大数据计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    AI系统Spark原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：Spark、大数据处理、分布式计算、机器学习、数据挖掘、实时流处理1.背景介绍1.1问题的由来在大数据时代,海量数据的高效处理和分析已成为各行各业的迫切需求。传统的数据处理方式难以应对数据量激增、数据类型多样化以及实时性要求高等挑战。为了解决这些问题,Ap
  • python爬虫入门：批量下载图片 有盐、在见 python爬虫开发语言
    引言：爬虫也被称为网络蜘蛛（Spider），是一种自动化的软件程序，能够在互联网上漫游，按照一定的规则和算法抓取数据。爬虫技术广泛应用于搜索引擎、数据挖掘、信息提取等领域，是互联网技术的重要组成部分。摘要：很多初学者对于一个这样新奇的事务当然愿意去探索，我也一样，突然想要学一点关于python爬虫的知识，说干就干！那就学！如果以下说的有错误，及时指出，定会修改。本文将介绍如何从图片网站批量下载图片
  • How to setup a Mac with Python dev tools whackw macmac
    HowtosetupaMacwithPythondevtoolsNotesforhowtosetupa64-bitMacwithimportantPythondevelopmenttoolsDeprecated–clickhereforupdatedpageforYosemiteversionCreatedbyTrondKristiansenon27.7.2009,andlastupdated05
  • 【日更挑战】2023-01-29比赛日NOTES 扁圆柱体
    日更挑战当前排名：第651天，第649名，排名较昨日前进0名。比赛日，官网给出每场比赛的Notes（极个别场次没有），翻译如下Blues(2)vs.Avalanche(4)本场是雪崩全明星周末前的最后一场；Newhook成为雪崩/北方人队史上首位连续2个赛季在他的生日夜进球的球员；Binnington出场第200次（196次首发），蓝调队史上有200次以上出场纪录的门将，除了他之外，只有MikeL
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他