Alfredonwr
Alfredonwr

Hadoop基础知识

Hadoop起源

Google公司发表了两篇论文：一篇论文是“The Google File System”，介绍如何实现分布式地存储海量数据；另一篇论文是“Mapreduce:Simplified Data Processing on Large Clusters”，介绍如何对分布式大规模数据进行处理。Doug Cutting在这两篇论文的启发下，基于OSS（Open Source software）的思想实现了这两篇论文中的原理，从而Hadoop诞生了。

Hadoop是什么？

一种开源的适合大数据的分布式存储和处理的平台

应用场景

  1. 搜索引擎：这也正是Doug Cutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引
  2. 大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等
  3. 大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等
  4. 科学研究：Hadoop是一种分布式的开源框架，对于分布式系统有很大程度地参考价值

三种模式

  1. 单机模式
  2. 伪分布模式
  3. 全分布模式

三大模块

HDFS(Hadoop Distributed File System)

Hadoop的核心模块之一，主要解决Hadoop的大数据存储问题，思想来源于Google的文件系统GFS

主要特点
1 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份
2 运行在廉价的机器上
3 适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重

可靠性机理

  1. 冗余副本策略，即所有数据都有副本，副本的数目可以在hdfs-site.xml中设置
  2. 机架策略，即HDFS的“机架感知”，一般在本机架存放一个副本，在其它机架再存放别的副本，这样可以防止机架失效时丢失数据，也可以提供带宽利用率
  3. 心跳机制，即Namenode周期性从Datanode接受心跳信号和快报告，没有按时发送心跳的Datanode会被标记为宕机，不会再给任何I/O请求，若是Datanode失效造成副本数量下降，并且低于预先设置的阈值，Namenode会检测出这些数据块，并在合适的时机进行重新复制
  4. 安全模式，Namenode启动时会先经过一个“安全模式”阶段
  5. 校验和，客户端获取数据通过检查校验和，发现数据块是否损坏，从而确定是否要读取副本
  6. 回收站，删除文件，会先到回收站/trash，其里面文件可以快速恢复
  7. 元数据保护，映像文件和事务日志是Namenode的核心数据，可以配置为拥有多个副本
  8. 快照，支持存储某个时间点的映像，需要时可以使数据重返这个时间点的状态

结构图示

Hadoop基础知识_第1张图片
372e56dc-340e-4332-89b1-624d447ec61c.jpg

NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；存储的是fsimage+edits
SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode；默认定时1小时一次
DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作
热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作
冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失
fsimage：元数据镜像文件（文件系统的目录树。）
edits：元数据的操作日志（针对文件系统做的修改操作记录）

存储图示

Hadoop基础知识_第2张图片
2a4bc794-2b9e-42fc-83ac-2c5ce4703d2f.jpg

Namenode

  1. 管理文件系统的命名空间
  2. 记录 每个文件数据快在各个Datanode上的位置和副本信息
  3. 协调客户端对文件的访问
  4. 记录命名空间内的改动或者空间本省属性的改动
  5. Namenode 使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间，包括文件映射，文件属性等

从社会学来看，Namenode是HDFS里面的管理者，发挥者管理、协调、操控的作用

Datanode

  1. 负责所在物理节点的存储管理
  2. 一次写入，多次读取（不修改）
  3. 文件由数据库组成，一般情况下，数据块的大小为64MB
  4. 数据尽量散步到各个节点

从社会学来看，Datanode是HDFS的工作者，发挥按着Namenode的命令干活，并且把干活的进展和问题反馈到Namenode的作用

YARN(Yet Another Resource Negotiator)

一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在集群的利用率、资源统一管理和数据共享等方面很优秀，基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离

工作图示

Hadoop基础知识_第3张图片
bbf32f90-2bfe-4dbb-97cb-48a8fb44def8.jpg

ResourceManager
整个集群只有一个，负责集群资源的统一管理和调度

  1. 处理客户端请求
  2. 启动/监控ApplicationMaster
  3. 监控NodeManager
  4. 资源分配与调度

NodeManager
整个集群有多个，负责单节点资源管理和使用

  1. 单个节点上的资源管理和任务管理
  2. 处理来自ResourceManager的命令
  3. 处理来自ApplicationMaster的命令

ApplicationMaster
每个应用只有一个，负责应用程序的管理

  1. 数据切分
  2. 为应用程序申请资源，并进一步分配给内部任务
  3. 任务监控与容错

Container
对任务运行环境的抽象，描述一系列信息

  1. 任务运行资源（节点、内存、CPU）
  2. 任务启动命令
  3. 任务运行环境

MapReduce

一个“分而治之”的软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集

工作图示

Hadoop基础知识_第4张图片
2583043a-77fd-4c42-aa06-87a933d67ec6.jpg

客户端：用来提交MapReduce作业
jobtracker：用来协调作业的运行
tasktracker：用来处理作业划分后的任务
HDFS：用来在其它实体间共享作业文件

工作环节

  1. 作业的提交
  2. 作业的初始化
  3. 任务的分配
  4. 任务的执行
  5. 进程和状态的更新
  6. 作业的完成

你可能感兴趣的:(Hadoop基础知识)

  • 三菱PLC全套学习资料及应用手册 good2know
    本文还有配套的精品资源，点击获取简介：三菱PLC作为工业自动化领域的核心设备，其系列产品的学习和应用需要全面深入的知识。本次资料包为学习者提供从基础到进阶的全方位学习资源，包括各种型号PLC的操作手册、编程指南、软件操作教程以及实际案例分析，旨在帮助用户系统掌握PLC的编程语言、指令系统及在各类工业应用中的实施。1.三菱PLC基础知识入门1.1PLC的基本概念可编程逻辑控制器（PLC）是工业自动化
  • Android 基础知识：Android 应用权限详解 流水mpc android
    这篇文章为大家系统的梳理一下Android权限相关的知识，在日常开发中，我们都用过权限，但是对于权限的一些细节我们可能掌握的还不够全面，这篇文章会全面的为大家介绍权限相关的知识。当然，本篇文章依然是参考了Google的官方文档：应用权限。本文目录一、认识Android权限（一）Android系统为什么需要权限？Android系统设置权限的目的是保护Android用户的隐私。对于用户的敏感数据And
  • python学习笔记（汇总） 朕的剑还未配妥 python学习笔记整理python学习开发语言
    文章目录一.基础知识二.python中的数据类型三.运算符四.程序的控制结构五.列表六.字典七.元组八.集合九.字符串十.函数十一.解决bug一.基础知识print函数字符串要加引号，数字可不加引号，如print(123.4)print('小谢')print("洛天依")还可输入表达式，如print(1+3)如果使用三引号，print打印的内容可不在同一行print("line1line2line
  • 2022-01-13 天气晴 心情好 楠楠的qzone
    今天主要是吧系统的一些功能给转移到另外一个系统上，然后遇到了一个很差劲的客户，不过呢我也是见多了不去计较了，因为什么样的人都有，平常心就好。晚上去吧thinkphp6的基础知识好好的看了一下，还是学到了很多好东西
  • 给教师的建议——4 芦荣新
    给教师的建议第四个建议——把基础知识保持在学生的记忆里。在作者学校工作的30年，发现了在他看来是一个重要的秘密--也可以说是一条特殊的教育学规律:到了中年级和高年级，就出现学业落后、成绩不良的现象，这主要是因为学生在小学的时候，没有把那些好像是知识的“地基”的基础知识牢固地保持在记忆里，达到牢记终身的程度。不妨设想一下，我们盖一幢漂亮的楼房，可是把墙基打在很不牢固的混凝土上，灰浆不断地剥离，砖头也
  • Hive详解
    一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎，所以在现在企业级应用中SparkSQL+Hive成为了业界使用大数据最为高效和流行的趋势。2，Hive是Facebook的推出，主要是为了让不动Java代码编程的人员也能
  • Milvus 实战全流程
    学习路径总览1.Milvus基础知识什么是向量数据库？Milvus的核心概念（collection、field、index、partition、segment）Milvus和Faiss、Annoy、HNSW的区别2.安装与部署Docker快速部署Milvus（推荐）本地开发环境安装使用MilvusLite本地测试3.数据建模与管理创建Collection与Schema定义（包含向量字段和元数据字段
  • 中级经济基础各类曲线汇总（5） Coco万在简述
    --写给报考中级经济师的小伙伴们2022年8月21日周日深圳晴1048/1000【主题】经济学基础【字数】1291今天的简文继续梳理中级经济师公共科目中的《经济基础知识》一书中的各类曲线之5，即完全竞争市场上行业的供求曲线和个别企业的需求曲线。首先，从市场结构理论来理解什么是完全竞争市场。完全竞争市场具备如下特征：1、市场上有很多生产者和消费者，或者说买家卖家，一般他们的规模很小，自己决定不了产品
  • 前端基础知识Vue3系列 - 04（Vue3.0 所采用的 Composition Api 与 Vue2.x 使用的 Options Api 有什么不同）
    开始之前CompositionAPI可以说是Vue3的最大特点，那么为什么要推出CompositionApi，解决了什么问题？通常使用Vue2开发的项目，普遍会存在以下问题：代码的可读性随着组件变大而变差每一种代码复用的方式，都存在缺点TypeScript支持有限以上通过使用CompositionApi都能迎刃而解正文一、OptionsApiOptionsAPI，即大家常说的选项API，即以vue
  • zookeeper和hadoop
    zookeeper操作连接zkCli.sh-server服务名称查看客户端指令help​ZooKeeper-serverhost:portcmdargs   statpath[watch]    setpathdata[version]    lspath[watch]   delquota[-n|-b]path   ls2path[watch]   setAclpathacl   setquot
  • Hadoop 之 ZooKeeper (一) devalone HadoopHadoopZooKeeperHbaseChubbyznode
    Hadoop之ZooKeeper本文介绍使用Hadoop的分布式协调服务构建通用的分布式应用——ZooKeeper。ZooKeeper是Hadoop分布式协调服务。写分布式应用是比较难的，主要是因为部分失败(partialfailure).当一条消息通过网络在两个节点间发送时，如果发生网络错误，发送者无法知道接受者是否接收到了这条消息。接收者可能在发生网络错误之前已经收到了这条消息，也可能没有收到
  • ZooKeeper在Hadoop中的协同应用：从NameNode选主到分布式锁实现 码字的字节 hadoop布道师分布式zookeeperhadoop分布式锁
    Hadoop与ZooKeeper概述Hadoop与ZooKeeper在大数据生态系统中的核心位置和交互关系Hadoop的架构与核心组件作为大数据处理的基石，Hadoop生态系统由多个关键组件构成。其核心架构主要包含HDFS（HadoopDistributedFileSystem）和YARN（YetAnotherResourceNegotiator）两大模块。HDFS采用主从架构设计，由NameNo
  • solidity从入门到精通 第四章：智能合约的生命周期 空中湖 Solidity从入门到精通智能合约区块链solidity
    第四章：智能合约的生命周期从娘胎到坟墓：合约的一生欢迎回来，区块链探险家！在前几章中，我们学习了Solidity的基础知识，包括变量、数据类型和函数。现在，是时候了解智能合约的"人生历程"了——从它诞生的那一刻起，到它在区块链上的日常生活，再到它最终的"退休"（或者更戏剧性地说，“死亡”）。就像我们人类有出生、生活和死亡的过程，智能合约也有自己的生命周期。让我们一起探索这个奇妙的旅程！合约的创建：
  • Stm32t通讯——蓝牙通讯 嵌界游龙 stm32嵌入式硬件单片机
    蓝牙基础知识点蓝牙：利用低功率无线电，支持设备短距离通信的无线电技术。特点：短距离、低功率。第一代蓝牙：BR（BasicRate）技术，传输速率：721.2kbps。第二代蓝牙：EDR（EnhancedDataRate）技术，3Mbps；第三代蓝牙：核心是AMP（GenericAlternateMAC/PHY），这是一种全新的交替射频技术，支持动态地选择正确射频，传输速率高达24Mbps。第四代蓝
  • 汽车电子架构 | 必备技能一文读懂 AUTOSAR 致守 APIagv汽车架构
    引言AUTOSAR标准（AUTOmotiveOpenSystemArchitecture，汽车开放系统架构）是全球最大汽车公司合作的产物。它是汽车行业电气/电子架构的开放式标准，于2003年在由汽车原始设备制造商、供应商以及软件、半导体和电子行业其他公司组成的AUTOSAR开发合作组织制定。VectorInformatikGmbH(2016):Autosar-基础知识，AUTOSAR课程手册第3页
  • 大模型基础知识（万字详解） 掘金安东尼 python机器学习人工智能
    在数学上，deepseek多轮自蒸馏可以理解为对学生模型施加一系列滚动KL散度约束：LMSD=∑i=1nαi⋅KL(pTi(x)∥pSi(x))\mathcal{L}_{MSD}=\sum_{i=1}^{n}\alpha_i\cdot\text{KL}(p_{T_i}(x)\parallelp_{S_i}(x))LMSD=i=1∑nαi⋅KL(pTi(x)∥pSi(x))其中，TiT_iTi和Si
  • SAP FICO基础知识解析 金融业务专家 SAP
    SAPFICO基础知识解析SAPFICO是SAP系统的核心财务模块，由财务会计（FI）和管理会计（CO）两大模块组成，覆盖企业从日常账务处理到战略成本控制的全流程管理。以下从模块组成、核心功能、组织架构、集成及学习路径等方面梳理其核心要点：一、模块组成与核心功能FI（财务会计）定位：面向外部合规需求，按会计准则（如IFRS、中国会计准则）记录企业经济活动，生成法定财务报表。核心子模块：总账（GL）
  • 知识经济下程序员的创业之道 AI天才研究院 ChatGPTAI大模型企业级应用开发实战AI人工智能与大数据大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    《知识经济下程序员的创业之道》关键词：知识经济，程序员，创业，市场调研，团队建设，市场营销，财务规划，风险管理摘要：在知识经济时代，程序员的创业不仅需要技术上的深耕，还需要在商业模式、市场拓展、团队管理等方面进行全方位的思考和规划。本文将从创业基础知识、市场调研、项目规划、团队建设、市场营销、财务规划和风险管理等多个角度，系统性地探讨程序员在知识经济下创业的成功之道。《知识经济下程序员的创业之道》
  • 专升本重庆第一章计算机基础知识
    1.1.1历史人物1.图灵阿兰・麦席森・图灵（AlanMathisonTuring，1912年6月23日-1954年6月7日）是英国著名的计算机科学家、数学家、逻辑学家、密码学家和理论生物学家，被誉为“计算机科学与人工智能之父。图灵相关事件：（1）提出“图灵机”概念（1936年）：一种抽象的计算模型，不是真正的计算机。(2)提出“图灵测试”与人工智能构想（1950年）：用人机对话的方式检验机器是否
  • 网络安全基础知识【4】
    DNS的主要作用DNS服务器可以为客户机提供“域名与IP地址”的地址解析服务简述DNS正向反向的含义正向：根据域名查找IP地址反向：根据IP地址查找域名简述常见的DNS资源记录类型，并描述各自的含义A：正向解析PTR：反向解析（将IP地址映射为域名）CNAME：别名解析DNS域名解析查询方式的分类1、递归查询2、迭代查询DHCP的作用可以给终端联网设备分配网络参数DHCP有哪些角色1、DHCP服务
  • JAVA---继承与多态（基础详解与样例分析） 胡同巷的猫七姑娘~ javaeclipse开发语言
    在JAVA学习有了一定基础和了解上将会继续深入学习多态，面向对象程序设计的三大支柱是封装、继承和多态，学习的步骤是循环渐进的，在学习了封装和继承的基础知识后进而了解多态。什么是多态？多态意味着父类型的变量可以引用子类型的对象，注意这句话中的几个关键点，是父类型的变量，去引用子类型的对象。接下来的学习中就是去解释和运用这句话。目录HINT1继承HINT2多态HINT1继承在引入多态之前，我们先再回顾
  • C++语言的网络编程 东方苾梦 包罗万象golang开发语言后端
    C++网络编程入门指南引言在当今信息技术飞速发展的时代，网络编程已经成为一个不可或缺的技能。无论是开发网络应用、游戏，还是进行数据处理，掌握网络编程的基本概念和技术，都将大大提高一个程序员的能力。本文将介绍C++语言在网络编程中的应用，包括基础概念、常用库、编程实践等内容，希望能帮助读者更好地理解和掌握C++网络编程。第一章：网络编程基础知识1.1网络模型在讨论网络编程之前，我们必须理解现代网络通
  • 隐私计算基础学习——数论基础知识（群、环、有限域、常用定理） _Totoro_ 隐私计算基础学习学习密码学可信计算技术安全
    本文主要记录隐私计算中涉及的群、环、有限域的最基本的概念以及一些常用的数论定理，仅供参考。一、群1.群的定义群本质是一个集合GGG，这个集合上定义了一个运算⋅\cdot⋅（例如加法或乘法），满足下面的性质：封闭性：∀a,b∈G\foralla,b\inG∀a,b∈G，满足a⋅b∈Ga\cdotb\inGa⋅b∈G；结合律：∀a,b,c∈G\foralla,b,c\inG∀a,b,c∈G，满足(a⋅
  • 简约时装网店网站开发#网页制作 #网页设计 #网站建设 黄菊华老师 网页模板简约时装网店
    博主介绍：黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注网站制作、小程序开发、软件开发和大学生毕业设计教育、辅导。所有项目都配有从入门到精通的基础知识视频课程，学习后应对毕业设计答辩，提供核心代码讲解，答辩指导。项目配有对应开发文档、开题报告、任务书、PPT等，提供毕业设计论文辅导。项目都录了发布和功能操作演示视频
  • ubuntu linux 从入门到精通.pdf,UBUNTU LINUX从入门到精通(附DVD) 鲨鱼飞不动了 ubuntulinux从入门到精通.pdf
    摘要：本书是为想系统学习Linux的初学者准备的,从系统,驱动,常用软件的安装开始讲起,让读者快速掌握Linux的基础知识,并轻松向网络管理,Shell,Vi/Vim,X-Window,进程管理进阶,然后深入到Apache,VSFTPD,Postfix,SAMBA,DNS等服务器的配置,全面掌握企业所需的Linux应用技能.传统的Linux图书主要以命令行的方式进行介绍,学习起来非常枯燥乏味,而且
  • libomxil-bellagio移植到OpenHarmony 离北况归
    当使用mesa3dcangh提供的amd显卡驱动时，想利用Mesa提供的图形硬件加速能力，来支持视频编解码操作时。需要依赖libomxil-bellagio库，现在成果分享如下：基础知识1.OpenHarmony中mesa3damd显卡驱动编译2.OpenHarmony中基于GN和ninja的编译构建,参考笔者speexdsp移植到OpenHarmony系列文章：移植speexdsp到OpenHa
  • 【C++二分查找】2055. 蜡烛之间的盘子|1819 软件架构师何志丹 #工作级难度算法题解c++力扣算法二分查找蜡烛盘子数量
    本文涉及的基础知识点C++二分查找LeetCode2055.蜡烛之间的盘子给你一个长桌子，桌子上盘子和蜡烛排成一列。给你一个下标从0开始的字符串s，它只包含字符‘’和‘|’，其中'’表示一个盘子，‘|’表示一支蜡烛。同时给你一个下标从0开始的二维整数数组queries，其中queries[i]=[lefti,righti]表示子字符串s[lefti…righti]（包含左右端点的字符）。对于每个查
  • 大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置 Xiaoyeforever hivemysqlhivehadoop数据库
    一、Hive3.0.0安装配置:(Hive3.1.2有BUG）hadoop3.1.2Hive各个版本下载地址：http://archive.apache.org/dist/hive/，这里我们下载hive3.0.01、解压：tar-xzvfapache-hive-3.0.0-bin.tar.gz-C/usr/lib/JDK_2021cd/usr/lib/JDK_20212.改名称.将解压以后的文件
  • 大数据编程基础 芝麻开门-新的起点 大数据大数据
    3.1Java基础（重点）内容讲解Java是大数据领域最重要的编程语言之一。Hadoop、HBase、Elasticsearch等众多核心框架都是用Java开发的。因此，扎实的Java基础对于深入理解这些框架的底层原理和进行二次开发至关重要。为什么Java在大数据领域如此重要？生态系统：Hadoop生态系统原生就是Java构建的，使用Java进行开发可以无缝集成。跨平台性：Java的“一次编译，到
  • 【优化系列】汇编优化技术（六）：ARM架构64位（AARCH64）汇编优化及demo 飞翔的鲲 【汇编优化技术100例】armaarch64汇编优化demoneon
    DATE：2021.8.15文章目录1、arm架构64位优化基础知识2、ARMv8/AArch64neon指令格式3、ARM相关编译参数4、查看状态标记位NZCV的方法5、A64指令集特有的指令及其用法6、资料文档查阅7、AArch64asmdemo8、优化经验总结（满满的干货）1、arm架构64位优化基础知识 【arm】arm架构64位入门基础：架构分析、寄存器、调用规则、指令集以及参考手册 该
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他