Hadoop2

HDFS架构师 2.2 - NameNode元数据双缓冲写入原理demo

Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtx
fat32jin·2021-01-10 14:03

大数据技术原理与应用——期末复习

大数据的影响3、大数据的两大核心技术4、大数据计算模式及代表产品5、大数据与云计算、物联网的关系第二章大数据处理架构Hadoop1、Hadoop的发展历史2、Hadoop的特性3、Hadoop1.0与Hadoop2.0
BKolo·2021-01-08 23:32

单个虚拟机安装spark

一、下载解压（1）下载压缩文件到/opt/software/目录下https://archive.apache.org/dist/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.6
斯特凡今天也很帅·2021-01-04 01:54

hadoop教程-hdfs客户端开发

hadoop环境hadoop版本为hadoopversionHadoop2.10.1Subversionhttps://github.com/apache/hadoop-r1827467c9a56f133025f28557bfc2c562d78e816Compiledbycentoson2020
wls1036·2021-01-02 19:53

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:07

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:52

Hbase高可用搭建

实验准备：主机名IP地址安装服务备注hadoop-01192.168.200.201jdk1.8,zookeeper3.4.8,hadoop2.7.7,ntpd主节点hadoop-02192.168.200.202jdk1.8
Bug.object·2020-12-30 20:14

hadoop教程-hdfs客户端开发

hadoop环境hadoop版本为hadoopversionHadoop2.10.1Subversionhttps://github.com/apache/hadoop-r1827467c9a56f133025f28557bfc2c562d78e816Compiledbycentoson2020
wls1036·2020-12-21 11:40

SpringBoot整合Hbase的实现示例

这里我是用本地Windows的IDEA，与局域网的伪分布Hbase集群做的连接，其中Hbase集群包括的组件有：Jdk1.8、Hadoop2.7.6、ZooKeeper3.4.
·2020-12-21 10:07

大数据人工智能技术全攻略

文章目录大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2
陈敬雷-充电了么-CEO兼CTO·2020-12-19 09:29

调用MapReduce对文件中各个单词出现的次数进行统计

调用MapReduce对文件中各个单词出现的次数进行统计Hadoop安装环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装Hadoop2运行Hadoop伪分布式实例使用
duxial·2020-12-18 00:15

Hadoop基础（三）：分布式资源调度框架YARN

1.ResourceManager2.NodeManager3.ApplicationMaster4.Container三、Yarn执行流程四、Yarn资源调度器五、Yarn常用命令一、Yarn简介在Hadoop2
XavierYen·2020-12-17 08:40

MapReduce - Hadoop Streaming - 练习

几个入门级别的MapReduce练习基于版本：Python2.6.6，Hadoop2.6.5文章目录1.WordCount——统计文本中的词频1.1准备文本数据1.2Map阶段1.2.1写一个map函数
不可描述的两脚兽·2020-12-15 17:46

yarn-资源管理container容器配置详解

开题引文:yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介绍了yarn在生产上如何资源管理
BABA_777·2020-12-06 15:16

手把手教你搭建Hive环境

hadoop基础环境（3.1.3）Hive版本3.1.2下载地址：https://hive.apache.org/downloads.htmlHive3.X版本支持Hadoop3.X,Hive2.0版本支持Hadoop2
云掣科技·2020-12-03 14:59

Yarn(Hadoop2.0)学习笔记(二)

Hadoop1.0中的状况JobTracker必须是不断跟踪所有的taskTracker和所有的map,reduce任务,taskTracker上的任务都是JobTracker来分配的2.0优化的方向我们减少了单个JobTracker的职责,将部分职责委派给taskTracker(AM),因为集群中有多taskTracker,在新的设计中,这个概念通过将JobTracker的双重职责(RM集群资源
武小寺·2020-12-01 16:34

Yarn(Hadoop2.0)学习笔记(一)

简介1.0跟2.0的区别在Yarn中我们把job的概念换成了application，因为在新的Hadoop2.x中，运行的应用不只是MapReduce了，还有可能是其它应用如一个DAG（有向无环图DirectedAcyclicGraph
武小寺·2020-12-01 16:12

大数据环境搭建hadoop，hive，spark，Python，anaconda

如何在自己的电脑搭建一个虚拟的集群环境：1、安装虚拟机（包括linux系统：笔者使用ubantu16.04）http://dblab.xmu.edu.cn/blog/2760-2/#more-27602、安装hadoop2
君_临_天_下·2020-11-21 19:56

Hadoop 单节点部署（一） Hadoop

SingleNodeClusterHadoopClusterSetup组件版本需求选型OSLinuxonly,CentOS6.5+orUbuntu16.0.4+CentOS7.5.1804JDK1.8+1.8.202Kylinv3.1.1Hadoop2.7
偷油考拉·2020-11-16 14:50

zookeeper集群搭建（详细步骤）

集群规划安装三台虚拟机，IP地址、主机名设置如下IP主机名软件192.168.1.66SQGJDK\zookeeper192.168.1.2hadoop1JDK\zookeeper192.168.1.3hadoop2JDK
SQG_L·2020-11-11 14:52

Kafka集群安装部署

一.环境准备1.集群规划hadoop2hadoop3hadoop4zkzkzkkafkakafkakafka2.jar包下载http://kafka.apache.org/downloads.html3
Movle·2020-11-10 17:01

Hadoop2.7.1伪分布安装及配置

基于Ubuntu14.04.6单机伪分布式安装Hadoop2.7.1前言一、创建用户二、安装配置SSH三、安装Java环境四、安装hadoop五、hadoop伪分布式配置运行实例前言上一篇blog介绍了多节点
hhhSir'blog·2020-11-08 11:51

Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04

本教程基于原生Hadoop2，在Hadoop2.6.0(stable)版本下验证通过，可适合任何Hadoop2.x.y版本，如Hadoop2.7.1、2.6.3、2.4.1等。前期工
auhjin_ai8·2020-10-27 14:18

Hadoop2.7.3搭建伪分布式集群

目录1.配置文件：hadoop-env.sh2.配置文件：core-site.xml3.配置文件：hdfs-site.xml（可选择性配置，副本默认值是3）4.启动集群5.操作集群Hadoop的集群模式有3种，具体配置信息可以参考如下链接，本篇文章先讲述如何搭建伪分布式，并登陆HDFS的web界面操作文件。Hadoop历史版本下载：http://archive.apache.org/dist/ha
秃头钢铁侠·2020-10-18 12:31

hadoop-core-site.xml配置文件详解

hadoop配置文件:core-site.xml详解core-site.xml配置文件介绍HDFS和MapReduce常用的I/O设置等core-site.xml配置文件Hadoop2.0版本的core-site.xmlnamedescriptionvaluehadoop.tmp.dirAbaseforothertemporarydirectories
许喜朝·2020-10-17 17:20

HBase集群配置Snappy压缩算法

一、背景介绍在生产环境搭建了HadoopHA集群（Hadoop2.7.7+HBase1.4.10）。根据官方文档，Snappy压缩算法在Hadoop1.0.2中即可使用。
yiming1012·2020-10-11 10:44

hadoop2.7.2搭建完全分布式集群

新建虚拟机修改虚拟机的静态IP修改主机名,添加主机和ip的映射关系关闭防火墙（1-4通过脚本完成）创建普通用户useraddjinghangpasswdjinghang配置普通用户具有root权限vim/etc/sudoers在91行下添加如下内容：jinghangALL=(ALL)NOPASSWD:ALL完成后:wq!7.在/opt目录下创建文件夹（software存放压缩软件包，modul存放
zyj_369·2020-10-10 10:46

hbase shell命令

环境：hadoop2.7.3hbase1.x，如果还没安装hbase，请点击这里安装hbasehbaseshell常用命令启动hadoop及hbasestart-all.shstart-hbase.sh
Hadoop_Liang·2020-10-09 22:02

Hadoop完全分布式集群搭建

集群规划HDFS:1个NameNode+n个DataNode+1个2NNYARN:1个ResourceManager+n个NodeManagerhadoop1hadoop2hadoop3DNDNDNNMNMNMNNRM2NN
WillLiaowh·2020-10-09 13:42

Flink集群部署与启动之Flink On Yarn

在配置FlinkOnYarn之前，必须保证hdfs和yarn都已经开启：Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配安装版本：flink-1.7.1-bin-hadoop28
Natasha·2020-10-09 13:36

Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配

：hadoop-2.8.3.tar.gzmkdir/usr/local/hadooptarzxvfhadoop-2.8.3.tar.gz-C/usr/local/hadoop修改域名与IP的对应关系(hadoop2
Natasha·2020-10-09 13:02

idea远程连接hadoop(macOS)

mac上的配置方式.前提是电脑中已经安装有hadoop首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11,但是hadoop对于JDK9以上的配置对于我这个新手太不友好了,加上远程虚拟机安装的是hadoop2.7
chain_xx_wdm·2020-10-09 13:11

CDH新增计算节点，并对新增的计算节点，添加服务角色的详细具体步骤

操作步骤集群示意图：准备好linux环境配置hadoop账号，ssh免密，关掉防火墙，磁盘挂载1：创建hadoop账号useraddhadoop２：ssh无密码登陆suhadoopssh-keygen-trsa
阿啄debugIT·2020-10-07 22:39

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9
·2020-09-21 13:49

Hadoop2.3.0-CDH5.1.3的eclipse插件编译

环境：windows，Hadoop2.3.0-CDH5.1.3，eclipse版本:kapler1，安装Ant版本apache-ant-1.9.6，常规的复制进去，配PATH，很简单不再赘
咔_咔·2020-09-17 14:22

Hadoop2.2.0集群的HA高可靠的最简单配置

hadoop2就解决了这个问题。图1hadoop2.2.0中HDFS的
weixin_34245082·2020-09-17 13:09

Centos6.5 创建新用户

创建新用户本教程配置说明目的：创建新用户，避免错误使用root用户而带来不可挽救的“灾难”1.创建用户:useraddhadoop创建密码:passwdhadoop2.给新用户赋予sudo使用权限A.进入超级用户模式
该昵称已经被占用·2020-09-17 13:07

HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。
liuhong1123·2020-09-17 12:48

hadoop编译问题

org.apache.maven.plugins.enforcer.RequireJavaVersionfailedwithmessage:DetectedJDKVersion:1.8.0-231isnotintheallowedrange[1.7.0,1.7.1000}].jdk:1.8.0-231hadoop版本：hadoop2.5.0
chao1118·2020-09-17 11:02

安装配置hadoop遇到的问题

报错：hadoop2.2.0升级成hdfsha后查询报错：hadoopfs-ls/17/11/1616:17:52WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
chao1118·2020-09-17 11:02

hadoop2.7.3 HA高可用集群安装

hadoop2.7.3HA高可用集群安装HDFS高可用性（NameNode）NN必须实现共享元数据才能保证无缝切换；共享元数据可以采用Linux提供的NFS服务，也可以使用Hadoop提供的JournalNode
ProfoundOx·2020-09-17 11:01

hadoop yarn 内存

www.cnblogs.com/princessmeiyi/p/5238215.htmlHadoopMapReduce之作业提交（客户端)配置hadoop.tmp.dir目录hadoop如何分发本地的jar文件hadoop2
大树叶·2020-09-17 06:10

hadoop 提交jar的运行 org.apache.hadoop.util.RunJar

关于hadoop提交jar的运行如下：1）https://www.cnblogs.com/admln/p/hadoop2-work-excute-submit.html2）https://blog.csdn.net
大树叶·2020-09-17 06:10

Hive报错：cannot access /usr/local/src/spark-2.2.1-bin-hadoop2.6/lib/spark-assembly-*.jar

执行hive报错ls:cannotaccess/usr/local/src/spark-2.1.3-bin-hadoop2.6/lib/spark-assembly-*.jar:Nosuchfileordirectory
Devin01213·2020-09-17 05:44

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkTC..

spark-1.6.1-bin-hadoop2.6里Basic包下的SparkTC.scala/**LicensedtotheApacheSoftwareFoundation(ASF)underoneormore
weixin_33834137·2020-09-17 05:52

初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su.

>>提君博客原创http://www.cnblogs.com/tijun/会出现一个提示ls:cannotaccess/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib
weixin_30371469·2020-09-17 05:06

ls: cannot access /usr/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or .

问题：进入hive时报错，如下所示[root@hadoop001bin]#hivels:cannotaccess/usr/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly
weixin_30367873·2020-09-17 05:35

Hadoop数据节点DataNode异常

1、问题背景：操作系统：CentOS7.664位Hadoop版本：Hadoop2.8.5JDK：1.8.0_2012、问题描述使用start-dfs.sh、start-yarn.sh脚本启动Hadoop
Eddie-Wang·2020-09-17 05:29

【解决办法】Hadoop2.6.4 datanode 无法启动，错误：All specified directories are failed to load.

在部署hadoop2.6.4集群的时候碰到下面的错误FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:InitializationfailedforBlockpool
明宇李·2020-09-17 05:19

ls: cannot access /home/spark-2.4.4-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or director

在安装了spark之后，一直正常的hive启动时出现报错：原因是spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。解决办法：将sparkAssemblyPath=`ls${SPARK_HOME}/lib/spark-assembly-*.jar`修改为sparkAss
落俗zp·2020-09-17 04:13
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他