Hadoop2 第16页

HDFS基础入门

HDFS中的重要概念分块存储HDFS中的文件在物理上是分块存储的，块的大小可以通过配置参数来规定；Hadoop2.x版本默认的block大小是128M命名空间H

女友在高考·2022-08-06 09:00

spark筑基篇-00-Spark集群环境搭建

说明1效果图2实验环境3配置ssh免登陆集群搭建1配置环境变量2配置hadoop21core-sitexml22hdfs-sitexm23mapred-sitexml24yarn-sitexml25hadoop

hylexus·2022-08-05 12:25

spark 写 hbase 数据库，遇到Will not attempt to authenticate using SASL (unknown error)

观察ambari的hosts显示然后我开始配置hostsip1a.hadoop2.comip2

格格巫 MMQ!!·2022-07-25 16:31

Hadoop 生产调优 (一) --------- HDFS 核心参数

Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在hadoop-env.sh文件中配置

在森林中麋了鹿·2022-07-21 07:23

大数据学习之Hadoop生态圈（一）

文章目录前言1、什么是hadoop2、Hadoop起源3、Hadoop的四大特点4、Hadoop的三大发行版本5、Hadoop的版本迭代6、Hadoop的优点及缺点7、Hadoop组成前言上篇文章讲述了大数据的发展及历程

Lnn_CSDN·2022-07-18 13:06

Spark入门到精通-番外篇(Standaone集群的运维和简单操作)

安装包下载Indexof/dist/sparkspark集群的master和work单独启动要单独启动那么必须先启动master,然后在启动worktar-zxvfspark-3.0.0-bin-hadoop2.7

顶尖高手养成计划·2022-07-16 15:26

Hadoop HA 高可用集群搭建

搭建环境：环境版本地址地址CentOS6.564x点击下载hadoop2.5.1点击下载Zookeeper3.4.5点击下载HadoopHa配置null点击下载nullnullnullch01192.168.128.121NNDNRMch02192.168.128.122NNDNNMch03192.168.128.123DNNM

wespten·2022-07-16 12:38

Centos hadoop-2.7.7安装

安装过程参考了林子雨教程Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客(xmu.edu.cn)http://dblab.xmu.edu.cn/blog

嘻水流年·2022-07-13 13:28

Spark3.1.2 on TDH622

这里选择spark-3.1.2-bin-hadoop2.7版本。

李_少·2022-07-13 08:24

Flink Iceberg 测试

组件版本组件版本Java1.8.251Scala1.12.14Flink1.12.5Iceberg0.12.0Hadoop2.9.2Hive2.3.6将hdfs-site.xml，core-site.xml

訾零·2022-07-13 08:41

【图文步骤】CentOS7 搭建Hadoop3.x 完全分布式

自行安装Centos7系统）hadoop3.x安装包（linux版本）java1.8安装包（linux版本）1使用root用户登录创建hadoop用户[root@hadoop102~]#useraddhadoop2

菜鸟进阶站·2022-07-11 09:18

Hadoop学习记录4--Maven、HDFS API编程

目录1.Windows下安装hadoop2.Maven2.1Maven简介2.2Maven安装与配置2.3通过pom文件下载hadoop的客户端依赖3.API之文件操作3.1API之文件系统对象3.3API

枫茗、·2022-07-03 13:01

Hadoop总结(更新)

面试题：hadoop组成hadoop1.XMapReduce(计算+资源调度)HDFS(数据存储)hadoop2.XMapReduce(计算)Yarn(资源调度)HDFS(数据存储)HDFS有一个ResourceManager

宁然也·2022-07-03 13:00

HDFS存储目录分析

本文基于Hadoop2.6版本介绍HDFSNamenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml

一寸HUI·2022-07-02 10:00

spark python pickle对象_cPickle.PicklingError：无法序列化对象：NotImplementedError

Createdbroadcast12frombroadcastatNativeMethodAccessorImpl.java:0pyspark_1|Traceback(mostrecentcalllast):pyspark_1|File"/home/ubuntu/spark-2.4.4-bin-hadoop2.7

weixin_39884100·2022-06-29 07:21

比较 Spark 和 MapReduce 执行迭代应用Pagerank的性能差异

2.实验设置1)Ubuntu18.04、jdk1.8、云主机、IDEA2020.3.42)Hadoop2.10.1、Spark2

张嘉睿大聪明·2022-06-27 10:34

Spark开发环境的搭建

小编下载spark的版本是：spark-2.3.2-bin-hadoop2.7.tgz。

鄙人阿彬·2022-06-26 07:37

windows系统搭建spark+hadoop环境

hadoop版本hadoop-2.7.7，spark版本spark-2.2.0-bin-hadoop2.7，搭建步骤如下：1.配置hadoop的环境变量F:igdatatoolhadoop-2.7.7in

m0_67394230·2022-06-20 14:51

Hadoop史诗级入门详解

1.2Hadoop发展历史1.3Hadoop的三大发行版本1）ApacheHadoop2）ClouderaHadoop3）HortonworksHadoop1.4Hadoop具有什么优势呢？

红糖番薯·2022-06-20 12:33

Spark Streaming之流式词频统计（Socket数据源）

Maven3.6.0JDK1.8Scala2.11.11Spark2.4.3Spark运行环境：系统：LinuxCentOS7（两台机：主从节点）master:192.168.190.200slave1:192.168.190.201JDK1.8Hadoop2

碣石观海·2022-06-14 22:18

干货丨MapReduce的工作流程是怎样的？

分片操作：指的是将源文件划分为大小相等的小数据块（Hadoop2.x中默认128M），也就是分片(split)，H

Blue92120·2022-06-09 19:09

Centos下安装Hadoop【历时三天亲测有效】

版本说明：VMwareCentos6.8SecureCRT工具jdk1.8hadoop2.7点击获取安装包：https://pan

孙和龚·2022-06-08 07:46

Hudi 集成 Hive

环境:hudi0.10.1spark2.4.5hive2.3.7hadoop2.7.5将编译好的hudijar,copy到hivelib目录下:cp/Users/xxx/cloudera/lib/hudi

雾岛与鲸·2022-05-31 07:42

Centos7安装Hadoop2.8步骤

第一步，准备3台机器或虚拟机，分别作为hadoop安装集群的master和2个slave。3台机器安装好JDK，并配置好JAVA_HOME（请参考《Centos7安装OracleJDK》）。然后在3台机器之间建立信任关系（请参考《在两台Centos服务器之间建立信任关系》）。然后，在3台机器上分别执行hostnameaeolus-vm0，hostnameaeolus-vm1，hostnameaeo

郑再鹏·2022-05-27 08:18

CentOS7搭建Hadoop集群的详细操作流程

CentOS的可参考：LinuxCentOS安装教程Haddop的下载可以到https://mirrors.cnnic.cn/apache/hadoop/common/这个网址下载，下载的时候版本是选择Hadoop2

小嗯子·2022-05-27 08:16

hadoop集群搭建

1、创建虚拟机及规划下面是我本地的环境信息机器名IP操作系统hadoop1192.168.68.120CentOS7hadoop2192.168.68.121CentOS7hado

wang03·2022-05-08 20:00

大数据-离线数据处理

文章目录Hive离线分析回顾业务流程准备搭建环境1.启动Hadoop2.修改flume配置文件3.启动flume4.启动jt-logserver5.测试准备数据离线数据处理Hive管理数据数据清洗数据处理

DayDayUp-Panda·2022-04-24 14:33

HDFS基础-安装伪分布式Hadoop

使用工具①centos6.5②jdk1.8③Hadoop2.7.1【*】虚拟机使用Linux作为操作系统，这也是在生产情况下运行Hadoop的唯一指定操作系统。

AGi_·2022-04-21 09:43

HDFS基础-安装Hadoop出错

Error:Cannotfindconfigurationdirectory:/etc/hadoop【错误】在安装Hadoop2.7.1时，使用命令start-all.sh启动，出现Error:Cannotfindconfigurationdirectory

AGi_·2022-04-21 09:43

Idea——Hadoop3.2.1版idea插件安装超详细版

另外本教程虽然是为Hadoop3.2.1版本安装的插件，但实际Hadoop2.Xidea插件也可以这样安装，只是修改pom中hadoop版本参数稍有不同而已。二、准备阶段下载Idea2

JiaM丶·2022-04-11 15:22

Linux_hadoop2.2.0伪分布式搭建安装

一：准备Linux环境1.1开启网络,ifconfig指令查看ip1.2修改主机名为自己名字(hadoop)centos7连接：https://zhuanlan.zhihu.com/p/375497418vim/etc/sysconfig/networkNETWORKING=ye

and脱发周大侠·2022-04-10 20:00

Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）

五、安装单机Hadoop1.下载安装Hadoop2.运行示例总结前言本文安装的Hadoop及Java环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java版本为1.8.0_301，

hjseo_seg·2022-03-31 11:51

（超详细）基于Zookeeper的Hadoop HA集群的搭建

HadoopHA是hadoop2.0后新添加的特性，包括NameNodeHA和ResourceManagerHA。NameNodeHA

IT路上的军哥·2022-03-31 10:04

Hadoop2.x与Hadoop3.x副本选择机制

HDFS上的文件对应的Block保存多个副本，且提供容错机制，副本丢失或者宕机自动恢复，默认是存3个副本。2.8.x之前的副本策略官方文档说明：https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationForthecommoncase,whenthere

DawnLewis·2022-03-26 11:00

spark on yarn集群搭建

其他两个为从节点）实验环境：服务器节点数量：3系统版本：LinuxJava版本：jdk-8u261-linux-x64Hadoop版本：hadoop-2.7.6Spark版本：spark-2.3.0-bin-hadoop2.7

GXX_xxg·2022-03-25 07:24

初识Hadoop

2.所用版本目前Hadoop版本以Hadoop2.7.x为主，我们的课程选择Hadoop2.7.3。3.Hadoop核心组件与应用组件介绍:HDF

Iiversse·2022-03-25 07:50

Spark on YARN 部署

liam08·2022-03-25 07:40

hadoop2和hadoop3的比较

title:hadoop2和hadoop3的比较date:2022-03-2311:47:10tags:[hadoop,大数据]categories:[大数据,翻译]本文为翻译版本，请欣赏。

chenzuoli·2022-03-25 07:08

[ hadoop ] 集群性能调优全面总结

计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop综合调优.1HDFS调优1.1核心参数1.1.1NameNode内存Hadoop2

bone_ds·2022-03-19 22:34

big data 入门

bigdata参考厦门大学-林子雨-大数据技术原理与应用（第2版）Hadoop1.0Hadoop2.0HDFS2.0的新特性HDFSHAHDFSFederationYARN新一代资源调度管理框架（未完成

mo明奇妙·2022-03-18 18:36

Apache Kyuubi调研

1.QuickStart1.1下载安装启动下载：https://github.com/NetEase/kyuubi/releasestarzxvfkyuubi-1.2.0-bin-spark-3.0-hadoop2.7

静哥哥~·2022-03-18 05:57

pycharm 远程连接运行pyspark

username将linux中spark下的pyspark复制到python中由于是spark2.0因此只支持python3.5以下cp-r/home/software/spark-2.0.1-bin-hadoop2.7

晚点吧·2022-03-18 05:24

window安装python3后怎么用pyspark_Windows上的PyCharm 远程连接调试pyspark

1.设置环境变量在Linux中/usr/local/spark/spark-2.2.0-bin-hadoop2.7/python/l

胡老师聊自考·2022-03-18 05:20

zookeeper启动时报错：Starting zookeeper ... FAILED TO START

安装zookeeper时，启动集群报错Startingzookeeper...FAILEDTOSTART，查看日志，详细错误如下：解决办法如下：删除如下两个目录中的version-2目录[ray@hadoop203zookeeper

colin.peng·2022-03-18 04:38

大数据的框架及基础认识

MySQL：SQLLinux：大数据技术框架都是部署在Linux系统上需要学习什么第一方面：大数据离线分析Hadoop2.x(Common、HDFS、MapReduce、Yarn)：存储、分析环境搭建处理数据思想

leson-xu·2022-02-28 11:41

Hadoop2.7.6_04_HDFS的Shell操作与常见问题

1.HDFS的shell操作1.1.支持的命令及参数1[yun@mini05zhangliang]$hadoopfs2Usage:hadoopfs[genericoptions]3[-appendToFile...]4[-cat[-ignoreCrc]...]5[-checksum...]6[-chgrp[-R]GROUPPATH...]7[-chmod[-R]PATH...]8[-chown[-

weixin_30514745·2022-02-28 10:31

在CentOS7上实现Hadoop2.7.3完全分布式的安装部署（小白版）

这篇博客，从小小白的角度出发，来讲解如何在CentOS7中，来部署安装三个节点（一主两从）的完全分布的Hadoop2.7.3。

沉眠流年的麦子·2022-02-28 10:30

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

Hadoop2.x初级入门到精通(全面深入的Hadoop实战教程)—756人已学习课程介绍以ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一

sundaytian·2022-02-28 10:27

大数据之hbase环境搭建笔记

1.环境选择操作系统：centos7.2hadoop2.7.6jdk1.8_144zookeeper3.4.13hbase1.3.12.搭建过程gedit/etc/profileexportHBASE_HOME

结巴分词·2022-02-28 10:59

9、大数据框架HBase搭建

文章目录大数据框架HBase搭建```准备工作```1、启动hadoop2、启动zookeeper```搭建hbase```1、上传解压配置环境变量2、修改hbase-env.sh文件3、修改hbase-site.xml

liangzai2048·2022-02-28 10:46

推荐频道

Hadoop2