Hadoop2

Intellij IDEA2.6 + Hadoop2.9.0 本地开发MapReduce并提交到集群

IDEAHADOOP2.9.0前提需要安装jdk并且配置环境变量解压hadoop2.9.0到指定目录，并且配置环境变量HADOOP_HOME=C:\Work\hadoop-2.9.0HADOOP_BIN_PATH
2010jing·2021-05-08 20:02

Hadoop安装部署 双Namenote

hdp21192.168.95.21hdp22192.168.95.22hdp23192.168.95.23hdp24192.168.95.24hdp25192.168.95.25时间网络同步、关闭selinux创建用户hadoop，密码fujghadoop用户免密登录我准备把所有的文件都放在home目录下Hadoop2.7.3192.168.95.21hdp21
Mr_Gao_·2021-05-07 00:26

##Hadoop2.0(HDFS2)以及YARN设计的亮点

Hadoop2.0(HDFS2)以及YARN设计的亮点-似水流年-CSDN博客http://blog.csdn.net/xiaoshunzi111/article/details/49283213Paste_Image.pngHADOOP2.0
葡萄喃喃呓语·2021-05-04 13:18

5月21日第十四次早课Hadoop

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?
ly稻草·2021-05-03 08:14

每日一读 11.03

hadoop2.x基于QJM的NameNode共享存储方案分析http://www.aboutyun.com/forum.php?
Vicor·2021-05-02 21:31

6.HADOOP发展史与发行版

实际上，目前Hadoop有三个版本：Hadoop1.0和Hadoop2.0，在2017年，又发布了3.0，但是3.0还远没有被大众用户接受，所以我们常用的是2.Xhadoop官网版本其中，Hadoop1.0
经纶先生·2021-05-01 11:20

黑猴子的家：Hadoop HA - 概念

HDFS的HAYARN的HA3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群。
黑猴子的家·2021-05-01 04:50

Hadoop2.7.3 环境配置

在上一篇简单使用OpenStack创建实例已经有三个VM，此文将在这个基础上搭建hadoop环境。做个记录，方便以后查询。OpenStack下的Ubuntuhadoop-2.7.3jdk将材料上传到VM可以用filezilla,xftp来上传。安装JDK解压$tar-zxvfjdk-8u121-linux-x64.tar.gz配置$vim/etc/profile在最后添加exportJAVA_HO
2010jing·2021-04-30 22:35

Linux部署Nodejs项目

download/下载安装包或者源代码下载node通过xshell登录Linux服务器将安装包上传到指定的安装目录，最好事先规划安装目录#事先创建好mongodb，node，project项目这些文件夹[root@hadoop214
淡就加点盐·2021-04-30 20:01

MapReduce基础编程，实现WordCount实例

MapReduce基础编程，实现WordCount实例，并导入到Linux中1、在Windows下下载Hadoop2、使用idea新建Java工程3、编写代码4、将编写的Java项目导出成jar包5、将
繁华尽头满是殇·2021-04-29 18:10

Hadoop系统架构与简单介绍

Hadoop系统架构一、Hadoop系统架构图Hadoop1.0与hadoop2.0架构对比图YARN架构:ResourceManager–处理客户端请求–启动/监控ApplicationMaster–
Albert陈凯·2021-04-29 03:38

编译hadoop2.7.3-亲自在centos7+jdk1.8上测试过

1.下载maven（apache-maven-3.3.3-bin.tar.gz）wgethttp://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz2.安装maventar-zxvfapache-maven-3.3.3-bin.tar.gz-C/usr/local/src/mvap
t_spider·2021-04-25 18:22

Hadoop HA高可用架构

HadoopHA高可用架构架构的问题及解决方案Hadoop1与Hadoop2模块架构HadoopHA高可用机制HadoopFederation联盟机制HA实现可能遇到的问题两个NameNode的Active
杀智勇双全杀·2021-04-24 23:09

Linux 账户建立和免密登录设置

账户建立：1.建立hadoop用户组：groupaddhadoop2.创建hadoop用户（赋予hadoop用户组并具有root权限）：useradd-s/bin/bash-d/home/hadoop-mhadoop-ghadoop-Groot3
小小一匹狼·2021-04-23 13:50

#HBase搭建

zc741520/blog/388718下载首先参考：http://hbase.apache.org/book.html#_configuration_files确定需要的HBase版本，我已经安装了Hadoop2.7.3
观星·2021-04-23 01:22

Spark on Yarn

版本：spark-2.3.0-bin-hadoop2.6http://spark.apache.org/docs/latest/running-on-yarn.html在YARN上启动Spark确保HADOOP_CONF_DIR
金刚_30bf·2021-04-22 10:31

HDAS HA 高可用

HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态
Vince1958·2021-04-21 14:52

mapreduce采用多进程与spark采用多线程比较

转自：Mapreduce多进程与spark多线程ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和
wangliang938·2021-04-20 13:43

伪分布式-spark

解压安装包tar-zxvfspark-2.4.3-bin-hadoop2.7.tgz配置全局环境变量exportSPARK_HOME=/usr/local/src/sparkexportPATH=$PATH
蕴重Liu·2021-04-19 12:25

Hadoop + Hbase 安装部署

hadoop安装链接Linux安装Hadoop软件-##HADOOP安装步骤````1.tar-zxvfhadoop_2.7.1--解压hadoop2.pwd--查看当前路径3.ln-shadoop_2.7.1hadoop
有李说布清呀·2021-04-14 10:05

Spark Core随笔

1.2Spark&FlinkSpark:主要适用于离线计算业务中Flink:主要适用于实时计算业务中1.3Spark&Hadoop出现的时机：Hadoop1.x~Hadoop2.xHadoopSpark
南宫齐世伟·2021-04-13 23:20

2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用

HDFS间的文件复制4、复制与删除HDFS文件5、查看HDFS文件内容6、对比hdfsdfs三、Java操作HDFS1、前置工作2、示例代码一、学前必备知识2021年全网最细大数据学习笔记（一）：初识Hadoop2021
Amo Xiang·2021-04-10 16:11

linux centos7.6配置Hadoop+Spark+Hbase+Hive+Zookeeper集群

文章目录hadoop&spark集群配置网络配置(桥接模式)ip配置修改用户名（所有节点）配置ssh免密码登录安装JDK1.8.0环境(所有节点)安装Hadoop2.10.0(所有节点)遇到的问题安装关系型数据库
东流-beyond the label·2021-04-08 22:15

大数据人工智能技术全攻略

大数据人工智能技术全攻略大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2
u010067340·2021-03-20 15:57

Spark框架深度理解三：运行架构、核心数据集RDD

从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解这篇博客大家可以先去温习一下Hadoop整个体系，然后再来了解Spark框架会更有效率。
master_hunter·2021-03-19 22:13

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-12 01:31

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-03-12 01:59

Spark

exportJAVA_HOME=/home/jdk1.7.0_17exportSPARK_HOME=/home/spark-1.4.0-bin-hadoop2.6exportSPARK_MASTER_IP
秦汉邮侠·2021-03-11 18:55

hadoop2.7.1本机无法访问centos7虚拟机50070端口

关闭防火墙[root@vm003downloads]#systemctlstopfirewalld.service
pluo1717·2021-03-11 12:59

hadoop2.x伪分布式搭建

【前言】之前搭建了hadoop1.x的伪分布式与全分布式，由于hadoop2.x与hadoop1.x在安装和配置上有较大的区别，所以对hadoop2.x的安装也做一个笔记以便日后学习。
先生_吕·2021-03-10 17:26

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-09 22:40

Hadoop2.7.3环境搭建之伪分布式

Hadoop伪分布式环境搭建一、前置条件二、准备工作三、Hadoop安装四、伪分布式配置说明：熟悉Hadoop伪分布式环境搭建基本思路与流程，理解主从式结构体系思想一、前置条件前置条件请自行参考如下资料进行操作，确保虚拟机及操作系统正常安装安装VMware参考：https://blog.csdn.net/sujiangming/article/details/87991536创建虚拟机和安装操作系
若兰幽竹·2021-03-08 21:04

Hadoop Web控制台添加身份验证

我们在安装完hadoop2.x版本之后，默认情况下，可以通过http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等
xiaokebiubiubiu·2021-03-08 00:23

spark安装测试

spark安装测试spark-shell使用提交流程分析spark安装测试解压安装：把安装包上传到/opt/soft下,并解压到/opt/module/目录下tar-zxvfspark-2.1.1-bin-hadoop2.7
海绵不老·2021-03-05 23:02

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-02-25 11:24

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

spark中读取json_【spark】文件读写和JSON数据解析

vallines=sc.textFile("file://")//文件地址或者HDFS文件路径本地地址"file:///home/hadoop/spark-1.6.0-bin-hadoop2.6/examples
咏恒灬貂蝉·2021-02-11 10:40

HDFS

2.HDFSHadoop2.0以后的版本移除了原有的JobTracker和TaskTracker，改由YarnResourceManager负责集群中所有资源的统一管理和分配，NodeManager管理单个计算结点系统架构
SteveJohnson·2021-02-06 12:55

HDFS架构演变之路

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:57

HDFS架构演变

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:05

Hadoop安装与配置详细教程

准备三个虚拟机使用vagrant安装虚拟机环境1、首先安装jdk（三台机器都需要）https://www.jianshu.com/p/8829bc3a92172、安装hadoop2.9.2下载hadoop2.9.2
Y了个J·2021-02-02 23:47

Flink Standalone高可用+HDFS高可用

安装Hdfs由于FlinkStandalone需要依赖Hdfs，因此需要先安装Hdfs，这里使用hadoop2.6.5版本进行安装下载依赖包flink依赖包：https://repo.maven.apache.org
好多小花花·2021-01-27 10:00

[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决

目录前言：1.下载最新的hadoop安装包2.安装hadoop2.1查看java环境位置2.2修改hadoop-env.sh文件2.3修改core-site.xml2.4配置文件系统hdfs-site.xml2.5
pmdream·2021-01-26 14:37

Hive SQL的数仓迁移成Spark SQL，之前的UDF函数怎么办?

环境：spark2.11，hive2.3.6，hadoop2.7.2解决方案首先，hive的元数据一般生产我们都会存在mysql当时，所以设想：sparkonhive也是使用hive的元数
俩只猴·2021-01-24 14:38

FLINK安装及提交任务

JOB命令提交JOBYARN模式提交JOBSession-cluster模式Per-Job-Cluster模式并行度拓展FLINK安装1.安装前确认有java环境,我这里有三台机器,分别是hadoop1,hadoop2
海绵不老·2021-01-22 23:17

Hadoop集成Spring的使用详细教程(快速入门大数据)

官网sprng-hadoophttps://spring.io/projects/spring-hadoop添加依赖org.springframework.dataspring-data-hadoop2.5.0
·2021-01-22 09:12

大数据电影可视化系统

项目链接:https://github.com/GoAlers/Bigdata-movie开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop
GoAl的博客·2021-01-20 11:55

Spark2.4.5集群安装与本地开发

下载官网地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz验证Java是否安装
架构设计之道·2021-01-19 11:24

飞腾+麒麟上安装spark

spark:2.1.0scala2.11.11源：Spark:wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7
中国信创服务社区·2021-01-15 08:52

flink启动命令参数_Flink快速上手(QuickStart)

比如FlinkforHadoop2。
杨奎元-深动·2021-01-14 06:11
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他