Hadoop2

apache hudi 初见

gitclonehttps://gitee.com/apache/Hudi.gitdockerpullyml文件里面的镜像然后docker-compose-fdocker-compose_hadoop284
GP0000968523·2023-07-13 20:25

基于Spark的Hive编程中，“Error:(8, 37) java: 程序包org.apache.spark.sql.api.java不存在”的解决办法

报的错误如下图所示：其实问题很简单，原因就在于spark-assembly-1.2.0-hadoop2.4.0.jar这个jar包有问题。
winfield821·2023-07-13 17:24

Hbase高可用

1.手动此时没有备用master，在hadoop2上执行以下命令hbase-daemon.shstartmaster再次刷新，发现hadoop2成了备用maste
Java小生不才·2023-06-23 20:21

flink集群的搭建及测试

本文主要是讲述flink单机版的搭建及测试前期准备jave要配置好，版本最好1,8以上首先在官网下载需要的版本，网址在下面：这次测试使用的是flink1.6.2，Hadoop2.7.2，scala2.11https
堂哥000·2023-06-23 20:41

Spark实战之读写HBase

tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gzSpark：spark-2.1.0-bin-hadoop2.61.2Spark
朝和(zixi0825)·2023-06-23 08:11

【HDFS篇11】HA高可用

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集
focusbigdata·2023-06-22 07:38

Linux下mysql5.7.28安装

百度网盘请输入提取码提取码:hp2xmysql-5.7.28-1.el7.x86_64.rpm-bundle.tarmysql-connector-java-5.1.37.jar2）解压MySQL安装包[shuidi@hadoop201software
施小赞·2023-06-21 18:21

Eclipse创建包含Scala的Maven工程_Spark学习demo

1.1hadoop安装安装hadoop2.6.0，参考博客1.2spark下载下载spark-1.6.0-bin-hadoop2.6.tgz，在官网下载，在chooseadownloadtype中建议选择
DevinShuai·2023-06-21 12:53

5.Hadoop之生产调优

128*1024*1024*1024/150Byte≈9.1亿2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g
hutc_Alan·2023-06-20 17:24

datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后
能力工场小马哥·2023-06-20 09:37

国内首家！主导Apache Hadoop新版本发布的，是腾讯云这位小哥哥

\\\近日，腾讯主导的ApacheHadoop2.8.4最新版本发布，为国内科技公司在国际开源领域的探索迈出重要一步。
weixin_34130389·2023-06-18 09:07

[转帖]2018年的新闻: 国内首家！腾讯主导Apache Hadoop新版本发布

ApacheHadoop新版本发布https://blog.csdn.net/weixin_34194317/article/details/88811258腾讯也挖了很多大数据的牛人啊..近日，腾讯主导的ApacheHadoop2.8.4
weixin_30426065·2023-06-18 09:37

yarn 的知识要点

yarn是一个资源调度系统，也可以视为一个在hadoop2.0平台上的插件系统，在HDFS的基础上，可以在yarn上运行多个计算框架，例如spark、sparksteaming、flink、MR等。
风暴之芽·2023-06-17 01:34

大数据技术之Hadoop（生产调优手册）

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，Na
猫腻余腥·2023-06-16 14:29

HDFS架构简介

可靠性：Hadoop能自动地维护数据的多份副本，并且在任务失败后重新自动部署计算任务Hadoop2.0时期的架构图Hadoop的核心组件：HDFS(分布式文件系统)、MapRe
ArthurIsUsed·2023-06-14 13:13

Spark三种模式的安装与配置

环境准备jdk1.8.0_301scala-2.11.8spark-2.4.8-bin-hadoop2.7hadoop-2.7.6（sparkonyarn时需要）当前目录:/root/***/packages
大数据ZRL·2023-06-14 10:31

Centos7安装hadoop2.7.5（单节点）

1.安装JavaJDK#编辑配置文件vim/etc/profile#添加以下内容exportJAVA_HOME=/usr/local/java/jdk1.7.0_79exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#使环境变量生效source/etc/pro
Mr_Gao_·2023-06-14 04:37

hadoop hdfs 性能调优

.namenode一直在做fullgc,此时hdfs基本处于不可用状态,此时系统可用内存又不足,而且cpu负载很高.由于这个环境第一次接手维护.这篇文章主要总结下如何做的优化.环境:hadoop版本:Hadoop2.6.0
oo_思维天空·2023-06-13 04:23

Mac OS 安装 Hive

MacOS安装Hive一、环境说明操作系统：macOSHighSierra10.13.2hadoop版本：apachehadoop2.6.0mysql版本：mysql5.7.22hive版本：apachehive1.2.2
dehou1984·2023-06-13 03:58

Hadoop之HDFS概述

文件块大小HDFS的shell命令HDFS读写流程写数据流程HDFS读数据流程NameNode和SecondaryNameNode工作机制DataNode工作机制DataNode数据完整性如何保证端口名称Hadoop2
yanghaoplus·2023-06-12 16:09

ubuntu-16.04.3-server+spark

软件mongodb-linux-x86_64-ubuntu1604-3.6.3.tgzjdk-8u161-linux-x64.tar.gzscala-2.12.4.tgzspark-2.3.0-bin-hadoop2.7
雪_豹·2023-06-11 14:08

(Mac下）hadoop2.8.1伪分布式的搭建，以及用eclipse开发Hadoop

详细过程参考我的个人博客：liujunjie11.github.io/2017/10/01/(Mac下）hadoop2-8-1伪分布式的搭建，以及用eclipse开发Hadoop/#more
刘嘻哈哈·2023-06-10 02:44

Spark-1.安装和运行

以下基于Hadoop2.7+Spark2.4，Mac机器。三个虚拟机(一主两从）做集群。
悠扬前奏·2023-06-10 01:53

【李老师云计算】实验三：在Docker中部署Hadoop集群

索引0.前言1.Docker1.1安装Docker1.2启动Docker2.Dokcer部署Hadoop2.1设计Hadoop集群结构2.2拉取Hadoop镜像2.3★解决拉取镜像时-nospaceleftondevice
WtcSky·2023-06-09 10:36

Hadoop-3.2.3集群搭建

ipaddresshostname192.168.116.10hadoop1192.168.116.20hadoop2192.168.116.30hadoop3所有节点推荐最小化安装Centos7.9或
高龄码农创业·2023-06-09 08:32

pyspark3.1.1在linux python3.5环境下报错AttributeError: ‘NoneType‘ object has no attribute ‘items‘

我的环境版本如下：linux16.04python3.5（linux自带）Hadoop2.7java1.8_8u281按照厦门大学实验室安装教程搭建环境，当时选择了最新的spark-3.1.1版本，如图
VictorKa·2023-06-09 05:53

CentOS-7下搭建Hadoop环境

CentOS-7下搭建Hadoop环境前言安装包版本ssh免密登录环境搭建1.修改网络配置信息2.关闭防火墙3.时间同步4.设置主机名5.hosts设置6.ssh配置JAVA安装Hadoop配置文件1.解压Hadoop2
音尾漾·2023-06-08 19:24

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下，挂载新的数据盘
Mumunu-·2023-06-08 12:35

Spark2.1.0的Standalone模式部署

1.下载并解压spark安装包：spark-2.1.0-bin-hadoop2.7.tgz，配置好每台机器上spark的环境变量cd/home/hadoop273/sparktar-zxvf/data/
逸笔草草·2023-06-08 11:24

spark-env.sh配置——Spark学习日记

只有Master，没有Worker修改spark-env.sh文件找到spark-env.sh位置//我的spark-env.sh位置/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7
YYYYYY.·2023-06-08 08:51

【大数据工具】Spark 伪分布式、分布式集群搭建

spark/1.Spark伪分布式安装安装前提：安装Spark前需要先安装好JDK1.上传并解压Spark安装包使用fileZilla或其他文件传输工具上传Spark安装包：spark-2.1.0-bin-hadoop2.7
程序员胖五·2023-06-08 00:49

【双系统Ubuntu 22.04 安装hadoop2.10全过程】

因为手闲误删了windowsC盘的系统文件导致重装系统，又重装了四五遍Ubuntu和安装hadoop，每次都要查大量资料。这次干脆整合资源至此！（愿天下没有C盘误删）hadoop安装过程（参考[阿里云文档](https://developer.aliyun.com/adc/scenario/cf48abdfe41e4187be079722b9dc15b6?spm=a2c6h.13858378.0.
汤米尼克·2023-06-07 13:52

【Hadoop系列】（三）YARN的介绍及原理

YARN1，YARN概念YARN（YetAnotherResourceNegotiator）是自Hadoop2.0之后引入的一个新组件，统一负责集群的资源调度和管理，为MapReduce程序分配运算资源
林立可·2023-06-07 09:40

hadoop2.x源码编译环境

1.yum安装一些必要的依赖yum-yinstallxzantzlibzlib-develcyrus-sasl-developenssl-develfusesnappysnappy-devellibzstdlibzstd-develbzip2bzip2-develyasmyasm-develjava-1.8.02.安装maven：2.1下载maven包：https://archive.apache
GK_斯皮利特·2023-04-21 19:27

hadoop集群基础配置

hadoop1.0mapreduce+HDFShadoop2.0mapreduce+HDFS+YARN加入YARN使得hadoop更加包容，其他的组件也可以在hadoop生态系统中运行hadoop3.0HDFS
February13·2023-04-21 13:11

大数据hadoop课程实验总结

1一.安装hadoop本门课程使用的是centos7.264位操作系统，原生hadoop2.7.7,java1.7版本。安装centos7.2系统：创建系统的同时创建一个名为hadoop的账户。
小鹿yey·2023-04-21 03:29

hive on spark配置

作者：刘权时间：2016-08-18背景介绍1.软件版本hive:hive-0.13.1spark:spark-1.2.0-bin-hadoop2.3hadoop:hadoop-2.2.0phoenix
雨中星辰0·2023-04-20 23:01

Hive安装配置

前提条件：1.安装好hadoop2.7.3（Linux环境）；2.安装好MySQL5.7（参考：安装MySQL）推荐使用或者Xampp（Windows环境）参考Navicat通过IP连接Xampp数据库
Hadoop_Liang·2023-04-20 09:42

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
heibaiying·2023-04-18 11:11

Hadoop环境搭建

关闭防火墙三、安装JDK并配置环境变量四、Hadoop并配置环境变量上面每个流程的具体操作如下：一、修改主机名1、修改主机名根目录下输入如下代码：vimetc/hostname然后把当前的主机名改掉，我改成了hadoop2
你说我对钱一往情深·2023-04-18 07:34

【大数据Hadoop】HDFS3.3.1-Namenode-缓存管理

缓存管理命令HDFS集中式缓存架构CacheManager类实现CacheReplicationMonitor前言Hadoop2.3.0版本新增了集中式缓存管理（CentralizedCacheManagement
笑起来贼好看·2023-04-18 05:24

hadoop 2.0 hdfs 完全分布式安装(HA)

hadoop2.0hdfs完全分布式安装(HA)NN-1NN-2DNZKZKFCJNNnode08***node09*****node10***node11**【1】在Hadoop1.0hdfs完全分布式集群搭建基础上搭建
十指演绎悲伤·2023-04-18 05:43

Hadoop2.0分布式集群的平台搭建

一、Hadoop集群安装前的准备基础环境四台Centos6.5IP地址：192.168.174.128192.168.174.129192.168.174.130192.168.174.131四台主机新建hadoop用户并实现ssh免密登陆iptables关闭和selinux为disabled1.修改主机名和ip地址映射为了后面操作方便，修改主机名分别为hadoop01、hadoop02、hado
weixin_33972649·2023-04-18 05:42

Hadoop2.2.0伪分布式搭建

1.准备Linux环境1.1开启网络,ifconfig指令查看ip1.2修改主机名为自己名字(hadoop)vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop1.3修改主机名和IP的映射关系vim/etc/hosts192.168.182.128hadoop1.4关闭防火墙#查看防火墙状态serviceiptablesstatus#关闭防火
刘昌进·2023-04-18 05:11

Eclipse环境搭建并且运行wordcount程序

一、安装Hadoop插件1.所需环境hadoop2.0伪分布式环境平台正常运行所需压缩包：eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz在Linux环境下运行的
|旧市拾荒|·2023-04-18 05:10

Hadoop2.0伪分布式平台环境搭建

一、搭建环境的前提条件环境：ubuntu-16.04hadoop-2.6.0jdk1.8.0_161。这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程，配置Java以及安装VMwareTools就自行百度解决哈，这里就不写了（因为教程有点长，可能有些地方有些错误，欢迎留言评论，我会在第一时间修改的）。二、搭建的详细步骤1.配置免
|旧市拾荒|·2023-04-18 05:40

Hadoop2.0全分布式集群架构

Hadoop安装1.创建hadoop用户组;$sudoaddgrouphadoop记下这里为hadoop用户设置的密码，后面使用hadoop用户登录时需要用到。2.创建hadoop用户;$sudoadduser-ingrouphadoophadoop3.给hadoop用户添加权限，打开/etc/sudoers文件;$sudogedit/etc/sudoers给hadoop用户赋予root用户同样的
狮锅艺·2023-04-18 05:40

2019-10-29 spark系列（一） spark 安装

请注意，从Spark2.2.0起，对Java7，Python2.6和旧的Hadoop2.
非甲即丁·2023-04-18 01:52

Hadoop安装部署

安装搭建centos7免密登录配置2.7.5下载地址2.1集群规划集群规划2.2上传安装包到/opt/software2.3修改配置文件★路径/opt/software/hadoop-2.7.5/etc/hadoop2.3.1
Jinx菜鸟之路·2023-04-17 15:00

Spark环境搭建安装及配置详细步骤（保姆教程）

tar-zxvfspark-2.1.1-bin-hadoop2.7.tgz-C/opt/apps/cd/opt/apps/mvspark-2.1.1-bin-hadoop2.7spark-local 1
西皮树下·2023-04-17 14:06
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他