E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop源码分析
Azkaban各种类型的Job编写
一、概述原生的Azkaban支持的plugin类型有以下这些:command:Linuxshell命令行任务gobblin:通用数据采集工具
hadoop
Java:运行
hadoop
MR任务java:原生java
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完
hadoop
(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括
Hadoop
框架、HDFS、MapReduce、YARN以及
Hadoop
生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【
Hadoop
】使用Scala与Spark连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,ApacheSpark是一个广泛使用的高性能、通用的计算框架,而ClickHouse作为一个高性能的列式数据库,特别适合在线分析处理(OLAP)。结合Scala语
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
nginx upstream server主动健康监测模块添加https检测功能【上】
1缘起 前面的《nginxupstreamserver主动健康检测模块ngx_http_upstream_check_module使用和
源码分析
》系列已经分析了ngx_http_upstream_check_module
码农心语
·
2024-03-26 05:50
nginx学习
c++开发
LINUX
nginx
https
运维
健康检测
upstream
proxy
hadoop
配置免密登录
1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年
·
2024-03-24 07:25
ssh
服务器
linux
【笔记】HDFS基础笔记
启动
hadoop
命令(未配环境变量):进入
hadoop
安装目录输入.
哇咔咔哇咔
·
2024-03-20 04:12
Hadoop
hdfs
笔记
hadoop
大数据
ubuntu
【笔记】Linux常用命令
命令含义cd/home/
hadoop
#把/home/
hadoop
设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录(或主文件夹)。
哇咔咔哇咔
·
2024-03-20 03:11
Linux
笔记
linux
运维
ubuntu
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
[Django 0-1] Core.Checks 模块
Checks
源码分析
Django的checks模块提供了一系列的检查函数,用于检查Django项目的配置是否正确。文件结构.
sHlsy1995
·
2024-03-17 14:20
Django
源码学习
django
python
开源数据库 OpenGauss 的 SQL 解析
源码分析
开源数据库OpenGauss的SQL解析
源码分析
openGauss数据库体系概述openGauss是关系型数据库,采用客户端/服务器,单进程多线程架构;支持单机和一主多备部署方式,同时支持备机可读、双机高可用等特性
openGaussMan
·
2024-03-17 05:39
网络
openGauss
数据库
Hadoop
简介
简介大数据简介概述大数据的说法从出现到现在,也经历了十多年时间的发展。而在这十几年的发展过程中,非常多的机构、组织都试图对大数据做出过定义,例如:研究机构Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学
·
2024-03-16 07:10
hadoop
《Docker
源码分析
》作者:孙宏亮
Docker
源码分析
(一):Docker架构http://www.infoq.com/cn/articles/docker-source-code-analysis-part1/
易悠
·
2024-03-16 04:36
云计算
Docker
源码
架构
Docker
「连载」边缘计算(三十一)03-13:边缘部分源码(
源码分析
篇)
(接上篇)启动一个循环处理各种事件m.mainLoop()定义具体如下所示。KubeEdge/edge/pkg/metamanager/msg_processor.gofunc(m*metaManager)mainLoop(){gofunc(){for{ifmsg,err:=m.context.Receive(m.Name());err==nil{...m.process(msg)}else{..
十越科技
·
2024-03-15 18:21
边缘计算
golang
人工智能
Hive中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.
hadoop
.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive库表占用空间大小的命令
hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小(单位G)
hadoop
fs-ls
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
03hive数仓安装与基础使用
hiveHive概述Hive是基于
Hadoop
的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
深入理解nginx一致性哈希负载均衡模块[下]
上接深入理解nginx一致性哈希负载均衡模块[上]3.
源码分析
nginx的一致性哈希功能是通过ngx_http_upstream_hash_module来提供的,下面来整体通过ngx_http_upstream_hash_module
码农心语
·
2024-03-12 19:10
nginx学习
LINUX
c++开发
nginx
哈希算法
负载均衡
upstream
一致性哈希
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
DPDK
源码分析
之DPDK技术简介
Cache和内存技术1.Cache一致性多核处理器同时访问同一段cacheline时,会出现写回冲突的情况,操作系统解决这个问题会消耗一部分性能,DPDK采用了两个技术来解决这个问题:对于共享的数据,每个核都定义自己的备份lcore[RTE_MAX_LCORE],这样多核处理事务时只处理自己的部分,lcore[idx]利用单网卡有着多队列的能力,当多核处理同一个网卡的数据包时,进行分队列处理,例如
lingshengxiyou
·
2024-03-09 00:23
c++
linux
DPDK
服务器
linux
c++
dpdk
虚拟机
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
「连载」边缘计算(二十五)03-05:边缘部分源码(
源码分析
篇)
(接上篇)1)EdgehubConfig初始化具体如下所示。config.InitEdgehubConfig()config.InitEdgehubConfig()函数定义具体如下所示。KubeEdge/edge/pkg/edgehub/config/config.go//InitEdgehubConfiginitedgehubconfigfuncInitEdgehubConfig(){err:=
十越科技
·
2024-03-06 15:38
边缘计算
人工智能
GO语言实战十二 标准库 log
log包学习和
源码分析
测试代码packagemainimport("fmt""log")funcinit(){log.SetPrefix("Trace:")log.SetFlags(log.Ldate|
coder~
·
2024-03-05 16:10
go语言实战学习笔记
golang
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
深入理解ngx_http_proxy_connect_module模块(下)
目录5.
源码分析
5.1模块的初始化代码5.2请求入口点函数分析5.2.1ngx_http_proxy_connect_post_read_handler5.2.2ngx_http_proxy_connect_handler5.3
码农心语
·
2024-02-29 03:10
nginx学习
LINUX
c++开发
nginx
tengine
proxy_connect
源码分析
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
emacs
源码分析
(七)
文章目录`emacs`
源码分析
(七)自己动手把`emacs`的`DEFUN`宏抠出来emacs
源码分析
(七)这DEFUN宏就像胶水一样,它把c代码和emacs-lisp代码给联系起来。
遍地是牛
·
2024-02-27 23:36
emacs
源码分析
emacs
编辑器
c++
分布式scrapy_redis源码总结,及其架构
RedisSpider的调度队列实现过程及其源码》《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》《scrapy分布式调度源码及其实现过程》《scrapy分布式Spider
源码分析
及实现过程
Python之战
·
2024-02-27 05:11
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
读TiDB源码聊设计:浅析HTAP的SQL优化器
版本日期备注1.02024.2.18文章首发本文的的
源码分析
全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器,面对以下的SQL,你会想到什么好的方法去执行他们呢?
·
2024-02-24 03:52
tidbgo性能优化分布式系统
鸿蒙
源码分析
(十三)
软总线模块中trans_service目录分析总结本文主要总结软总线模块下trans_service目录中个文件的作用和功能,宏观上把握trans_service在鸿蒙系统中发挥的作用。trans_service模块依赖于系统OS提供的网络socket服务,向认证模块提供认证通道管理和认证数据的收发;向业务模块提供session管理和基于session的数据收发功能,并且通过GCM模块的加密功能提
小生叫安辰
·
2024-02-20 22:03
代码标注
harmonyos
华为
分布式软总线
tcp
网络编程
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
xUtils
源码分析
+ 手写一个IOC注解框架
一、概念说说IOC,控制反转(InversionofControl)。概念的东西不做过多解释,比较典型的做法是使用了反射加注解。我们如果用过xUtils或者ButterKnife对这种形式应该不陌生,这些框架可以减少很多在开发过程当中的刻板代码的书写。而xUtils和ButterKnife的实现方式还不太一样,xUtils全面地使用了反射,而ButterKnife则主要使用了编译时注解轻量级反射。
碧云天EthanLee
·
2024-02-20 21:21
Spring AOP
源码分析
寻找入口Spring的AOP是通过接入BeanPostProcessor后置处理器开始的,它是SpringIOC容器经常使用到的一个特性,这个Bean后置处理器是一个监听器,可以监听容器触发的Bean声明周期事件。后置处理器向容器注册以后,容器中管理的Bean就具备了接收IOC容器事件回调的能力。1、BeanPostProcessor源码publicinterfaceBeanPostProcess
平凡的柚子
·
2024-02-20 21:04
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
Android之应用程序的安装过程
源码分析
Package管理服务PackageManagerService在安装一个应用程序的过程中,会对这个应用程序的配置文件AndroidManifest.xml进行解析,以便可以获得它的安装信息。Android系统中每一个应用程序都有一个Linux用户ID,一个应用程序除了拥有一个Linux用户ID之外,还可以拥有若干个Linux用户组ID,以便可以在系统中获得更多的资源访问权限,如读取联系人信息、使
Helloooooworldddddd
·
2024-02-20 19:17
Android
Camera2 createCaptureSession
源码分析
当应用调用CameraManager#openCamera获取到已打开的camera设备后,会调用createCaptureSession方法来完成camerastream创建和stream的相关配置。在createCaptureSession方法中,首先将应用的surfaces信息封装成可跨binder传递的OutputConfiguration对象,然后调用createCaptureSessi
smile_sambery
·
2024-02-20 19:47
Camera
android
Camera2 setRepeatingRequest
源码分析
当createCaptureSession流程执行完成后,应用在回调方法onConfigured就可以获得创建的CameraCaptureSession,接下来就可以调用CameraCaptureSession#setRepeatingRequest来下发camerastream命令获取camera数据。在CameraCaptureSession#setRepeatingRequest流程中,实际
smile_sambery
·
2024-02-20 19:47
Camera
android
Camera2 openCamera
源码分析
在应用申请了camera权限后,camera2应用就可以调用CameraManager#openCamera打开指定的camera设备。在这个方法中,会先调用openCameraForUid添加uid参数,并最终在openCameraDeviceUserAsync方法中完成设备的打开流程。在这个方法中主要完成3件事情:1)创建CameraDeviceImpl,这个类是CameraDevice的实现
smile_sambery
·
2024-02-20 19:16
Camera
android
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他