E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据开发
大数据开发
(Hive面试真题-卷二)
大数据开发
(Hive面试真题)1、举几个Hive开窗函数例子?什么要有开窗函数,和聚集函数区别?2、说下Hive是什么?跟数据仓库区别?3、Hive架构?4、Hive数据倾斜以及解决方案?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
大数据开发
(Kafka面试真题-卷一)
大数据开发
(Kafka面试真题)1、请解释以下ApacheKafka是什么?它在大数据系统中的角色是什么?2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处?
Key-Key
·
2024-03-18 23:05
大数据
kafka
面试
Java开发从入门到精通(七):Java的面向对象编程OOP:常用API
Java
大数据开发
和安全开发(一)Java的常用API1.1Object类1.1toString1.1equals方法1.1对象克隆clone1.1Objects类1.1包装类1.1StringBuilder1.1StringBuffer1.1StringJoiner1.1Math
HACKNOE
·
2024-03-18 02:37
Java开发从入门到精通
java
intellij-idea
大数据开发
(Spark面试真题-卷一)
大数据开发
(Spark面试真题)1、什么是SparkStreaming?简要描述其工作原理。2、什么是Spark内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
大数据开发
(Spark面试真题-卷六)
大数据开发
(Spark面试真题)1、SparkHashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发
(Hadoop面试真题-卷二)
大数据开发
(Hadoop面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
大数据开发
(Hadoop面试真题-卷九)
大数据开发
(Hadoop面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
我的创作纪念日
机缘读大二的时候开始尝试记录学习笔记,刚开始再到仅仅为了对自己学习内容做回顾,后来发现可以帮助身边其他人,再到后来随着粉丝增多,陆续接到合作及平台邀请,期间自己的技术方向也从
大数据开发
转为算法领域,这一路走来并不容易
GoAI
·
2024-02-20 05:52
程序人生
人工智能
AI写作
Java和人工智能哪个好?
在Java开发方向,像Java后端开发、
大数据开发
、微服务架构师、云计算架构师等高级岗位,收入会相对较高。而在人工智能领域,像机器学习工程师、深度学习工程师、自然语言处理工程师、数据科学家等方向的
华清远见成都中心
·
2024-02-20 04:50
java
人工智能
开发语言
学习
大数据开发
,需要满足哪些条件?学历,性别,专业有限制吗?
首先对于零基础的童鞋想参加
大数据开发
学习,需要:1、一些数学常识,尤其是想从事数据分析这一块,至少要了解常用计算模型
yoku酱
·
2024-02-19 23:22
Hadoop+Spark+MongoDB+MySQL+C#
大数据开发
项目最佳实践
一、前言随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值。为此,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则、知识,并基于这些信息构建专业的临床知识库,提供诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度。二、
yiyidsj
·
2024-02-14 07:08
大数据
人工智能
互联网
spark
Hadoop
MySQL
大数据开发
大数据学习
大数据开发
之Sqoop详细介绍
备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop(SQL-to-Hadoop)项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下,轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中;同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Had
只是甲
·
2024-02-14 01:17
学习大数据要有这样的学习思路才行
我们在系统学习大数据的之前,要先了解
大数据开发
是在什么系统平台下进行的。所以我们在学之前要先学习Linux的知识,这部分显得格外的重要。
尚学先生
·
2024-02-14 01:33
大数据开发
| 最流行的项目管理工具Maven
什么是Maven?Maven是优秀的项目管理和构建工具,能让我们更为方便的来管理和构建项目,从最基础的环境配置,到maven核心知识点的应用。Maven简化和标准化项目建设过程。处理编译,分配,文档,团队协作和其他任务的无缝连接。Maven增加可重用性并负责建立相关的任务。Maven是干什么?Maven就可以帮你构建工程,管理jar包,编译代码,还能帮你自动运行单元测试,打包,生成报表,甚至能帮你
程序员不敲代码
·
2024-02-13 10:47
Java从入门到精通
1、首先要学习JavaSE,掌握Java语言本身、Java核心开发技术以及Java标准库的使用;2、如果继续学习JavaEE,那么Spring框架、数据库开发、分布式架构就是需要学习的;3、如果要学习
大数据开发
nightluo
·
2024-02-13 01:52
基础学习
java
开发语言
小白入门大数据,这一篇就够了
所以不论是计算机专业的程序员,还是非计算机专业准备转行计算机的跨行人员都想学习大数据,从事
大数据开发
工作。但是当你站在一个行业门外的时候,你更多的是看到他的价值和前景,这会促使你义无反顾地往里冲。但
弄潮大数据
·
2024-02-12 18:03
一本Python爬虫的书,凭什么能畅销10W册
Python作为一种广泛应用的编程语言,在Web开发、
大数据开发
、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
程序员老冉
·
2024-02-12 11:21
python
爬虫
开发语言
pycharm
青少年编程
大数据开发
之电商系统架构从零到一
福兴信息科技:揭秘电商系统架构,从零到一打造大数据驱动的购物新世界了解更多信息,请关注:福兴信息科技了解更多信息,请关注:福兴信息科技随着互联网的迅猛发展,电子商务已成为人们生活中不可或缺的一部分。然而,背后的电商系统架构是如何构建的呢?今天,就让我们一起跟随福兴信息科技的脚步,从零开始,探索大数据驱动的电商系统架构的奥秘。一、从零开始:规划电商系统架构蓝图在福兴信息科技,我们深知电商系统架构的重
福兴信息科技
·
2024-02-10 17:55
零售
科技
小程序
大数据
大数据
京东面试总结
出现的问题:
大数据开发
没有理论支撑,应该可以涉及多一点的应用方面;其次引导面试官提问MapReduce;在
小小少年Boy
·
2024-02-09 21:45
学习大数据应该掌握哪些技能
想要了解
大数据开发
需要掌握哪些技术,不妨先一起来了解一下
大数据开发
到底是做什么的~1、什么是大数据?
我想去吃ya
·
2024-02-09 13:15
单元测试
开发语言
python
数据库开发
大数据
使用 Kubernetes 部署 Flink 应用
作者:薄荷脑https://blog.csdn.net/zjerryj/article/details/100063858大数据技术与架构点击右侧关注,
大数据开发
领域最强公众号!
王知无(import_bigdata)
·
2024-02-09 06:38
大数据从何学起?大数据脑图+学习路线清晰的告诉你!
【
大数据开发
学习资料领取方式】:加入大数据技术学习交流扣扣群458345782,点击加入群聊,私信管理员即可免费领取第一阶段linux+搜索+hadoop体系Linux基础→sh
yoku酱
·
2024-02-08 18:16
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
MynameisJinsuo.Shi.一个不正经的
大数据开发
工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
图解大数据 | 大数据分析挖掘-Spark初步
www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det…声明:版权所有,转载请联系平台与作者并注明出处1.Spark是什么学习或做
大数据开发
的同学
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
数仓:用户行为类指标一网打尽
关注公众号,回复关键字【资料】,获取【10万字大数据框架面试知识点】与【
大数据开发
的命令手册】先来看下用户类行为指标说明,然后下面详解常写的指标。
大数据左右手
·
2024-02-07 09:35
大数据
大数据
数仓:事实表设计方法,原则和三种类型选择
关注公众号,回复关键字【资料】,获取【10万字大数据框架面试知识点】与【
大数据开发
的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计。
大数据左右手
·
2024-02-07 09:35
大数据
数据仓库
数据挖掘
数据分析
【Flink】FlinkSQL实现数据从Kafka到MySQL
简介未来Flink通用化,代码可能就会转换为sql进行执行,
大数据开发
工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。
一杯咖啡半杯糖
·
2024-02-07 06:39
Flink实战
Flink解决方案
flink
kafka
mysql
大数据开发
之机器学习总结(一)
大数据开发
之机器学习总结1.背景在
大数据开发
中,数据分析目的一般分为2大类,一个是基于已有数据,提炼出想要的数据汇总信息。一个是基于已有数据使用算法训练出模型,基于模型预测和分析未来的新数据。
闻香识代码
·
2024-02-05 21:41
大数据
机器学习
用户画像
机器学习
大数据
算法
【
大数据开发
运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意:####################################################################本文档已经有了最新版本,主要改动地方为:1、zookeeper改为使用安装的外置zookeeper而非hbase自带zookeeper,新
运维道上奔跑者
·
2024-02-04 05:43
大数据
hadoop
分布式
2019-10-08
大数据开发
进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析,使用一直只是进行解决掌握大数据平台调优技能,源码阅读技巧具备应对BAT级别相关岗位面试能力学
红瓦李
·
2024-02-03 20:39
都 2024 年了!程序员的到底出路在哪里!?继续卷技术?晋升管理层?还是转业?
1)程序员的难处2)程序员专业方向3)大数据3.1.
大数据开发
涉及到哪些技术3.2.
大数据开发
涉及到的框架3.3.大数据前景4)程序员的三大出路4.1.继续卷技术4.2.晋升管理层4.3.转业4.3.1
bmyyyyyy
·
2024-02-01 21:25
其他
#大数据
#程序员的出路
秋招的一些面经吧——大数据面经和java面经(阿里巴巴)
应聘方向是
大数据开发
和java开发大概拿到的offer有:阿里、美团、快手、贝壳、作业帮、旷视、农行总部、浙江大华、海康威视、有赞、云从科技、招银网络科技、oppo一.阿里巴巴(已拿offer):渣硕阿里面了总共三个部门
大数据教学笔记
·
2024-02-01 20:19
大数据
面经
java后台
java
大数据
开发语言
大数据开发
流程图
1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop:(发音:skup)作为一款开源的离线数据传输工具,主要用于Hadoop(Hive)与传统数据库(MySql,PostgreSQL)间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中,也可以将HDFS中的数据导入关系型数据库中。Flume:实时数据采集的一个开源框架,它是Cloudera提供的一个高可用
xyzkenan
·
2024-02-01 14:30
大数据开发
大数据
大数据开发流程
Spark系列(十)Shuffle的技术难点问题--Spark比MapReduce快的真正原因
写在前面:我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的
大数据开发
猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS
·
2024-02-01 12:03
Spark
大数据
spark
mapreduce
【
大数据开发
Spark】第一篇:Spark 简介、Spark 的核心组成(5大模块)、Spark 的主要特征(4大特征)、Spark 对比 MapReduce
文章目录1Spark简介2Spark的核心组成(5大模块)3Spark的主要特征(4大特征)4Spark对比MapReduce1Spark简介初步了解一项技术,最好的方式就是去它的官网首页,一般首页都会有十分官方且准确的介绍,学习Spark也不例外,官方介绍:ApacheSpark™是一种多语言引擎,用于在单节点机器或集群上执行数据工程、数据科学和机器学习。我们可以得知,Spark可以单节点运行,
超周到的程序员
·
2024-02-01 12:02
#
Spark
大数据开发技术
spark
big
data
mapreduce
大数据开发
之离线数仓项目(用户行为采集平台)(可面试使用)
第1章:数据仓库概念数据仓库,是为企业指定决策,提供数据支持的,可以帮助企业,改进业务流程、提高产品质量等。数据仓库的输入数据通常包括:业务数据、用户行为数据和爬虫数据等。业务数据:就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中,需要和网站后台数据库进行增删改查交互,产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据:用户
Key-Key
·
2024-02-01 08:46
大数据
面试
职场和发展
hadoop
分布式
弹性分布式数据集
spark
如何通过Hive/tez与Hadoop的整合快速实现
大数据开发
一、Hive的功能Hive是基于Hadoop的一个外围数据仓库分析组件,可以把Hive理解为一个数据仓库,但这和传统的数据库是有差别的。传统数据库是面向业务存储,比如OA、ERP等系统使用的数据库,而数据仓库是为分析数据而设计的。同时,数据仓库是在数据量巨大的情况下,为了进一步挖掘数据资源、为了企业决策需要而产生的,它不是所谓的“大型数据库”。Hive通过将结构化的数据文件映射到一张数据库表上,然
小枫@码
·
2024-01-31 08:00
大数据架构师
hadoop
大数据
hive
大数据开发
:hadoop系统搭建以及spark编程
相关文章已上传至github,可以移步至GitHub查看。csdn这个坑先留着…传送门:https://github.com/louxinyao/Hadoop-spark
墨染枫
·
2024-01-31 06:47
大数据开发
大数据
分布式
hadoop
spark
开发接单群及网站
单子有:Python、java、爬虫、数据分析、
大数据开发
、matlab等等~有的让工程师自己谈!有的发单人员直接报价!因为有的单子客户心里没有预算!甚至有的客户只有一个题目!
「已注销」
·
2024-01-30 15:19
接单
hadoop
大数据
big
data
hive
高薪
大数据开发
工程师是怎样炼成的!!!
云栖大会有阿里巴巴集团主办的全球顶级科技大会,汇聚时代最强大脑,描绘新技术发展趋势和蓝图,展现云计算、大数据、人工智能等蓬勃发展的科技生态全景。2018阿里云栖大会,超过12万人参加这场顶级科技盛会,优秀的人都在拥抱这个世界最新的技术。国家推动大数据战略人工智能的发展让大家的生活变得更美好。潭州教育历届在云栖大会上不负重任分享历史之最强干货,因为最棒的VIP同学就是我们前进的动力,因为相信所以看见
yoku酱
·
2024-01-30 14:05
【美团】无人机-
大数据开发
工程师
更新时间:2024/01/29工作地点:北京市事业群:到家事业群工作经验:3年部门介绍为了更好地提升城市即时配送的效率与体验,美团于2017年启动了无人机配送服务的探索,通过科技创新推动履约工具变革,加快建设空地协同的本地即时配送网络,致力于为用户提供3公里、15分钟的标准配送服务。通过发展飞行器、导航控制、AI算法、航线管理、通讯系统五大自研技术能力,并适应社区、商场、写字楼等多种场景,让无人机
探小虎
·
2024-01-30 13:57
大厂工作机会
无人机
大数据
java
spring
flink sql 知其所以然(十六):flink sql 开发企业级利器之 Dlink
搞
大数据开发
的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢?
大数据羊说
·
2024-01-30 11:06
Apache
Flink
实时计算
Flink
SQL
flink
sql
hive
大数据开发
必备工具——Hadoop及整体架构介绍
Hadoop是一个由Apache软件基金会开发的开源Java软件框架,专为大数据处理设计,支持在大量计算机组成的集群上进行数据存储和分布式计算。它由几个关键的组件组成,其中最核心的是Hadoop分布式文件系统(HDFS)和MapReduce计算模型。Hadoop的整体架构经过了这么多年的开发与演进,Hadoop早已成为一个庞大的系统,它的内部工作机制非常复杂,是一个结合了分布式理论与具体的工程开发
love6a6
·
2024-01-26 21:03
大数据
hadoop
架构
带你了解分布式系统的数据一致性问题
老刘是一名即将找工作的研二学生,写博客一方面是复习总结
大数据开发
的知识点,一方面是希望能够帮助和自己一样自学编程的伙伴。
努力的老刘
·
2024-01-26 14:50
大数据开发
之Spark(spark streaming)
第1章:SparkStreaming概述1.1sparkstreaming是什么sparkstreaming用于流式数据的处理。sparkstreaming支持的数据源很多,例如:kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如:map、reduce、join、window等进行计算。而结果也能保存在很多地方,如hdfs、数据库等。1.2sparkstreaming框
Key-Key
·
2024-01-25 21:07
大数据
spark
分布式
大数据开发
之Spark(完整版)
第1章:Spark概述1.1什么是spark回顾:hadoop主要解决,海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2hadoop与spark历史hadoop的yarn框架比spark框架诞生的晚,所以spark自己也涉及了一套资源调度框架。区别:1、mr是基于磁盘的,spark是基于内存2、mr的task是进程3、spark的task
Key-Key
·
2024-01-25 21:05
大数据
spark
分布式
弹性分布式数据集
hadoop
Java第一阶段学习(初级)笔记
Java能做什么桌面应用开发、企业级用用开发、移动应用开发、科学计算、
大数据开发
、游戏开发一、Java入门1、下载安装IDEA:快捷键Ctrl+alt+l调整格式Ctrl+alt+M自动抽取代码shift
m0_xiaoxiaoqian
·
2024-01-25 11:57
java
学习
开发语言
天津大数据培训班推荐,数据分析过程的常见错误
大数据就业方向
大数据开发
方向:掌握Java、Python、Scala等开发语言,以及关系型与非关系
qq_38453958
·
2024-01-25 06:57
大数据培训
天津大数据培训
天津大数据培训班
天津大数据培训机构
天津大数据培训学校
大数据培训
大数据开发
之Spark(累加器、广播变量、Top10热门品类实战)
第3章:累加器累加器:分布式共享只写变量。(executor和executor之间不能读数据)累加器用来把executor端变量信息聚合到driver端。在driver中定义的一个变量,在executor端的每个task都会得到这个变量的一份新的副本,每个task更新这些副本的值后,传回driver端进行合并计算。1、累加器使用1)累加器定义(sparkcontext.accumulator(in
Key-Key
·
2024-01-25 00:25
大数据
spark
分布式
大数据开发
之SparkSQL
第1章:sparksql概述1.1什么是sparksql1、sparksql是spark用于结构化数据处理的spark模块1)半结构化数据(日志数据)2)结构化数据(数据库数据)1.2为什么要有sparksqlhiveonspark:hive既作为存储元数据又负责sql的解析优化,语法是hql语法,执行引擎编程了spark,spark负责采用rdd执行。sparkonhive:hive只作为存储元
Key-Key
·
2024-01-25 00:24
大数据
hadoop
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他