大数据系列

【大会嘉宾】凯联资本董事总经理&产业研究院院长由天宇确认出席“企业数智化转型升级专场——魔方大数据系列论坛”...

数据智能产业创新服务媒体——聚焦数智·改变商业由天宇，凯联资本董事总经理、产业研究院院长，已确认出席由上海市经济信息化委员会、上海市科学技术委员会指导，数据猿、上海大数据联盟共同主办的“企业数智化转型升级专场——魔方大数据系列论坛
数据猿·2022-12-17 09:26

Spark朴素贝叶斯(naiveBayes)

捐助大数据系列零基础由入门到实战视频大优惠本帖最后由InSight于2015-4-3023:46编辑问题导读：1.什么是朴素贝叶斯？2.朴素贝叶斯运行在什么样的场景下？3.朴素贝叶斯计算流程是什么？
javastart·2022-12-15 11:11

【金猿案例展】杭州联合银行——大数据系列平台建设

‍网易数帆案例本项目案例由网易数帆投递并参与“数据猿年度金猿策划活动——《2022大数据产业年度创新服务企业》榜单/奖项”评选。‍数据智能产业创新服务媒体——聚焦数智·改变商业2022年1月12日，国务院印发《“十四五”数字经济发展规划》提出，到2025年，数字经济迈向全面扩展期，数字经济核心产业增加值占GDP比重达到10%，数字化创新引领发展能力大幅提升，数字技术与实体经济融合取得显著成效，我国
数据猿·2022-12-09 20:53

大数据系列13：milvus大规模向量检索引擎

1.介绍与安装参考https://milvus.io/cn/docs/home。Milvus是一款基于云原生架构开发的开源向量数据库，支持查询和管理由机器学习模型或神经网络生成的向量数据。Milvus在一流的近似最近邻（ANN）搜索库（例如Faiss、NMSLIB、Annoy）的功能基础上进行扩展，具有按需扩展、流批一体和高可用等特点。下面介绍几种安装方式：Dockercompose方法官网说了，
IE06·2022-11-29 06:16

大数据系列教程（2）Flink 应用场景

应用场景ApacheFlink是开发和运行许多不同类型的应用程序的绝佳选择，因为它具有广泛的功能集。Flink的功能包括支持流和批处理、复杂的状态管理、事件时间处理语义以及状态的一次性一致性保证。下面，我们将探讨由Flink提供支持的最常见的应用程序类型，并为现实世界的示例提供指导。事件驱动的应用程序数据分析应用数据管道应用事件驱动的应用程序什么是事件驱动的应用程序？事件驱动应用程序是一种有状态的
吕布辕门·2022-11-22 14:14

MySQL六种窗口函数用法案例

Java和大数据系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:23

大数据系列 | SparkSQL&HiveSQL报错解决方法

问题原因：问题报错提示：Distinctwindowfunctionsarenotsupported:count(distinctxx)windowspecdefinition(name#9,_w4#39,ROWSBETWEENUNBOUNDEDPRECEDINGANDUNBOUNDEDFOLLOWING);问题报错原因：查阅资料后发现sparksql中的窗口函数不支持COUNT(DISTINCT
woshinsy·2022-09-21 13:09

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解SparkOnYarn的两种模式yarn-cluster和yarn-client深度剖析Spark广播变量BroadCastSparkStreaming基本架构及使用SparkStreamin
weixin_30425949·2022-09-09 09:25

大数据随记 —— WordCount 案例

大数据系列文章：目录文章目录一、WordCount案例简介二、WordCount实现1、WordCount实现分析Ⅰ、Map阶段Ⅱ、Reduce阶段2、WordCount代码实现Ⅰ、Maven依赖配置Ⅱ
繁依Fanyi·2022-09-07 20:45

Spark系列-2、Spark快速入门

大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录版本介绍环境准备源码编译Spark安装第一步、安装Scala
技术武器库·2022-08-24 14:56

Cris 玩转大数据系列之消息队列神器 Kafka

Cris玩转大数据系列之消息队列神器KafkaAuthor：Cris文章目录Cris玩转大数据系列之消息队列神器KafkaAuthor：Cris1.Kafka概述1.1消息队列①点对点模式②发布/订阅模式
cris_zz·2022-08-24 11:24

【1】笔记 之 大数据平台--通用架构及技术体系

以下截图和笔记均来自于盲目搜索时，非原创（参考文章在文末有标注）大数据技术体系.pngHadoop与spark大数据技术栈.png学习笔记.jpg参考文档（司内）：[【大数据系列1】大数
涅槃Ls·2022-08-02 20:34

【大数据系列零二】大数据时代下的数据同步利器Sqoop

一、sqoop概述环境要求：Hadoop，关系型数据库（如MySQL），SqoopScoop是什么？1、Apache项目，开源的数据传输工具2、Hadoop生态圈中的一个第三方模块，可以快速实现在Hadoop（HDFS/hive/hbase）和关系型数据库中进行数据传输3、支持分布式并行，支持多种数据库（如MySQL、oracle）4、sqoop主要功能：数据导入，数据导出，sqoop作业Scoo
Anlior·2022-07-07 15:19

从12306看海量并发网站架构

2012-02-2020:27|19643次阅读|来源CSDN专稿|28条评论|作者付江高并发产品设计新浪微博tup大数据摘要：2月18日CSDN和《程序员》杂志举办了CSDNTUP技术沙龙第19期：大数据系列研讨会之从
junecauzhang·2022-06-17 20:26

TUP第19期综述：从12306看海量并发网站架构

摘要：2月18日CSDN和《程序员》杂志举办了CSDNTUP技术沙龙第19期：大数据系列研讨会之从12306谈起。本次活动分上下午两部分组成，上午是小规模专家研讨会，下午是开放式的主题演讲。
PAPALIAN·2022-06-17 20:26

大数据环境搭建 —— CentOS 安装

大数据系列文章：目录文章目录一、环境准备1.虚拟机准备2.镜像准备二、镜像安装1.虚拟环境准备2.硬件配置3.CentOS镜像安装一、环境准备1.虚拟机准备目前常见的虚拟机有VMwareWorkstation
繁依Fanyi·2022-06-07 12:59

大数据系列——ZooKeeper理论

概述在介绍ZooKeeper前先了解下分布式应用。分布式应用是指在网络中的多个或多种操作系统上运行，通过外部协调控制他们有效的完成特定业务作业，尤其是复杂、耗时的业务作业，应用分布式技术可以很快能完成。一般大型分布式应用都以集群的方式部署应用。ZooKeeper就是其中一种解决分布式应用协调服务的开源框架，用来解决分布式集群中的应用服务的集中管理，例如：名字服务、一致性、可靠性、配置管理等内容。Z
mql007007·2022-05-28 02:46

大数据系列——ZooKeeper部署及应用

ZooKeeper有三种部署方式，分别为单机模式、伪集群模式、集群模式。其中单机模式比较简单，自行查找；伪集群模式和集群模式基本一样，区别就是前者都在一台电脑上，后者在不同的电脑上。下面以生产环境一般用的集群方式部署为例说明，按最小要求3台节点来介绍集群部署方式。本样例是在3台虚拟机下部署的，每个节点安装Centos7核心版(不带GUI)3台机器分别规划如下：hdp1:10.10.10.110hd
mql007007·2022-05-28 02:16

这绝对是C站面试笔记的天花板，禁止自学浪费脑细胞

Mybatis，Redis，RocketMQ，Kafka，Zookeeper，Netty，Dubbo，ElasticSearch，Flink，SpringBoot，SpringCloud，高并发项目，大数据系列
码农翻身把歌唱·2022-05-26 10:23

【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021
王知无(import_bigdata)·2022-02-28 15:02

大数据系列一：Hadoop安装&配置&基本测试

一.前言趁这几天放假，把以前大数据学习笔记梳理下，复习&整合下知识点，包含hadoop系列,流计算框架，ELKStack等；大数据的笔记相对完整些，开源词法&语法分析工具ANTLR4本来想分享一个系列，无奈笔记太零散了，代码又比较多，实在没精力整合；希望这个系列能完成。二.基础配置2.1.OS准备3台centos/rhel7服务器，虚机/实体机都可以，OS默认安装即可。IP&HOSTNAME:19
henry.zhu·2022-02-27 09:09

DataHunter创始人程凯征：数据可视化的趋势和应用

DataHunter创始人兼CEO程凯征受邀参加本届世界互联网大会“互联网之光”博览会，并在共赢大数据系列论坛活动
DataHunter小数·2022-02-22 06:27

互联网大数据挖掘策略梳理

（参考广发大数据系列一）2.公告信息披露平台数据（参考广发大数据系列二）3.股吧论坛数据（参考广发大数据系列三
剑杰John_Galt·2022-02-15 21:23

阿里云ACP认证练习题（三）

ACP认证目前又按专业方向分四种：云计算（主要对应阿里云基础架构产品）、大数据（主要对应阿里云大数据系列产品）、云安全（主要对应阿里云云盾系列产品）、企业级互联网架构（主要对应阿里云企业级中间件系列产品
·2021-10-22 14:51

阿里云ACP认证练习题（二）

ACP认证目前又按专业方向分四种：云计算（主要对应阿里云基础架构产品）、大数据（主要对应阿里云大数据系列产品）、云安全（主要对应阿里云云盾系列产品）、企业级互联网架构（主要对应阿里云企业级中间件系列产品
·2021-10-21 17:27

阿里云ACP认证练习题（一）

ACP认证目前又按专业方向分四种：云计算（主要对应阿里云基础架构产品）、大数据（主要对应阿里云大数据系列产品）、云安全（主要对应阿里云云盾系列产品）、企业级互联网架构（主要对应阿里云企业级中间件系列产品
·2021-10-21 14:44

阿里云ACA考试认证练习题

ACP认证目前又按专业方向分四种：云计算（主要对应阿里云基础架构产品）、大数据（主要对应阿里云大数据系列产品）、云安全（主要对应阿里云云盾系列产品）、企业级互联网架构（主要对应阿里云企业级中间件系列产品
·2021-10-20 16:19

23篇大数据系列（三）sql基础知识（史上最全，建议收藏）

免费下载海量【PPT模板、简历模板、学习资料】：https://blog.csdn.net/weixin_39032019/article/details/118088462大数据系列文章，从技术能力、
明月十四桥·2021-06-22 12:02

大数据岗位要求之大数据运维

    继续介绍大数据系列岗位要求，大数据运维可能是“技术含量最高”的职位之一，这里说的大数据运维主要是指hadoop生态体系方面的运维，在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈
数据追随者·2021-06-22 07:35

23篇大数据系列（二）scala基础知识全集（史上最全，建议收藏）

大数据俱乐部、机器学习:https://blog.csdn.net/weixin_39032019/article/details/117997723大数据系列文章，从技术能力、业务基础、分析思维三大板块来呈现
明月十四桥·2021-06-19 19:01

23篇大数据系列爽文，学完薪资起飞丨2万字java篇（文末抽奖，建议收藏）

公众号：数据与智能、大数据club大数据系列爽文，从技术能力、业务基础、分析思维三大板块来呈现，你将收获：❖提升自信心，自如应对面试，顺利拿到实习岗位或offer；❖掌握大数据的基础知识，与其他同事沟通无障碍
明月十四桥·2021-06-17 18:45

超详细版企业离线部署CDH6.10集群与配置使用

死磕大数据系列1.死磕大数据系列将从企业上千节点集群的搭建（包
涤生手记·2021-06-11 10:55

大数据系列课程——根据情况调整

Hadoop系列课程安排手把手带你转行大数据人工智能大数据和人工智能的发展前景大数据开发都在开发什么项目整体介绍与大数据开发训练速成开发运行测试环境的介绍与搭建通过前端代码了解大数据业务离线日志分析系统页面展示程序后台框架搭建用户信息分析结果展示用户数据的抽取转换加载（ETL数据清洗）新增会员和总会员分析代码编写活跃用户分析模块代码编写活跃会员分析模块代码编写新增会员和总会员分析模块代码编写会话分
Albert陈凯·2021-05-14 23:31

##大数据系列（1）——Hadoop集群坏境搭建配置

大数据系列（1）——Hadoop集群坏境搭建配置-指尖流淌-博客园http://www.cnblogs.com/zhijianliutang/p/5731002.html数据量的大小决定了集群整体的存储大小
葡萄喃喃呓语·2021-04-20 13:59

大数据系列报道:贵州交警大数据之二十七

贵州交警：联勤联动，科学用警依托大数据打造智慧平安春运冬季贵州凝冻天气多发，影响道路交通安全，交警在高速公路进行车辆引导贵州是我国西南地区的交通枢纽，受特殊地形影响，全省公路长下坡及桥梁隧道占比高，道路通行环境宽容度较差，加之雨雾和凝冻天气影响，春运交通安全和保畅压力较大。那么，2019年贵州交警在春运道路交通保障中采取了哪些措施呢?效果如何?贵州是我国西南地区的交通枢纽A、加强春运安全风险预测预
不死冥王·2021-04-19 10:09

大数据系列--框架介绍

简介hadoop是一个文件系统，外加一个离线处理框架（map-reduce执行框架），主要用于海量数据文件的保存、非实时的海量数据的计算。提供的上层api不太友好，且mapreduce处理框架比较慢，现在基本上只拿它来作为文件系统使用。spark是一个执行引擎，本身不保存数据，需要外部的文件系统来保存数据，很多时候会基于hadoop来保存数据。spark计算时尽可能把数据放到内存中（基于内存），还
feiying0canglang·2021-02-22 21:13

python开发岗位职责_大数据系列之大数据开发工程师

 继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；
weixin_39569076·2020-12-30 15:59

python 大数据开发工程师_大数据系列之大数据开发工程师

继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；二是因为至少有
weixin_39601743·2020-12-22 05:36

大数据系列之kafka-java实现

Java源码GitBub地址：https://github.com/fzmeng/kafka-demo关于kafka安装步骤可见文章http://www.cnblogs.com/cnmenglang/p/6520166.html在上篇文章中使用shell命令处理了kafka的消息生产与消息消费。下面介绍Java语言对kafka的消息生产与消息消费的处理。1.代码结构如图2.pom.xml4.0.0
CodeM91·2020-09-15 23:19

IT视频课程集(包含各类Oracle、DB2、Linux、Mysql、Nosql、Hadoop、BI、云计算、编程开发、网络、大数据、虚拟化

马哥Linux培训视频课程：http://pan.baidu.com/s/1pJwk7dpOracle、大数据系列课程：http://pan.baidu.com/s/1bnng3yZ天善智能BI培训视频课程
无奈的伤城·2020-09-15 07:41

大数据系列（五）NoSQL数据库Hbase之shell与springboot使用api操作HBase

目录HBase的基本读写流程写入流程读取流程HBase的模块与协作HBase启动RegionServer失效HMaster失效HBase常用的Shell命令进入shellhelp命令查询服务器状态查看所有表创建一个表获得表的描述添加一个列族删除一个列族插入数据查询表中有多少行获取一个rowkey的所有数据获得一个id，一个列簇（一个列）中的所有数据查询整表数据扫描整个列簇指定扫描其中的某个列使用l
codemperor·2020-09-14 17:30

Hadoop大数据系列之NoSql海量数据库Hbase入门Shell篇（二）

一、Hbaseshell相关操作进入Hbase操作hbaseshell说明：搭建好了大数据平台前提下，并且配置了配置环境变量，直接在任何路径下可用1、help帮助命令help'命令名字'1.1、status查看状态1.2、version查看版本2、hbase中数据库的概念namespace（命名空间，相当于传统数据库的DataBases）2.1、显示所有的数据库（命名空间）list_namespa
wunanliu·2020-09-14 12:41

Hadoop大数据系列之NoSql海量数据库Hbase详解原理篇（一）

Hbase的引言一、什么是Hbase1、hbase是Apache组织开源的顶级项目distributed,scalable,bigdatastore产品。2、hbase是Google的BigTable论文的开源实现。3、hbase是基于Hadoop的一个NoSQL产品Column(列存储)类型的NoSQL。4、hbase是GoogleBigTable的开源实现,数据存储于Hdfs上。5、hbase
wunanliu·2020-09-14 12:09

大数据系列文章汇总 - 更新到15篇----------IT十年

大数据(一)-hadoop生态系统及版本演化大数据(二)-HDFS大数据(三)-YARN大数据(四)-MapReduce大数据(五)-HBase大数据(六)-ZooKeeper大数据(七)-Flume大数据(八)-Sqoop大数据(九)-Hive大数据(十)-Pig大数据(十一)-Mahout大数据(十二)-Oozie大数据(十三)-Azkaban大数据(十四)-Storm大数据(十五)-JSto
iFTY_Rostiute·2020-09-12 23:40

清华大数据系列讲座——大数据发展与区块链应用成功举办

2018年9月15日，由清华-青岛大数据工程研究中心主办的“清华大数据系列讲座—大数据发展与区块链应用”在中国海洋大学成功举办。
数据派THU·2020-09-11 10:32

大数据系列教程006-开启日志聚合功能

Container日志是hadoop各个container记录的日志，其中会包含错误或失败的重要信息。如果没有打开日志聚合，默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项，则会统一放在集中的位置（比如HDFS上）。Container日志会记录作业运行时会发生的各种运行时信息和错误，对于调试和调优有很大的帮助。1.修改master的yarn-site.xml配置，新增：yar
Java潘老师·2020-09-11 02:47

大数据系列教程008-DFS介绍

1.DFS介绍由于一台机器的存储容量有限，一旦数据量达到足够的级别，就需要将数据存放在多台机器上，这就是分布式文件系统，又称之为DFS（DistributedFileSystem），DFS是HDFS的基础。2.什么是DFS分布式文件系统DFS是基于Master/Slave模式，通常一个分布式文件系统提供多个供用户访问的服务器，一般都会提供备份和容错的功能。分布式文件系统管理的物理资源不一定直接连接
Java潘老师·2020-09-11 02:47

大数据系列教程007-windows配置hosts

1.修改windows的hosts配置，为了方便通过主机名访问虚拟机2.在C盘windows文件中找到System32-->drivers-->etc,进入到etc文件夹中就能看到hosts文件3.修改4.如遇360提示劫持域名，选择允许修改5.如遇无权限1）在配置hosts时，有时会遇到无权限保存情况，这时需要给当前用户分配权限。在hosts文件上右键菜单点击属性2）弹出窗口点击页签安全，点击选
Java潘老师·2020-09-11 02:47

大数据系列教程005-NTP方式同步服务器时间

版权声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。
Java潘老师·2020-09-11 02:15

大数据系列教程004-完全分布式环境搭建步骤

版权声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。
Java潘老师·2020-09-11 02:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他