大数据技术

大数据的特点

Variety（多样）数据（三）大数据的应用场景大数据技术与我们整个社会都融合到了一起，密不可分。在个人消费领域：具体体现就是千人千面。视频推荐：推荐你喜欢的内容给你。电商推荐：熟人推荐。
心碎土豆块·2025-05-18 07:59

大数据技术的主要方向及其应用详解

文章目录一、大数据技术概述二、大数据存储与管理方向1.分布式文件系统2.NoSQL数据库3.数据仓库技术三、大数据处理与分析方向1.批处理技术2.流处理技术3.交互式分析4.图计算技术四、大数据机器学习方向
百锦再@新空间·2025-05-18 01:41

使用Pyspark读取CSV文件并将数据写入数据库（大数据）

使用Pyspark读取CSV文件并将数据写入数据库（大数据）近年来，随着大数据技术的快速发展，大数据处理和分析已经成为许多企业和组织的重要任务之一。
雨中徜徉的思绪漫溢·2025-05-17 15:01

大数据领域数据产品的智慧游戏应用案例与发展方向

大数据领域数据产品的智慧游戏应用案例与发展方向关键词：大数据、数据产品、智慧游戏、游戏分析、用户画像、实时计算、推荐系统摘要：本文深入探讨大数据技术在智慧游戏领域的创新应用与发展趋势。
大数据洞察·2025-05-17 11:57

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡，并不参与数据读写，相比与其他大数据组件，如hdfs的namenode，在hbase中，Hmaster的作用是比较弱化的，即使挂掉，也暂时不影响现有表的读写。RegionServer的作用一个机器上一个regionserver进程，主要负责管理多个region，接受客户端读写请求并交给region进行处理，
guoyongzhuang·2025-05-15 14:09

大数据领域的国际发展动态

大数据领域的国际发展动态关键词：大数据技术、数据治理、人工智能融合、隐私计算、实时分析、数据中台、数字化转型摘要：本文深入探讨了大数据技术在国际上的最新发展动态，从核心技术演进到行业应用创新，全面分析了当前大数据生态系统的发展趋势
大数据洞察·2025-05-15 11:48

从零基础到精通：Scala大数据开发入门指南

随着大数据技术的不断发展，对开发者的要求也日益增高。Scala作为一种结合了面向对象编程和函数式编程的强大语言，已经成为大数据领域的明星语言，尤其在Spark等流行框架中占据重要地位。
风之少女梦·2025-05-15 00:09

大数据技术之Hadoop(十)——Sqoop数据迁移

目录一、Sqoop概述1、Sqoop认识2、Sqoop原理（1）导入原理（2）导出原理二、Sqoop安装配置1、下载安装2、MySQL配置启动3、配置Sqoop环境4、Sqoop效果测试三、Sqoop数据导入1、MySQL表数据导入HDFS2、MySQL表数据增量导入HDFS3、MySQL表数据导入Hive4、MySQL表数据子集导入四、Sqoop数据导出参考书籍一、Sqoop概述1、Sqoop认
雨诺风·2025-05-14 08:20

Flink 实时计算引擎：构建大数据流水线

Flink实时计算引擎：构建大数据流水线随着大数据技术的发展和应用场景的不断扩大，实时计算引擎成为了处理海量数据的关键工具之一。
抱紧大佬大腿不松开·2025-05-10 15:37

大数据狙击金融欺诈——技术如何守护交易安全？

然而，大数据技术的出现，让金融欺诈检测从被动防守转向主动狙击，通过深度学习、行为分析和实时监控，金融机构得以识别复杂的欺诈模式，并在问题发生前预警。
Echo_Wish·2025-05-09 21:37

互联网大厂Java求职面试实战：涵盖Spring Boot、微服务、AI与大数据技术

互联网大厂Java求职面试实战：涵盖SpringBoot、微服务、AI与大数据技术本文通过一个互联网大厂Java求职者谢飞机的面试故事，详细呈现面试官围绕核心Java技术栈、微服务架构、AI应用及大数据处理的提问过程
小傅哥的码仔·2025-05-09 01:57

大数据技术全景解析：Spark、Hadoop、Hive与SQL的协作与实战

引言：当数据成为新时代的“石油”在数字经济时代，数据量以每年50%的速度爆发式增长。如何高效存储、处理和分析PB级数据，成为企业竞争力的核心命题。本文将通过通俗类比+场景化拆解，带你深入理解四大关键技术：Hadoop、Hive、Spark和SQL，揭秘它们如何像“仓储-物流-管理”系统一样协同工作。一、技术角色定位：从仓库到智能分拣1.Hadoop：巨型仓库与搬运工•核心能力：•HDFS（分布式存
V文宝·2025-05-08 12:32

智能视频分析系统

智能视频分析系统是基于人工智能、机器视觉和大数据技术的综合型监控解决方案，其核心功能与应用场景如下：一、核心功能实时视频流处理‌系统可对实时视频流进行毫秒级响应分析，识别并跟踪目标对象（如人脸、车辆、特定物体
ARM2NCWU·2025-05-08 08:39

构建高质量数据湖：大数据治理在湖仓一体架构下的实践指南

个人主页：慌ZHANG-CSDN博客期待您的关注一、引言随着大数据技术的发展，企业对数据的存储、治理和分析能力提出了更高的要求。
慌ZHANG·2025-05-08 07:31

数据分析项目中的关键技术与工具

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-05-08 03:12

尚硅谷大数据技术课程资料下载：开启大数据学习之旅

尚硅谷大数据技术课程资料下载：开启大数据学习之旅尚硅谷大数据技术-教程-学习路线-笔记汇总表课程资料下载项目地址:https://gitcode.com/Resource-Bundle-Collection
裘心国Trent·2025-05-07 23:46

大数据驱动的智能时代：AI大模型与工具软件的完美结合

从金融到医疗，从教育到制造业，各个领域都在积极拥抱大数据技术，以实现效率提升、成本降低和创新加速的目标。然而，随着数据规模的指数级增长，传统的数据分析方法已难以满足复
EmeraldWolf23·2025-05-06 21:02

二、Hadoop狭义和广义的理解

清晰地理解这两个层面的区别，对于我们精准掌握这一关键的大数据技术至关重要
IvanCodes·2025-05-06 20:55

互联网大厂Java面试实战：涵盖Spring Boot、微服务、AI与大数据技术

互联网大厂Java面试实战：涵盖SpringBoot、微服务、AI与大数据技术本文通过一个互联网大厂Java求职者谢飞机的面试故事，详细呈现面试官围绕核心Java技术栈、微服务架构、AI应用及大数据处理的提问过程
小傅哥的码仔·2025-05-06 07:02

一图看懂YARN集群模式的作业运行流程（通俗版）

如果你刚接触大数据技术，看到“YARNContainer”“ApplicationMaster”这些术语可能会一头雾水。别担心！我们用日常生活中的例子来类比，轻松理解这个流程。1.角色解释：谁在干活？
荷包蛋大王2.0·2025-05-05 20:55

bigdatareport

大数据技术体系深度解析（2025年版）一、大数据定义与核心特征（5V+扩展）传统5V模型升级Volume（体量）：从TB级到EB/ZB级，2025年全球数据总量预计达180ZB，其中非结构化数据（日志、
chennalC#c.h.JA Ptho·2025-05-05 19:50

大数据技术：从趋势到变革的全景探索

随着技术的进步，传统的数据处理方式已经无法满足大规模、复杂的数据需求，大数据技术应运而生，成为了推动创新和转型的核心力量。一、大数据的技术基础大数据技术的核心在于如何高效地存储、处理、分析和
一ge科研小菜菜·2025-05-05 15:49

英特尔BigDL：为大数据插上人工智能的翅膀

接下来，企业将思考如何能将大数据技术和人工智能、深度学习技术进行有效的融合？有没有一种既简单又好用的深度学习框架可以拿来就用？需要多久可以从人工智能技术上受益？下面是
couxuan4263·2025-05-04 01:15

机器学习之基于Python多种混合模型的糖尿病预测

随着机器学习和大数据技术的发展，基于数据驱动的糖尿病预测方法逐渐受到广泛关注。本项目旨在利用Pyth
Q1744828575·2025-05-03 20:10

Spark和hadoop的区别与联系

一、Spark和Hadoop的联系：1.同属大数据生态体系二者均为Apache旗下的大数据处理框架，服务于大规模数据的存储与计算，共同构成了大数据技术栈的核心。
Amu_Yalo·2025-05-03 14:02

大数据领域数据产品的技术选型与架构设计案例

大数据领域数据产品的技术选型与架构设计案例关键词：大数据技术选型、数据产品架构、分布式系统设计、湖仓一体架构、实时数据处理、数据治理、案例分析摘要：本文系统解析大数据领域数据产品的技术选型逻辑与架构设计方法论
大数据洞察·2025-05-03 02:07

全开源彩虹易支付系统源码搭建教程附源码

大数据技术：彩虹易支付系统需要处理大量的交易数据和用户信息。为了实现高效的数据处理和分析，系统使用了大数据技术，包括分布式数据存储和计算框架，如Hadoop、Spark等。
qinheyan·2025-04-30 16:22

[大数据技术与应用省赛学习记录一]——软件准备

@JIAQI第一章大数据平台环境搭建在指定主机上完成Hadoop完全分布式、Spark、Flink、kafka、flume的安装配置赛前准备主办方要求使用以下相关版本软件环境，仅供参考：设备类型软件类别软件名称、版本号竞赛服务器竞赛环境大数据集群操作系统Centos7大数据平台组件unbuntu18.04Hadoop2.7.7Hive2.3.4Spark2.1.1Kafka2.0.0Redis4.
Ench77·2025-04-29 01:07

[大数据技术与应用省赛学习记录七]——模块一（其余软件安装配置）

因为其他软件在比赛中不设有专项配置，所以在这里将客户端需要的软件进行一次性概述。软件包在第一个博客中都有，需要的点这里。一、Hive学习过程中，略学了一点HQL语句，链接给各位奉献上。1.下载解压hive2.配置文件全局配置(/etc/profile)exportHIVE_HOME=/software/hiveexportPATH="$HIVE_HOME/bin:$PATHhive-site.xm
Ench77·2025-04-29 00:02

面向隐私保护的集合交集计算综述

摘要随着物联网和大数据技术的发展,在计算机和手机上出现了大量分布式应用程序.然而现有的分布式数据处理方式已不能很好地满足用户对隐私保护的需求.隐私集合交集(privatesetintersection,
米朵儿技术屋·2025-04-27 12:42

数据湖架构：从Delta Lake到Hudi实战对比

数据湖架构：从DeltaLake到Hudi实战对比随着大数据技术的飞速发展，数据湖架构逐渐成为企业处理大规模、多样化数据的首选方案。
喜欢编程就关注我·2025-04-27 01:35

大数据驱动公共交通系统的智慧化革命

随着大数据技术的广泛应用，这些问题正在逐步解决，大数据正在成为现代公共交通系统智慧化的核心驱动力。
Echo_Wish·2025-04-24 13:43

Spark和hadoop的区别与联系

一、Spark和Hadoop的联系：1.同属大数据生态体系二者均为Apache旗下的大数据处理框架，服务于大规模数据的存储与计算，共同构成了大数据技术栈的核心。
今天我又学废了·2025-04-23 01:26

随着大数据技术的快速发展，

随着大数据技术的快速发展，企业能够获取到海量的用户行为数据、交易数据以及社交媒体数据。数据分析与洞察正成为挖掘客户深层需求的重要方式之一，特别适用于大规模、跨地域的客户群体。
·2025-04-23 00:50

鼎捷 E10 ERP 6.0 IOS安装包 下载

以下是鼎捷E10ERP的主要功能和特点：供应链管理：包括销售管理、采购管理、物料管理和存货管理，通过互联网+大数据技术，建立信息透明、数据共享的协同、柔性供应链关系，拓展至产业的资源协同。
资讯先锋·2025-04-22 13:06

大数据技术：原理、应用与未来展望

大数据技术：原理、应用与未来展望引言在数据爆炸的时代，大数据技术已成为推动社会进步和经济发展的关键力量。本文将带您走进大数据技术的世界，探索其原理、应用及未来展望。
梁下轻语的秋缘·2025-04-22 07:59

基于大数据的房产估价解决方案

随着大数据技术的发展，大量的房产相关数据被积累，包括房屋基本信息、周边配套设施、市场交易数据等。利用大数据技术对这些数据进行挖掘和分析，可以为房产估价提供更客观、准确和高效的方法。
AI糊涂是福·2025-04-20 11:10

使用 Python 爬虫抓取数据并存储到 MongoDB

随着大数据技术的迅速发展，越来越多的开发者选择使用MongoDB作为数据存储解决方案。
Python爬虫项目·2025-04-18 16:22

大数据驱动的供应链透明化：从数据孤岛到智能协同

随着大数据技术的发展，供应链透明化正在迎来新的突破。今天，我们就从数据采集、处理、预测分析等角度，探讨大数据如何助力供应链透明化，并结合Pyth
Echo_Wish·2025-04-16 00:22

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术【下载地址】大数据HadoopHBaseSparkHive集群搭建教程七月在线1本资源文件提供了关于如何搭建大数据集群的详细教程
贾诺翼·2025-04-15 06:01

Hadoop 大数据技术原理与应用 （1）

第一章初识Hadoop1、了解大数据，能够描述大数据的概念、数据类型、特征、和研究意义a.概念：从字面意思来看，大数据指海量数据；从特点来看，大数据具有海量、流转快、数据类型丰富及价值密度低等特点b.数据类型：大数据的数据类型丰富多样，包括网页文件、表格文件、XML文件、文本数据、多媒体数据（视频、图片等）。按数据结构来分为1）结构化数据（标准化格式的数据）2）半结构化数据（描述文本记录的数据XM
做个尘世俗人·2025-04-14 20:50

职业院校大数据开发与运维实训室建设可行性分析

一、大数据开发与运维实训室建设背景1.1大数据技术发展现状大数据技术正以迅猛的势头发展，成为推动各行业数字化转型的关键力量。
武汉唯众智创·2025-04-14 19:45

大数据+物联网+遥感+AI，打造新型智慧农业实训教学

随着农业大数据技术的发展，结合物联网（IoT）、遥感技术和人工智能（AI），农业生产迎来了前所未有的机遇。
武汉唯众智创·2025-04-14 19:45

让数据告诉你，顾客真正想要什么：大数据驱动的精准营销

而大数据技术的崛起，则为精准营销注入了全新的动能，让企业能够以更低的成本抓住更精准的客户群体。
Echo_Wish·2025-04-13 07:17

大数据技术之Scala

一、集合常用函数1、集合计算高级函数1)说明①过滤遍历一个集合并从中获取满足指定条件的元素组成一个新的集合②转换、映射（map）将集合中的每一个元素映射到某一个函数③扁平化④扁平化+映射注：flatMap相当于先进行map操作，在进行flatten操作集合中的每个元素的子元素映射到某个函数并返回新集合⑤分组（group）按照指定的规则对集合的元素进行分组⑥简化（规约）⑦折叠2)案例实操object
北屿升：·2025-04-12 18:33

基于Python的QQ音乐数据爬取分析与可视化（附源码）

关键词：Python；QQ音乐；数据爬取；数据分析；可视化一、引言在信息时代的背景下，大数据技术得
AI博士小张·2025-04-12 16:49

最全的“大数据”学习资源（一）

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。
GISEarth·2025-04-12 16:45

大数据技术之Scala

Spark运行架构核心是一个计算引擎核心组件1.Driver（驱动器）角色：Spark作业的“大脑”，负责解析用户代码、生成任务并调度执行。功能：将用户程序转换为作业（Job）。调度任务到Executor，监控任务状态。-提供WebUI展示运行状态。2.Executor（执行器）角色：集群中的工作节点，实际执行任务的JVM进程。功能：运行具体任务（Task），返回结果给Driver。通过内存缓存R
罗婕斯特·2025-04-12 02:42

基于大数据的城市交通流量分析与预测

1.2大数据在交通领域的应用大数据技术的快速发展为解决交通问题提供了新的思路和方法。海量的交通数据，例如GPS定位数据、视频监控数据、卡口数据、出租车轨迹数据等，
AI大模型应用之禅·2025-04-11 13:12

大数据技术与Scala

集合高级函数过滤通过条件筛选集合元素，返回新集合。映射对每个元素应用函数，生成新集集合扁平化将嵌套集合展平为单层集合。扁平化+映射先映射后展平，常用于拆分字符串。分组按规则将元素分组为Map结构。归约聚合集合元素折叠带初始值的归约，适合复杂聚合操作WordCount案例实现目标:统计单词频率并取前三名。步骤:1.拆分单词2.按单词分组3.计算频次4.排序取前三队列（Queue）操作特点:先进先出（
罗婕斯特·2025-04-11 07:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他