大数据基础

【软考速通笔记】系统架构设计师⑱——大数据架构设计理论与实践

文章目录一、前言二、传统数据库遇到的问题2.1问题的根源2.2传统解决方法三、大数据基础3.1大数据处理技术3.2大数据利用过程3.3大数据处理系统面临的挑战3.4大数据具有的属性和特征四、Lanbda
小康师兄·2025-07-23 11:56

大数据基础知识-Hadoop、HBase、Hive一篇搞定

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构，其核心设计包括分布式文件系统（HDFS）和MapReduce编程模型；Hadoop是一个开源的分布式计算框架，旨在帮助用户在不了解分布式底层细节的情况下，开发分布式程序。它通过利用集群的力量，提供高速运算和存储能力，特别适合处理超大数据集的应用程序。Hadoop生态圈Hadoop生态圈是一个由多个基于Hadoop开发的相
原来是猪猪呀·2025-07-04 13:28

大数据基础——大数据处理架构Hadoop

一、Hadoop是什么？（1）Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构（2）Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中（3）Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem）和MapReduce（4）Hadoop被公认为行业大数据
皮皮大卫·2025-06-16 12:48

大数据领域分布式存储的块存储技术优势

分布式块存储作为大数据基础设施的核心技术之一，凭借其高IOPS（输入输出每秒）、强一致性、灵活扩展等特性，成为数据库、机器学习、实时计算等场景的首选存储方案。
AI天才研究院·2025-06-05 02:18

Hadoop生态系统中的大数据基础知识教程

作者：禅与计算机程序设计艺术1.简介“Hadoop”是一个开源的分布式计算框架，基于云计算平台构建，提供海量数据的存储、分析处理和计算能力，广泛应用于金融、电信、互联网、移动通信等领域。Hadoop生态系统中存在大量的工程师和科学家，但这些人的水平参差不齐，各有所长，有些人擅长Linux开发、云计算、机器学习等，有些人更偏重于Hadoop基础设施建设、运维管理、架构设计和安全防护等方面，还有一些人
AI天才研究院·2025-05-26 22:39

Spark-小练试刀

任务1：HDFS上有三份文件，分别为student.txt（学生信息表）result_bigdata.txt（大数据基础成绩表），result_math.txt（数学成绩表）。
o不ok!·2025-05-03 20:11

最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）

目录第一章大数据基础篇1.1Linux基础学习1.2SQL基础学习1.3Java与Scala基础学习第二章数据采集与存储技术2.1Hadoop基础及实战2.2Hive与Hbase技术2.3ETL流程及原理第三章数据管理与查询技术
大模型大数据攻城狮·2025-04-14 06:17

国产化替代 | 星环科技TDH替代IBM数仓，助力城商行构建湖仓一体平台

某城市商业银行在此背景下，启动数据仓库系统升级项目，将数据仓库从IBMNetezza迁移到星环科技大数据基础平台TDH，不但成功实现了数据仓库的国产化替代，还建设了新一代的湖仓一体平台，为银行业务发展提供新
·2025-03-05 11:08

Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案

凭借其与Kafka的完全兼容性可以与用户已有的Flink等大数据基础设施进行轻松整合。Flink是重要的流处理引擎，与Kafka有着密切的关系。
·2025-03-03 17:20

【自学笔记】大数据基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览
Long_poem·2025-03-03 01:17

阿里云PAI大模型RAG对话系统最佳实践

去年4月至9月，阿里云人工智能平台PAI团队与大数据基础工程技术团队合作，构建了基于知识库检索增强的大模型答疑对话机器人，并在阿里云官方答疑链路、研发小蜜、钉钉大数据技术服务助手等多个线上场景上线，显著提升答疑效率
阿里云云栖号·2025-03-01 00:04

字节跳动后端或大数据基础知识面试题及参考答案（2万字长文）

目录Redis的数据类型Redis数据类型的底层数据结构三次握手、四次挥手Redis持久化机制购物车为什么用Redis存，是永久存储吗MySQL的InnoDB索引数据结构哪些SQL的关键字会让索引失效队列、栈、数组、链表有什么不同讲讲爬虫的构成爬虫抓到的数据不清洗吗？不去重吗？对爬虫的更多了解Linux进程间通信机制进程和线程的区别线程私有的数据讲一下堆排序，每次调整的时间复杂度？堆排序是稳定的吗
大模型大数据攻城狮·2025-02-18 19:03

Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案

凭借其与Kafka的完全兼容性可以与用户已有的Flink等大数据基础设施进行轻松整合。Flink是重要的流处理引擎，与Kafka有着密切的关系。
AutoMQ·2025-01-22 23:06

案例分享｜ 某港口集团企业级数据管理及分析应用体系构建

通过运用大数据基础平台TDH、大数据开发
·2025-01-17 19:04

数据中台建设方案-基于大数据平台(下)

大数据基础平台技术能力的高低，主要依赖于该层组件的发展。本建设方案满足甲方对于数据计算层建设的基本要求：利用了MapReduce、Spar
FRDATA1550333·2024-09-11 03:49

大数据基础之Flume——Flume基础及Flume agent配置以及自定义拦截器

Flume简介Flume用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地 -一种可靠、可用的高效分布式数据收集服务Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复由Cloudera2009年捐赠给Apache，现为Apache顶级项目Flume架构Client：客户端，数据产生的地方，如Web服务器Event：事件，指通过Agent传输的单个数据包，如日志数据通常对
Clozzz·2024-09-03 03:17

大数据学习路线基础指南‌

提供一份从零基础到精通的大数据学习指南希望对大家有所帮助一、‌基础阶段：‌掌握核心概念与技能1.‌了解大数据基础‌学习大数据的定义、‌特点、‌价值以及应用领域。‌理解大数据与传统
一马什么梅一·2024-08-27 23:24

阿里云计算平台大数据基础工程技术团队直聘！！！

大数据基础工程技术团队，隶属于阿里云智能集团计算平台事业部，是一支负责阿里集团、公共云和混合云场景计算平台大数据&AI产品的稳定性建设、架构&成本优化、运维产品ABM（ApsaraBigdataManager
·2024-02-19 11:20

大数据基础必备，大数据是什么？

随着互联网时代的到来，颠覆了传统行业的盈利模式，大家都把注意力集中在了互联网上。前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。大数据学习群：199427210百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据
大数据05·2024-02-11 08:31

自学大数据：大数据学习线路及各阶段学习书籍

阶段一、大数据基础——java语言基础方面（1）Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术
yoku酱·2024-02-09 21:46

区块链和大数据有什么关系？

大数据核心产业链大致可以分为以下三部分：产品部分：包括大数据基础软件和大数据应用软件等大数据软件产品相关行业。数据部
离开的人·2024-02-06 18:36

大数据基础和硬件介绍

目录1大数据课程导论1.1大数据概念1.2大数据的特点1.3大数据能干啥1.4大数据发展前景1.5企业数据部的业务流程分析2服务器基本介绍3存储磁盘基本介绍3.1SCSI接口硬盘介绍3.2、SAS接口硬盘介绍3.3、FDE/SDE接口硬盘介绍3.4、SATA硬盘基本介绍3.5、SSD硬盘介绍4.交换机基本介绍5.网卡的介绍6.局域网基本介绍7.机架基本介绍8.IDC数据中心介绍9.磁盘阵列9.1、
赵广陆·2024-02-06 16:35

SparkSQL on K8s 在网易传媒的落地实践

【作者：鲁成祥易顺】随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。
wangyishufan·2024-02-06 06:02

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

[AIGC 大数据基础] 大数据流处理 Kafka

在当今信息时代，我们生活在一个数据爆炸的世界中。大数据处理已成为各行各业中不可或缺的一部分。在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。在这篇博客中，我们将介绍一种流行的大数据流处理工具——Kafka，并探讨它在大数据处理中的重要性和应用。文章目录什么是Kafka？Kafka的应用场景总结什么是Kafka？Kafka是一种开源的分布式流处理平台
程序员三木·2024-01-29 05:32

[AIGC大数据基础] Spark 入门

大数据处理已成为当代数据领域的重要课题之一。为了高效地处理和分析大规模数据集，许多大数据处理引擎应运而生。其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。首先，我们会详细探讨Spark的基本概念和主要特点，让读者对Spark有一个清晰的认识。接着，我们将介绍Spark的使用方法，包括编程语言和API、运行环境等方面的内容。最
程序员三木·2024-01-28 12:32

[AIGC大数据基础] Flink: 大数据流处理的未来

Flink是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由Apache软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。文章目录什么是FlinkFlink的特点真正的流处理高性能和低延迟弹性扩展性丰富的API和库大数据生态系统整合Flink的应用场景总结什么是FlinkFlink建立在事件驱动的基础之上，可以处理高吞吐量和低延迟的数据流。与批处
程序员三木·2024-01-27 07:28

[AIGC 大数据基础] 浅谈hdfs

HDFS介绍什么是HDFS？HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。它被设计用于存储和处理大规模数据集，并且能够容错、高可靠和高性能地处理文件。HDFS是为了支持Hadoop的分布式计算和存储而开发的，是Hadoop的核心组件之一。它可以在普通的硬件上运行，并且可以适应大型数据集和并行计算的需求。HDFS使
程序员三木·2024-01-27 01:00

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

星环科技TDH一直致力于给用户带来高性能、高可靠的一站式大数据基础平台，满足对海量数据的存储和复杂业务的处理需求。
星环科技·2024-01-26 07:40

“研学测”好帮手，三步带你安装体验TDH社区开发版

星环科技TDH社区开发版，作为一款单机可部署、开箱即用的大数据基础平台产品，大幅降低了用户的资源成本和使用门槛。
星环科技·2024-01-26 07:10

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层
星环科技·2024-01-26 07:08

[AIGC 大数据基础]hive浅谈

在当今大数据时代，随着数据量的不断增大，如何高效地处理和分析海量数据已经成为一个重要的挑战。为了满足这一需求，Hive应运而生。Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。通过对数据进行分区、压缩以及并行处理，Hive能够快速地处理PB级数据。本博客将从“是什么、怎么用，为什么用”三个角度对Hive进行介绍。
程序员三木·2024-01-25 14:17

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j兼容性问题，使用Hadoop的jar包五、HBase远程发送到其他集群六、启动七、停止八、基本操作8.1进入Hbase客户端8.2namespace8.3DDL8.3.1创建表8.3.2查看表8
m0_46218511·2024-01-24 06:04

大数据基础设施搭建 - Redis

一、上传压缩包二、解压压缩包[mall@mallsoftware]$tar-zxvfredis-6.2.1.tar.gz-C/opt/module/三、查看gcc是否安装redis是用c写的，因此安装redis需要c语言的编译环境，即需要安装gcc[mall@mallmodule]$gcc-v四、编译[mall@mall~]$cd/opt/module/redis-6.2.1/[mall@mall
m0_46218511·2024-01-23 05:09

实战讲解｜Trino 在袋鼠云数栈的探索与实践

袋鼠云数栈作为新一代一站式大数据基础软件，其核心优势在于不仅提供了快速便捷、易于上手的底层数据开发模块，更推出了涵盖质量、标签及指标等上层偏业务功能模块。
袋鼠云数栈·2024-01-20 21:44

大数据基础-测试过程

一、大数据：大数据是一个大的数据集合，通过传统的计算技术无法处理。这些数据集的测试需要用各种工具、技术、框架进行处理。大数据涉及数据创建，存储、检索、分析，而且它在数量、多样性、速度都很出色。二、大数据的测试类型：验证其数据处理、性能和功能测试是关键处理：批量、实时、交互数据质量测试：字段一致性、准确性、重复性、有效性、数据完整性性能测试三、大数据的测试步骤step1：数据阶段验证：pre-Had
测试界吖吖·2024-01-18 11:37

如何设计实时数据平台（设计篇）

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/OyQ0_BhFzEknqOdF0VaeWA导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论
longLiveData·2024-01-18 05:11

Hadoop（一）之初识大数据与Hadoop

Hadoop（一）之初识大数据与Hadoop阅读目录(Content)一、引言（大数据时代）1.1、从数据中得到信息1.2、大数据表象概念二、大数据基础2.1、什么是大数据？
筱若水qq·2024-01-15 14:04

2024年统一大数据应用场景的技术

大数据技术正处于高速发展时期，有些应用场景基本已经统一了技术选型，有些技术场景的赛道正在互相角力，本文基于特定技术统一应用场景这个目的展开讨论；对于应用场景默认技术选型的技术，我们可以当做大数据基础能力学习
i7杨·2024-01-04 03:07

Mac M1 Datasophon 安装

MacM1Datasophon安装什么是DatasophonDataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
青涩的芒果汁·2023-12-30 06:00

IDC 中国数字化转型盛典：兴业银行「基于悦数图数据库」的「智能大数据云平台」获奖

01基于图计算的【智能大数据云平台】荣获行业权威奖项认可兴业银行的智能大数据云平台即大数据基础平台，由悦数图数据库提供图构建、图计算、图
悦数图数据库·2023-12-29 10:03

ETLCloud与简道云结合，实现企业信息同步

提供开放的组件市场,企业通过本平台可以快速构建大数据基础底座，同时快速打通ERP、MES、OA、SaaS、API、MQ、IOT等数据构建
ETLCloud数据集成社区·2023-12-29 09:27

基于python编写的服务器之间流量传输netflow_exporter

一、背景通常企业会在多个机房部署IT系统，在大数据基础服务组件中会集群跨机房部署或是跨机房抽取数据的场景，在抽数任务时间节点没有错开的时候，经常会造成带宽打满的情况，跨机房的带宽费用比较昂贵，不考虑成本去扩跨机房的带宽是不现实的
运维仙人·2023-12-28 10:54

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

聪明高效能力广，AGI如何赋能内容管理？

大数据基础设施提供商爱数就是其中之一。
智能相对论·2023-12-21 19:48

Tensorflow 数据预读取--Queue

深度学习训练模型通常是建立在大数据基础上，一般情况下可以把数据都加载到内存避免训练时数据读取IO。但是，当数据占用空间较大，如图片集或者视频集，无法全部载入内存；另一种方式是在训练时再
yalesaleng·2023-12-21 05:39

大数据基础理论——Lambda与Kappa架构的区别

Lambda架构基本介绍NathanMarz根据他在Backtype和Twitter使用分布式数据处理系统的经验，提出了Lambda体系结构（LA）一词，用于通用、可扩展且容错的数据处理体系结构。LA旨在满足对健壮系统的需求，该系统具有容错能力，既能防止硬件故障，也能防止人为错误，能够服务于广泛的工作负载和用例，并且需要低延迟的读取和更新。最终的系统应该是线性可扩展的，并且应该向外扩展而不是向上扩
Axton_·2023-12-18 22:03

Hudi 在 vivo 湖仓一体的落地实践

作者：vivo互联网大数据团队-XuYu在增效降本的大背景下，vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。
vivo互联网技术·2023-12-18 03:15

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala、Spark-Sql、Elasticsearch、Yarn、Hue、ClouderaManager，这篇文章的目的就是作为小白要把这些相关的知识概念还有可能的考点整理出来。大数据-概念什么是大数据
偶余杭·2023-12-15 17:22

大数据基础设施搭建 - 数据装载

文章目录一、概述二、数据装载（HDFS->Hive）2.1创建Hive表2.1.1业务全量表建表语句2.1.2业务增量表建表语句2.1.3流量增量表建表语句2.2数据装载2.2.1初始化装载省份和地区表2.2.2业务数据装载（1）开发脚本（2）授予脚本执行权限（3）定时调度2.2.3日志数据装载（1）开发脚本（2）授予脚本执行权限（3）定时调度一、概述入仓时机：业务数据、日志数据都同步到HDFS后
m0_46218511·2023-12-04 17:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他