python+大数据第31页

【hadoop】基于hive的B站用户行为大数据分析

1.需求分析b站现在积累有用户数据和视频列表数据，为了配合市场部门做好用户运营工作，需要对b站的用户行为进行分析，其具体需求如下所示：统计b站视频不同评分等级（行转列）的视频数。统计上传b站视频最多的用户Top10，以及这些用户上传的视频观看次数在前10的视频。统计b站每个类别视频观看数topn。统计b站视频分类热度topn。统计b站视频观看数topn。2.表结构2.1user表结构2.2vide

火龙谷·2025-04-19 03:35

Kafka详解——介绍与部署

Kafka具备高吞吐量、可扩展性、持久性和容错性，广泛应用于大数据和实时流处理场景。核心概念Producer（生产者）：负责向Kafka发送消息的数据发布方。

克里斯蒂亚诺罗纳尔多阿维罗·2025-04-19 02:30

爬虫开发者必看：绕过反爬机制获取拼多多商品评论接口数据

在大数据和人工智能快速发展的时代，数据采集成为了许多企业和个人不可或缺的一部分。电商平台作为数据丰富的宝库，吸引了大量爬虫开发者进行数据抓取。

lovelin+vI7809804594·2025-04-18 21:57

openGauss数据库源码解析 | openGauss简介(二）

大并发、大数据量、以联机事务处理为主的交易型应用，如电商、金融、O2O、电信CRM/计费等，可按需选择不同的主备部署模式。（2）物联网数据。

openGauss小助手·2025-04-18 20:24

硬核科普 | 新能源轻卡数字孪生：从“虚拟克隆”到能耗精准预测的工业革命

数字孪生是通过物联网、大数据、AI等技术，为物理实

新能源汽车--三电老K·2025-04-18 19:46

2025年软件测试初级面试题终极指南：助你斩获高薪offer的爆火攻略

云原生与大数据

科技小能手·2025-04-18 17:30

大数据｜Hive和数据仓库

前文回顾：HBase基本工作原理目录数据仓库和OLAP数据仓库面向主题集成的时变的非易失的OLTP（联机事务处理）vsOLAP（联机分析处理）Hive基本工作原理Hive和HBase的区别Hive的作用与结构组成Hive的数据模型表（Table）外部表（ExternalTable）分区（Partition）桶（Bucket）Hive查询语言——HiveQL创建数据表的命令装入数据插入数据SELEC

啦啦右一·2025-04-18 16:57

【大数据安全】大数据安全的挑战与对策&；基础设施安全_数据安全面临的挑战图解

一、大数据安全的挑战与对策（一）数据加密技术1、对称密码对称密码的特征是加密密钥和解密密钥相同。

2401_84170391·2025-04-18 16:22

使用 Python 爬虫抓取数据并存储到 MongoDB

随着大数据技术的迅速发展，越来越多的开发者选择使用MongoDB作为数据存储解决方案。

Python爬虫项目·2025-04-18 16:22

探索自然语言处理：技术、应用及代码示例

随着大数据和机器学习技术的发展，NLP在许多领域都有广泛的应用，从搜索引擎和翻译服务到聊天机器人和情感分析。

十四与诗·2025-04-18 15:44

深度解析华为仓颉语言

仓颉语言以高效、简洁和易用为设计目标，特别适用于云计算、大数据处理和人工智能等领域。其核心特性包括高性能并行计算、强类型系统、简洁的语法结构和丰富的库支持。

阳爱铭·2025-04-18 13:03

机器学习：利用Spark MLlib实现分布式机器学习算法训练与预测。

作者：禅与计算机程序设计艺术1.背景介绍近年来，随着云计算、大数据、人工智能等技术的不断发展，基于大规模数据处理的机器学习算法也在迅速发展壮大。

AI天才研究院·2025-04-18 12:56

Spark-SQL核心编程：DataFrame、DataSet与RDD深度解析

在大数据处理领域，Spark-SQL是极为重要的工具。今天就来深入探讨Spark-SQL中DataFrame、DataSet和RDD这三个关键数据结构。

不要天天开心·2025-04-18 11:51

国密算法面试题解析及应用

答案：对称加密（如AES、SM4）：加密解密使用同一密钥，速度快，适合大数据量加密，但密钥分发困难。非对称加

曼岛_·2025-04-18 11:49

[特殊字符] Python爬虫实战：基于Scrapy和BeautifulSoup爬取新华网和人民网最新新闻

在大数据时代，获取和分析新闻数据对于研究社会热点、舆情分析以及新闻推荐系统都至关重要。

Python爬虫项目·2025-04-18 05:43

大数据人工智能

在大数据人工智能领域，需要具备多种算法和深度学习知识，以下是一些常见的：机器学习算法-线性回归：用于建立输入特征与连续型输出变量之间的线性关系，常用于预测数值型数据。

yzx991013·2025-04-18 04:32

大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007

大数据面试:1.说一下hadoop的集群部署模式有哪几种,完全分布式如何部署以及配置?2.hadoop的守护进程有哪些?2.之前的公司,为什么要离职?3.之前公司的待遇工资多少?

添柴程序猿·2025-04-18 03:00

大数据面试问答-HBase/ClickHouse

1.HBase1.1概念HBase是构建在HadoopHDFS之上的分布式NoSQL数据库，采用列式存储模型，支持海量数据的实时读写和随机访问。适用于高吞吐、低延迟的场景，如实时日志处理、在线交易等。RowKey（行键）定义：表中每行数据的唯一标识，类似于关系数据库的主键。特点：数据按RowKey的字典序全局排序。所有查询必须基于RowKey或范围扫描（Scan）。示例：user_123_orde

孟意昶·2025-04-18 03:00

开源：一个完整的数据中台项目，MIT协议，可以随意开发和商业化

大家好，我是GitHub找项目君，每天为大家介绍GitHub上的开源项目主要分享GitHub上有趣、有意义、重要的项目一个完整的数据中台项目，极具野心的大数据平台开源项目源代码https://www.gitpp.com

qq_38220914·2025-04-18 02:55

python利用gdal读取、写出tif格式的遥感卫星影像，包含超大数据量的读写

gdal库特别强大，可以很方便的读写带有地理参考的影像数据1.使用gdal读取tif图像，读入数组data中：fromosgeoimportgdal,osrdefreadTif():#输入路径地址tifpath=r"D:\data.tif"#gdal打开影像，成为dataset数据集（这一步没有放入内存中）dataset=gdal.Open(tiffile,gdal.GA_ReadOnly)#读取

唯物主义孙讨逆·2025-04-18 00:11

大数据工程师：从牛客整理的 BAT Flink 面试题

百川智能数据开发笔试腾讯wxg企业微信部门面经金九银十，薪酬谈判技巧美团还真会作废offer啊啊啊啊啊！肠子面试时千万不能说这些话，不然一定凉凉秒杀项目常见问题秋招总结-上感觉读研确实改变了我的人生计算机网络高频面试题美团谈薪2020华为消费者管培生（春招面经）字节跳动前端岗社招面筋分享字节跳动前端岗社招面筋分享虾皮一面_测开_深圳【面经大全】实习&提前批&秋招->277个面经OC记录虾皮测试工程

愤怒的小青春·2025-04-18 00:40

什么是分布式数据库？

随着现代互联网应用和大数据时代的到来，分布式数据库成为了解决大规模数据存储和高并发处理的核心技术之一。本文将通过深入浅出的方式，带你全面理解分布式数据库的概念、工作原理以及底层实现技术。

TechCraft·2025-04-17 22:58

Python爬虫从入门到实战：8天精通数据抓取技巧

重要的东西放在前面咯Python爬虫入门到实战Python爬虫从入门到实战：8天精通数据抓取技巧在大数据时代，从互联网海量信息中获取有价值的数据，对于许多领域的工作至关重要。

七七知享·2025-04-17 21:19

精准推荐引擎模块：为婚恋交友小程序用户邂逅缘分

婚恋APP在当前环境下的创新发展路径主要包括以下几个方面：技术创新与用户体验优化：大数据与AI算法的应用：通过大数据分析和AI算法，婚恋APP可以更精准地匹配用户需求，提供个性化推荐，提升匹配成功率；通过深度分析用户的个人资料

·2025-04-17 21:08

大数据与分析：数据挖掘概念及流程

数据挖掘是一个从大量数据中提取有价值信息或模式的过程，它依赖于统计学、机器学习、数据库技术和人工智能等多个领域的知识和技术。以下是数据挖掘的概念及其流程的详细解释：一、数据挖掘的概念数据挖掘（DataMining）是指通过特定的计算机算法对大量的数据进行自动分析，以揭示数据中的隐藏模式、未知的相关性和其他有用的信息。这些信息可以帮助企业做出更明智的决策，提高运营效率，发现新的市场机会等。数据挖掘不

NSAcbba·2025-04-17 21:48

Java学习的智慧之路——从入门到精通，轻松掌握编程艺术

inscode_037·2025-04-17 20:44

Hadoop：大数据时代的基石

ApacheHadoop作为大数据处理领域的核心框架，为解决这些问题提供了强大的支持。本文将深入探讨Hadoop的架构、核心组件以及它在大数据生态系统中的重要性。

麻芝汤圆·2025-04-17 19:09

智慧城市智慧水务大数据云平台建设和运营整体解决方案

智慧城市智慧水务大数据云平台建设和运营的整体解决方案旨在通过先进的信息技术，实现水务管理的智能化、高效化和精细化，提升水资源利用效率，保障城市供水的安全和可靠性。

公众号：优享智库·2025-04-17 17:54

【2024最新】基于springboot+vue的闲一品交易平台lw+ppt

计算机搬砖艺术家·2025-04-17 17:53

数字化补贴：公共政策转型的新引擎

而随着区块链、大数据、人工智能等前沿技术的不断成熟，“数字化补贴”应运而生，正逐渐成为政府优化资源配置、提升治理效能的得力工具。

九河智造云·2025-04-17 14:03

Spark-SQL核心编程实战：自定义函数与聚合函数详解

在大数据处理领域，Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用，这些都是基于实际项目开发经验的总结。

不要天天开心·2025-04-17 13:30

企业内训｜AI赋能流程自动化，打造专属数字员工-某央企运营商

随着大数据、云计算、人工智能等前沿技术的快速发展，企业的数字化转型正加速进行。在这种背景下，数字员工应运而生，成为提升业务效率、优化流程管理的重要手段。

TsingtaoAI·2025-04-17 12:22

Web Worker在uniapp鸿蒙APP中的深度应用

性能对比实测二、uniapp中的WebWorker完整实现2.1基础配置步骤2.1.1项目结构准备2.1.2鸿蒙平台特殊配置2.2Worker脚本编写规范2.3主线程通信封装三、实战优化案例详解3.1大数据表格处理

杯莫停丶·2025-04-17 10:42

智能系统：中钧科技的秘密武器

依托大数据和AI技术，这些系统能自动匹配供需，像精准的“红娘”一样，让企业在商海中轻松找到最佳合作伙伴。其次，它们够“全面”。

中钧科技·2025-04-17 09:05

《论大数据处理架构及其应用》审题技巧 - 系统架构设计师

大数据处理架构及其应用论文写作框架一、考点概述本论题“大数据处理架构及其应用”主要考察了以下几个方面的内容：首先，它要求考生对大数据处理架构有深入的理解，包括其基本概念、组成部分以及主要功能。

程序员古德·2025-04-17 09:04

oracle大数据临时表,oracle 临时表应用场景

oracle临时表应用场景发布时间：2020-04-0123:57:07来源：51CTO阅读：2666作者：lych528ORACLE数据库除了可以保存永久表外，还可以建立临时表temporarytables。这些临时表用来保存一个会话SESSION的数据，或者保存在一个事务中需要的数据。当会话退出或者用户提交commit和回滚rollback事务的时候，临时表的数据自动清空，但临时表的结构以及元

狐狸君raphael·2025-04-17 04:00

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。

·2025-04-17 04:47

Java导出Excel列数过多，大数据量导出速度过慢解决办法

前言在日常开发中，数据导出到Excel是非常常见的操作，尤其是在开发管理类的系统时，导出报表等相关数据表格会因为数据量过大，列数过多从而导致导出耗时过多甚至将服务器CPU吃满，内存溢出，导致服务宕机，这是非常危险的。心酸历程在项目开发过程中使用了如下三种导出方法，在这里我只分享第三种，前两种导出有兴趣的小伙伴可以去了解一下（在数据量不大的情况下并且列数不多时可以考虑使用前两种方法）XSSFWork

码代码的小农·2025-04-17 02:46

国标GB28181视频平台EasyCVR打造线下零售平台视频+AI全流程监管坚实防线

随着大数据、人工智能、物联网等前沿技术快速融合，技术应用成本大幅降低，零售企业迎来了信息化转型的新契机。

EasyGBS·2025-04-16 23:31

镜舟科技助力某大型电网企业破解数据架构升级难题，打造国产化湖仓标杆

在“十四五”规划全面推进国产化替代的背景下，某大型电网企业联合镜舟科技与腾讯云，基于全球领先的开源分析型数据库StarRocks及腾讯TBDS大数据平台，构建电力行业国产化湖仓一体架构。

·2025-04-16 23:12

156.25MHz的差分晶体振荡器SG3225VEN

数字经济正焕发出勃勃生机,云计算,大数据,5G和人工智能等新技术的发展给行业带来了新的机遇。

压电侠123·2025-04-16 15:34

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

业务挑战数据资源是金融科技企业的核心价值，微财依托大数据评估用户借款过程中的风险，随着微财业务的快速发展，积累了大量用户数据，大数据

Apache Spark中国社区·2025-04-16 15:02

【MSSQL】SQL Server性能优化终极指南：临时表、表变量与CTE的巅峰对决

1.临时表：大数据集处理的扛把子临时表作为临时存储介质驻留在tempdb中，支持完整表操作：CREATETABLE#TempUsers(UserIdINTPRIMARYKEY,UserNameNVARCHAR

厦门德仔·2025-04-16 14:30

报告解读《智能化安全运营中心应用指南（2025年）》

智能化安全运营中心（ISOC）通过融合AI、大数据和自动化技术，构建人机协同的主动防御体系，成为安全运营的未来方向。

anquann·2025-04-16 14:55

大数据开发必备技能_第二阶段17_Oracle 索引技术详解

如果你对大数据开发充满好奇，但苦于零基础不知从何入手，这系列文章就是为你量身定制的！零门槛入门：无需编程经验，从最基础的SQL查询讲起，手把手带你理解数据操作的核心逻辑。

数据小塔·2025-04-16 09:57

echarts 使用热力图如何能做到在每一个热力点的方格内显示自己需要的数据_大数据的可视化展现技术...

《大数据和人工智能交流》头条号向广大初学者新增C、Java、Python、Scala、javascript等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。

索米龙·2025-04-16 08:49

探索 Hadoop：构建大数据处理的基石

摘要：本文深入且全面地探讨Hadoop这一强大的大数据处理框架。从其核心概念与架构剖析入手，详细阐述了HDFS、MapReduce和YARN的工作机制与协同关系。

大数据王秀权·2025-04-16 08:44

KafkaSpark Streaming整合原理与代码实例讲解

Kafka-SparkStreaming整合原理与代码实例讲解1.背景介绍1.1实时数据处理的重要性在当今大数据时代,海量数据以前所未有的速度持续产生。

AGI大模型与大数据研究院·2025-04-16 08:14

资产管理存储技术栈的二十年演进：从大数据存储到AI驱动的智能管理

本文将详细分析资管存储技术栈从以HDFS为代表的大数据存储，发展到S3全闪存，再到适应AI应用的三个阶段，探讨各阶段的特性、优势与面临的挑战。

上海川源信息科技·2025-04-16 06:08

C++算法优化实战：破解性能瓶颈，提升程序效率

无论是在高频交易系统、实时游戏引擎，还是大数据处理平台，算法的高效性直接关系到整体系统的性能与响应速度。C++作为一门高性能编程语言，广泛应用于需要高效计算和资源管理的场景。

猿享天开·2025-04-16 04:23

推荐频道

python+大数据