python+大数据第22页

圆通内鬼致40万条信息泄露？如何保障数据安全？它做了一个典范！

大数据时代，“数据安全”的达摩克利斯之剑频频落在企业头上。2月，微盟公司的一名员工删除自家数据库，300万家生意基本停摆，耗费七天七夜恢复数据，损失惨重。

思迈特BI研究院·2025-05-15 14:38

信息安全-数据安全-字节大数据平台安全与权限治理实践

导读：本次分享题目为字节跳动大数据平台安全与权限治理实践，文章会围绕下面四点展开：字节大数据安全体系现状和难点细粒度权限管控和治理资产保护能力数据删除能力分享嘉宾｜许从余火山引擎数据平台产品经理编辑整理

码者人生·2025-05-15 14:37

数仓建模—美团配送数据治理实践

背景大数据时代的到来，让越来越多的企业看到了数据资

不二人生·2025-05-15 14:07

LeetCode题目54:螺旋矩阵【python4种算法实现】

会一些的技术：数据分析、算法、SQL、大数据相关、python欢迎加入社区：码上找工作作者专栏每日更新：LeetCode解锁1000题:打怪升级之旅python数据分析可视化：企业实战案例题目描述给定一个包含

数据分析螺丝钉·2025-05-15 13:00

[ERR] 1153 - Got a packet bigger than ‘max_allowed_packet‘ bytes

max_allowed_packet是MySQL的一个系统变量，用于定义MySQL服务端能接收的最大数据包的长度（以字节为单位）。当

bug攻城狮·2025-05-15 12:28

数据挖掘助力大数据领域的精准营销

数据挖掘助力大数据领域的精准营销关键词：数据挖掘、精准营销、大数据分析、机器学习、用户画像、推荐系统、客户细分摘要：本文深入探讨了数据挖掘技术如何赋能大数据领域的精准营销。

大数据洞察·2025-05-15 11:18

大数据领域的国际发展动态

大数据领域的国际发展动态关键词：大数据技术、数据治理、人工智能融合、隐私计算、实时分析、数据中台、数字化转型摘要：本文深入探讨了大数据技术在国际上的最新发展动态，从核心技术演进到行业应用创新，全面分析了当前大数据生态系统的发展趋势

大数据洞察·2025-05-15 11:48

大数据架构设计：数据资产目录实现

大数据架构设计：数据资产目录实现关键词：大数据架构、数据资产目录、元数据管理、数据发现、数据治理摘要：本文围绕大数据架构设计中数据资产目录的实现展开深入探讨。

大数据洞察·2025-05-15 11:18

5大架构：细数数据平台的组成与扩展

专注于大数据解决方案的研发和实施，拥有丰富的大数据分析平台建设实施经验。

Arlight·2025-05-15 09:07

HDFS安全模式深度解析：为什么你的大数据集群“罢工“了？

引言：当HDFS突然变成"只读"时作为一名大数据工程师，你是否曾经遇到过这样的场景：凌晨3点，你被紧急电话吵醒，监控系统显示HDFS集群突然变成了"只读"状态，所有写入操作都失败了？

※尘·2025-05-15 08:04

大数据平台在互联网行业的应用

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展，以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

Leo.yuan·2025-05-15 06:17

Scala安装

函数编程范式更适合用于Map/Reduce和大数据模型，着眼于函数本身，函数范式逻

yyywoaini～·2025-05-15 05:40

spark数据压缩

###Spark数据压缩方法及其实现在大数据处理框架中，数据压缩是一个重要的环节，它不仅能够减少磁盘占用空间，还能降低网络传输成本。

yyywoaini～·2025-05-15 05:10

前端EXCEL插件，智表ZCELL产品V3.0 版本发布，底层采用canvas全部重构，功能大幅扩展，性能极致提升，满足千万级单元格加载

本次更新是底层全部重构，按照现代浏览器要求，采用canvas方式进行了重构，预留了将来扩展空间，特别是在大数据量性能提升方面有了较大提升，可以满足千万级单元格加载，欢迎大家体验使用。

帆张芳显·2025-05-15 05:37

Python+区块链：如何打造智能化资产管理系统？

Python+区块链：如何打造智能化资产管理系统？在当今数字经济时代，区块链资产管理已成为金融科技、去中心化金融（DeFi）以及企业资金流转的关键应用。

Echo_Wish·2025-05-15 04:01

从零基础到精通：Scala大数据开发入门指南

随着大数据技术的不断发展，对开发者的要求也日益增高。Scala作为一种结合了面向对象编程和函数式编程的强大语言，已经成为大数据领域的明星语言，尤其在Spark等流行框架中占据重要地位。

风之少女梦·2025-05-15 00:09

基于javaweb的SpringBoot自习室预约系统设计与实现(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。

秋野酱·2025-05-15 00:35

Python+大模型 day01

Python基础计算机系统组成基础语法如:student_num4.标识符要做到见名知意,增强代码的可读性关键字系统或者Python定义的,有特殊功能的字符组合在学习过程中,文件名没有遵循标识符命名规则,是为了按序号编写文件方便查找复习但是,在开发中,所有的Python文件名称必须遵循标识符的命名规则,且不能含有中文信息输出函数输出就是计算机在控制台中,向用户展示数据内容使用的函数:print(输

秭霏鱼·2025-05-14 23:30

Apache Hadoop--集群部署

知识点01：ApacheHadoop–概述与起源发展1.1、Hadoop介绍狭义上：hadoop指的是Apache一款java开源软件，是一个大数据分析处理平台。HadoopHDFS：分布式文件系统。

狂野虎蛋·2025-05-14 19:02

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。（2）getPartition(key:Any):Int:返回给定键的分区编号(0到numPartitions-1)。（3）equals():Java判断相等性的标准方法。这个方法的实现非常重要，Spark需要用这个

尚硅谷铁粉·2025-05-14 16:15

二手车估值接口介绍

二手车估值接口是基于大数据和机器学习技术开发的工具，旨在为二手车交易、金融评估等场景提供快速、精准的车辆价值评估服务。

xfan_me·2025-05-14 16:45

尚硅谷大数据Spark之RDD转换算子学习笔记及面试题

1.Spark算子从功能上可以分为以下两类:1）Transformation变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发运算。RDD转换算子根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Val

qq_25127933·2025-05-14 16:11

SparkSQL入门指南：从基础到实践的全面解析

在大数据处理领域，ApacheSpark凭借其高性能、易用性和丰富的功能成为了主流框架。而SparkSQL作为Spark生态系统中的重要组件，为结构化数据处理提供了强大的支持。

谁偷了我的炒空心菜·2025-05-14 16:08

数据网格(Data Mesh)架构：下一代大数据平台设计理念

数据网格(DataMesh)架构：下一代大数据平台设计理念关键词：数据网格(DataMesh)、大数据架构、域驱动设计、数据作为产品、自服务平台、联邦治理、数据中台摘要：在企业数据规模呈指数级增长的背景下

AI天才研究院·2025-05-14 14:57

大数据领域数据仓库在教育行业的应用模式

大数据领域数据仓库在教育行业的应用模式关键词：教育数据仓库、ETL流程、学生画像、教学评估、数据驱动决策摘要：随着教育信息化2.0的推进，教育行业积累了海量多源异构数据（如教务系统、在线学习平台、校园IoT

AI天才研究院·2025-05-14 10:05

信息系统集成技术应用与创新

本章内容涵盖软件工程、网络技术、中间件、大数据等关键技术，为智能家电研发提供了系统性方法论。

清咖啡·2025-05-14 10:02

解读大数据领域数据产品的架构设计

解读大数据领域数据产品的架构设计关键词：大数据架构、数据产品设计、分层架构模型、实时数据处理、数据治理、云原生、数据生命周期管理摘要：在数据驱动决策的时代，大数据产品已成为企业核心竞争力的关键载体。

AI天才研究院·2025-05-14 09:54

Java学习之旅：从入门到进阶的系统总结

Java作为一门经典的编程语言，以其强大的跨平台特性、面向对象的编程范式以及丰富的类库，广泛应用于企业级应用开发、移动开发、大数据处理等多个领域。

培风图南以星河揽胜·2025-05-14 08:22

spark和Hadoop之间的对比和联系

（一）Spark概述Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。Hadoop是一个分布式系统基础架构。

lix的小鱼·2025-05-14 08:51

大数据技术之Hadoop(十)——Sqoop数据迁移

目录一、Sqoop概述1、Sqoop认识2、Sqoop原理（1）导入原理（2）导出原理二、Sqoop安装配置1、下载安装2、MySQL配置启动3、配置Sqoop环境4、Sqoop效果测试三、Sqoop数据导入1、MySQL表数据导入HDFS2、MySQL表数据增量导入HDFS3、MySQL表数据导入Hive4、MySQL表数据子集导入四、Sqoop数据导出参考书籍一、Sqoop概述1、Sqoop认

雨诺风·2025-05-14 08:20

大数据领域Hadoop的多集群部署方案

大数据领域Hadoop的多集群部署方案关键词：大数据、Hadoop、多集群部署、分布式系统、数据处理摘要：本文聚焦于大数据领域中Hadoop的多集群部署方案。

AI天才研究院·2025-05-14 08:50

Hadoop与HBase集群数据迁移问题及解决方案

在大数据领域中，Hadoop和HBase是两个常用的开源技术，用于处理大规模数据和实时查询。

GnabVue·2025-05-14 07:46

TDengine 做为 Spark 数据源

简介ApacheSpark是开源大数据处理引擎，它基于内存计算，可用于批、流处理、机器学习、图计算等多种场景，支持MapReduce计算模型及丰富计算操作符、函数等，在大超大规模数据上具有强大的分布式处理计算能力

TDengine （老段）·2025-05-14 07:14

智能流量回放：用AI提升测试场景还原精度

用ChatGPT做软件测试引言：重新定义测试场景还原的精度随着软件系统的不断演化，尤其是在云计算、大数据、微服务以及物联网等技术的推动下，传统的软件测试方法逐渐暴露出一系列不足。

测试者家园·2025-05-14 06:09

2025九款好用的ETL数据集成软件推荐

随着大数据兴起，ELT工具先加载数据再转换和分析，适应更大规模数据处理需求。谷云科技，作为行业佼佼者，凭借丰富经验与专业技术，致力于为企业提供高效、稳定的数据集成解决方案。旗下产品在

谷云科技RestCloud·2025-05-14 05:32

Pytorch使用手册-计算机视觉迁移学习教程（专题十三）

引用课程笔记中的内容：实际上，很少有人从头开始训练一个完整的卷积网络（随机初始化），因为拥有足够大数据集的情况相对罕见。

无声之钟·2025-05-14 04:24

Python 连接和操作 Elasticsearch：详细指南

Elasticsearch是一个强大的分布式搜索引擎，广泛应用于日志分析、实时搜索和大数据分析等场景。它支持快速的文本检索、大数据量的数据存储和实时的数据分析。

一只蜗牛儿·2025-05-14 02:37

阿里云ACP大数据分析师 | 笔记纪要

2021-9-10更新：已通过认证！！AlibabaCloudCertifiedProfessional-DataAnalyst重点不完整记录分析报告5大部分目标与背景发现与结论推荐与建议具体数据分析结果与阐述附件数据聚合时如果数据质量无控制将会导致计算时成倍的放大或重复相关的数据使用MAXCompute，处理统计模型脏数据问题在数据项目的执行流程中属于项目设计阶段：对承担的任务设计具体实施的方法

我想养只猫 •͓͡•ʔ·2025-05-14 01:34

2025年阿里云ACP大数据分析师认证模拟试题（附答案解析）

这篇文章的内容是阿里云ACP大数据分析师认证考试的模拟试题。所有模拟试题由AI自动生成，主要为了练习和巩固知识，并非所谓的“题库”，考试中如果出现同样试题那真是纯属巧合。

偷吃月亮的萌芽熊·2025-05-14 01:03

第四天从CAN总线到Spark/Flink实时处理

无论您是汽车工程师还是大数据开

MarkHD·2025-05-13 23:19

spark基本介绍

Spark是基于内存计算的分布式大数据处理框架，由加州大学伯克利分校AMPLab开发，现已成为Apache顶级项目。

祈533·2025-05-13 23:49

python数据分析实验4：基于协同过滤的电影推荐系统从原理到代码实战

一、引言在大数据时代，推荐系统已成为解决信息过载的重要工具。

HowserSu·2025-05-13 21:10

天气预报大模型有哪些？原理都是怎么实现的？

天气预报一直以来是科学和技术进步的重要领域，从传统的物理方程计算到如今依赖大数据和人工智能的预测模型，天气预报技术不断革新。

非著名架构师·2025-05-13 19:22

数据收集之DataX服务器端关于动态传参的示例

在大数据开发环境下我们也是默认这样去进行的。在这里简单介绍下原理：在Linux服务器环境下，实现DataX从MySQL到Hive的动态传参+每日自动更新，核心是通过Shell脚本动态生成DataX任

佩可official·2025-05-13 16:36

史上最全网络安全站点集合

目录个人技术博客：国内：国外：在线知识：论坛与导航：安全资讯：漏洞预警和exp查询：在线web扫描器：CTF训练：安全客-安全资讯平台（360CTF训练营）在线常用工具：大数据以及端口服务查询：联合账号查询

黑客大佬·2025-05-13 16:36

【小贪】程序员必备：Shell、Git、Vim常用命令

主要技术包括：✅数据库常用：MySQL,HiveSQL,SparkSQL✅大数据处理常用：Pyspark,Pandas⚪图像处理常用：OpenCV,matplotlib⚪机器学习常用：SciPy,Sklearn

贪钱算法还我头发·2025-05-13 15:26

Spark和Scala的关系

今看一文章，有所感悟：《为什么选择Scala,他在大数据处理方面有何优势》在这篇文章中有几个核心观点用于支持spark选择scala的原因：观点1：应用开发的效率很大程度上

tech_for_future·2025-05-13 14:50

Spark基础介绍