Dask

【案例教程】最新AI与Python在地球科学多源数据交叉融合中的前沿技术应用

从Python基础快速过渡到Xarray、Dask等专业工具，深入探

AAIshangyanxiu·2025-07-28 04:02

Dask分布式加速实战：TB级生产日志分析效率提升指南

本文基于Dask分布式计算框架，构建工业级日志分析解决方案，通过“集群部署-高效加载-数据处理-性能优化”四步法，实现日志分析效率5倍提升。

·2025-07-27 13:12

用Dask打开Python大数据并行计算的“任意门“

Python生态中，Dask库就像一台"并行计算推土机"，能把大数据拆分成小块并行处理，让你的普通电脑也能拥有分布式计算的能力。本文将从原理到实战，带你掌握这

小张在编程·2025-07-19 22:01

Python爬虫（56）Python数据清洗与分析实战：Pandas+Dask双剑合璧处理TB级结构化数据

大数据时代的清洗革命一、数据清洗基础：Pandas核心方法论1.1数据去重策略深度解析1.1.1精确去重与模糊去重1.1.2智能去重策略1.2缺失值处理金字塔模型1.2.1基础处理方法1.2.2智能缺失处理二、Dask

一个天蝎座白勺程序猿·2025-06-27 08:56

Python详细实现分块加载与Dask技术：大规模数据处理实践指南

目录Python详细实现分块加载与Dask技术：大规模数据处理实践指南一、引言二、什么是分块加载（ChunkedLoading）？

闲人编程·2025-06-01 11:14

一篇文章搞定Python数据分析用到的所有库

今天，我们就从四个强大的数据处理库说起——pandas、numpy、dask和modi

花小姐的春天·2025-05-31 14:44

Python机器学习实战：分布式机器学习框架Dask的入门与实战

Python机器学习实战：分布式机器学习框架Dask的入门与实战作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着大数据时代的到来

AI大模型应用之禅·2025-05-23 14:21

Python, C ++开发人类社会等级评定APP

同时强烈建议开发者进行伦理风险评估并遵守各国法律法规：1.系统架构设计：-前端：Python+Qt/QML（兼顾跨平台与性能）-后端服务：C++17高性能核心+PythonFlaskRESTAPI-数据处理：PythonPandas+Dask

Geeker-2025·2025-05-13 19:25

python dask_使用 Dask 在 Python 中进行并行计算 | Linux 中国

原标题：使用Dask在Python中进行并行计算|Linux中国Dask库可以将Python计算扩展到多个核心甚至是多台机器。

weixin_39947812·2025-05-01 21:30

Dask DataFrame分组中使用自定义聚合函数的几种常用方法 - 随笔

方案1:使用agg结合Lambda函数适用于简单聚合，直接使用内置函数与Lambda表达式组合。importdask.dataframeasddimportpandasaspdfromdask.dataframeimportAggregation#创建示例数据pandas_df=pd.DataFrame({'group':['A','A','B','B','C','C'],'value1':[1,

lczdyx·2025-04-29 11:16

Python读取.nc文件的方法与技术详解

库导入netCDF4库打开.nc文件获取变量读取变量数据案例与代码三、使用xarray库读取.nc文件安装xarray库导入xarray库打开.nc文件访问变量数据案例与代码四、性能与优化分块读取使用Dask

傻啦嘿哟·2025-03-23 22:29

GEE python——通过 Dask 数据框访问 Google Earth Engine 特征集合（矢量集合）

目录简介使用方法PIP安装方法通过conda安装初始化和授权案例在编写代码之前，请安装开发依赖项（克隆版本库后）：简介通过Dask数据框访问GoogleEarthEngine特征集合使用方法PIP安装方法

此星光明·2025-03-09 19:16

Dask vs. Apache Spark: 大数据处理的利器对比与应用实例

本文已收录于《Python超入门指南全册》本专栏专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从基础到精通不断进阶深入，后续还有实战项目，轻松应对面试，专栏订阅地址：https://blog.csdn.net/mrdeam/category_12647587.html优点：订阅限时19.9付费专栏，私信博主还可进入全栈VIP答疑群，作者优先解答机会（代码指导、远程服务），群里大佬众多可以

步入烟尘·2025-03-09 19:45

工业级Pandas性能优化：Dask/Modin实战教程

目录工业级Pandas性能优化：Dask/Modin实战教程1.引言与背景1.1Pandas的局限性1.2分布式计算与GPU加速的需求1.3Dask与Modin简介2.数据集介绍3.工业级数据处理理论基础

闲人编程·2025-03-07 17:06

Python的那些事第三十篇：并行计算库在大数据分析中的应用Dask

Dask：并行计算库在大数据分析中的应用摘要随着数据量的爆炸性增长，传统的数据分析工具（如Pandas和NumPy）在处理大规模数据集时面临内存限制和计算效率低下的问题。

暮雨哀尘·2025-02-23 13:53

Python 如何使用dask库来并行化Pandas DataFrame

Dask是一个用于并行计算的Python库，它可以处理比内存大得多的数据集。

openwin_top·2025-02-07 11:21

Python处理大数据，如何提高处理速度

一、利用大数据分析工具Dask：https://dask.org/Dask简介：Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行

RS&·2024-09-07 07:08

Pandas加载大数据集

docs/user_guide/scale.html#use-efficient-datatypes官方文档提供了4种方法：只加载需要的列、转化数据类型、使用chunking（转化文件存储格式）、使用Dask

武小胖儿·2024-01-17 18:44

Polars使用指南（一）

针对这个问题，市场上也涌现出了多种解决方案，如pandarallel、dask、ray

大白兔黑又黑·2024-01-11 09:05

PySpark & Dask 分布式集群环境搭建（Linux）

Spark分布式环境搭建_Linux版9.0具体思路：先进行单机配置，然后复制Linux虚拟机、分发配置好的框架。一、准备软件包、框架包、和系统包二、安装VMwareworkstationplayer（免费）三、Centos安装，参见centos安装文档四、配置centos7（node1节点）登录，用户名root，密码:123456查看网络IP地址，记录IP地址（当前node1节点IP：192.1

蒲魔树的种子·2024-01-09 06:04

关于表格太大了jupyter无法单次处理的问题

会直接把电脑的进程全部结束掉，结束掉要是能运行成功倒也行啊，然鹅…给我报错说处理不了，罢工了…有想过用pycharm来处理，试了下，也不行，文件太大了，处理不了，在网上搜怎么处理这种大文件，有这么几个解决办法：1.Dask

QQRRRRW·2023-12-27 10:53

工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练

工具系列：PyCaret介绍_Fugue集成_Spark、Dask分布式训练Fugue是一个低代码的统一接口，用于不同的计算框架，如Spark、Dask。

愤斗的橘子·2023-12-22 12:22

【Python百宝箱】数据巨轮启航：Python大数据处理库全攻略，引领数据科学新浪潮

friklogff·2023-12-14 18:22

Module-Dask并行任务调度

Dask并行任务调度Dask说明介绍Dask是用于Python中并行计算的灵活库。达斯由两部分组成：动态任务调度针对计算进行了优化。

SuperScfan·2023-11-01 09:08

dask入门（1）

简介：dask是一种分布式集群系统，由于pythonGIL(全局解释锁)的限制，运用多线程时，在同一时刻，只能有一个线程在执行，导致了运用多线程并不会使程序运行速度明显加快，反而由于线程之间的数据传输实现效果并不好

守云开见月明·2023-10-17 01:21

python-17-并行计算和分布式计算框架dask

dask入门教程并行计算库Dask官方教程（中文翻译）dask和numpy的计算对比1并行计算和分布式计算1.1并行计算parallelcomputing并行计算：这是一台计算机的概念，即一台计算机中多个处理器被组织起来

皮皮冰燃·2023-10-17 01:51

python dask_《使用Python和Dask实现分布式并行计算》2. Introducing Dask(介绍Dask)

楔子现在相信你已经对DAG的工作原理有了基本的理解，那么下面来看看Dask如何使用DAG来创建健壮的、可扩展的workload(控制器)。

weixin_39905037·2023-10-17 01:51

Python 教程之使用 Dask 预处理大型数据集：初学者指南

Dask是一个功能强大的Python库，可让您对大型数据集并行执行复杂计算。当处理不适合内存的数据时，它特别有用。

code2day·2023-10-17 01:20

Python数据攻略-Pandas在大数据处理中的应用

文章目录分块读取大文件读取大CSV文件读取大Excel文件使用Dask进行并行计算Dask与Pandas的区别创建DaskD

Mr数据杨·2023-10-06 08:04

python xarray+dask 处理较大的空间数据

文章目录使用dask简单的例子使用apply_ufunc使用ProgressBar进度条在自己的电脑上处理长时间高分辨率的空间栅格数据时，经常因为数据量过大而导致代码难以运行。

today.zhang·2023-09-30 19:50

NumPy基础-编写自定义数组容器

我们可以使用NumPy中引入的NumPy的分配机制来编写与NumPyAPI兼容并提供NumPy功能的自定义实现的自定义n维数组容器，应用程序包括dask数组（分布在多个节点上的n维数组）和cupy数组（

指尖小编·2023-09-27 16:09

mysqlclient 报错libstdc++.so.6: cannot allocate memory in static TLS block 修复

最近工作中要用到dask分布式集群,这要求每一个节点的环境和包的版本都是一致的,在linux上的一个节点就出现了如下错误Traceback(mostrecentcalllast):File"/home/

唐大帅·2023-09-12 15:24

使用 Pandera 的 PySpark 应用程序的数据验证

Pandera旨在与其他流行的Python库配合使用，如pandas、pyspark.pandas、Dask等。这样可以轻松地将数据验证合并到现有数据处理工作流中。直到最近，Pa

ygtu2018·2023-09-09 02:33

分布式计算框架：Spark、Dask、Ray

目录什么是分布式计算分布式计算哪家强：Spark、Dask、Ray2选择正确的框架2.1Spark2.2Dask2.3Ray什么是分布式计算分布式计算是一种计算方法，和集中式计算是相对的。

ZhangJiQun&MXP·2023-08-26 08:41

Dockerfile 制作ubuntu时 python3 中文解决方案

$dask-workerYourterminaldoesnotproperlysupportunicodetextrequiredbycommandlineutilitiesrunningPython3

liangpz521·2023-08-06 06:00

【Ensemble Learning】第 5 章：使用集成学习库

通过Dask扩展XGBoost，Dask是一个灵活的Python并行计算库。Dask和XGBoost可以协同工作以并行训练梯度提升树

Sonhhxg_柒·2023-07-25 11:11

Dask简介（python）

导包importnumpyasnpimportpandasaspdimportdask.dataframeasddimportdask.arrayasdaimportdask.bagasdb创建一个Dask

桂花很香,旭很美·2023-07-25 11:11

Dask介绍

Dask是一个灵活的Python并行计算库。Dask由两部分组成：为计算优化的动态任务调度。这类似于Airflow、Luigi、Celery或Make，但针对交互式计算工作负载进行了优化。

白日与明月·2023-07-25 11:09

Python中的Dask数组

PythonDask数组(PythonDaskArray)Daskisparallelcomputingpythonlibraryanditismainlyusedtorunacrossmultiplesystems.Daskisusedtoprocessthedataefficientlyonadifferentclusterofmachines.Daskcancompletelyuseallt

cumudi0723·2023-07-25 11:39

再见Numpy，Pandas！又一个数据分析神器横空出现！

但是面对大数据的处理时，像是numpy和pandas的在加载数据时，会看到内存用量的飙升，而dask却可以将这些大的数据进行并行计算。今天小编就带领大家学习一个并行的计算库——dask。

菜鸟学Python·2023-07-25 11:38

【Python 数据科学】Dask.array：并行计算的利器

文章目录1.什么是Dask.array？

繁依Fanyi·2023-07-25 11:07

excel和csv表格文件流式处理降低内存需求以及并行化读取——分块读写和计算

对于csv可以通过dask库和或者pd.read_csv的chunksize参数实现流式加载和运算。

风暴之零·2023-07-17 21:44

python的并行计算框架

789请问·2023-07-14 19:09

并行计算框架Polars、Dask的数据处理性能对比

在Pandas2.0发布以后，我们发布过一些评测的文章，这次我们看看，除了Pandas以外，常用的两个都是为了大数据处理的并行数据框架的对比测试。本文我们使用两个类似的脚本来执行提取、转换和加载(ETL)过程。测试内容这两个脚本主要功能包括:从两个parquet文件中提取数据，对于小型数据集，变量path1将为“yellow_tripdata/yellow_tripdata_2014-01”，对于

deephub·2023-07-14 19:29

这8 个神库推荐收藏，秒杀 Pandas 啊

在Dask中，一个DataFrame是一个大型且并行的DataFrame，由许多较小的pandasData

Python数据挖掘·2023-04-06 19:34

【Python】速度起飞！替代 pandas 的 8 个神库

在Dask中，一个DataFrame是一个大型且并行的DataFra

风度78·2023-04-06 19:22

数据挖掘专栏三-Python-消费者人群画像信用智能评分

PortraitPython文章目录实验名称数据集说明数据集名称数据集来源数据集介绍数据集字段说明实验环境实验步骤实验过程数据集探索数据集获取和读入pandas读取数据性能优化数据集基本信息数据预处理重复值处理缺失值处理dask

the king in debug·2023-04-06 08:13

IBM Spectrum Conductor——提高企业安全能力、资源的使用共享程度

IBMSpectrumConductor对贵公司有何用途IBMSpectrumConductor®是一个企业级多租户平台，用于在常用的共享资源集群上部署和管理ApacheSpark、Anaconda、Dask

小信瑞·2023-04-05 05:36

dask 使用_在Google Cloud上使用Dask进行可扩展的机器学习

dask使用Daskhasbeenreviewedbymanyandcomparedtovariousothertools,includingSpark,RayandVaex.DevelopedincoordinationwithothercommunityprojectslikeNumpy

weixin_26752765·2023-04-03 03:02

python的库学习记录--xarray--结构概述

DataArray对象向底层的“未标记”数据结构(如numpy和Dask数组)添加元数据，如维度名称、坐标和属性(定义如下)。如果设置了其可选的name属性，则它是一个命名的DataArray。

简朴-ocean·2023-03-31 17:58

推荐频道