E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
并行计算
Spark RDD及其常用算子介绍
一、RDD介绍1.1什么是RDDRDD(ResilientDistributedDataSet),称作弹性分布式数据集,是Spark中最基本的数据抽象,表示一个不可变的,分区的,其中元素可以被
并行计算
的数据集合
文景大大
·
2024-01-03 23:40
深度学习|2.11 向量化vectorization
2.11向量化的作用向量化可以使得向量中的每一个维度的数据进行
并行计算
,从而加快了神经网络的计算速度。验证其他
晓源Galois
·
2024-01-03 23:13
深度学习
神经网络
Spark---RDD介绍
,并不保存数据4.数据抽象:RDD是一个抽象类,具体实现由子类来实现5.不可变:RDD封装了计算的逻辑,是不可以随意改变的,如果想要改变,则需要产生新的RDD,在新的RDD里面封装计算逻辑6.可分区,
并行计算
肥大毛
·
2024-01-03 23:34
spark
大数据
spark
学习
大数据
并行与并发
在
并行计算
中,任务被分成多个子任务,并且这些子任务可以同时在不同的处理单元上执行,从而加速整体的计算速度。
并行计算
能够充分利用系统资源,提高计算效率。
睿智闷骚男
·
2024-01-03 16:23
Java
服务器
GreenPlum-数据世界的绿洲
Greenplum的核心原理是基于共享存储架构的
并行计算
。它以MPP(MassivelyParallelProc
open_test01
·
2024-01-03 09:11
GreenPlum
wpf
大数据
Clojure 实战(4):编写 Hadoop MapReduce 脚本
它是Apache基金会下的开源项目,受Google两篇论文的启发,采用分布式的文件系统HDFS,以及通用的MapReduce解决方案,能够在数千台物理节点上进行分布式
并行计算
。
张吉Jerry
·
2024-01-03 07:35
大数据
hadoop
clojure
Hbase介绍以及Hive优势
因为HBase基于Hadoop的HDFS完成分布式存储,以及MapReduce完成分布式
并行计算
,所以它的一些特点与Hadoop相同,依靠横向扩展,通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学
·
2024-01-02 14:38
什么是硬件线程
硬件线程是处理器
并行计算
的基础,它可以提高计算机的处理能力。硬件线程可以分为单线程和多线程两种。单线程处理器只能执行一个线程,而多线程处理器可以同时执行多个指令。
CharlesKai
·
2024-01-02 12:51
面试
多线程
硬件线程
并发编程
python-16-多进程模块multiprocessing
发现可以用
并行计算
来最大化压榨电脑的CPU,提升计算效率,而且python里有multiprocessing这个库可以提供
并行计算
接口。
皮皮冰燃
·
2024-01-01 20:36
python3
python
云计算的初步认识
第一章云计算概论初步认识:云计算是基于互联网的相关服务的增加,使用和交付模式,通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源,是
并行计算
,分布式计算和网络计算等的融合和发展,也是虚拟化,效用计算,
xyf0912
·
2024-01-01 15:10
大数据
Go 基础
基础[TOC]特性Go并发编程采用CSP模型不需要锁,不需要callback并发编程vs
并行计算
安装Go环境安装编译器https://studygolang.com/dl设置环境变量GO_HOME,PATHidea
蕪園樓主香獨秀
·
2024-01-01 03:53
高性能计算(HPC)-一文全面理解高性能计算
这是
并行计算
、高性能计算诞生的重要动力。为了适配这样的场景,设计出了以GPU为核心的并行处理芯片、包括DSP、VPU、DPU、NPU等。本文主要介绍基于这些芯片以及网络、系统引入的高性能计算,比较全
发狂的小花
·
2023-12-31 07:49
高性能算法开发优化
性能优化
HPC
高性能计算
SOC
架构
并行计算
AI 开发必看的 6 款开源矢量数据库
你好,我是坚持分享干货的EarlGrey,翻译出版过《Python编程无师自通》、《Python
并行计算
手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。
codingpy
·
2023-12-31 06:59
人工智能
数据库
30 门编程语言,他都能熟练运用!他的故事,让人惊叹!
你好,我是坚持分享干货的EarlGrey,翻译出版过《Python编程无师自通》、《Python
并行计算
手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。
codingpy
·
2023-12-31 03:53
叮!请查收你的 Github 年度总结
你好,我是坚持分享干货的EarlGrey,翻译出版过《Python编程无师自通》、《Python
并行计算
手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。
codingpy
·
2023-12-31 03:52
github
不被“开猿节流”的12个防御性编码技巧
你好,我是坚持分享干货的EarlGrey,翻译出版过《Python编程无师自通》、《Python
并行计算
手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。
codingpy
·
2023-12-31 03:22
分享一款超强大的抖音数据采集工具
你好,我是坚持分享干货的EarlGrey,翻译出版过《Python编程无师自通》、《Python
并行计算
手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。
codingpy
·
2023-12-31 03:49
CompletableFuture
经分析,各个数据的查询是独立的,可以考虑改为并行统计,最后再合并,耗时只会是最耗时的那个服务,再加上
并行计算
额外的小部分耗时。串行处理之前的串行处理,就是在一个方法中,挨
strggle_bin
·
2023-12-31 00:59
java
开发语言
华为发布的工业软件三大难题: 面向装配场景,10万+零件的超大规模几何约束系统的求解问题
一方面是算法改进,另一方面是对云几何内核的需求:
并行计算
、分布式、缓存、集群等云计算技术对CAD系统的辅助提升。
stonewu
·
2023-12-30 14:53
OpenCascade
云几何内核
CUDA驱动深度学习发展 - 技术全解与实战
复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人一、CUDA:定义与演进CUDA(ComputeUnifiedDeviceArchitecture)是由NVIDIA开发的一个
并行计算
平台和应
TechLead KrisChang
·
2023-12-30 10:42
深度学习
人工智能
机器学习
多线程并发最佳实践
多线程并发最佳实践使用本地变量;使用不可变类,可以降低代码中同步数量;最小化锁的作用于范围,阿姆达尔定律(安达尔定理):S=1/(1-a+a/n),a代表
并行计算
部分所占的比例,n代表并行处理的节点个数
乌鲁木齐001号程序员
·
2023-12-29 21:34
资料整理
并行计算
:https://docs.microsoft.com/zh-cn/dotnet/standard/parallel-programming/how-to-write-a-simple-parallel-for-loop
_大鱼海棠
·
2023-12-28 22:54
非管理员远程在服务器home目录中静默安装并使用Matlab过程记录和总结(下)
四、实际
并行计算
的操作在管理节点上安装完成Matlab之后,接下来其实就可以运行程序了,不过这个时候运行程序是在管理节点上运行,但是管理节点存储着用户的相关资料等内容,一旦发生故障或者问题就会对服务器产生很大的影响
无伤大雅_5263
·
2023-12-28 15:50
关于表格太大了jupyter无法单次处理的问题
结束掉要是能运行成功倒也行啊,然鹅…给我报错说处理不了,罢工了…有想过用pycharm来处理,试了下,也不行,文件太大了,处理不了,在网上搜怎么处理这种大文件,有这么几个解决办法:1.Dask:Dask是一个用于
并行计算
的灵活库
QQRRRRW
·
2023-12-27 10:53
MIMIC使用笔记
jupyter
ide
python
sql
操作系统——多线程
并发编程数据并行和任务并行数据并行是一种
并行计算
的模式,其中数据被分割成多个部分,每个部分在独立的处理单元上同时处理。任务并行可以是多个线程操作一个数据,主要区别是将任务划分开了,但
可爱的小小小狼
·
2023-12-27 09:51
linux
网络
系统架构
windows
ubuntu
java
分布式机器学习(上)-
并行计算
与机器学习
本视频来源于ShusenWang讲解的《分布式机器学习》,总共有三讲,内容和连接如下:
并行计算
与机器学习(上)
并行计算
与机器学习(下)联邦学习:技术角度的讲解这一节讲解《
并行计算
与机器学习(上)》,这节课的主要内容
差分隐私
·
2023-12-27 05:33
SparkCore
一、RDD详解1.1什么是RDDRDD(ResilientDistributedDataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可
并行计算
的集合。
weixin_50458070
·
2023-12-26 06:40
大数据
大数据
Java并发工具类---ForkJoin、countDownlatch、CyclicBarrier、Semaphore
ForkJoinforkjoin是JDK7引入的一种并发框架,采用分而治之的思想来处理并发任务ForkJoin框架底层实现了工作窃取,当一个线程完成任务处于空闲状态时,会窃取其他工作线程的任务来做,这样可以充分利用线程来进行
并行计算
子夜听雨
·
2023-12-25 05:48
Java并发编程
java
开发语言
Hive学习笔记(1)——Hive原理初探
文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce,已经认识到hadoop利用多台廉价机器集群进行
并行计算
的优势,了解了HDFS
Zhou.Y.M
·
2023-12-24 23:55
Hadoop
hive
hadoop
大数据
mapreduce
Transformer 模型设计的灵感
Transformer模型的设计确实是通过深刻理解序列处理和注意力机制的基础上,结合了
并行计算
的优势,取得了显著的性能提升。
科学禅道
·
2023-12-24 17:50
transformer
深度学习
人工智能
网络应用编程 实验3 矩阵
并行计算
练习实验
一、实验要求编写一个WPF应用程序,利用数据
并行计算
两个矩阵(M×N和N×P)的乘积,得到一个M×P的矩阵。
lsy永烨
·
2023-12-24 17:23
c#
开发语言
经验分享
Hadoop学习笔记(3)——MapReduce入门
前提是这些小任务可以
并行计算
,彼此间几乎没有依赖关系“Redude”负责合,即对map阶段的结果进行全局汇总1.MapReduce设计构思MapRed
今天有没有写代码
·
2023-12-24 08:53
大数据
hadoop
java
Spark
Spark借鉴了MapReduce思想发展而来,保留了其分布式
并行计算
的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。
weixin_50458070
·
2023-12-24 05:36
大数据
spark
windows
大数据
ncnn源码阅读笔记(一)
cmake:有关链接openmp和valkan的cmake文件,这两个都是
并行计算
加速用的docs:文档,包括开发指南,构建指南等等example
半笔闪
·
2023-12-24 05:31
Python
并行计算
和分布式任务全面指南
更多Python学习内容:ipengtao.com大家好,我是彭涛,今天为大家分享Python
并行计算
和分布式任务全面指南。
Sitin涛哥
·
2023-12-23 16:51
python
分布式
开发语言
流动的力量:解锁Java 8 Stream的高级特性
我们将聚焦于对象与集合的巧妙转换、
并行计算
的效能提升以及序列数组的巧妙生成。通过这一深入的探讨,我们将揭示StreamAPI的真正神奇之处。内容1.集合
热心码民阿振
·
2023-12-23 06:49
Java
java
开发语言
Unity3D 中正确调用CUDA程序详解
为了解决这个问题,我们可以利用CUDA来使用GPU进行
并行计算
,从而提高游戏的性能。
博毅创为游戏圈
·
2023-12-22 20:14
linux
运维
服务器
unity
游戏引擎
高性能计算性能评测
机器级机器级的性能评测主要包括CPU和存储器的某些基本性能指标、并行通讯开销以及机器的成本、价格和性/价比,有些是由厂商在销售时直接提供给用户的,是广大用户对
并行计算
机的第一印象,是引进和购买
并行计算
机时最主要的选择依据
HaoMengHIT
·
2023-12-22 03:01
Tensorflow 多 GPU 训练方法
1原理说明TensorFlow
并行计算
分为:模型并行,数据并行。模型并行是指根据不同模型设计不同的并行方式,模型不同计算节点放在不同GPU或者机器上进行计算。数据并行是比较通用简便的实
木水_
·
2023-12-21 14:26
深度学习
Tensorflow
tensorflow
GPU
英伟达
深度学习
分布式
CUDA编程示例:CPU预处理->GPU处理->CPU后处理
这种模式可以有效地利用GPU的
并行计算
能力,加速处理过程。本文将为您介绍一个具体的示例,展示了如何使用CUDA编程来实现这种形式的工作负载。
独行侠影
·
2023-12-21 00:09
算法
人工智能
linux
编程
spark_rdd算子介绍
1.9算子介绍1.9.1RDD概念RDD(ResilientDistributedDataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可
并行计算
的集合
Guff_hys
·
2023-12-20 16:24
分布式
spark
ajax
程序人生
服务器
scala
开发语言
Python基于joblib的
并行计算
&进程&线程&multiprocessing多核
并行计算
文章目录Python基于joblib的
并行计算
适用场景使用示例总结爬虫&joblib使用`joblib`的场景注意事项使用实例结论joblib介绍简单示例多参数并行并行时CPU是怎么分配的何时选用并行进程
安替-AnTi
·
2023-12-20 06:49
Python
python
并行计算
joblib
线程
进程
multiprocessing
Spark简介
1.Spark基本概念Spark是一种基于内存计算的大数据
并行计算
框架,最早是由加州大学伯克利分校开发,现已经成为Apche顶级开源项目,其作为MapReduce的替代方案,兼容HDFS、Hive等分布式存储层
Mrsimple_4f84
·
2023-12-19 09:18
人工智能与底层架构:构建智能引擎的技术支柱
1.人工智能与底层硬件GPU加速:利用图形处理器进行
并行计算
,加速深度学习模型的训练和推理。ASIC芯片:定制化的应用特定集成电路,提高人工智能任务的执行效率。量子计算:探索量
鳗小鱼
·
2023-12-19 09:15
资源分享(resource)
人工智能
人工智能
架构
学习
计算机视觉
机器人
嵌入式实时数据库
深度学习
应用Transformer和CNN进行计算机视觉任务各自的优缺点
可并行性:Transformer模型中的自注意力层可以
并行计算
,使得在某种程度上更容易实
BugMaker2002
·
2023-12-19 08:11
transformer
cnn
计算机视觉
并行计算
技术与SIMD、SIMT
并行计算
指令并行SIMDInterMMX64bitSSESSE2128bitAVXAVX2256bitAVX-512512bitARMNeon128bitSVE128-2048bitRISC-VV指令扩展
奔跑的大伟哥
·
2023-12-18 22:13
并行计算
大数据技术11:Hadoop 原理与运行机制
一、Hadoop简介1.1、Hadoop定义Hadoop作为一个开源分布式系统基础框架,主要包含两大核心组件:HDFS分布式文件系统和MapReduce分布式
并行计算
框架,这两大核心组件是Hadoop进行大数据处理的基础和基石
Java架构何哥
·
2023-12-18 21:56
大数据治理
hadoop
大数据
分布式
Hadoop分布式系统基础框架
【JAVA】CyclicBarrier源码解析以及示例
文章目录前言CyclicBarrier源码解析以及示例主要成员变量核心方法应用场景任务分解与合并应用示例
并行计算
应用示例游戏开发应用示例输出结果数据加载应用示例并发工具的协同应用示例CyclicBarrier
fking86
·
2023-12-18 15:26
java
java
开发语言
jvm
CPU密集型和IO密集型任务
多核处理器友好:能够充分利用多核处理器,通过
并行计算
提高性能。1.3示例场景复杂科学计算3D图形渲染加密算法运算1.4应对策略多线程和
并行计算
:将任务细
忠于衷于钟于终于
·
2023-12-18 04:43
io
GPU架构
作者:秋刀鱼半藏(原帖地址)图形处理单元(GPU)是专门设计用于处理图形和
并行计算
的硬件。
阿狸轰
·
2023-12-18 01:22
操作系统
架构
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他