E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
并行计算
大数据存储与处理技术之Spark
1、Spark简介•Spark最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据
并行计算
框架,可用于构建大型的、低延迟的数据分析应用程序•2013年Spark
小嘤嘤怪学
·
2024-01-31 05:28
spark
hadoop
001-Metal介绍
关于Metal及指南MetalFramework支持利用GPU加速的高级3D图形渲染和数据
并行计算
工作。
Yasic
·
2024-01-31 03:48
【Java万花筒】Java引擎加速:GPU计算与并行处理库助力你的应用翱翔
在Java生态系统中,有许多强大的库和工具,可以帮助开发者充分利用GPU的
并行计算
能力,从而加速各种应用程序。
friklogff
·
2024-01-31 01:52
Java万花筒
java
开发语言
Spark RDD(弹性分布式数据集)
1.RDD1.1RDD是什么RDD(ResilientDistributedDataset):弹性分布式数据集,是Spark对数据集的抽象,代表一个只读、不可变、可分区、其中元素可进行
并行计算
的集合,并且是可跨越集群节点进行并行操作的有容错机制的集合
JOEL-T99
·
2024-01-30 15:15
BigData
spark
RDD
Spark弹性分布式数据集(Resilient Distributed Dataset)
RDD1.1.RDD概述1.1.1.什么是RDDRDD(ResilientDistributedDataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可
并行计算
的集合
你狗
·
2024-01-30 15:14
大数据
scala
Spark——(RDD(弹性分布式数据集),RDD的创建和操作,Transformation 算子)
RDD(弹性分布式数据集)是一个抽象类,它代表一个不可变、可分区、里面的元素可
并行计算
的集合。RDD的特点分区:RDD逻辑上是分区的,每个分区的数据是抽
想做CTO的任同学...
·
2024-01-30 15:12
Spark
spark
大数据
后端
开发语言
java
spark学习笔记:弹性分布式数据集RDD(Resilient Distributed Dataset)
弹性分布式数据集RDD1.RDD概述1.1什么是RDDRDD(ResilientDistributedDataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可
并行计算
的集合
黄道婆
·
2024-01-30 15:39
bigdata
专业的编程和数学计算:MATLAB R2023b 中文
MATLABR2023b相较于之前的版本,增加了一些新的功能和改进,例如增加了自动化的功能向量化、
并行计算
、机器学习、信号处理等方面的新算法;改进了图形界面和性能,提供
lx53mac
·
2024-01-29 17:31
Mac软件
信息可视化
配置pytorch+cuda深度学习开发环境
GPU的主要作用就是大规模
并行计算
,加速我们的模型的训练。本文介绍基于pytorch+cuda的开发环境。
zhangzq02
·
2024-01-29 13:10
深度学习
pytorch
python
Spark入门01
计算框架:Spark借鉴了MapReduce思想,保留了其分布式
并行计算
的有点并改进了其明显的缺陷,让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度
chde2Wang
·
2024-01-29 11:53
spark
大数据
分布式
【Spark系列1】Spark作业执行原理
会提交给DAGScheduler,DAGScheduler根据RDD依赖的关系划分为多个Stage,每个Stage又会创建多个TaskSet,每个TaskSet包含多个Task,这个Task就是每个分区的
并行计算
的任务
周润发的弟弟
·
2024-01-28 23:40
从零开始搞大数据
servlet
【机器学习笔记】1 机器学习概念
深度学习实现机器学习的一种技术机器学习的范围机器学习可以解决给定数据的预测问题,包括✓数据清洗/特征选择✓确定算法模型/参数优化✓结果预测)不能解决:x大数据存储/
并行计算
x做一个机器人机器学习的发展史总的来说
RIKI_1
·
2024-01-28 10:25
机器学习
机器学习
笔记
人工智能
两行代码实现python多进程
并行计算
简介
并行计算
的方法有许多,在科学计算中“单指令多数据”式的进程级别的
并行计算
经常使用,可以显著提升代码执行循环语句的速度。
jedi-knight
·
2024-01-28 01:14
人工智能
解决方案
库
python
开发语言
Hadoop-分布式
Hadoop分布式一台计算机存储不了了,也计算不了了Hadoop把多台计算机资源(存储资源:硬盘;计算资源:CPU,内存)连接在一起,形成集群输入文件,拆分成块,多个节点存储计算任务,拆分成小任务,多个节点
并行计算
日月交辉
·
2024-01-27 23:48
Hadoop
分布式
hadoop
大数据
多线程和锁
ThreadPoolExecutor,规避了资源耗尽3.多线程创建的方式继承Thread类实现Runnable接口线程池Callable+FutureTaskCompletableFutureForkJoin
并行计算
一路向北看星晴
·
2024-01-27 16:32
java
mpirun -np部分决定vasp程序实际使用多少个节点并行
它提供让相关进程之间进行通信,同步等操作的API,可以说是
并行计算
居家出游必备的基础库。一个MPI程序包含若干个进程。
[email protected]
·
2024-01-27 11:44
linux
使用Ray轻松进行Python分布式计算
一、
并行计算
与分布式计算的区别
并行计算
在现代计
Python学研大本营
·
2024-01-27 10:12
python
开发语言
Python分布式计算
Ray
分布式
[AIGC 大数据基础] 浅谈hdfs
它可以在普通的硬件上运行,并且可以适应大型数据集和
并行计算
的需求。HDFS使
程序员三木
·
2024-01-27 01:00
大后端
大数据
AIGC
hdfs
2022-12-16
具有实时高速、
并行计算
、浮点计算能力强等特点。产品型号包括AMDS7150、NvidiaM40、NvidiaP100、NvidiaP4、NvidiaV100。
darkvm美美
·
2024-01-26 22:12
XGBoost系列7——XGBoost的性能优化策略
目录写在开头1.XGBoost的
并行计算
原理1.1特征并行1.2数据并行1.3参数调整优化并行性能1.4多线程和分布式计算2.大规模数据集的分布式训练2.1分布式训练原理2.2集群配置2.3参数调整2.4
theskylife
·
2024-01-26 21:21
数据挖掘
性能优化
人工智能
机器学习
数据挖掘
Cupy的用处概述
cupy的作用:数组和矩阵都是通过cupy来设定,然后cupy来调用gpu
并行计算
!
胜负55开
·
2024-01-26 15:46
Python中的多线程和多进程编程
Python中的多线程和多进程编程是实现并发和
并行计算
的重要手段。下面分别介绍这两种编程方式。多线程编程Python中的多线程编程可以使用内置的threading模块来实现。
api77
·
2024-01-25 22:27
api
电商api
java
开发语言
观察者模式
大数据
python
大数据开发之Spark(RDD弹性分布式数据集)
代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可
并行计算
的集合。
Key-Key
·
2024-01-24 07:17
大数据
分布式
spark
弹性分布式数据集
高密数据中心卓越运维,更灵活助力企业 AI 就绪
随着AI应用的不断发展对GPU计算及GPU+CPU的异构混合
并行计算
需求增加,客户对机柜密度的要求逐渐提升至20-30kW,甚
sunnywell111
·
2024-01-23 22:13
人工智能
运维
c# OpenTK 入门
适用于需要在GPU上执行图形计算或利用
并行计算
的应用场景。
wangyue4
·
2024-01-23 18:05
c#
开发语言
深入理解多线程编程和 JVM 内存模型
多线程编程可以用于
并行计算
、提
揣晓丹
·
2024-01-23 09:47
java
jvm
开发语言
java
spring
boot
java-ee
spring
Hadoop基本介绍
(1)Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据
并行计算
提供了
w蕾丝
·
2024-01-23 08:53
Presto
Presto是一个facebook开源的,完全基于内存的
并行计算
的分布式SQL查询引擎,是一种Massivelyparallelprocessing(MPP)架构,多个节点管道式执行,适用于交互式分析查询
Cool_Pepsi
·
2024-01-23 02:43
大数据
big
data
presto
计算机提示opencl.dll丢失怎么办?解决opencl.dll丢失的办法
OpenCL(OpenComputingLanguage)是一个开放的、跨平台的
并行计算
框架,它允许开发者使用统一的编程模型来编写程序,以实现在各种硬件平台上的高性能计算。
a555333820
·
2024-01-22 23:10
dll文件丢失
windows
dll
dll修复
服务器
opencl.dll丢失怎么解决,修复opencl.dll丢失方法
opencl.dll是什么文件与opencl.dll作用介绍1.opencl.dll定义:opencl.dll是OpenCL(OpenComputingLanguage)的一个动态链接库文件,它是用于编写
并行计算
程序的
a555333820
·
2024-01-22 23:39
dll文件丢失
dll修复
windows
1024程序员节
dll
一文搞懂程序、进程、线程、并发、并行、高并发的概念
了解进程、线程、并发和并行的概念,可以更好地利用计算机的多核处理器和
并行计算
能力,提高计算机性能。了解进程和线程为操作系统中的资源管理提供了基础,包括CPU时间、内存空间等。有效地
Lion Long
·
2024-01-22 14:46
运维
数据库
c++
系统架构
后端
服务器
linux
程序人生
Metal Shading Language 语法规范
1.MetalShadingLanguage简介Metal着色语言是用来编写3D图形渲染逻辑和
并行计算
核心逻辑的一门编程语言,底层使用Clang和LLVM进行编译处理。
Jeffery_zc
·
2024-01-22 10:26
【通用】聊聊c++相关的线程库
1、线程库的创建说到线程库,不得不提多线程,多线程的发展可以追溯到上世纪80年代,当时出现了多线程的概念,主要用于实现并发编程和
并行计算
。
勤又氪猿
·
2024-01-22 09:28
通用
c++
MPI
并行计算
第一课(2小时入门)
1.简介MPI全名叫MessagePassingInterface,即信息传递接口,作用是可以通过MPI可以在不同进程间传递消息,从而可以并行地处理任务,即进行
并行计算
。
blogZT
·
2024-01-22 05:35
并行&高性能计算
分布式
算法
大模型多卡训练原理
背景知识深度学习涉及大量矩阵运算,而矩阵运算可以
并行计算
。
南宫凝忆
·
2024-01-21 13:32
大模型
人工智能
大模型
多卡训练
Transformer技术深度剖析:AI语言处理的新纪元
它在自然语言处理(NLP)领域引起了革命,因为它的设计克服了以前模型的一些限制,特别是在处理长距离依赖和
并行计算
方面。
散一世繁华,颠半世琉璃
·
2024-01-21 09:02
人工智能
人工智能
transformer
深度学习
大数据之spark运行模式
通过--masterlocal[n]来指定使用n个线程进行
并行计算
。
转身成为了码农
·
2024-01-21 07:11
大数据
spark
分布式
TensorFlow人工智能开源深度学习框架简单认识
它的特点包括:强大的计算能力:TensorFlow支持在多个CPU和GPU上进行
并行计算
,可以处理大规模的数据集和复杂的模型。灵活
jiang_changsheng
·
2024-01-21 07:34
人工智能
深度学习
tensorflow
MapReduce基础知识
可以进行拆分的前提是这些小任务可以
并行计算
,彼此间几乎没有依赖关系。Reduce负责“合”,即对map阶段的结果进行全局汇总。图:MapReduce思想模型2、样例Wordcount定义一个
坐在风口上de猪
·
2024-01-20 09:18
mapreduce
c#
大数据
多智能体强化学习:多智能体系统
1.1多智能体系统VS并行强化学习并行强化学习m个节点
并行计算
,每个节点有独立的环境,每个环境中有一个智能体。智能体之间完全独立,不会相互影响。
UQI-LIUWJ
·
2024-01-20 06:22
强化学习
强化学习
Parallel Computing
并行计算
相关学习
参考资料https://hpc.llnl.gov/documentation/tutorialshttps://hpc.llnl.gov/documentation/tutorials/introduction-parallel-computing-tutorialhttps://hpc-tutorials.llnl.gov/openmp/https://www.openmp.org/Parall
御风@户外
·
2024-01-19 16:13
算法
并行计算
linux下载cuda toolkit实现
并行计算
linux下载cudatoolkit实现
并行计算
(1)下载安装CUDAToolkitCUDAToolkit官网:https://developer.nvidia.com/cuda-downloads里面有安装步骤教程注意
Hz、辉
·
2024-01-19 09:49
linux
运维
服务器
GPU:大数据时代的强力引擎
无论是图像识别、语音文字处理、机器翻译(MT),还是自动驾驶、虚拟现实(VR)和增强现实(AR)等行业应用,GPU在大数据存储、清洗、预处理以及大规模
并行计算
等方面正崭露头角,发挥着关
Imagination官方博客
·
2024-01-19 00:56
大数据
2024年高校建设大数据实验室建设的意义
其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、
并行计算
等多个专业方向,因此该学科对于实验室具有较高的专业要求。
泰迪智能科技
·
2024-01-18 20:12
大数据实验室
大数据
Hologres性能优化指南2:分布键Distribution Key,
不同的Shard可以进行
并行计算
,从而提高计算性能。显著提高每秒查询率(QPS)
林语棠
·
2024-01-18 18:21
性能优化
大规模分布式系统架构与设计实战读书笔记
大规模分布式系统架构与设计实战彭渊59个想法1.1分布式计算、
并行计算
、云计算概述>>所谓分布式计算其实就是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理
vasco_he
·
2024-01-18 12:40
大数据知识点
Spark:SparkRDD的概念:RDD是Spark中最基本的数据抽象,是一个不可变、可分区、里面的元素可
并行计算
的集合。
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:29
hbase
数据库
大数据
Pytorch基础知识点复习
文章目录
并行计算
单卡训练多卡训练单机多卡DP多机多卡DDPDP与DDP的优缺点PyTorch的主要组成模块Pytorch的主要组成模块包括那些呢?
卡拉比丘流形
·
2024-01-18 05:43
Python
深度学习
pytorch
人工智能
python
c语言字节奇偶,C语言奇偶排序算法
奇偶排序,或奇偶换位排序,或砖排序,是一种相对简单的排序算法,最初发明用于有本地互连的
并行计算
。这是与冒泡排序特点类似的一种比较排序。
老牛要图
·
2024-01-16 20:22
c语言字节奇偶
AI扩展手写数字识别应用(一)
并且本文将演示如何利用VisualStudioToolsforAI进行批量推理,以便利用底层人工智能框架的
并行计算
,实现推理加速。此外,
人工智能MOS
·
2024-01-16 19:03
人工智能
模型
机器学习
深度学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他