大数据计算

32位计算机与64位计算机的区别

这意味着64位计算机在处理大量数据时具有更高的效率，这对于大数据计算、图形处理和视频编辑等需要大量计算的应用非常有利。可访问的内存空间限制：32位计算机的理论上的内存空间上
昊 昊·2023-07-25 10:31

Hadoop (一) Hadoop学习

用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储HadoopYARN：集群的资源管理和任务调度框架集群资源分配HadoopMapReduce：分布式计算框架大数据计算
C0oOder·2023-07-25 07:52

python安装第三方包（三种方法）

科学计算器：numpy数据分析：pandas大数据计算：pyspark、apache-flink图形可视化：matplotlib、pyecharts人工智能：tensorflow方法一：win+R打开命令运行框输入
风起晨曦·2023-07-24 02:24

Spark性能优化：开发调优篇

Spark性能优化：开发调优篇在大数据计算领域，Spark以及成为了越来越流行、越来越受欢迎的计算平台之一。
我还不够强·2023-07-17 19:58

大数据计算分析技术：批处理、流计算、OLAP引擎

目录一、批处理的基石：MapReduce1.工作流程2.实例分析二、流计算的代表：storm、sparkstreaming和flink
青果HA·2023-07-17 02:37

第五章 多范式的编程语言Scala

第五章多范式的编程语言Scala1.Scala入门1.1Scala概述1.1.1为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容Spark就是使用Scala编写的Spark
i豆·2023-07-16 23:35

上手Scala到开发程序

目前Spark是新一代的内存型大数据计算框架，是目前大数据技术生态圈中非常主流的一门技术。
Levi_·2023-07-16 23:30

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）

一、物理架构物理架构-企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成为一个整体,为企业的大数据应用提供物理支撑，企业大数据系统由多个逻辑层组成，多个逻辑层可以映射到一个物理节点上，也可以映射到多个物理节点上在映射时需要考虑三个方面的问题：一是是否容易识别，二是是否足够集约，三是是否能够同构二、集成架构集成架构-企业大数据系统由多个系统集成而成,每个系统都提供了多种协议和接
showswoller·2023-07-14 16:31

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者：张凯@阿里云、陳韋廷@Intel、周渊@Intel简介ApacheCeleborn(Incubating)是阿里云捐赠给Apache的通用RemoteShuffleService，旨在提升大数据计算引擎的性能
阿里云大数据AI技术·2023-07-14 10:31

Dinky0.7.0源码初探

Flink目前是一个使用广泛的基于流计算的流批一体的大数据计算框架，它关注的是流计算的底层实现、集群运行最优化、高效运行的设计等；Dinky是基于Flink的一个应用平台：目前最核心的功能，就是在
武舞悦·2023-07-14 07:22

金蝶云星空财务分析，有奥威BI SaaS平台底气足

但受制于大数据计算、分析技术的发展，智能财务数据分析的推进比较困难。
qq_43696218·2023-07-13 21:17

Scala系列从入门到精通（一）

1、概述1.1、为什么学习ScalaSpark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。
后端技术那点事·2023-06-22 19:52

再见以前说再见 大数据计算框架复习

web方式查看hdfs目录结构的地址是：http://主机名:50070.linux下存放公钥信息的是id_rsa.pub文件，放在.ssh目录下.下列可以实现定时任务调度的包括：Crontab、Oozie、Azkaban。Hive不可以实现定时任务调度。.hadoop配置文件（如：core-site.xml、hdfs-site.xml）在${HADOOP_HOME}/etc/hadoop目录下.
亖嘁·2023-06-22 12:02

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点，颇受业界的好评。
·2023-06-19 19:18

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-19 17:38

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M
亖嘁·2023-06-18 17:13

阿里云EMR自定义日志投递与使用实践分享

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
Apache Spark中国社区·2023-06-18 05:42

分布式安装配置spark-3.2.3

Spark是一个基于内存的大数据计算框架，可以与Hadoop集成，提供更快速的数据处理能力。本文将介绍如何在三个Ubuntu系统上搭建一个Spark集群。
runepic·2023-06-17 08:58

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
阿里云大数据AI技术·2023-06-15 19:41

数仓架构“瘦身”，Hologres 5000CU时免费试用

基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中
·2023-06-15 15:50

大数据概述

大数据概述大数据时代第三次信息化浪潮信息科技为大数据时代提供技术支撑数据产生方式的变革促成大数据时代的来临大数据的发展历程大数据概念数据量大数据类型繁多处理速度快价值密度低大数据的影响大数据的应用大数据关键技术大数据的采集导入/预处理统计与分析大数据挖掘两大核心技术大数据计算模式大数据产业大数据与云计算
so.far_away·2023-06-15 14:34

MaxCompute 发布“物化视图智能推荐”，CU算力节省14%

阿里云MaxCompute在飞天发布时刻推出了“物化视图智能推荐”功能，这一功能的发布将节省CU算力14%，进一步提升了MaxCompute在大数据计算能力方面的领先地位。
·2023-06-13 10:08

Flink 的应用场景和架构模型

一石激起千层浪，Flink开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由Spark独领风骚，瞬间成为两强争霸的时代。
鸭梨山大哎·2023-06-12 12:58

腾讯云轻量应用服务器和云服务器区别详细说明

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
gla2018·2023-06-11 18:33

百度离线资源治理

作者|百度MEG离线优化团队导读近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其实依赖庞大的算力及数据作为支撑
百度Geek说·2023-06-09 17:59

腾讯云轻量应用服务器是什么？和CVM云服务器有什么区别？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
运维FUN·2023-06-08 14:01

什么是腾讯云轻量应用服务器？轻量与云服务器对比区别有哪些？

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。腾讯
运维FUN·2023-06-08 14:30

百度离线资源治理

作者|百度MEG离线优化团队导读近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其实依赖庞大的算力及数据作为支撑
·2023-06-08 12:32

电力能耗监测系统是如何运作的

电力能耗监测系统数据的采集主要通过多功能仪表、通讯管理机、通讯协议实现能耗数据的采集，能耗数据上传后经大数据计算实现能耗数据的展示，满足用户对能耗监测的需求。
acrelzxz·2023-06-07 18:42

全网最全-探花交友项目-面试总结-简历优化

有好邻”社区社交服务APP、移动短视频社交平台O2O同城社交APP、“曲园社交读书APP、高校留学生社交APP项目简介：本项目是一个在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐
Java-You·2023-06-07 07:11

基于 Flink ML 搭建的智能运维算法服务及应用

阿里云大数据平台的智能运维2.智能运维算法服务应用场景3.传统算法工程链路的局限性4.使用FlinkML搭建智能运维算法服务5.总结和开源计划一、阿里云大数据平台的智能运维阿里云计算平台提供了多个非常核心的大数据计算和人工智能相关的产品
·2023-04-21 10:27

大数据Spark、Mr、Impala使用parquet、textfile、snappy等不同数据存储编码和压缩的效率实测对比以及项目选型

整体说明会进行此次检测的背景介绍，通过官方以及自己的学习了解进行一些基础解释；使用具体的线上数据进行压缩比，查询性能的测试；查询性能的不同场景，大数据计算、用户查询性能等，包含Spark以及Impala
Kevin_鹿·2023-04-19 06:25

Spark Dag Scheduler学习记录

简介spark作为实时及离线合为一体的大数据计算框架，由于其出色的批处理能力及高效的流计算能力，因此在大数据中依旧有着不可撼动的地位。这篇文章来记录一下sparkJob作业是如何被调度起来的。
淡泊宁静_3652·2023-04-18 19:13

今日解读：大数据智慧计算之服务器龙头

因为服务器属于大数据计算的关键部件，因此公司的价值尤为明显，而且浪潮在服务器领域发展迅猛，值得关注。之前文章介绍过了大数据的一些其他文章（可查看以往文章），今天主要介绍大数据服务器龙头。
Herbert今日看科技·2023-04-18 18:24

Spark、Flink、CarbonData技术实践最佳案例解析

当前无论是传统企业还是互联网公司对大数据实时分析和处理的要求越来越高，数据越实时价值越大，面向毫秒~秒级的实时大数据计算场景，Spark和Flink各有所长。
weixin_34198797·2023-04-18 07:44

查礼：大数据与企业计算

承担863“中国云”一期和二期的大数据计算技术和系统平台研发等课题。
astonish_9378·2023-04-17 22:50

Mongdb中常用的数据清洗

原因与解决:mongdb_bigdata_error.png原因大数据计算、数据统计时，每个计算任务（job或task）都会使用独立有限的内存空间，mongodb没有提供复杂的内存
晨曦的娃哈哈·2023-04-17 05:20

云原生AI开发平台架构及核心优势

导读：云原生AI开发平台以云原生容器服务为基础架构调用云资源，配合大数据计算、人工智能计算以及分布式计算框架，服务于企业的数据分析、模型训练以及AI应用部署需求。
互联互通社区·2023-04-16 21:25

大数据开发：消息队列如何处理消息积压

实时消息流处理，是当前大数据计算领域面临的常见场景需求之一，而消息队列对实时消息流的处理，常常会遇到的问题之一，就是消息积压。今天的大数据开发学习分享，我们就来聊聊，消息队列如何处理消息积压？
成都加米谷大数据·2023-04-15 20:40

早期阶段的ToB SaaS如何做「数据收集」

大数据计算一般的流程如下：其中「数据收集」包含了「数据采集」「数据加工」「数据存储」三个步骤，通过这些步骤将用户的行为和环境信息转化为结构化数据，从而沉淀为数据资产，为产品设计、运营分析、业务决策提供重要的数据支持
天行者YANG·2023-04-14 18:04

万字详解 Spark Core 开发调优（建议收藏）

1一、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
浪尖聊大数据-浪尖·2023-04-13 00:59

Scala学习（一）——安装与入门

学习scala编程语言是为了更好地掌握spark这个大数据计算框架，spark源码就是用scala写的。不过scala语言最终也是基于JVM环境的。
大数据阶梯之路·2023-04-12 06:19

腾讯云轻量服务器和云服务器区别对比（超详细全方位）

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
运维FUN·2023-04-11 17:39

PySpark简介及详细安装教程

回忆下Spark的简介：Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？
天ヾ道℡酬勤·2023-04-11 03:38

Hadoop和Spark：兼容才是可靠的解决方案

说起大数据计算框架，Hadoop和Spark这两者之间，一直都是存在着争议的，甚至一度还出现了Spark会替代Hadoop的声音，但是随着这两年的发展，事实告诉大家，Hadoop和Spark这两者之间，
加米谷大数据张老师·2023-04-11 03:01

Flink-流/批/OLAP一体得到Flink引擎

大数据的特点：海量化（Volumes）多样化（Variety）快速化（Velocity）价值化（Value）1.1.2大数据计算框架发展历史(1)史前阶段~2006年传统数据仓库，Oracle，单机，黑箱使用
阿通666·2023-04-08 23:30

Spark简介

Spark是一个大数据计算平台，在这个平台上，有我们大家熟悉的SQL式操作组件SparkSQL;功能强大、性能优
GakkiLove·2023-04-08 10:37

探花交友2022最新版-Java微服务实战-社交项目

探花交友2022是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度。
帅杰IT大神·2023-04-07 18:17

Flink初探

WhatIsFlink一个通俗易懂的概念:ApacheFlink是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理.这是对Flink最简单的认识,也最容易引起疑惑,它和storm和spark
活长擅运动·2023-04-06 19:46

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
阿里云技术·2023-04-06 04:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他