E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量数据
大数据 - Hadoop系列《三》- MapReduce(分布式计算引擎)概述
如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节12.2分布式计算概念12.3MapReduce定义12.4MR的优点:1)MapReduce易于编程2)良好的扩展性3)高容错性4)适合
海量数据
计算
王哪跑nn
·
2024-01-29 23:31
大数据
hadoop
大数据
hadoop
hdfs
千万数据展示-矢量切片点聚合
背景 之前做的
海量数据
数据展示,在预处理速度和渲染上还有有所欠缺,比如单个切片文件还是太大,本文中进行一些优化工作,使得一分钟处理完一千多万点数据的1-11级矢量切片,在线浏览数据请求时间控制在1s
polong
·
2024-01-29 23:42
浅析大数据汇总
传统的数据库技术已经无法满足对这些
海量数据
的存储和处理需求,因此出现了分布式存储和计算技术,如Hadoop、HBase等。
shinelord明
·
2024-01-29 19:10
大数据
开源
程序员裁员潮:技术变革下的职业危机
大数据技术的应用使得企业和政府能够更好地分析和利用
海量数据
,为决策提供更加准确的依据。云计算技术的普及使得企业能够更加灵活地部署和管理IT资源,降低了成本,并提高了效率。
m0_70572045
·
2024-01-29 10:36
人工智能
初识elasticsearch
一、了解ES1.1.elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从
海量数据
中快速找到需要的内容例如:在GitHub搜索代码在电商网站搜索商品在百度搜索答案在打车软件搜索附近的车
Maiko Star
·
2024-01-29 09:32
Spring
Cloud
elasticsearch
大数据
搜索引擎
【MySQL】索引
索引一、索引的介绍1、无索引情况下
海量数据
的查询2、有索引情况下
海量数据
的查询二、认识磁盘1、磁盘的物理结构2、磁盘的一个盘片3、扇区的定位方式4、操作系统与磁盘交互的基本单位5、磁盘的随机访问与连续访问
看到我请叫我滚去学习Orz
·
2024-01-29 02:39
MySQL
mysql
性能优化
数据库
12.Elasticsearch应用(十二)
Elasticsearch应用(十二)1.单机ES面临的问题
海量数据
存储问题单点故障问题2.ES集群如何解决上面的问题
海量数据
存储解决问题:将索引库从逻辑上拆分为N个分片(Shard),存储到多个节点单点故障问题
asadsfasfasdfas
·
2024-01-28 18:27
搜索引擎
elasticsearch
大数据
搜索引擎
方案精讲丨电商数据技术栈,在
海量数据
增长下如何实现实时与全量兼得?
导读跨境电商进入多模式并行阶段,
海量数据
增长下,数据技术栈面临重重考验,实时、全量兼得至关重要。在跨境电商领域中,TiDB得到了广泛的应用。
每天读点书学堂
·
2024-01-28 14:55
大数据
数据库
人工智能
tidb
开发语言
基于UDP高性能传输协议UDT
UDP详解一、概述UDT是一个高性能的基于UDP的数据传输协议,它是为支持高速广域网上
海量数据
传输而设计,为解决TCP的效率和公平问题,同时提供可靠的数据流和报文传输。
红影大侠
·
2024-01-28 11:32
MySQL架构演进-从主从复制到分库分表
传统的将数据集中存储单一数据结节的方案,在容量、性能、可用性和可维护性方面已经难以满足互联网
海量数据
的场景。从容量方面考虑,单机数据库容量有限,难以扩容。
架构文摘
·
2024-01-28 11:50
数据库
中间件
大数据
分布式
mysql
聊聊MySQL架构演进:从主从复制到分库分表
传统的将数据集中存储单一数据结节的方案,在容量、性能、可用性和可维护性方面已经难以满足互联网
海量数据
的场景。从容量方面考虑,单机数据库容量有限,难以扩容。
写代码的珏秒秒
·
2024-01-28 11:18
程序员
Java
编程
mysql
架构
数据库
浅谈Hive和HBase有哪些区别与联系及适用场景
当对
海量数据
进行搜索时,Hadoop的计算引擎是MapReduce。但是对Map
尚学先生
·
2024-01-28 11:19
HBase入门、基础原理介绍
HBase良好的分布式架构设计为
海量数据
的快速存储、随机访问提供了可能,基于
幸福右手牵
·
2024-01-28 09:07
hbase
hbase
hadoop
大数据
【探索科技 感知未来】文心一言大模型
【探索科技感知未来】文心大模型本文介绍文心一言大模型是由中国科技巨头百度公司研发的一款大规模语言模型,其基于先进的深度学习技术和
海量数据
训练而成。
微笑的段嘉许
·
2024-01-28 08:56
科技
文心一言
ELK日志解决方案
ELK日志解决方案ELK套件日志系统应该是Elasticsearch使用最广泛的场景之一了,Elasticsearch支持
海量数据
的存储和查询,特别适合日志搜索场景。
正在绘制中
·
2024-01-28 02:05
elk
java
运维
C++位图的应用与布隆过滤器
位图的概念用每一个二进制比特位来表示某种状态,适用于
海量数据
,通常用于判断某个数据是否存在以上面试题可以用位图来解决:用一个二进制比特位来表示数据是否存在--二进制比特位为1表示存在,为0表示不存在位图的模拟实现
Artiel
·
2024-01-28 01:27
C++
c++
IDC机房交换机核心技术与应用指南
IDC机房交换机核心技术与应用指南在这个快速发展的数字时代,数据中心作为信息技术的心脏,不仅承载着
海量数据
的处理、存储和传输,更是支撑着全球企业运营和互联网服务的关键基础设施。
王亭_666
·
2024-01-28 00:27
运维
网络
网络
交换机
网络安全
网络设备
运维
DataWhale 大数据处理技术组队学习task1
)4V数据量大(Volume)数据来源:可以是计算机、手机,也可以是其他联网设备(与物联网紧密结合)数据类型繁多(Variety)各行各业的数据量都在迅速增长处理速度快(Velocity)为了快速分析
海量数据
Y_fulture
·
2024-01-27 19:33
大数据处理技术
学习
大数据
数据分析
elasticsearch
基础0.学习目标1.初识elasticsearch1.1.了解ES1.1.1.elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从
海量数据
中快速找到需要的内容例如
HHP666x
·
2024-01-27 19:32
elasticsearch
搜索引擎
solr
分布式系统互斥性与幂等性问题的分析与解决
原文链接随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、
海量数据
处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
leiwingqueen
·
2024-01-27 18:18
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
在面向
海量数据
的复杂查询需求时,除硬件配置、集群规模、网络带宽等因素外,提升性能的核心在于如何最大程度地降低SQL执行时的CPU、内存和IO开销,而这其中数据库索引扮演着至关重要的角色。
SelectDB技术团队
·
2024-01-27 17:35
大数据
数据库
elasticsearch
数据分析
doris
架构:HBase的核心组件和架构设计
HBase可以存储
海量数据
,并提供快速的随机读写
OpenChat
·
2024-01-27 14:02
架构
hbase
数据库
大数据
分布式
踏破寒冬,SQLynx 2.1.3版如约而至,引爆数据库新风潮!国产Navicat替代品震撼登场,解放数据库开发者的选择困境,重塑数据库格局,替代品引领创新浪潮!
这款SQL工具免安装,支持团队协同开发,远程访问,高效
海量数据
处理,个人版免费。时逢冬至,严寒悄然而至,SQLynx团队在此为开发者们送上全方位提升的SQL开发暖心体验!
吃海的虾酱
·
2024-01-27 08:48
工具技巧
mysql
oracle
sqlserver
sql
nosql
mongodb
数据库
CDP技术系列(三):百万级QPS的人群命中服务接口性能优化指南
一、背景介绍CDP系统提供了强大的标签和群体的构建能力,面对
海量数据
的标签和群体,我们采用了Bitmap+ClickHouse的存储与计算方案。详细内容可以参考之前文章。
京东云技术团队
·
2024-01-27 07:32
性能优化
数据库
服务器
海量数据
场景下的热门算法题(算法村第十五关白银挑战)
从40亿中产生一个不存在的整数给定一个输入文件,包含40亿个非负整数,请设计一个算法,产生一个不存在该文件中的整数,假设你有1GB的内存来完成这项任务。进阶:如果只有10MB的内存可用,该怎么办?不用写代码,将思路方法说清楚。1GB内存假设用哈希表来保存出现过的数,如果40亿个数都不同,则哈希表的记录数为40亿条,存一个32位整数需要4B空间,所以最差情况下需要40亿*4B=160亿字节,大约需要
陈星泽SSR
·
2024-01-27 05:54
算法村
算法
数据库
海量数据
场景下的热门算法题(算法村第十五关白银挑战)
从40亿中产生一个不存在的整数给定一个输入文件,包含40亿个非负整数,请设计一个算法,产生一个不存在该文件中的整数,假设你有1GB的内存来完成这项任务。进阶:如果只有10MB的内存可用,该怎么办?不用写代码,将思路方法说清楚。1GB内存假设用哈希表来保存出现过的数,如果40亿个数都不同,则哈希表的记录数为40亿条,存一个32位整数需要4B空间,所以最差情况下需要40亿*4B=160亿字节,大约需要
陈星泽SSR
·
2024-01-27 05:22
算法村
算法
数据库
Doris基本概念介绍
Duplicate模式数据划分PartitionBucket创建库、表简介ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回
海量数据
下的查询结果
坚持是一种态度
·
2024-01-27 02:50
大数据开发
学习
笔记
doris
redis常用的数据结构以及使用场景
不遵循SQL标准不支持ACID远超于SQL的性能1.2NoSQL的适用场景对数据的高并发读写
海量数据
的读写对数据的可扩展性1.3NoSQL的不适用场景需
花香陶泽
·
2024-01-27 00:31
redis
数据结构
数据库
大数据所带来的四种思维方式的转变
大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从单一样本数据变成全量数据(全样本数据);第二,由于是
海量数据
和全样本数据,人们不得不接受数据的混杂性
garyond
·
2024-01-26 20:22
【MySQL】简简单单速通mysql数据库
文件保存数据有以下几个缺点:文件安全性问题文件不利于数据查询和管理文件不利于储存
海量数据
文件在程序中控制不方便数据库存储介质:磁盘内存为了解决上述问题,专家们设计出更加利于管理数据的东西--数据库,他能更有效地管理数据
伍伍1GB
·
2024-01-26 18:06
数据库
mysql
服务器
米贸搜|Meta广告中级水准:Facebook自动完成四项广告设置,改善投放成效!
它还可以实时处理
海量数据
点,为我们解答以下问题:尽
mimaosoulily
·
2024-01-26 17:31
facebook
ElasticSearch7.7.1集群搭建
前言Elasticsearch(ES)是一个基于ApacheLucene的分布式、高扩展、近实时的搜索引擎,主要用于
海量数据
快速存储、实时检索、高效分析的场景。
卢卡上学
·
2024-01-26 16:32
Elasticsearch
服务器
Kibana
elasticsearch
Elasticsearch集群
态势感知EDR
1.业界标准数据来源>智能分析>安全可视>协同响应通过日志采集探针和流量传感器分别进行不同系统日志和流量日志的采集和处理任务通过对
海量数据
进行多维度快速,自动化的关联分析发现本地的威胁和异常行为,并及时与终端管理系统和下一代防火墙进行联动对威胁和异常行为进行处置
fengtangjiang
·
2024-01-26 16:22
安全
网络安全
2022淘宝优惠券返利APP排行榜TOP10
基于第三方电商平台
海量数据
挖掘与分析,“高省”APP通过内容制作、分享等方式,为消费者打通吃喝玩乐购全场景全业态[1],让消费者省钱省时,为平台和品牌方导流创造收入[1]高省app逐渐构筑起了集各大主流电商平台
日常购物技巧呀
·
2024-01-26 14:37
电鸿OS,电力行业的未来,究竟有何潜力?
设备可以即插即用、无需专人现场安装调试,同时实现
海量数据
的互联互通,这一创新将为电力行业带来全新的发展机遇。2023年1
Industio_触觉智能
·
2024-01-26 11:45
鸿蒙
嵌入式硬件
鸿蒙系统
华为
水平分库分表的关键问题及解决思路
在互联网行业
海量数据
和高并发访问的考验下,聪明的技术人员提出了分库分表技术(有些地方也称
程序员BUG
·
2024-01-26 11:08
Redis之使用HyperLogLog统计网站UV
一句话:HyperLogLog用来统计一个很大很大的数据集(
海量数据
)的基数,是一个占用空间极低的set,省空间版的setRedis在2.8.9版本中添加了HyperLogLog数据结构1.区分UV和PV
Pr Young
·
2024-01-26 10:58
redis
redis
MongoDB相关概念
HugeStorage-对
海量数据
的高效率存储和访问的需求。HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。MongoDB应用场景社交场景:使
理智很乏味清醒最孤独
·
2024-01-26 09:27
mongodb
数据库
【运维】Ubuntu18.04系统docker方式安装ElasticSearch和kibana
DockerServerVersion:20.10.7ElasticSearchVersion:8.5.3KibanaVersion:8.5.3说明ElasticSearch是一个开源分布式搜索引擎,可以快速地储存、搜索和分析
海量数据
奔跑的大白啊
·
2024-01-26 07:22
运维
【linux】
运维
docker
elasticsearch
kibana
安装配置
产品解读 | 新一代湖仓集存储,多模型统一架构,高效挖掘数据价值
星环科技TDH一直致力于给用户带来高性能、高可靠的一站式大数据基础平台,满足对
海量数据
的存储和复杂业务的处理需求。
星环科技
·
2024-01-26 07:40
架构
大数据
人工智能
一文了解字节跳动消息队列演进之路
字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理
海量数据
、如何降低运维成本等。
字节跳动云原生计算
·
2024-01-26 06:22
云原生
大数据
如何使用Redis进行排序操作
前言我们在实际的开发过程中经常会遇到这样一个问题,需要高频次德对某个业务数据集进行某种规则的排序,如果是普通的排序,一般的方法就可以实现,我们这里强调的是
海量数据
、高频次的更新排序场景,如对上千万、上亿的数据进行排序操作
Feify@肥肥
·
2024-01-25 23:36
Redis
算法
数据结构
redis排序
zSet排序
大数据开发之Spark(完整版)
第1章:Spark概述1.1什么是spark回顾:hadoop主要解决,
海量数据
的存储和
海量数据
的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key
·
2024-01-25 21:05
大数据
spark
分布式
弹性分布式数据集
hadoop
ClickHouse 极简教程
ClickHouse不应该被用作通用数据库,而是作为超高性能的
海量数据
快速查询的分布式实时处理平台,在数据汇总查询方面(如GROUPBY),ClickHouse的查询速度非常快。
禅与计算机程序设计艺术
·
2024-01-25 21:59
[AIGC 大数据基础]hive浅谈
在当今大数据时代,随着数据量的不断增大,如何高效地处理和分析
海量数据
已经成为一个重要的挑战。为了满足这一需求,Hive应运而生。
程序员三木
·
2024-01-25 14:17
大后端
大数据
AIGC
hive
用4KB内存寻找重复元素(算法村第十五关青铜挑战)
在
海量数据
中,普通的数组、链表、Hash、树等等结构无效,因为内存空间不足。而常规的递归、排序,回溯、贪心和动态规划等思想也无效,因为执行超时。这类问题该如何下手呢?
陈星泽SSR
·
2024-01-25 13:26
算法村
算法
java
数据库
hadoop集群部署
hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架,主要解决
海量数据
存储与计算的问题,是大数据技术中的基石。
Cat God 007
·
2024-01-25 12:45
笔记
大数据
大数据
hdfs
AI服务器行业分析:预计2023年全球市场规模将达211亿美元
AI服务器需求暴增,机构指出,AI时代浪潮汹涌,
海量数据
催生庞大的算力需求,带动AI服务器需求量与日俱增,用于服务器内、外部数据传输等接口芯片也随之攀升。
QY调研所
·
2024-01-25 06:11
人工智能
服务器
运维
JAVA的面试题四
分布式:①垂直拆分:根据功能模块进行拆分②水平拆分:根据业务层级进行拆分(2)高并发:用户单位时间内访问服务器数量,是电商行业中面临的主要问题(3)集群:抗击高兵发的有效手段,同时集群内部实现高可用(4)
海量数据
处理
菜鸟程序员z
·
2024-01-25 00:51
java
开发语言
面试
一文熟悉redis安装和字符串基本操作
NoSQL特点:容易扩展、高速读写/IO、高性能、高并发、
海量数据
存储。
.咖啡加剁椒.
·
2024-01-24 21:07
软件测试
redis
数据库
缓存
软件测试
自动化测试
功能测试
程序人生
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他