E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据量
Kafka服务端之网络模型
客户端一般情况下不会碰到
大数据量
访问、高并发的场景,
tracy_668
·
2024-01-12 03:42
前端支持
大数据量
虚拟滚动表格的ui组件库(vue、react)
虚拟滚动的本质并不复杂,根据滚动位置和展示范围进行部分数据截取、渲染,本质上和分页原理相似,只是截取范围的开始和结束节点是动态而已。但表格虚拟滚动的相关细节处理比较麻烦,比如未设置宽度的列如何计算、新渲染的checkbox确定选中状态等等。所以,推荐几个可以支撑前端展示10W+数据量的表格组件,减少重复造轮子。废话少说,上干货。React:AntDesign官网地址:此组件库早已是react开发者
暴躁羊Lee
·
2024-01-11 22:12
前端
前端
vue.js
react.js
explain 使用精简
MySQL在300万条记录左右性能开始逐渐下降,虽然官方文档说500~800w记录,所以
大数据量
建立索引是非常有必要的。
hugoren
·
2024-01-11 21:07
392.【跟着大领导】排除法,先找客户端问题,再找服务端问题
“先找客户端问题,再找服务端问题”前阵子做分布式数据库的运维工作,因为一些客观原因(客户现场无法远程),客户找我们解决一个:“
大数据量
时查询不全数据的问题”。
七镜
·
2024-01-11 18:13
Mysql
大数据量
删除
Mysql
大数据量
删除在一些操作中,可能需要清理一下积压的数据,如果数据量小的话自然没有问题,但是如果是个
大数据量
的问题,那么就该考虑一个合适的办法了。
Artisan_w
·
2024-01-11 12:33
#
Mysql
mysql
数据库
Linux多线程与多进程区别
就可以容易扩充性能可以尽量减少线程加锁/解锁的影响,极大提高性能,就算是线程运行的模块算法效率低也没关系每个子进程都有2GB地址空间和相关资源,总体能够达到的性能上限非常大多进程缺点:逻辑控制复杂,需要和主程序交互需要跨进程边界,如果有
大数据量
传送
我真蚌!
·
2024-01-11 12:45
Linux
多进程与多线程
软件评测师写作专栏之安全测试的基础知识26
例题:以下不属于安全测试方法的是()A、安全功能验证B、安全漏洞扫描C、
大数据量
测试D、数据侦听【昊洋详解】:安全测试方法包括安全功能验证、安全漏洞扫描、模拟攻击实验和数据侦听。
昊洋_写作的匠心
·
2024-01-11 08:24
《mybatis》--
大数据量
查询解决方案
阿丹-需求/场景:之前写百万以及千万的导出数据的时候,对于将数据写道csv文件并压缩这里没有什么大问题了,但是出现了其他问题为:1、我们需要将数据从数据库中拿出来,并且在进行装配的时候出现了一些问题。2、对于整体内存安全来说,如果直接将数据从数据库中拿出来百万级别以上的数据对于内存是非常不友好的。当问题出现比较大的时候会直接触发GC,造成瘫痪。目前开发以及项目测试的是更多的使用mybatis来进行
一单成
·
2024-01-10 17:05
mysql
mybatis
mybatis
MySQL批量插入技巧
关于MySQL批量插入的一些问题MySQL一直是我们互联网行业比较常用的数据,当我们使用半ORM框架进行MySQL大批量插入操作时,你是否考虑过这些问题:进行
大数据量
插入时,是否需要进行分批次插入,一次插入多少合适
_江屿_
·
2024-01-10 14:44
Java
MySQL
mysql
深度迁移学习
计算平台无法满足
大数据量
的训练,需要依靠模型的迁移。在同一个模型下无法满足所有人的个性化需求,难以做到模型的适配。在进行
道亦无名
·
2024-01-10 06:45
人工智能
迁移学习
人工智能
机器学习
【数据库】对
大数据量
数据集,PostgreSQL分组统计数量,使用 row_number() over
在处理
大数据量
数据集时,我们经常需要进行分组统计。而在PostgreSQL中,我们可以使用row_number()函数结合over(partitionby)子句来实现这个功能。
木头左
·
2024-01-09 18:52
数据库
postgresql
【金猿产品展】ETLCloud—数据集成领域的先行者
大数据产业创新服务媒体——聚焦数据·改变商业全域数据集成平台(简称“ETLCloud”)是谷云科技RestCloud解决
大数据量
、高合规的数据集成需求的产品,采用微服务架构、全WEB可视化集成与服务发布为一体设计的综合集成解决方案
数据猿
·
2024-01-09 10:55
压力测试对系统研发的作用是什么?
这种测试方法通常会模拟多用户同时访问系统、
大数据量
输入输出、高网络延迟等场景,用来检测系统在这些极端条件下的表现。压力测试的主要目的是为了发现系统的瓶颈和弱点,从而进行针对性的优化和改进。
灸哥漫谈
·
2024-01-09 03:14
技术专项能力
灸哥问答
压力测试
Mybatis plus
大数据量
查询慢问题
大数据量
操作一般用在数据迁移,数据导出,批量处理数据 在实际工作中当中,查询数据过大,我们使用分页查询的方式一页一页的将数据放到内存处理。
bai_student
·
2024-01-09 01:45
mybatisplus
mybatis
大数据量
高并发访问的数据库优化方法
一、数据库结构的设计如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的。在一个系统分析、设计阶段,因为数据量较小,负荷较低。我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的
许华锋
·
2024-01-08 11:26
uniapp存储讲解
其中,uni.setStorageSync同步方式存储数据,适合小数据量的存储;而uni.setStorage异步方式存储数据,适合
大数据量
的存储。
嘘~!
·
2024-01-07 09:06
uni-app
MySQL临时表
临时表主要用于对
大数据量
的表上作一个子集,提高查询效率如:join连表查询临时表建在内存里,数据也在内存里可以通过参数tmp_table_size来设定临时表大小SHOWVARIABLESLIKE'%tmp_table_size
天青色在等你
·
2024-01-07 01:05
mysql
mysql
数据库
database
web项目超时方案
1.场景描述平台使用的Greenplum(内核是postgresql8.2)集群存储
大数据量
数据(每天一个表大概3亿),因为数据量比较大,所以在使用上有些限制,一是操作限制;二是不限制,但是到一定时间执行不出来结果就要取消掉该查询
软件老王
·
2024-01-06 19:20
Centos 离线傻瓜式一键式部署 Redis 集群(附脚本+安装包)
前言在面对高并发和
大数据量
的场景时,单个Redis实例可能无法满足性能需求,此时就需要使用Redis集群来提升系统的扩展性和可用性。
一座野山
·
2024-01-06 16:17
centos
Linux
redis
centos
redis
linux
数据分析的7种思维技巧
多维法:是一种精细驱动的思维,对
大数据量
,维度丰富且复杂的数据进行处理,对多维度进行交叉分析时,需注意辛普森悖论,可用钻取的方式逃脱辛普森陷阱。
燕尤心
·
2024-01-06 15:29
ClickHouse为什么快
大数据量
处理的方案分布式计算列式存储ClickHouse的性能数据的查询性能:不支持高并发,官方建议qps不超过100。单表查询更有优势,不推荐多表联合查询。
流年★似水
·
2024-01-06 13:45
ClickHouse
大数据
高速大面阵相机数据采集传输带宽分析与随笔
高速相机从CMOS读取数据,到FPGA进行处理,通过高速收发器GT系列,进行
大数据量
的传输,最后通过传输接口将数据转移到计算机。这里面传输数据量的瓶颈就是相机对外的传输接口
小海盗haner
·
2024-01-06 07:36
数码相机
使用umy-ui的
大数据量
编辑表格(ux-grid)获取修改列进行提交
背景最近的一个新项目需要用到大数据表格编辑,苦于在elementUI中的table控件不支持虚拟滚动和对表格内编辑不友好,我们只能寻求其它支持大数据展示的控件库,最后选用了umy-ui进行前端大数据表格开发。而最近在使用表格编辑时候看到了有获取编辑行的方法(getUpdateRecords),但由于我们可能会多个人同时编辑一行但是不同列的原因,不允许直接把当前行的结果进行提交,然而我没有在官方文档
试着奔跑的菜鸟
·
2024-01-05 10:53
vue
elementui
javascript
umy-ui
java与大数据:Hadoop与MapReduce
它们的出现主要是为了解决传统的数据处理工具无法处理
大数据量
的局限性。首先,让我们深入了解一下Hadoop。Hadoop是一个分布式计算框架,旨在处理大规模数据集并提供可靠性和可扩展性。
naer_chongya
·
2024-01-05 08:38
大数据
java
hadoop
SeaTunnel同步SQLserver数据至ClickHouse
ClickHouse是一种OLAP类型的列式数据库管理系统,ClickHouse完美的实现了OLAP和列式数据库的优势,因此在
大数据量
的分析处理应用中ClickHouse表现很优秀。
万山数据@yqj1987
·
2024-01-04 06:28
clickhouse
sqlserver
DataLoader 和 Dataset
接下来,我们就要弄明白怎么对数据进行预处理,然后加载数据,我们以前手动加载数据的方式,在数据量小的时候,并没有太大问题,但是到了
大数据量
,我们需要使用shuffle,分割成mini-batch等操作的时候
深度学习的奋斗者
·
2024-01-04 04:04
python
js
大数据量
下快速排序
前言:我们常用的排序方式就是数组自带的sort方法,再进阶就是手写二分法排序,今天分享一篇模拟堆栈的方式实现快速排序,耗时比二分法排序提升一半的速度(具体提速度的的毫秒数我没做记录,我验证的是至少提升一半的速度;有兴趣的可以再验证下)一、sort排序letarr=[1,2,3,4,5.......]//此处简单举例letquickSort=function(arr){returnarr.sort(
carpe diem xt
·
2024-01-03 16:18
javascript
排序算法
算法
SQL优化:索引创建
辅助表创建这里我们来创建一张
大数据量
的表,CREATETABLEdemo_table(idINTPRIMARYKEY,nameVARCHAR(255),ageINT);插入数据--存储过程
_长银_
·
2024-01-03 13:10
SQL使用从入门到优化
数据库
索引
Redis学习
NoSQL特点方便扩展(数据之间没有关系,很好扩展)
大数据量
、高性能(Redis一秒可以写8万次,读取11万,NoSQL的缓存记录级的,是一
木木广大
·
2024-01-02 18:11
数据库
分布式
数据库
redis
java
MySQL索引
索引只是提高效率的一个因素,如果你的MySQL有
大数据量
的表,就需要花时间研究建立最优秀的索引,或优化查询语句。
Lonely丶墨轩
·
2024-01-02 15:20
MySQL
mysql
数据库
Redis
方便扩展(数据之间没有关系)
大数据量
高性能(Redis一秒写8万次,读取11万次,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高)数据类型是多样的(不需要事先设计数据库)发展历程单机MySQL
Wirdeo
·
2024-01-01 16:43
poi
大数据量
写入写出
poi文件读写方案image引入jarorg.apache.poipoi4.1.2org.apache.poipoi-ooxml4.1.2读取大批量数据,使用CVS模式解决内存溢出的问题importorg.apache.poi.hssf.usermodel.HSSFDateUtil;importorg.apache.poi.openxml4j.exceptions.OpenXML4JExcepti
扮鬼之梦
·
2024-01-01 13:55
初识MySQL
所以,现在我们使用关系型数据库管理系统(RDBMS)来存储和管理
大数据量
。所谓的关系型数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中
水木_RM
·
2023-12-31 16:50
vue最强table vxe-table 虚拟滚动列表 前端导出
下面是vxe-table的虚拟滚动列表功能的使用场景和优势:使用场景
大数据量
展示:当表格需要展示大量数据时,传统的表格渲染方式可能会导致页面卡顿、滚动不流畅等问题。
一花一world
·
2023-12-31 09:02
前端
前端
vue.js
javascript
Zookeeper之快速入门
ZooKeeper适用于存储和协同相关的关键数据,不适合用于
大数据量
存
微风至夏
·
2023-12-29 22:26
#
Zookeeper
zookeeper
分布式
云原生
面试题:从 MySQL 读取 100w 数据进行处理,应该怎么做?
游标查询@Options@ResultType注意:原因:非流式查询和流式查询区别:背景
大数据量
操作的场景大致如下:数据迁移数据导出批量处理数据在实际工作中当指定查询数据过大时,我们一般使用分页查询的方式一页一页的将数据放到内存处理
xuxu1116
·
2023-12-29 19:57
面试题
mysql
java
面试题
读取百万数据
elasticsearch系列五:集群的备份与恢复
官方建议采用snapshot方式进行备份与恢复(它是有点冷备的意思,采用直接物理copy的方式,适合
大数据量
情况下),民间开源的有elasticsearch-dump方式进行备份但是这
Lv_Jin_Gang
·
2023-12-29 18:22
Elasticsearch
elasticsearch
大数据
搜索引擎
排序“嘉年华”————堆排序
适用于
大数据量
:由于堆排序的时间复杂度较低且不占用额外空间,因此适用于
大数据量
的排序。要知道在广大排序方法中,时间复杂度n*logn都算是非常精密的算法了,在保持高效
强sir的世界
·
2023-12-29 15:43
数据结构
算法
数据结构
c语言
visualstudio
排序算法
SeaTunnel批处理同步MySQL数据至ClickHouse
ClickHouse是一种OLAP类型的列式数据库管理系统,ClickHouse完美的实现了OLAP和列式数据库的优势,因此在
大数据量
的分析处理应用中ClickHouse表现很优秀。
万山数据@yqj1987
·
2023-12-29 09:02
clickhouse
SeaTunnel流处理同步MySQL数据至ClickHouse
ClickHouse是一种OLAP类型的列式数据库管理系统,ClickHouse完美的实现了OLAP和列式数据库的优势,因此在
大数据量
的分析处理应用中ClickHouse表现很优秀。
万山数据@yqj1987
·
2023-12-29 09:02
clickhouse
学Redis的第一天
学Redis的第一天从数据结构开始底层数据结构SDS(简单动态字符串)链表字典何时开始rehash
大数据量
进行rehash那么在rehash期间进行CRUD操作是如何进行的呢。
木辛文武
·
2023-12-29 00:35
Redis
Redis
底层数据结构
Redis 手摸手教程(1/3) - Redis基础部分
特征:可扩容,可伸缩
大数据量
下
pp~h
·
2023-12-29 00:31
#
Redis
redis
缓存
nosql
java
单集群400TB,OceanBase稳定支撑快手核心业务场景
通过在后端配置多套MySQL集群来支撑高流量访问,以解决
大数据量
存储和性能问题,这种传统的MySQL分库分表方案有何问题?快手对分布式数据库展开选型并最终大规模落地OceanBase的原因是什么?
OceanBase数据库官方博客
·
2023-12-28 13:39
oceanbase
面经(持续更新中)
问题总汇常见问题你目前的项目架构是怎样的你在项目中遇到过哪些问题
大数据量
请求你的服务,你的服务是如何能扛得住的网络http七层和四层协议tcp/ip从页面发起请求到响应服务器这中间发生了什么数据库数据库三范式数据库事务实现原理数据库各种锁数据库索引数据库的隔离级别
hanjiangb
·
2023-12-28 12:52
面经
java
开发语言
POI多线程分表导出百万级
大数据量
EXCEL导出
Excel简介不同版本下每个sheet下的行列限制。版本区间行数列数文件后缀Excel2003及以下65535256xlsExcel2007及以上104857616384xlsx由上面可知Excel2003及以下是无法实现单sheet百万级的数据。ApachePOI简介ApachePOI是用Java编写的免费开源的跨平台的JavaAPI,ApachePOI提供API给Java程式对Microsof
Zhuo_chao
·
2023-12-28 07:37
JAVA
java
Redis缓存雪崩、击穿、穿透、到底是什么?
今日目标能够掌握Redis缓存雪崩概念及解决方案能够掌握Redis缓存击穿概念及解决方案能够掌握Redis缓存穿透概念及解决方案一、场景在今天的互联网里,高并发、
大数据量
、大流量已经成为了代言词,那么我们的系统也承受着巨大的压力
柯作
·
2023-12-27 18:42
redis
缓存
数据库
Pandas之数据结构解析——Series的介绍
作为数据分析师,在日常生活中我们会接触到各种各样的需求,其中excel更必不可少,面对庞
大数据量
,快速的需求我们该如何处理,这时Pandas就显得举足轻重,可以快速有效的处理表格数据,实现快速并准确的输出
人生苦常
·
2023-12-27 05:19
数据结构
数据分析
python
pandas
@vuemap/vue-amap高德vue组件库常用技巧(八)- 线
组件库中对于线的展示提供了几个不同的组件,有基础的矢量线、适合
大数据量
的loca的线、动态线、连接线
vue-amap
·
2023-12-26 15:57
vue.js
javascript
数据可视化
前端
3d
【美团大数据面试】大数据面试题附答案
目录1.hdfs读写流程解析2.hdfs副本机制,三副本原因,副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法,
大数据量
无法完全写入内存解决方案
话数Science
·
2023-12-25 11:19
大数据
面试
大数据
面试
多线程事务怎么回滚
背景介绍1.最近有一个
大数据量
插入的操作入库的业务场景,需要先做一些其他修改操作,然后在执行插入操作,由于插入数据可能会很多,用到多线程去拆分数据并行处理来提高响应时间,如果有一个线程执行失败,则全部回滚
King斌
·
2023-12-25 03:06
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他