E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算-大数据
Flink 细粒度滑动窗口性能优化
大数据
技术AIFlink/Spark/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【
大数据
面试题】009 Flink 有哪些机制实现故障恢复
一步一个脚印,一天一道面试题(重点)容错检查点(Checkpoint):Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时,Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略:Flink提供了多种容错恢复策略,可以根据具体的需求进行配置。例如,可以设置重启策
Jiweilai1
·
2024-02-19 13:05
大数据
flink
【
大数据
面试题】007 谈一谈 Flink 背压
一步一个脚印,一天一道面试题(有些难点的面试题不一定每天都能发,但每天都会写)什么是背压Backpressure在流式处理框架中,如果下游的处理速度,比上游的输入数据小,就会导致程序处理慢,不稳定,甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍,下游处理速度跟不上。就像平时的小饭店能处理的很轻松,突然到了过年人多了很多,就会需要客人排队。网络,机器异常等这个也好理解
Jiweilai1
·
2024-02-19 13:35
一天一道面试题
大数据
flink
kafka
hdfs
hadoop
菜鸟也崩了 分析分析原因+聊聊降本增笑
2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新:近年来,人工智能、
大数据
、物联网等技术在物流行业得到了广泛应用,有效提高了物流效率,降低了运营成本。例如,一些物流公司利用
大数据
进行
我才是真的封不觉
·
2024-02-19 13:34
故障分析
菜鸟崩了
阿里云
【
大数据
面试题】006介绍一下Parquet存储格式的优势
一步一个脚印,一天一道面试题列式存储同一列的数据是同一种数据类型,所以压缩比例可以更高。同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持,所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
【
大数据
面试题】008 谈一谈 Flink Slot 与 并行度
【
大数据
面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印,一天一道面试题该文章有较多引用文章
Jiweilai1
·
2024-02-19 13:01
一天一道面试题
大数据
flink
云计算
实训室建设方案2024
云计算
课程体系
云计算
实训课程体系设计依据一、培养目标唯众公司提供创新技术教育和服务的目标,旨在提高人才培养质量,扩大就业创业,推动经济转型升级,以及培育新的经济发展动能。
武汉唯众智创
·
2024-02-19 13:00
云计算实训室
云计算
基础-华为存储实验
存储配置流程创建硬盘域(CK,包括热备CK)创建存储池(CKG、Extent)创建LUN、LUN组、将LUN加入LUN组创建主机、主机组、将主机加入主机组创建映射视图(LUN组和主机组的映射)1.创建CK创建硬盘域就是创建CK,CK可以包含各种不同类型的硬盘一个硬盘域可以创建多个存储池热备策略:预留多少空间当热备空间硬盘域创建成功后可以看到该CK的状态等信息2.创建CKG及extent(图片为视频
比特微联
·
2024-02-19 13:28
服务器
运维
云计算
基础-大页内存
大页内存功能概述什么是大页内存简单来说,就是通过增大操作系统页的大小来减小页表,从而避免快表缺失主要应用场景主要运用于内存密集型业务的虚拟机,比如对于运行数据库系统的虚拟机,采用HugePages(大页)后,可以提升数据库的整体性能(越20%),并有效减小性能抖动内存基本概念CPU访问内存时,是去通过寻址去访问内存的,寻址最终寻的是内存的物理地址,物理地址是通过虚拟地址映射出去的,在这里引入了一个
比特微联
·
2024-02-19 13:58
云计算
云计算
基础-快照与克隆
快照及克隆什么是快照快照是数据存储的某一时刻的状态记录,也就是把虚拟机当前的状态保存下来(快照不是备份,快照保存的是状态,备份保存的是副本)快照优点速度快,占用空间小快照工作原理在了解快照原理前,首先需要知道两个概念:索引/数据和差分盘索引和数据(indexnode/datablock)首先要了解,每一个文件系统都是有两部分组成的:索引和数据(indexnode/datablock),索引有时候也
比特微联
·
2024-02-19 13:28
云计算
网络
数据库
云计算
基础-虚拟机迁移原理
什么是虚拟机迁移虚拟机迁移是指将正在运行的虚拟机实例从一个物理服务器(或主机)迁移到另一个物理服务器(或主机)的过程,而不会中断虚拟机的运行。虚拟机拟机迁移分类虚热迁移:开机状态下迁移冷迁移:关机状态下迁移虚拟机可以迁移哪些东西?1.虚拟机的配置文件2.虚拟机的内存呢3.虚拟机的磁盘文件虚拟机配置文件迁移虚拟机配置文件迁移就是从主机A将虚拟机的配置文件移动至主机B的过程首先看配置文件,在执行迁移前
比特微联
·
2024-02-19 13:28
云计算
云计算
基础-备份和容灾
什么是备份?什么是容灾?备份:备份是容灾的基础,通常指在数据中新内,将全部或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质的过程。备份的本质就是存储数据的“复制”,目的是以外发生后的数据恢复备份本质是把一份数据复制到另一份数据上,比如把生产存储的数据复制到其他地方(备份存储等),当生产存储故障了,可以用备份的存储数据恢复或使用备份存储顶替生产存储容灾:容灾系统是指在相隔较远的异地,建立两套或
比特微联
·
2024-02-19 13:28
云计算
云计算
基础-计算虚拟化-CPU虚拟化
CPU指令系统在CPU的工作原理中,CPU有不同的指令集,如下图,CPU有4各指令集:Ring0-3,指令集是在服务器上运行的所有命令,最终都会在CPU上执行,但是CPU并不是说所有的命令都是一视同仁的,它会把命令分为不同的指令集Ring0指令集称之为内核态指令集,改啊指令集里面啊运行的主要是操作系统访问硬件、关键数据结构,运行中断等。Ring1-2指令集主要运行的是设备驱动的命令Ring3指令集
比特微联
·
2024-02-19 13:58
云计算
云计算
基础 -NUMA
UMAUMA中文翻译叫:一致性内存访问多个CPU通过同一根前端总线(FSB)来访问内存(所有的内存访问都需要通过北桥芯片来完成),若多个CPU访问内存的不同内存单元还是相同内存单元,同一时刻,只有一个CPU能够访问内存随着CPU内核越来越多,性能越来越强,现在已经有双路、四路的服务器,若是UMA架构的话,前端总线很容易造成瓶颈NUMANUMA中文翻译:非一致性内存访问NUMA解决了UMA架构所有C
比特微联
·
2024-02-19 13:58
云计算
云计算
基础-虚拟化概述
虚拟化概述虚拟化是一种资源管理技术,能够将计算机的各种实体资源(如CPU、内存、磁盘空间、网络适配器等)予以抽象、转换后呈现出来并可供分割、组合为一个或多个逻辑上的资源。这种技术通过在计算机硬件上创建一个抽象层,将单台计算机的硬件元素(处理器、内存、存储等)分成多个虚拟计算机(通常称为虚拟机(VM))。每个虚拟机都会运行自己的操作系统(OS),其行为就像一台独立的计算机,即使它只在一部分实际底层计
比特微联
·
2024-02-19 13:28
云计算
云计算
基础-
云计算
概念
云计算
定义
云计算
是一种基于互联网的计算方式,通过这种计算方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。
云计算
依赖资源共享以达成规模经济,类似基础设置(如电力网)。
比特微联
·
2024-02-19 13:27
云计算
笔记
云计算
基础-存储基础
存储概念什么是存储:存储就是根据不同的应用程序环境,通过采取合理、安全、有效的方式将数据保存到某些介质上,并能保证有效的访问,存储的本质是记录信息的载体。存储的特性:数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统:文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NANDFlash的固态硬盘)或分区上的文件的方法和数据结构,即在存储设
比特微联
·
2024-02-19 13:27
云计算
云计算
----虚拟化概述、CPU虚拟化、内存虚拟化、IO虚拟化、aSV虚拟化、aSAN等技术原理
1、虚拟化概述(1)虚拟化的几个概念GuestOS:运行在虚拟机之上的操作系统GuestMachine:虚拟出来的虚拟机Hypervisor(VirtualMachineMonitor):虚拟化软件层/虚拟机监控器HostOS:运行在物理机之上的OSHostMachine:物理机(2)Hypervisor架构TYPE-II(宿主型、高居型):VMM之下还有一层宿主操作系统,GuestOS对硬件资源
冷鞘
·
2024-02-19 13:53
云计算
云计算
基础-存储虚拟化(深信服aSAN分布式存储)
什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘,实现服务器存储资源的统一整合、管理及调度,最终向上层提供NFS、ISCSI存储接口,供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。存储中的基本概念IOPS每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值
比特微联
·
2024-02-19 13:19
云计算
抖音为什么这么火
这种社交形态是以短音乐与短视频相结合的方式,而且它会根据
大数据
推荐当前最新最火的短视频给你看,第一时间抓住你的注意力,吸引你的眼球。从抖音的运营看,抖音成立于2016年9月,在探索蛰伏了
追宇
·
2024-02-19 13:57
ACK One:构建混合云同城容灾系统
作者:蔡靖对于当前业务运行在IDC内的Kubernetes集群中,希望通过
云计算
为云下业务提供同城灾备的高可用冗余能力,可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理,实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·
2024-02-19 12:35
从互联网到
云计算
再到 AI 原生,百度智能云数据库的演进
1数据库行业发展概述如果说今年科技圈什么最火,我估计大家会毫不犹豫选择ChatGPT。ChatGPT是2022年11月30日由OpenAI发布的聊天应用。它创造了有史以来用户增长最快的纪录:自11月30日发布起,5天就拥有了100万活跃用户,两个月就达到了一亿用户。对比其他热门应用,同样达到一亿用户量级,TikTok花了九个月,而像Instagram,Whatsapp等应用则超过了两年时间。Cha
·
2024-02-19 12:33
人工智能云原生云计算百度
阿里云 ACR 制品中心 AI/
大数据
镜像专场上新推荐榜
随着容器技术和服务在企业的应用程度不断加深,企业对于容器的使用也越来越多地从在线业务逐渐向AI、
大数据
类型的工作负载发展。
·
2024-02-19 12:02
阿里云云原生容器镜像
ACK One:构建混合云同城容灾系统
作者:蔡靖对于当前业务运行在IDC内的Kubernetes集群中,希望通过
云计算
为云下业务提供同城灾备的高可用冗余能力,可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理,实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·
2024-02-19 12:31
投票助力 | 第19届(2023)数智招标采购行业年度评选网络投票已开启!
评选组委会经过为期一个多月的奖项申报、初选等环节,本着客观、公正的评审原则,以必联网和隆道平台
大数据
为依据,从业务水平、项目业绩
隆道
·
2024-02-19 12:43
大数据
人工智能
微信公众平台
大数据
提醒你:中国这些古建筑,可能是下一个巴黎圣母院!
2019独角兽企业重金招聘Python工程师标准>>>大家晚上好,我是今天的提笔人嗅嗅。巴黎圣母院失火事件让我的心情很沉重,一句无关痛痒的安慰“巴黎不哭”,已经不能表达我对这场文化之殇的惋惜之痛,人类伟大的建筑在一瞬间被毁灭。世界唯一的不变的就是变化,且我们永远赶不上变化的速度,因为做不到预知未来,或者说预测的不够精准。这句话在过去是完全适用的,受限于科技水平、数据缺失等各方面的因素,曾经的很长时
weixin_33696822
·
2024-02-19 12:06
大数据
python
JVM(4)原理篇
以基础篇的这段代码为例:Java中的8
大数据
类型在虚拟机中的实现:boolean、byte、char、short在栈上是不是存在空间浪费?
梵高Coding
·
2024-02-19 12:05
JVM
jvm
java
「企业应用架构」应用程序架构的当前趋势
应用架构概述随着各种力量(云、移动、社交和
大数据
)的相互联系不断涌现,不利用这些力量的组织在未来将面临严重的业务劣势。
架构师研究会
·
2024-02-19 12:15
架构
【
大数据
】HADOOP-YARN-ContainerExecutor容器启动器详解
在NodeManager中,有三种运行Container的方式,它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中,我们就能看得出来,默认情况下,一定使用的是DefaultContainerExecutor。而一般情况下,DefaultContainerExecutor也确实能够满足我
笑起来贼好看
·
2024-02-19 11:38
Hadoop
大数据
hadoop
大数据
linux
【
大数据
】HADOOP-Yarn集群界面UI指标项详解(建议收藏哦)
目录首页(Cluster)节点信息SchedulerMetrics:集群调度信息节点信息详解(Nodes)应用列表信息(applications)队列详情页(Scheduler)指标详细说明(非常重要)首页(Cluster)集群监控信息指标详解AppsSubmitted:已提交的应用AppsCompleted:已完成的应用AppsRunning:正在运行的应用ContainersRunning:正
笑起来贼好看
·
2024-02-19 11:08
Hadoop
大数据
服务运维部署
大数据
hadoop
分布式
yarn
python毕设选题 -
大数据
上海租房数据爬取与分析可视化 -python 数据分析 可视化
为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是基于
大数据
上海租房数据爬取与分析可视化学长这里给一个题目综合评分(每项满分5分)难度系数:3分工作量:3分创新点:5分1课题背景基于
DanCheng-studio
·
2024-02-19 11:54
毕业设计
python
毕设
python毕设选题 -
大数据
二手房数据爬取与分析可视化 -python 数据分析 可视化
为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是基于
大数据
招聘岗位数据分析与可视化系统学长这里给一个题目综合评分(每项满分5分)难度系数:3分工作量:3分创新点:5分1课题背景首先通过爬虫采集
DanCheng-studio
·
2024-02-19 11:54
毕业设计
python
毕设
python毕设选题 -
大数据
商城人流数据分析与可视化 - python
大数据
分析
为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是基于
大数据
的基站数据分析与可视化学长这里
DanCheng-studio
·
2024-02-19 11:24
毕业设计
python
毕设
教育正悄悄发生一场革命|一场数据驱动的教育革命
又被托夫勒蒙对了读书心得:如果回顾近20年来教育的演变历史,以上表面上的转折所带来的变化,会不约而同指向几个具体技术的成熟:可视化、社交网络、分部式系统、大量数据,以上关键词加在一起,有另外一个词汇:
大数据
托克托127白燕妮
·
2024-02-19 11:15
python毕设选题 -
大数据
全国疫情数据分析与3D可视化 - python
大数据
为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是
大数据
全国疫情数据分析与3D可视化学长这里给一个题目综合评分(每项满分5分)难度系数:
DanCheng-studio
·
2024-02-19 11:47
毕业设计
python
毕设
(四十)
大数据
实战——Zabbix监控平台的部署搭建
前言Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制,允许用户为几乎任何事件配置基于邮件的告警,这样可以快速反馈服务器的问题。基于已存储的数据,Zabbix提供了出色的报告和数据可视化功能。Zabbix支持轮询和被动捕获。基于Web的前端页面确保您的网络状态和服务器健康状况可以从任何地方进行评估。在经过适当的配置后,Zabbix可以在监控IT基础
厉害哥哥吖
·
2024-02-19 11:45
大数据
大数据
手机号码归属地API:构建精准营销与风险管理的新工具
随着
大数据
和人工智能技术的发展,手机号码归属地API已经成为企业精准营销和风险管理的新工具。本文将探讨这一技术如何帮助企业在竞争激烈的市场中脱颖而出。
·
2024-02-19 11:56
api
如何抓住游戏背后的
云计算
机遇?
导语|2024年伊始,《幻兽帕鲁》的火热就为新一年的游戏市场带来了极高的热度,无论是超千万份的销量还是关于游戏“缝合”与“借鉴”的争议,都使得开年游戏市场的销售前景与话题度拉满。而在游戏市场之外,云服务市场尤其是其面向个人或小团队的服务器租用服务,也意外凭借《幻兽帕鲁》的走红而完成了一次破圈。今天,我们特邀了中国信通院低代码/无代码推进中心技术专家沈欣老师,他将带我们解读从《幻兽帕鲁》游戏爆火聊聊
·
2024-02-19 11:24
程序员人工智能云计算
【知识整理】产研中心岗位评定标准之
大数据
岗位
为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;一、定级定档目的通过对公司现有岗位及相应岗位员工的工作能力、工作水平进行客观公正评定,确定各岗位的等级及同等级岗位员工对应的档级,从而为员工以后的晋升、奖励、收入等提供目标、依据和标准,实现人力资源的优化配置。二、定级定档说明定级定档是体现岗位及员工价值的有效途径。不同岗位角色所需专业知识、
卢卡上学
·
2024-02-19 11:39
大数据
bigdata
团队建设
招聘
团队管理
数据分析
阿里
云计算
平台
大数据
基础工程技术团队直聘!!!
大数据
基础工程技术团队,隶属于阿里云智能集团计算平台事业部,是一支负责阿里集团、公共云和混合云场景计算平台
大数据
&AI产品的稳定性建设、架构&成本优化、运维产品ABM(ApsaraBigdataManager
·
2024-02-19 11:20
大数据
企业级
大数据
安全架构(一)平台安全隐患
作者:楼高引言当谈到企业级
大数据
平台时,安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性,
大数据
平台面临着多种安全隐患,需要得到充分的关注和解决,以确保其在生产环境中可靠可用。
·
2024-02-19 11:48
大数据企业级安全性
“数智乡村”数字人源码助力乡村振兴!
“数字乡村”强调数字技术在乡村振兴过程中的应用,“数智乡村”则指综合利用人工智能、
大数据
、区块链、
云计算
、物联网等数智技术,建设以乡村数智操作系统为代表的乡村新型基础设施,推动乡村产业数智化、乡村治理现代化
·
2024-02-19 11:13
人工智能
大数据
01-导论
零、文章目录
大数据
01-导论1、数据与数据分析**数据:是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。
李宥小哥
·
2024-02-19 11:32
大数据
大数据
U盘版便携式Linux制作, casper-rw 解析
现在的
云计算
技术可以部分解决这个问题,但是远远不够。我的理想境界是,无论身处何地,一开机,看到的就是自己的电脑,或者相当于自己的电脑!
叶广明_微信ye_guangming
·
2024-02-19 11:59
linux
Python课堂08——六
大数据
类型之字符串(二)
文章目录一、字符串的基本操作1.字符串的判断2.字符串的查3.字符串的改二、格式化输出1.f格式化——比较常用2.%占位符三、for循环遍历字符串四、字符串的嵌套总结过完年了,继续回来跟着博主来学习python吧一、字符串的基本操作1.字符串的判断islower():判断字符串里的所有字符是不是都是小写,返回True或者Falses='uinujiv'print(s.islower())#True
莘薪
·
2024-02-19 11:28
Python
python
java
Python课堂07——六
大数据
类型之字符串(一)
文章目录内容概要一、字符串的发展?二、字符串的基本用法及其特点1.定义2.字符串的‘加减乘’3.索引和切片4.成员运算符in5.原生字符串总结内容概要前面我们了解了数据类型中的数值类型,接下来让我们继续来了解python中的其他数据类型。本节字符串的内容比较多,故我们分两节来进行讲述。一、字符串的发展?由于计算机内部只识别二进制,但是用户在使用计算机的时候却可以看到各式各样的语言字符,因此就产生了
莘薪
·
2024-02-19 11:57
Python
python
开发语言
大数据
,对于生活的改变
谷歌通过对于疾病的查询量可以预测一个个h1n1病毒的大爆发,
大数据
时代对于人的考验用户的搜索记录就是一种信息,这种信息会满足其基础相关的词条与其有关的词条(最为原始的搜索机制,国内的搜索引擎都是采用这种基础原理
待
·
2024-02-19 11:53
大数据之路
生活
JVM工作原理与实战(三十八):JIT即时编译器原理
专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解
大数据
目录专栏导航前言一、JIT即时编译器二、HotSpot中的JIT编译器三、JIT优化技术1.方法内联2.逃逸分析四、JIT优化建议总结前言
橘子-青衫
·
2024-02-19 11:20
JVM工作原理与实战
java
jvm
后端
架构
Python课堂12——六
大数据
结构之集合
.基本操作3.成员运算符(in;notin)4.计算集合的长度——len()5.复制集合——copy()6.集合的集合运算总结前言Python中的数据结构马上就要结束了,今天我们来学习Python中六
大数据
结构的最后一部分集合
莘薪
·
2024-02-19 11:20
Python
python
开发语言
智慧公厕的主要应用
智慧公厕运用物联网、互联网、
大数据
、
云计算
和自动化控制等技术,实现了对公厕内部各方面情况的全面监测和精细管理。
中期科技ZONTREE
·
2024-02-19 10:52
智慧厕所
智慧公厕
中期科技
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他