云计算与边缘计算协同服务的研究

姓 名:王嘉良           学 号:20181213882             学 院:广研院

版权声明:转自CSDN@「Sivan_10」

原文链接:https://blog.csdn.net/qq_40302324/article/details/108581239

嵌牛导读在物联网、云计算等技术被广泛应用的背景下,越来越多的终端设备数量加入网络,据统计,2020年后全球联网终端数量将超过500亿。海量的终端数量以及用户要求的低延迟使得集中式云计算不再满足现有需求,边缘计算应运而生。Gartner预计,到2022年,随着数字业务的不断发展,75%的企业所生成的数据将会在传统的集中式数据中心或云端之外的位置被处理,而到2025年,80%的企业将关闭传统数据中心。

嵌牛鼻子云计算、边缘计算

嵌牛内容

云计算与边缘计算发展背景

   边缘计算指在数据源头一侧,拥有网络、计算、存储、应用核心能力的开放式平台。边缘计算提供在快速连接、业务实时、数据融合、智能应用、安全隐私保护等方面满足行业数字化转型所需要的智能服务。云计算在云端对数据进行处理、算法决策,与边缘计算的差异体现在多源异构数据处理、带宽负载和安全等方面。

   边缘计算在网络边缘进行分析、处理、存储数据,同时云计算与边缘计算将协同融合进行工作,是云计算与边缘计算发展的方向。基于云计算注重非实时、长周期的大数据分析,而边缘计算注重实时、短周期数据分析的特点,云边协同可以是云计算分析优化业务规则将其传递到边缘,进而边缘计算基于业务规则进行智能处理。

云边协同服务

云边协同管理及参考框架

云边协同管理

   边缘计算是涉及到EC-IaaS、EC-PaaS、EC-SaaS的端到端开放平台。典型的边缘计算节点中网络、虚拟化资源、RTOS等属于EC-IaaS能力,数据面、控制面、管理面等属于EC-PaaS能力,行业应用属于EC-SaaS能力。

   边云协同涉及IaaS、PaaS、SaaS各层面的协同。EC-IaaS与云端IaaS可实现对网络、 虚拟化资源、安全等的资源协同,EC-PaaS与云端PaaS可实现数据协同、智能协同、应用管理协同、业务管理协同,EC-SaaS与云端SaaS可实现服务协同。不是所有云边协同场景下都会涉及到所有的云边协同能力,在具体场景中结合实际,会使用不同的协同能力,且不同场景下,云边协同能力也会存在差异。


 服务协同中,边缘节点根据云端策略实现部分ECSaaS服务,通过ECSaaS与SaaS的协同实现面向客户的按需SaaS服务,云端主要提供SaaS服务在云端和边缘节点的服务分布策略,以及云端承担的SaaS服务能力。

   业务管理协同,边缘节点提供模块化、微服务化的应用实例,云端根据功能需求实现业务编排能力。应用管理协同,边缘节点进行应用部署,同时对多个应用的生命周期进行管理,云端进行应用开发和环境测试,以及对应用生命周期管理。智能协同,边缘节点根据模型执行功能,实现分布式运算,云端进行对模型的集中式训练,并将模型更新到本地边缘节点。数据协同,边缘节点负责终端数据的采集,按照业务规则和模型对数据进行初步的处理,将处理结果及数据传送到云端,云端进行海量数据的存储、分析与挖掘。云边的数据协同支持数据在云和边缘之间进行有序可控流动,形成完整数据流通路,在高效率低成本的前提下进行生命周期管理与数据价值挖掘。

   资源协同,边缘节点提供计算、存储、网络、虚拟化等基础设施,同时与云端进行协同,执行云端资源调度管理策略,包括边缘节点的设备管理、资源管理以及网络联接管理。

云边协同参考框架

   支持云边协同参考架构需考虑其连接能力、信息特征、资源约束性、资源、应用于业务的管理编排。根据以上因素,对云边协同参考架构的模块进行规划。

   边缘侧包含基础设施能力、边缘平台能力、管理与安全能力、应用与服务能力。基础设施能力需包含计算、存储网络、各类加速器以及虚拟计划能力,考率嵌入式对时延等方面的要求。边缘平台能力包含数据协议模块(可扩展支撑行业通信协议)、数据处理分析模块。管理包括边缘节点设备、基础设施资源、边缘应用管理等。安全则为多层次安全,包括芯片级、操作系统级、平台级、应用级等。应用与服务分为两类进行考虑,具备部分特征的应用于服务部署在边缘节点,部分部署在云端,云边协同提供一站式应用服务;部分模块部署在边缘节点,部分模块部署在云端,云边协同提供某一整体的应用与服务。

   边缘侧包含平台能力及边缘开发测试云。平台承担边缘接入、数据处理分析、边缘管理与业务编排。数据处理分析需对时序数据库、数据整形、筛选、大数据分析、流分析、函数、人工智能集中训练进行规划。边缘管理与业务编排需对边缘节点设备、基础设施资源、应用、业务等生命州及管理以及各类应用的业务编排进行规划。在某些场景中,涉及通过提供云边协同的开发测试能力以满足整个生态系统发展需求。



云边协同模式

   云边协同分为三种模式:训练计算的云边协同,云端根据边缘所上传的数据对模型进行设计、训练,边缘负责收集数据并根据最新的模型进行处理。云导向的云边协同,云端承担模型的设计、训练和更新, 以及模型前段的计算任务, 并将中间结果传输给边缘端, 让边缘端继续执行计算任务得到最终结果,主要目的是使云端和边缘端的计算量和通信量较为均衡。边缘导向的云边协同,云端只负责初始的模型训练工作, 边缘端下载已经完成训练的模型,在执行计算任务的同时,实时利用数据对模型进行后续训练,通过该模式,模型能够更好的时应应用的个性化需求,优化对局部数据的利用效果。

   学者提出了一种双层的多云中心协同范式,利用上层云中心和边缘云协同工作,进行有效的移动的复杂计算,是上述所提及的边缘导向的云边协同模式。其中,终端设备(摄像头)收集图像、视频等数据,并将其压缩后发送给边缘节点,边缘节点运行轻量级的物体检测算法,挑选出不能检测的图像或之心度较低的检测结果发送到云端,云端对数据进行全面的计算、处理,同时整合边缘节点的数据,更新在边缘节点的算法模型。整个应用由于是基于无线终端,因此部署简单。与传统的云计算相比,此处体现了云边协同的极大优势,边缘节点延迟较低,将数据压缩并在边缘节点处理,保持精度的同时降低带宽占用,云端整合多个边缘节点数据并帮助更新模型,则将精度进一步提高。

   在模型中,压缩图像使用的不是JPEG,而是将图像中的关键区域保留,压缩其他区域,以此保持检测精度。网络状况的不稳定,压缩率过高导致精度降低,由此需在压缩率和精度之间做权衡。终端使用的压缩与之根据边缘节点的检测准确度进行合理调整,使用的模型由云端进行线下训练,在云端收到边缘节点发送的无法识别数据时,云端将此物体相关的图像加入训练集,重新训练后,更新模型并将新的模型推送给边缘节点。

MEC云边协同

   MEC在移动网边缘提供IT服务环境和云计算能力,通过在网络边缘服务器执行密集型计算任务,以降低核心网络和传输网络的拥塞,从而减小网络带宽压力,降低时延,提升用户体验。

   传统网络结构由三个部分组成:无线接入网,由基站组成,负责移动终端的接入;移动核心网,由高性能路由器和服务器组成,将无线基站连接到外部网络;应用网络,由应用服务器包括数据中心和服务器等组成。通过这种传统的网络结构,进行用户终端和应用服务器中数据的传递,完成用户的业务需求。

   随着服务如AR/VR的出现,传统的网络结构已经无法支撑,从而衍生出MEC,将网络业务下沉到接近用户的边缘侧,从而达到减小时延、避免网络拥塞的目的。

本地分流

   本地分流将部分业务流直接导向到本地网络而不上传到Internet,或将业务分流到部署在边缘节点的应用中,在本地进行实时处理分析。

   对用户而言,本地分流带来的益处体现在低时延、高带宽提供的良好业务体验。基于本地分流极强的地域性,业务提供商可针对指定区域内用户提供定制业务。对运营商而言,本地分流最大一处在于降低网络负担,减少网络流量在核心网和骨干网中的流动,对于提升网络效率存在巨大意义。

   本地分流涉及业务流识别、本地业务提供、计费运营等,因此边云协同主要包括资源协同、数据协同、应用管理协同、业务管理协同。资源协同包括计算、存储、网络、虚拟化等基础设施调度管理的协同以及相关设施资源的运营协同。其中网络资源多为无线资源为,对于实时性、确定性要求较高。由于MEC边缘节点资源丰富,进行基础设施资源调度时,边缘节点负责边缘基础设施资源管理,同时受云端资源管理,云端负责对区域内的基础设施作整体资源调度与管理。运营要求边缘节点提供计费原始信息,对本地分流进行动态监测,并根据云端所设定的策略执行分流。不同业务类型对云边数据协同要求迥异,如视频点播类业务,是从云到用户单向推送,主要需求为降低时延,边缘节点通过提供部分业务和数据缓存,有效降低时延;监控等业务类型中,主要是从用户到云端单向回传,主要需求为降低上行带宽,此时需要MEC在本地对数据进行初步处理分析,并根据云端业务规则上传部分数据,减小数据上传压力和网络拥塞;双向互动类业务如VR/AR等,同时对降低带宽和时延有要求,MEC根据业务规则,需进行数据缓存、计算处理,并将部分数据送至云端。


网络能力开放

   运营商通过网络能力开放,提升通信网络的各类底层信息的价值。网络中产生的大量数据,包括用户位置信息、服务质量等由于价值密度低,未能被完全利用,运营商可进行业务开发或将数据信息打包以API形式提供给第三方,用于提升第三方用户体验。

   网络能力开放涉及网络能力的开放和运营管理,因此其云边协同包括资源协同、业务管理协同。边缘侧提供API使用计费的相关原始数据信息,云端进行计费,同时边缘侧对API的使用情况进行动态监测,并执行云端定义的业务规则,云端根据API的监测数据进行处理分析,对业务规则进行智能调整。


MEC云边协同技术

   将网络能力原子化封装,以此将网络能力以微服务和为模块的方式对外开放。微服务架构中,每个服务运行在单独的进程,并使用HTTP API等轻量级通信机制,是基于业务能力进行搭建,能够进行自动化部署,并保持最低限度的集中式管理。网络能力原子化封装提供的接口更加通用,实现了真正的跨平台,并能够进行分布式去中心化的部署,更适用于众多场景。

   网络及虚拟化编排涉及通信运营商类网元的各项功能和APP的管理编排。对于传统的MANO,只能管理满足ETSI-NFV规范的VNF。在边缘侧业务平台中,在部署VNF的同时,还需部署第三方的边缘应用。此时传统的MANO无法实现对于业务和APP的管理编排,需增加编排模块MEPO和MEPM,以实现诸多的生命周期管理。

云边协同亟待解决的问题

   边缘计算CROSS价值体系包括五个方面,联接的海量和异构(Connection),业务的实时性(Real-time),数据的优化(Optimization),应用的智能性(Smart)和安全隐私保护(Security)。近几年,网络中各种类型联接设备数量剧增,多种工业以太网共存,同时工业现场中存在大量异构的总线联接,导致网络可扩展难度加大,运维成本升高,可靠性无法保障。在实际生产环境中,多种应用场景都存在对实时性的高要求,尽管已经云边协同模式已经将部分业务规则及模型转移到边缘侧,但可能出现的边缘节点无法处理的数据,将其发送到云端重新进行训练处理后,再将模型更新到边缘,将导致无法满足用户需求的时延,此处需根据实际应用场景,考虑此种情况下的业务规则。目前,工业领域和物联网产生大量的多样化和异构数据,所以有必要数据优化实现聚合数据和数据的统一,以促进边缘应用灵活和有效。安全保障实现需从云端到边缘计算节点,边缘侧靠近终端设备,访问控制和威胁防护的难度等级高,需要保障包括设备安全、数据安全、应用安全、网络安全。同时在数据传输中,尽管边缘计算在边缘节点对数据进行处理,但由于和云端进行数据流通的某些需要,仍然要将数据上传到云端,需在此过程中保证数据得完整性和保密性。

结论

   每年都以指数级规模增长的数据对云边协同提出了要求,在网络边缘处理大部分数据是现阶段减少核心网络流量、减少网络拥塞的最佳方案。通过云端和边缘计算节点的智能协同工作,放大云计算和边缘计算的应用价值。MEC的云边协同应用场景中,通过针对边缘侧进行业务开发和将数据信息打包以API的形式开放,都能有效提高通信网络底层的信息价值。

目前云边协同的应用仍然存在诸多问题,相信通过调整更详细的云端策略、新技术的开发和智能协同,能够优化云边协同在众多场景的应用,为未来科学技术的可持续发展注入新的活力。

你可能感兴趣的:(云计算与边缘计算协同服务的研究)