news 2026/6/10 17:01:25

CDN动态加速路径计算集群间数据同步优化方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CDN动态加速路径计算集群间数据同步优化方法

背景

实时路径计算服务作为动态加速平台核心组件,针对动态交互数据无法缓存于边缘节点,需要实时与客户源站进行交互,同时考虑客户接入点到客户源站之间复杂网络情况以及客户源站突发峰值的不确定性,实时路径计算服务能够避开网络拥塞、突发流量、源站服务压力高、服务设备宕机等诸多不利因素导致丢包、响应慢、服务不稳定等问题,叠加压缩传输、协议优化、链路复用等技术,承担起动态加速平台的智能选路功能

路径计算服务目前部署于全国三大区域机房内,每个区域内三台机器组成一个服务集群,三大区域之间采用主备备模式,全网CDN边缘主机组的基础探测数据都往一个主区域内的路径计算服务集群上报,故障情况下由域名调度实现主备区域角色的切换来解决服务的高可用性,不能利用备区域实现分布式计算及容错能力

存在的问题

随着CDN业务发展,边缘主机组增多,基础探测数据量增大,导致实时路径计算服务压力增大,此时只能横向扩展服务,压力还是存在于一个区域内的服务集群里,其它备区域服务集群则很空闲,无法垂直扩展分摊压力

基础探测数据不能按区域就近上报,全网CDN边缘主机组都往一个主区域内的服务集群上报,如果某局部网络故障,将导致此故障地区无法上报基础探测数据和获取最优路径结果;如果不幸主区域内的服务集群故障(主区域表示全网基础探测数据都往此汇聚的区域,基础探测数据是路径计算的基础数据),将导致主区域无法提供路径计算服务。对于以上故障,如果进行边缘节点域名调度切换到另一个备区域,由于各区域路径计算集群之间没有实现数据同步,导致切过来的一段时间路径计算不准确(缺少最新的各层级基础探测数据),影响客户加速

优化目的

实现路径计算服务在不同区域内的路径计算服务集群之间的数据同步功能,打破各区域数据孤岛问题而导致的边缘主机组基础探测数据无法在各区域来回切换上报,并可以按区域实现垂直扩展,达到去中心化,解决高可用的同时,也提高了计算速度

各区域具备数据同步功能后,每一个区域内都是全量边缘主机组的基础探测数据(包括路径的中间节点等),边缘主机组基础探测数据根据域名调度解析按区域就近上报(而不是只上报到一个主区域),在故障情况下,可以通过域名调度切换到一个可用的区域,零时延切换为用户继续提供准确的路径计算服务

优化方法

整体服务架构

集群间数据同步模块

1.路径计算服务接收到边缘主机组上报的基础探测数据和其它区域集群同步过来的基础探测数据

2.对收到的基础探测数据,判断是增量数据还是同步数据

3.1如果是增量数据,则进行路径计算并下发结果,基础探测数据存储到本区域集群

3.2增量数据同时也需要同步一份到其它区域,通过自定义消息格式控制数据的不同状态,并使用grpc+proto数据协议同步到其它区域集群

4.数据存储模块,存储增量数据与同步数据

同步数据接收模块

1.边缘节点基础探测数据开始上报

2.域名解析,查看上报区域是否发送改变

3.1如果上报区域发生改变,则上报到最新调整后的区域路径计算服务,并开始路径计算

3.2如果上报区域没有改变,则上报到原有区域路径计算服务

4.通过自定义消息格式控制数据的不同状态,并使用grpc+proto数据协议同步到其它区域集群

优点和效果

实现路径计算服务在不同区域内的路径计算服务集群之间的数据同步功能,打破各区域数据孤岛问题而导致的边缘主机组基础探测数据无法在各区域来回切换上报,并可以按区域实现垂直扩展,达到去中心化,解决高可用的同时,也提高了计算速度

各区域具备数据同步功能后,每一个区域内都是全量边缘主机组的基础探测数据(包括路径的中间节点等),边缘主机组基础探测数据根据域名调度解析按区域就近上报(而不是只上报到一个主区域),在故障情况下,可以通过域名调度切换到一个可用的区域,零时延切换为用户继续提供准确的路径计算服务

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 12:05:18

杨建允:AI搜索趋势对教育培训行业获客的影响

AI搜索正重塑教育培训行业的获客逻辑。一、AI搜索带来的核心变革1.精准获客‌:AI通过分析用户搜索历史、兴趣偏好等,实现精准客户画像。例如,教育机构可针对“小升初辅导”“雅思备考”等需求,AI搜索可定向优化相关内容&#xff0…

作者头像 李华
网站建设 2026/6/10 12:51:27

10分钟玩转Hunyuan3D-1:零代码生成专属3D虚拟宠物终极指南

10分钟玩转Hunyuan3D-1:零代码生成专属3D虚拟宠物终极指南 【免费下载链接】Hunyuan3D-1 腾讯开源的Hunyuan3D-1项目,创新提出两阶段3D生成方法,实现快速、高质量的文本到3D和图像到3D转换,融合Hunyuan-DiT模型,优化艺…

作者头像 李华
网站建设 2026/6/10 12:27:02

以太坊Fusaka(经济篇)—— 交易费腰斩再腰斩,Layer2成本“雪崩“?

【导读】以太坊的Fusaka升级,官方路线图里最醒目的关键词之一不是「TPS」,也不是「DeFi」,而是一个看起来有点抽象的东西:Blob。它和我们平时嘴里的Gas不一样,却正在悄悄改变以太坊整条经济曲线——尤其是Layer2的手续…

作者头像 李华
网站建设 2026/6/10 7:09:25

测试工程师的“第二曲线”技能探索

为什么测试工程师需要“第二曲线”?‌ 在查尔斯汉迪的“第二曲线”理论中,任何职业或组织都应在上升期主动探索新路径,避免因依赖原有模式而走向衰退。软件测试行业正处在这个拐点:随着DevOps和持续集成成为常态,传统…

作者头像 李华
网站建设 2026/6/10 7:23:26

48小时攻克测试岗——闪电面试极速备战手册

当机会来敲门 2025年的科技招聘市场依然充满变数,一个突如其来的面试机会可能改变你的职业轨迹。对于软件测试工程师而言,"闪电面试"既是挑战也是机遇——它考验着你的知识储备、应变能力和专业素养。本文专为测试从业者设计,帮你…

作者头像 李华
网站建设 2026/6/10 12:24:57

量化投资绩效分析自动化:告别手动Excel计算,5分钟生成专业报告

量化投资绩效分析自动化:告别手动Excel计算,5分钟生成专业报告 【免费下载链接】backtrader 项目地址: https://gitcode.com/gh_mirrors/bac/backtrader 还在为繁琐的量化策略绩效分析而头疼吗?手动在Excel中计算夏普比率、最大回撤等…

作者头像 李华