骨干網(Internet Backbone Network)是連接國與國、城市與城市之間的高速互聯網絡。如下圖所示，它通過海纜和路纜，將分布在世界各地的數據中心連接起來，是互聯網辦事提供商和云計算辦事提供商的重要基礎設施，肩負著滿足全球范圍內網絡數據通信需求的重任。

　　全球骨干網示意圖

　　骨干網的角色如此重要，以至于與此有關的話題，常常會引起業界的關注和討論。作為云計算的基礎，國內的云計算辦事提供商是如何運維本身的骨干網的?又是如何實現自動化運維的?有哪些值得分享、思考的經驗和做法?作為一名從業 10 年的網絡架構師，我向大家介紹一下金山云骨干網的現況，希望對大家有所幫手。

　　如何快速發現骨干網級別故障?

　　首先簡要介紹一下建設進展。金山云目前在北京和上海兩地之間租用專線搭建起了骨干網絡，根據計劃，本年金山云會在廣州安排節點，將進一步擴大環網規模，搭建北上廣骨干環網，大幅提升金山云公有云辦事的網絡質量SLA。

　　當然，這并不是說建設骨干環網后就不會出故障了，，對于互聯網公司和云計算辦事商來說，運營商的骨干網絡故障是很讓人頭痛的，因為在通常情況下，這種故障會影響到多個省份用戶網絡的拜候質量。

　　例如， 2016 年 11 月 19 日晚 8 點，包孕華南、西南、華中等在內的國內多個地區，超過 10 個省份的用戶，在拜候華北地區的辦事節點時，均出現了問題。測試結果顯示，ICMP丟包率高達30%，延遲增大了約100ms，這種級另外丟包率和延遲情況，如果不及時處理，將導致用戶的業務嚴重受損。

　　那么，對于這種骨干網級另外故障，云辦事商能否做到快速發現定位呢?當然是可以的。

　　金山云的做法是，通過自研開源監控的方式，研發出辦事于金山云整個骨干網的網絡質量監控系統(Netbench)。

　　金山云網絡質量監控系統監控圖

　　如上圖所示，金山云的這套系統支持多地區、多ISP監控，可在運營商發生骨干網故障時，快速發現并準確定位故障，同時采用電子地圖這種直不雅觀形式，顯示出各省份各地級市的網絡質量(延遲、丟包等數據)，如果某地出現問題，地圖上相應位置的顏色就會變得差別。

　　金山云網絡質量監控系統架構圖

　　金山云這套網絡質量監控系統的主要特點，分為定位策略、主要功能、應用場景三部分：

　　一、定位策略

　　抓取拜候客戶辦事的用戶IP作為監控目的IP;

　　多對多的監控模式，多個源IP監控全國各個省市的用戶IP(保證數據的準確性制止路由ecmp不均勻的問題);

　　通過對抓取到的IP進行篩選，排除掉一些不準確的IP，最終篩選出每省份數百個有效IP進行監控;

　　商用的IP地址庫與BGP IP結合對抓取到的IP進行區分(ISP、省、市等);

　　Master-Slave的安排模式，監控周期可精確到分鐘級(每 1 分鐘)。

　　二、主要功能

　　提供短信、微信、郵件告警;

　　提供故障時的MTR數據(平均每省份多個MTR)，可幫手判斷loss節點;

　　提供柱狀圖、歷史數據展示等功能，可追溯故障，查看故障時的丟包以及延遲情況;

　　可針對重要的IP進行指定監控。

　　三、應用場景

　　可覆蓋CDN、靜態、BGP等多網絡類型;

　　目前可針對EIP(計算)、KS3(存儲)、KLS(視頻)等業務類型進行監控。

　　骨干網調度架構圖

　　如何快速解決骨干網級別故障?

　　對于骨干網級另外故障，除了需要快速發現，更需要快速解決。

　　有些互聯網和云計算辦事提供商，會通過多線BGP切換故障ISP流量至其他的ISP的方式繞開故障點，由于我國南北互通問題，跨網拜候的質量很差，丟包和延遲都無法保證，并且在跨網切換時，會有較長時間的路由收斂，導致客戶長連接業務中斷。

　　金山云制止了這些問題。因為金山云的自建骨干網絡擁有支持跨區域調度能力，當出現故障時，能夠通過骨干網跨地區調度故障運營商流量，這種調度只是在同ISP差別地區之間的調度，只增加地區間的延遲，對整體丟包并無影響，這樣一來，整體辦事質量就得到了保障，同ISP內的路由切換收斂時間，可保證用戶無感知，在近幾次運營商南北骨干網故障中，金山云均做到了故障的快速調度恢復，客戶也不必再因為運營商骨干網的故障而頭疼了。

　　骨干網絡調度前后對比圖