1 概述
1.1 背景
借助SD-WAN技術，廣域網技術正在由傳統的封閉方式向靈活、連接混合（云）多數據中心及開放方式演進。并能根本地解決傳統廣域網面臨的一系列挑戰，諸如通過集中管理和零接觸部署，簡化部署、管理與維護。綜合利用MPLS、MSTP、Internet、4G等資源管道，提高傳輸效率，控制帶寬成本。通過DPI/流量規則（Traffic Path Rule）和網絡質量的測量，實現面向業務/應用的或基于鏈路質量的路徑選擇。通過對流量的感知與統計，實現在流量與性能的可視化管理等。
1.2 實施目標
H3C提出的AD-WAN廣域網SDN解決方案是對應行業通用叫法SD-WAN的產品形態呈現。方案核心在于允許企業利用低成本、易獲得的Internet接入能力，構建高性能的企業級廣域網，降低對于昂貴的傳統企業WAN連接技術的依賴性。
AD-WAN解決方案以SDN思想從多維度視角綜合考慮路由、流量流向、業務質量等多種關鍵因素，構建多維度智能調度系統，統一數據采集、分析、策略管理與下發，實現了集約的“多級網絡協同”，IP網絡資源均衡與一鍵式流量調度；融合拓撲、QoS、路由、流量等多維信息，構建全局動態在線網絡業務模型，實現了端到端延時路徑動態自動化計算。滿足企業大規模IP互聯網及業務智慧運營，幫助用戶實現企業IT數字化轉型。
1.3 適用范圍
H3C ADWAN分支解決方案基礎網絡采用IP轉發，支持Hub-Spoke兩級組網架構，支持混合WAN鏈路接入，適用于分支數量多，接入位置分散的企業總部分支組網場景。可以滿足企業用戶的部署自動化、網絡可視化、運維簡單化的關鍵需求。典型應用場景如圖3-1所示：
圖3-1 AD-WAN典型應用場景
方案通過支持混合WAN鏈路接入來充分利用線路帶寬。支持線路按調度策略自動化切換，以保障承載的重點業務的可靠性。
1.4 在工業互聯網網絡體系架構中的位置
圖3-2 工業互聯網互聯示意圖
該解決方案適用于上圖3-2中的6、7、8場景，重點解決企業總部與分支機構、上下游企業等之間的互聯互通，允許企業通過Internet、MPLS等混合WAN鏈路來構建可視化、自動化及高可靠的企業級廣域網，降低對于昂貴的傳統企業WAN連接技術的依賴，以實現線路帶寬的充分利用，基于業務策略的鏈路自動調度，以保障重點業務的傳輸質量。
2 需求分析
1）即插即用，網絡快速部署，動態定義網絡資源，分支快速上線
降低企業IT對分支用戶的IT技術依賴性，即使分支機構無專業網絡運維人員也可輕松完成分支機構的網絡快速開局。
2）基于智能路有技術實現流量調度，保障企業核心關鍵業務
傳統情況下，網絡潮汐、業務潮汐（如雙11、618、企業網絡學習），峰值業務流量較日常流量會有200%的增長。提升廣域網鏈路利用率，保障了業務質量與業務連續性，加強對各類業務的管控與全局負載均衡，降低廣域網專線鏈路支出。根據不同應用選擇網絡資源的質量和帶寬，挑選適合應用的最佳路徑。根據網絡變化提供自動化的流量調度，也可根據網絡變化實現告警，降低運營成本。
3）深度數據分析，實現網絡&業務可視化，洞察網絡實時狀態
提供管理人員對業務質量的實施掌握手段，能夠監控企業各IT應用的流量帶寬行為，為后續廣域網鏈路擴容、廣域網優先級業務帶寬分配等工作提供準確的數據依據，實現用戶從網絡規劃、部署實施到后期調優的全流程自動化、智能化，讓日日順物流更加聚焦于核心業務。
4）簡易運維，分鐘級故障響應和問題處理
廣域網分支站點規模龐大，在進行新業務的全網部署往往需要進行全網的業務配置。在發生網絡安全問題時，進行快速端口控制或在進行特定業務的管控配置下發與收回資源上，傳統手段往往耗費大量人力且易出現配置錯誤。實現了對內向業務部門、員工準確反饋問題，對外方便與運營商溝通，計算SLA。在出現鏈路故障后可迅速鎖定鏈路問題，將平均4小時的排障時間縮短至10分鐘。
5）接入節點分布廣泛、數量眾多，部署周期長、維護難度大
由于網點分布廣、設備數量龐大，分支前端缺乏有效的IT支持能力，加之傳統的路由器采用命令行的配置方式，因此會造成部署周期長，全程維護能力差，變更復雜，配置難度大、風險高，等諸多問題；隨著企業集中數據中心建設加快，業務向公有云、混合云的遷移，如何實現分支機構與云中虛擬數據中心的高效連接，將是網絡架構師面前新的難題。
6）傳統網絡技術、簡單僵化、難于滿足業務敏捷性的要求
傳統的路由方式（OSPF、PBR），只能機械、刻板地基于目標IP地址，而非業務內容進行路徑選擇；傳統方式只選擇所謂的最優路徑，無法在諸多網絡品質（帶寬、延遲、丟包率等）上不對稱的傳輸路徑間進行動態、智能的流量調度，保障用戶體驗。
企業都在為傳統的廣域網的價格、性能和靈活性而苦苦掙扎，而公共云應用程序的激增更是加劇了這種情況的惡化，46%以上數用戶的網絡架構仍舊遵循全網統一互聯網出口的模式，一方面造成訪問互聯網流量占據50%-80%的MPLS/VPN或專線帶寬，另一方面嚴重制約了對公有云應用的訪問性能。
7）廣域網帶寬與性能需求迅猛，成本壓力不斷攀升
不斷增長的帶寬需求是一把雙刃劍，雖然可以提升傳輸效率，但也會嚴重加劇企業IT的運維成本，尤其針對長途、甚至跨國的廣域網。拓展帶寬來源（如互聯網、LTE）、優化傳輸性能（帶寬優化、延遲優化）已經成為企業IT乃至公司決策層關注的關鍵問題。
8）缺乏網絡流量與性能的實時可視化監控
傳統廣域網場景下，需要部署大量的廣域網探針或廣泛地啟用Netflow技術，才能實現對網絡流量與性能的可視化管理，因此需要大量的成本投入，并加重網絡設備的工作負擔，因此嚴重制約了廣域網管理水平與使用效率。
3 解決方案
3.1 方案介紹
為了解決上述廣域網的痛點，H3C提出了AD-WAN廣域網SDN解決方案。支持通用CPE（uCPE）滿足企業分支邊緣的網絡云化，隨需部署VAS業務。降低企業成本，保障用戶體驗，助力用戶數字化轉型。
3.2 系統架構
圖3-3 AD-WAN系統架構
整個ADWAN分支解決方案分為網絡設備、控制器+APP、管理編排三個層次（如圖3-3所示）：
1）網絡設備層：網絡設備接收SDN控制器的控制和管理，支持通過SNMP、NETCONF、WEBSOCKET等協議和控制器進行通信。支持通過NQA、Netstream、Trap等協議完成對各種數據的采集和上報；
2）控制器+APP層：ADWAN分支解決方案的SDN控制器基于開源的ODL平臺，支撐各種APP集成；根據廣域網不同的場景，比如DCI網絡、骨干網、分支接入等，開發定制化、場景化的APP，滿足用戶在不同場景下的網絡需求；南向通過標準南向接口協議和設備互通；北向面向用戶提供定制化的API接口，實現和編排系統集成，滿足用戶差異化的業務需求；
3）管理編排層：通過調用APP提供的API接口，實現業務的策略定義、管理編排以及全網的實時監控、可視化呈現、及故障排查等，進而增強網絡的可視化呈現，簡化網絡的運維管理。
3.3 網絡拓撲設計
圖3-4 ADWAN網絡拓撲
3.3.1 場景說明
適用于大型企業的總部+多分支接入場景，分支方案主要包含總部和分支兩個層次，支持Internet、MPLS專線、MSTP專線等多種類型鏈路，總部與分支之間一般有多條路經（示例圖中以三條線路舉例說明）。
3.3.2 組網需求
? 基于專線、互聯網線路的應用調度，不同應用流量走不同鏈路
? 線路帶寬充分利用，支持線路切換，保障重點業務承載
? 當鏈路出現故障時，能夠為應用調整路徑
3.4 功能設計
3.4.1 零配置開局（ZTP）
設備開箱，上電后自動加載版本和軟件配置，分支人員零只需完成基本的Internet連接配置即可，由控制器控制完成分支設備的自動化配置上線。
當前AD-WAN分支解決方案支持三種設備自動化部署方式：
? U盤自動部署
? 郵件/短信自動部署
? 公有云自動部署
3.4.2 自動化網絡
1）Overlay網絡構建
基于underlay網絡連接關系，根據應用組部署的網絡范圍，通過AD-WAN控制器自動、手動或者自定義構建overlay網絡。
2）拓撲自動構建
在AD-WAN控制器上添加設備相關信息后，控制器在設備上線后自動收集設備信息和鏈路信息，自動呈現整網拓撲和設備、鏈路狀態。
3.4.3 應用識別
通過DPI（Deep Packet Inspection，深度分組檢測）技術深入讀取IP包載荷的內容來對應用層協議中的應用層信息進行重組，從而識別出IP包的應用層協議。
AD-WAN控制器可以通過將報文的內容與特征庫中的特征項進行匹配來識別報文所屬的應用。企業用戶既可以基于系統內置的特征庫來快速定義要識別的應用，也可以根據自己需求來自定義要識別的業務流量特征，為用戶提供了更精細化識別和調度用戶應用流量的能力。APR特征庫更是具有3000余種，滿足主流應用的絕大部分自動識別功能，支持持續在線更新，滿足企業未來IT升級。
3.4.4 智能選路
AD-WAN分支解決方案通過在企業分支和總部的廣域網鏈路上進行探針下發，采集網絡SLA信息。AD-WAN支持基于路徑優選、基于應用帶寬、應用質量以及時間段策略的選路和多重功能組合的智能流量調度功能，保障應用的網絡需求和用戶的最佳網絡體驗。
? 路徑優選：支持按指定鏈路為應用選路；
? 帶寬選路：支持基于應用帶寬要求進行靈活選路，當鏈路帶寬使用率達到指定閾值時，控制器支持自動算路方式來為業務自動選擇符合應用轉發要求的路徑；
? 應用質量選路：支持按照應用的質量（如鏈路時延、抖動及丟包率）要求進行選路，基于全網路徑選擇滿足應用質量要求的轉發路徑；
? 時間段策略：支持按照永久、周期以及指定時間段范圍進行策略下發和選路。
3.5 安全及可靠性
3.5.1 VAS業務隨選
AD-WAN解決方案引入了ICT融合網關，基于X86架構的企業級多業務路由器支持虛擬機、容器部署，通過AD-WAN的業務編排和統一生命周期管理，可以將企業需要的計算資源、安全資源（如vIPS、vFW等）隨需部署快速在企業的邊緣網絡。分鐘級安全策略下發，協助企業應對日益突出的網絡安全事件，提升企業業務安全。靈活的軟件隨選服務實現方式可以為用戶提供更加靈活的、可編程的、彈性的軟硬件一體化解決方案。這種方案的優勢是：可以根據用戶的需求，提供定制化或個性化的軟硬一體化基礎設施服務，可以支持如NFV等新技術，真正為用戶提供兼具可靠性、高性能以及可編程的穩健網絡解決方案。
3.5.2 可靠性
AD-WAN控制器作為整個分支廣域網的控制中心，其安全可靠性至關重要。AD-WAN解決方案提供集群HA部署方案，并支持控制器和網絡故障逃生功能，保證控制器的高可靠性，從而提升廣域網的健壯性。
3.5.2.1 控制器集群方案
AD-WAN控制器集群由3臺控制器組成，互為備份，通過ODL Akka集群機制進行集群同步。集群控制器間工作模式為1主N備，同一時刻僅有一臺主控制器對外提供服務。當集群Leader故障后，由ODL akka重新選舉集群Leader，新選舉的主Leader負責集群業務管理，其余控制器作為備份。
圖3-5 AD-WAN控制器集群部署
3.5.2.2 網絡可靠性方案
AD-WAN分支解決方案是在underlay網絡基礎上疊加overlay的方式實現可視呈現和流量調度功能，相較于傳統方式，在傳統設備控制層面上疊加了AD-WAN對整個網絡進行策略控制，數據轉發支持overlay隧道轉發和underlay備份路由轉發，可靠性更高。
網絡故障情況下設備會根據調度策略自動執行可靠性切換。
通過RIR技術，控制器下發調度策略到轉發設備，實際策略的執行在設備上運行，即是控制器故障或者托管，仍能根據準確的執行調度策略。
4 成功案例
本方案在海爾集團智能廣域網SDN實踐中應用。
日日順是海爾集團旗下綜合服務品牌，以誠信為核心，以社群為基本單元，做有溫度的觸點網絡，致力成為物聯網時代社群最佳體驗迭代生態圈。2019年6月，世界品牌實驗室(World Brand Lab)權威發布日日順成功入選“中國500最具價值品牌”榜；2018年，日日順品牌價值301.08億元，成為物聯網時代觸點迭代生態圈生態品牌；2018年，日日順榮獲中國馳名商標。日日順旗下有日日順物流、日日順樂家、日日順樂農等產業平臺和高端農特產品生態品牌—樂家誠品。
通過部署H3C 智能廣域網分支解決方案，海爾集團順利完成物流板塊全國廣域網網絡資源整合，將分布在全國的136個智慧倉、6000家服務網點、10萬輛車連接起來，形成輻射全國的分布式三級云倉網絡。掌控分布于15大發運基地600多萬平米倉儲信息，合理規劃3300多條班車循環專線，初步完成了跨越轉型期可編排、快速交付、彈性收放的智能網絡構建，以快速響應市場業務靈活變化的要求，形成智慧物流的可靠神經中樞。
客戶收益：
? 降低成本：使用Internet替換原有專線接入，專線接入成本降低30萬/月
? 快速部署：業務上線快速評估，動態調整網絡資源，實現一鍵自動化部署
? 應用可視：基于URL的DPI應用分析識別，自動呈現訂單等關鍵應用健康狀態
? 業務保障：智能選路，靈活的策略調整，保障高優先級業務，應對雙十一、618等突發訂單業務
? 簡化運維：實時掌握網絡運行情況，快速識別和排查故障，分鐘級運維響應
海爾集團日日順物流作為大件物流的領導品牌，攜手新華三AD-WAN數字化解決方案，成功為企業業務發展搭建了堅實的技術基礎，同時也為海爾集團加速數字化轉型進程提供了更加強勁的源動力。未來，海爾集團將和新華三集團聚力合作，共同助力工業化與信息化的深度融合，加速推動智能制造行業的高質量、可持續發展。