2019-12-06 14:08:45
來源：深信服科技
當(dāng)前，我們正處在一個數(shù)據(jù)呈幾何倍數(shù)增長的時代，并且數(shù)據(jù)類型變得多樣。這對存儲對多元數(shù)據(jù)的融合承載能力，以及容量、擴展性、可靠性、性能等都提出更高要求。針對新數(shù)據(jù)對存儲提出的新需求，深信服企業(yè)級分布式存儲EDS能更好地滿足。這是一款怎樣的存儲，具備如此優(yōu)異的特質(zhì)？
正式“出道”之前早已“身經(jīng)百戰(zhàn)”
深信服新IT業(yè)務(wù)總經(jīng)理兼CTO陳小亮在大會主論壇帶來了《深信服軟件定義存儲核心能力與技術(shù)創(chuàng)新》的主題分享。
▲深信服新IT業(yè)務(wù)總經(jīng)理兼CTO 陳小亮
陳小亮表示，深信服EDS利用大量標(biāo)準(zhǔn)X86服務(wù)器和軟件定義技術(shù)，構(gòu)建出具備高可靠、高性能，且支持智能管理和運維三大價值的分布式統(tǒng)一存儲平臺。不僅滿足一個平臺提供多類型、大容量的存儲方案，包括對象存儲、文件存儲和塊存儲，還能夠集成與數(shù)據(jù)相關(guān)的應(yīng)用程序，如網(wǎng)盤、備份、容災(zāi)、數(shù)據(jù)分析等，簡化數(shù)據(jù)保護(hù)，發(fā)揮數(shù)據(jù)新價值。而且深信服EDS在正式“出道”之前，早已“身經(jīng)百戰(zhàn)”。
從2013年開始軟件定義存儲的布局與成立存儲研發(fā)部門，至今深信服在存儲領(lǐng)域已經(jīng)有超過5年的技術(shù)積累和實踐。在單品正式上市之前，深信服EDS就已為公司各個產(chǎn)品線提供技術(shù)模塊輸出，推出了分布式塊存儲。到目前為止，分布式塊存儲服務(wù)過的桌面終端用戶數(shù)量超過95萬，超融合用戶數(shù)量超過5,000家，并且有一半以上的用戶用于承載核心業(yè)務(wù)。
作為戰(zhàn)略型產(chǎn)品，深信服EDS自上市以來，公司更加大研發(fā)投入，包括提升研發(fā)人員規(guī)模及海內(nèi)外博士比例，致力于高端技術(shù)突破。目前，深信服 EDS已獲得的核心技術(shù)專利達(dá)68個，申請中的核心技術(shù)專利達(dá)30個。
四大核心能力為海量數(shù)據(jù)存儲構(gòu)建“硬核”基石
經(jīng)過5年多的持續(xù)高投入與承載大量用戶核心業(yè)務(wù)實踐經(jīng)驗帶來的“反哺”，深信服EDS打造了軟件定義存儲的四大能力，為海量數(shù)據(jù)存儲構(gòu)建高性價比“硬核”基石。
• 海量數(shù)據(jù)存儲和擴展能力：針對業(yè)界普遍面臨的海量數(shù)據(jù)存儲帶來的元數(shù)據(jù)索引效率低、數(shù)據(jù)容量擴展困難等問題，深信服創(chuàng)新推出元數(shù)據(jù)分布式數(shù)據(jù)庫PhxKV，并通過元數(shù)據(jù)語義優(yōu)化、寫入優(yōu)化等，降低元數(shù)據(jù)在IO路徑和資源等方面不必要的性能消耗與寫入次數(shù)，實現(xiàn)百億文件的元數(shù)據(jù)高效管理，將索引效率提升100倍，達(dá)到毫秒級。其次，深信服EDS采用全對稱分布式架構(gòu)，最小3節(jié)點起，最大可擴展到5千節(jié)點，高達(dá)EB級存儲空間。且擴展時只需將新的存儲設(shè)備接入集群系統(tǒng)即可，數(shù)據(jù)自動平衡，讓數(shù)據(jù)存儲規(guī)模輕松由“池”變“海”。
• 數(shù)據(jù)高可靠保障能力：針對業(yè)界數(shù)據(jù)保護(hù)需要借助各種付費工具，及RAID硬盤故障后數(shù)據(jù)重構(gòu)速率低等難題，深信服 EDS平臺內(nèi)置5大類38種高可靠機制，從下到上覆蓋硬件層、主機層、數(shù)據(jù)層和管理層，構(gòu)筑事前、事中、事后的數(shù)據(jù)保護(hù)體系。如事前通過硬盤亞健康、數(shù)據(jù)校驗和巡檢等提前發(fā)現(xiàn)潛在數(shù)據(jù)風(fēng)險并自動化修復(fù)；事中通過多副本、糾刪碼、快照等技術(shù)實現(xiàn)數(shù)據(jù)冗余性；事后通過元數(shù)據(jù)合并修復(fù)、數(shù)據(jù)全局分布式修復(fù)等實現(xiàn)數(shù)據(jù)快速重構(gòu)，達(dá)1T/30min。
深信服EDS不僅讓數(shù)據(jù)保護(hù)更全面，還讓數(shù)據(jù)保護(hù)更具性價比，如軟件層面不需要額外購買各種模塊，硬件層面可以采用低成本的配件（硬盤），通過多種軟件機制共同保障，達(dá)到跟高品質(zhì)硬件同樣的可靠性級別，使存儲系統(tǒng)成為企業(yè)數(shù)據(jù)資產(chǎn)的“保險庫”。
• 高性能實時響應(yīng)能力：對于存儲，業(yè)界的普遍共識是當(dāng)數(shù)據(jù)量達(dá)到一定體量時，性能會出現(xiàn)嚴(yán)重衰減。對此，深信服EDS構(gòu)建了一套基于業(yè)務(wù)感知的智能分層體系，包括數(shù)據(jù)層、緩存層與協(xié)議層，基于不同業(yè)務(wù)需求不同IO采取不同的處理機制。同時通過高達(dá)80%命中率的熱力圖算法，將隨機讀寫速度提升3-5倍。再基于分布式帶來的多節(jié)點并發(fā)讀寫與條帶化技術(shù)帶來的將大數(shù)據(jù)切分成小數(shù)據(jù)并發(fā)存儲到不同硬盤，從而獲得高吞吐性能。
正是基于這種軟件機制和優(yōu)化，深信服EDS能最大化激發(fā)硬件潛能，具備極高的性能表現(xiàn)，能夠同時滿足高吞吐、高IO和低時延的要求，但成本節(jié)省一半。
• 基于AI高效管理能力：針對傳統(tǒng)手工運維排障困難、效率低下的問題，深信服EDS實現(xiàn)了存儲從手工運維向自動運維再向智能運維的轉(zhuǎn)變。第一階段通過打造自動化運維體系，將50%以上的運維常用操作自動化。IT人員可通過一鍵管理對設(shè)備進(jìn)行全方位檢測，提前定位風(fēng)險點并給出處理建議。哪怕硬盤出現(xiàn)故障，可通過全局熱備空間對數(shù)據(jù)進(jìn)行自動化高效重構(gòu)，實現(xiàn)故障快速自愈。
第二階段是智能運維，深信服EDS將人工智能融入數(shù)據(jù)存儲的全生命周期管理，可實現(xiàn)準(zhǔn)確率高達(dá)98.5%以上的硬盤亞健康檢測，如抖動、時延、溫度等異常；并結(jié)合數(shù)據(jù)分析給出性能及容量規(guī)劃建議；通過智能QoS感知業(yè)務(wù)特點，調(diào)整最優(yōu)IO路徑，確保業(yè)務(wù)訪問體驗，并將資源利用達(dá)到最優(yōu)。
四大行業(yè)場景完美匹配
基于多項核心能力與技術(shù)創(chuàng)新，深信服EDS能很好地滿足智能視頻監(jiān)控場景、海量數(shù)據(jù)存儲與歸檔場景、數(shù)據(jù)中心統(tǒng)一存儲場景、網(wǎng)盤/備份數(shù)據(jù)應(yīng)用場景四大場景對于存儲的高預(yù)期需求，能有效應(yīng)對這些場景面臨的多類型數(shù)據(jù)，數(shù)據(jù)容量大、增長快等帶來的一系列存儲挑戰(zhàn)。
• 智能視頻監(jiān)控場景：針對智能視頻監(jiān)控場景存在的數(shù)據(jù)存儲容量大、海量小文件性能高、多集群管理難的問題，深信服EDS利用軟件定義存儲的高擴展性與自主創(chuàng)新的元數(shù)據(jù)分布式數(shù)據(jù)庫phxKV的高性能，有效解決了智能視頻監(jiān)控場景下百億級海量小文件的大容量承載與高性能處理問題，并隨著數(shù)據(jù)增多性能衰減不超過5%。同時基于AI運維實現(xiàn)智能化集群管理。
• 海量數(shù)據(jù)存儲與歸檔場景：針對海量數(shù)據(jù)存儲與歸檔場景存在的數(shù)據(jù)超長期保存、隨機檢索效率低、靜默錯誤風(fēng)險高的問題，深信服EDS利用故障自愈、數(shù)據(jù)重構(gòu)、自動遷移等技術(shù)，實現(xiàn)了數(shù)據(jù)的重構(gòu)、重平衡、自動遷移，可有效解決存儲系統(tǒng)超長周期運行中需要面對的磁盤故障、擴容、新老設(shè)備替換等問題，可真正實現(xiàn)存儲系統(tǒng)超長周期連續(xù)穩(wěn)定運行。同時通過自定義標(biāo)簽，實現(xiàn)毫秒級的數(shù)據(jù)檢索。
• 數(shù)據(jù)中心統(tǒng)一存儲場景：針對數(shù)據(jù)中心統(tǒng)一存儲場景存在的業(yè)務(wù)多元化、資源靈活分配、高性能、高可靠需求，深信服EDS基于軟件定義打造統(tǒng)一存儲系統(tǒng)，利用智能分層、智能緩存和AI主動防御技術(shù)，可同時滿足數(shù)據(jù)中心對于塊、文件、對象多種存儲服務(wù)的高性能、高可靠技術(shù)要求，真正實現(xiàn)了“一個數(shù)據(jù)中心，一個存儲平臺”的云存儲架構(gòu)。
• 備份/網(wǎng)盤數(shù)據(jù)應(yīng)用場景：針對備份/網(wǎng)盤數(shù)據(jù)應(yīng)用場景存在的建設(shè)復(fù)雜、數(shù)據(jù)孤島問題，深信服EDS分布式統(tǒng)一存儲平臺充分發(fā)揮數(shù)據(jù)價值，利用容器技術(shù)可提供對數(shù)據(jù)應(yīng)用的封裝和使用，例如：網(wǎng)盤、備份、容災(zāi)、數(shù)據(jù)倉等，在保障一個平臺數(shù)據(jù)全局共享的同時，提供便捷的數(shù)據(jù)應(yīng)用服務(wù)，并且充分利用資源降低應(yīng)用成本。
▲深信服EDS運營總監(jiān) 楊歡
深信服EDS運營總監(jiān)楊歡在大會平行論壇《深信服軟件定義存儲EDS應(yīng)用與實踐》分享中表示，深信服EDS通過軟件定義，激發(fā)硬件潛能，構(gòu)筑可靠、高性能、智能管理的分布式存儲，能給AI安防、智慧金融、醫(yī)療PACS、媒資廣電等這些海量非結(jié)構(gòu)化數(shù)據(jù)的存儲場景及云存儲場景用戶帶來高端分布式統(tǒng)一存儲與服務(wù)體驗。
目前，深信服EDS已服務(wù)珠海公安、深圳南山公安、上海嘉定區(qū)政法委、福清電視臺、招商基金、中國地震局第二監(jiān)測中心、天津中心婦產(chǎn)醫(yī)院、廈門信達(dá)等用戶，幫助用戶解決海量數(shù)據(jù)存儲與管理難題，成為政府、教育、制造、廣電、醫(yī)療、金融等行業(yè)用戶信賴的統(tǒng)一存儲方案。
擬態(tài)分布式文件存儲設(shè)備云計算在軍隊信息化建設(shè)中的應(yīng)用在線學(xué)習(xí)室產(chǎn)品選型論：PC還是云桌面？---“軍事職業(yè)教育”在線學(xué)習(xí)室建設(shè)思考與分析【信服博士談存儲】海量非結(jié)構(gòu)化數(shù)據(jù)存儲中的小對象合并技術(shù)銀河麒麟云平臺軟件大數(shù)據(jù)技術(shù)，發(fā)展趨勢如何？突破性能極限，阿里云神龍最新解讀弱電機房綜合布線如何設(shè)計與施工？數(shù)據(jù)中心可視化運維管理系統(tǒng)大數(shù)據(jù)引發(fā)混合云井噴 四大場景與三大技術(shù)
