2013-03-15 11:01:56
來源：
概述
重復數(shù)據(jù)刪除技術正迅速成為一個幾乎所有的業(yè)務必不可少的存儲解決方案。由于企業(yè)創(chuàng)建比以往任何時候都都要多的數(shù)據(jù)，重復數(shù)據(jù)刪除在降低存儲的成本、訪問、復制和備份這些不斷增長的大量的數(shù)據(jù)方面被看作是一個重要的技術。
除了節(jié)約成本，重復數(shù)據(jù)刪除也提升了存儲的性能、增加了每秒I/O操作和通過消除多余和不必要的數(shù)據(jù)（在越來越多的情況下，這些數(shù)據(jù)將導致備份和主存儲基礎設施變得雜亂）來提高了存儲的利用率。
各種規(guī)模的企業(yè)也發(fā)現(xiàn)，重復數(shù)據(jù)刪除技術在支持虛擬化和云計算是不可或缺的。虛擬化和云計算中，靈活性和性能的需求是存儲決策的主要驅動力。根據(jù)最近的研究，預計2011年至2015年重復數(shù)據(jù)刪除技術的全球市場將以復合年增長率增長30％以上。
那么，什么是重復數(shù)據(jù)刪除，為什么它在今天的IT環(huán)境中如此重要？IT決策者應該在備份或主存儲的重復數(shù)據(jù)刪除解決方案中尋求什么？以下是有關重復數(shù)據(jù)刪除的一些關鍵問題的答案。
什么是重復數(shù)據(jù)刪除？
De-duplication，即重復數(shù)據(jù)刪除，在存儲數(shù)據(jù)時檢查和比較已存在的數(shù)據(jù)，如果它們是相同的，那么就過濾掉這部分數(shù)據(jù)的備份，然后通過指針引用已存在的數(shù)據(jù)。它可以從根本上減少存儲占用的空間和用戶的磁盤驅動器數(shù)量，減輕人力、能源、電力資源等方面的開銷，從而大幅度的節(jié)約存儲成本。另外，重復數(shù)據(jù)刪除可以減少在網絡中傳輸?shù)臄?shù)據(jù)量，進而降低能量消耗和網絡成本，并為數(shù)據(jù)復制大量節(jié)省網絡帶寬。
Dedupe技術目前大量應用于數(shù)據(jù)備份與歸檔系統(tǒng)，因為對數(shù)據(jù)進行多次備份后，存在大量重復數(shù)據(jù)，非常適合這種技術。事實上，Dedupe技術可以用于很多場合，包括在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)存儲系統(tǒng)，可以在文件系統(tǒng)、卷管理器、NAS、SAN中實施。Dedupe也可以用于數(shù)據(jù)容災、數(shù)據(jù)傳輸與同步，作為一種數(shù)據(jù)壓縮技術可用于數(shù)據(jù)打包。Dedupe技術可以幫助眾多應用降低數(shù)據(jù)存儲量，節(jié)省網絡帶寬，提高存儲效率、減小備份窗口，節(jié)省成本。
在實際應用中，想象一個很長的PowerPoint銷售介紹結合詳細的圖形和視頻。如果銷售組織中每個人保存該演示文稿，將會占用你主存儲設備的很多磁盤空間，并且為每個保存的實例備份，創(chuàng)建更多的冗余文件。而這僅僅是一個銷售的介紹，企業(yè)中所有其它的以多種格式出現(xiàn)的非結構化的數(shù)據(jù)會怎么樣呢？你真的想要把錢花在磁盤驅動器來保存冗余數(shù)據(jù)嗎，你真的想不需要的數(shù)據(jù)降低你的存儲性能？
重復數(shù)據(jù)刪除技術使用算法搜索重復數(shù)據(jù)，用“指針”取代重復的數(shù)據(jù)，指向存儲在網絡的唯一主副本。重復數(shù)據(jù)刪除可以在文件級或數(shù)據(jù)塊級工作：
文件級重復數(shù)據(jù)刪除：在這個級別，重復數(shù)據(jù)刪除在網絡搜索冗余文件，并保存該文件只有一個副本。在網絡中，當一個文件發(fā)生一個變化時，文件的另一個副本就會被保存。這種較少用的方法不如塊級重復數(shù)據(jù)刪除效率高，因為它事實上不用尋找文件重復的內容。因此，上面引用到的PowerPoint銷售的介紹，如果不同的人用不同的名字保存文件，那么重復的副本會被保存和備份。
塊級重復數(shù)據(jù)刪除：對塊級別的數(shù)據(jù)復制，軟件查找文件和存儲里面的唯一文件部分（塊），這些部分還沒有被備份。當文件被改變，只有被改變數(shù)據(jù)再次被存儲，從而使它在存儲的數(shù)據(jù)量方面遠遠超過文件級重復數(shù)據(jù)刪除的效率。它創(chuàng)建了一個主副本，無縫地合并了所有的的變化。
在線重復數(shù)據(jù)刪除：數(shù)據(jù)寫入存儲系統(tǒng)同時執(zhí)行刪除，因此實際傳輸或寫入的數(shù)據(jù)量較少。適合通過LAN或WAN進行數(shù)據(jù)處理的存儲系統(tǒng)，如網絡備份歸檔和云備份。
離線重復數(shù)據(jù)刪除：先將數(shù)據(jù)寫入存儲系統(tǒng)，然后利用適當?shù)臅r間再進行重復數(shù)據(jù)刪除處理。由于寫入包含了重復的數(shù)據(jù)，需要更多的額外存儲空間來預先存儲刪除前數(shù)據(jù)。且需要有足夠的時間窗口來進行重復數(shù)據(jù)刪除操作。
基于重復數(shù)據(jù)刪除的粒度可以分為文件級和數(shù)據(jù)塊級。文件級重復數(shù)據(jù)刪除技術的劣勢在于精細度不夠，并且不能提供次文件級的重復數(shù)據(jù)刪除功能。這意味著一個文件中即便有很小的一處改動也會被認為是一個全新的文件而另外儲存。
為了解決文件級重復數(shù)據(jù)刪除技術缺乏精細度的問題，NETGEAR存儲以固定的長度將數(shù)據(jù)分割成更小的“數(shù)據(jù)塊”。只存儲唯一的數(shù)據(jù)塊并將識別出重復的其它數(shù)據(jù)塊用指針方式代替，顯然，數(shù)據(jù)塊級可以提供更高的重復數(shù)據(jù)刪除率。因此目前NETGEAR主推基于塊級別的在線重復數(shù)據(jù)刪除解決方案。
NETGEAR ReadyDATA5200采用塊級別（128K）的在線重復數(shù)據(jù)刪除技術，數(shù)據(jù)寫入存儲系統(tǒng)同時執(zhí)行重復數(shù)據(jù)刪除，因此實際傳輸或寫入的數(shù)據(jù)量較少。備份數(shù)據(jù)通過刪除寫入ReadyDATA 5200的相同的數(shù)據(jù)塊，大大減少存儲容量需求。該技術對于定期創(chuàng)建完整備份而言是理想的備份解決方案，因為多個備份作業(yè)很常見，而任何數(shù)據(jù)寫入只有一次，這樣可以節(jié)省容量。適合通過LAN或WAN進行數(shù)據(jù)處理的存儲系統(tǒng)，如網絡備份歸檔和云備份。
ReadyDATA 5200通過塊級別的在線重復數(shù)據(jù)刪除技術為企業(yè)數(shù)據(jù)備份提供了一個符合成本效益的，易于部署的、功能豐富的資源庫。
NETGEAR ReadyDATA5200通過塊級別的在線重復數(shù)據(jù)刪除技術可以幫助企業(yè)解決備份信息存儲的問題。該技術可刪除冗余數(shù)據(jù)，以便更經濟地滿足數(shù)據(jù)的存儲和災難恢復需求。如上文所述，備份環(huán)境中存在數(shù)量驚人的冗余數(shù)據(jù)。通過有效地部署重復數(shù)據(jù)刪除，企業(yè)只需利用當前備份存儲基礎架構的一小部分空間面積和運營開支，即可保護和恢復信息。在重復數(shù)據(jù)刪除方面的投入可以帶來極大的業(yè)務好處。重復數(shù)據(jù)刪除可實現(xiàn)的業(yè)務好處包括：
降低基礎架構成本。通過刪除備份中的冗余數(shù)據(jù)，大大減少了保存?zhèn)浞萦诚袼璧幕A架構。重復數(shù)據(jù)消除的直接結果是減少了保存?zhèn)浞萦诚袼璧拇鎯θ萘俊Ｈ萘啃枨蟮臏p少意味著購置成本以及電源和冷卻成本的降低。
延長保留時間。由于重復數(shù)據(jù)刪除可減少每日備份的內容量，因此用戶可以延長他們的保留時間策略。如果用戶目前需要較長的保留時間，但卻因當前流程和策略的限制而無法實現(xiàn)，這可以為用戶帶來巨大的好處。
改進數(shù)據(jù)保護。重復數(shù)據(jù)刪除使許多企業(yè)能夠創(chuàng)建每日完整備份映像。在這些企業(yè)當中，很多都曾經因為備份時間段的限制而只能被迫執(zhí)行每周完整備份和每日增量備份。重復數(shù)據(jù)刪除可減少存儲容量的需求，從而允許企業(yè)采取更積極的備份策略，以減少恢復時間。
減少數(shù)量，提高性能。通過減少總的備份映像大小，公司將更有能力負擔磁盤備份替代傳統(tǒng)磁帶存儲的支出。磁盤備份支持高速、高度可靠的備份映像，從而可滿足對更短備份時間段和更快恢復時間的需要。
大大降低備份帶寬需求。重復數(shù)據(jù)刪除可減少備份映像中的內容量，因此會減少對該內容進行遠程復制時的開支，從而支持遠程復制的備份。此外，NETGEAR通過利用塊級別的在線重復數(shù)據(jù)刪除，可在備份過程中對任何數(shù)據(jù)進行存儲之前將冗余數(shù)據(jù)從備份過程中提取出來。這意味著完成備份的方式是僅移動那些尚未存在于備份數(shù)據(jù)庫中的子文件數(shù)據(jù)元素。
要選擇最佳的解決方案，你需要對你的存儲基礎設施和要求制定評估計劃。有許多組織面對顯著增長的數(shù)據(jù)不堪重負，因為他們之前沒有恰當?shù)挠媱潯ＥcNETGEAR和他們的存儲專家團隊一起工作將幫助您了解如何設計您的存儲基礎設施使其與您的業(yè)務目標相一致，包括如何以及在哪里部署重復數(shù)據(jù)刪除解決方案以節(jié)省資金和提高業(yè)務靈活性。重復數(shù)據(jù)刪除技術是一項成熟的技術，為業(yè)務提供了實實在在的利益--隨著您的數(shù)據(jù)存儲需求的持續(xù)增長而變得更有價值。現(xiàn)在是與NETGEAR一起工作的時候了，為您的組織選擇正確的解決方案。
總結：重復數(shù)據(jù)刪除的合理性
許多企業(yè)都在通過部署磁盤備份來增強，或者，甚至是取代基于磁帶的備份和恢復基礎架構。為什么對磁盤備份內容進行重復數(shù)據(jù)刪除如此具有吸引力？重復數(shù)據(jù)刪除可降低備份成本并在以下領域提供更多的好處：
降低磁盤容量需求；
縮短備份時間；
與磁帶相比，加快數(shù)據(jù)恢復速度；
降低異地復制成本；
降低備份對磁帶庫的依賴性。
讓 NETGEAR 和全球范圍內的 NETGEAR 合作伙伴幫助您所在的企業(yè)擁有世界一流的磁盤備份和重復數(shù)據(jù)刪除產品。NETGEAR 的創(chuàng)新型產品組合、廣泛的信息管理經驗以及經驗證的最佳做法可確保您以最高的效率和最低的成本從信息基礎架構中獲得最大的價值。
