欧美日韩国产在线观看网站_亚洲欧美国产另类_秋霞成人午夜鲁丝一区二区三区_色综合中文字幕

云計算基礎(chǔ)架構(gòu)技術(shù),精華篇!

2017-12-13 09:58:00

來源:

  云計算基礎(chǔ)架構(gòu)是云計算系統(tǒng)的重要組成部分。它通過資源虛擬化、分布式計算等技術(shù)為云計算系統(tǒng)搭建基礎(chǔ)運營環(huán)境并為上層云計算應(yīng)用提供存儲和計算能力。通過歸納分析對當(dāng)前國內(nèi)外相關(guān)研究成果進行了綜述。定義了云計算基礎(chǔ)架構(gòu),指出了云基礎(chǔ)架構(gòu)的特點,重點對云基礎(chǔ)架構(gòu)進行了理論抽象,得到了云基礎(chǔ)架構(gòu)結(jié)構(gòu)模型,并對云計算基礎(chǔ)架構(gòu)的主要實現(xiàn)技術(shù)進行了研究和分析,指出了其優(yōu)點及不足。最后對現(xiàn)云計算基礎(chǔ)架構(gòu)的未來發(fā)展趨勢進行了展望。

云計算

  1.引言

  自新千年IT業(yè)引入云計算概念以來,通過廣大的市場需求及雄厚的技術(shù)支持,大規(guī)模云計算系統(tǒng)已成為當(dāng)今IT業(yè)發(fā)展的主流。實現(xiàn)云計算的基礎(chǔ)是實現(xiàn)云計算系統(tǒng)基礎(chǔ)架構(gòu)。一個云計算系統(tǒng)的優(yōu)秀與否,關(guān)鍵在于其基礎(chǔ)架構(gòu)是否能夠穩(wěn)定、高效地完成各項任務(wù)。本文試圖結(jié)合相關(guān)資料,對云基礎(chǔ)架構(gòu)及其效能進行分析、定義及具體闡述,為下一步研究提供有力參考。

  2.云計算簡介

  云計算的迅猛發(fā)展與廣大的市場需求和強大的技術(shù)支撐密切相關(guān)。首先,隨著IT業(yè)的迅猛發(fā)展,各IT運營商都形成了各自龐大的服務(wù)器集群。如何實現(xiàn)現(xiàn)有集群的重新整合以降低運維成本,提高效率成為運營商考慮的首要問題;另外,IT市場的迅猛發(fā)展也要求各運營商提供更加穩(wěn)定、快捷的服務(wù)。其次,分布式系統(tǒng)、虛擬化技術(shù)的不斷發(fā)展完善,使得服務(wù)集群性能的快速提升成為可能。所以,在上述兩方面原因的相互作用下,云計算得到了前所未有的發(fā)展。

  目前,不同公司對云計算有著不同的理解和實現(xiàn)方式。通過對現(xiàn)有云計算系統(tǒng)的分析及對相關(guān)資料的研究[1—5],本文認(rèn)為云計算是以商業(yè)需要為出發(fā)點,將數(shù)量龐大的服務(wù)器集群整合成為分布式的資源池,通過虛擬化技術(shù)、Web2.0技術(shù)將資源池強大的計算能力、存儲能力和構(gòu)建在其基礎(chǔ)之上的各類應(yīng)用以按需計費的形式從不同的層次(Infrastructure、Platform、Application)租賃給用戶的一種新型網(wǎng)絡(luò)運營模式。

  3.云計算基礎(chǔ)架構(gòu)

  3.1 云計算基礎(chǔ)架構(gòu)的定義

  目前,業(yè)界及學(xué)術(shù)界對云計算基礎(chǔ)架構(gòu)還沒有一個統(tǒng)一的定義利標(biāo)準(zhǔn)。各IT運營商均根據(jù)自身的實際情況,以各自的理解定義和實現(xiàn)云計算基礎(chǔ)架構(gòu)的部署。解放軍理工大學(xué)教授劉鵬在其著作《云計算》中提出:云基礎(chǔ)架構(gòu)及管理層由數(shù)據(jù)中心與云基礎(chǔ)架構(gòu)、安全產(chǎn)品、基礎(chǔ)架構(gòu)和運營管理三大部分組成[3]。作為虛擬化技術(shù)的龍頭,Vmware公司在談到其云基礎(chǔ)架構(gòu)層產(chǎn)品時說道:云計算基礎(chǔ)架構(gòu)是指通過虛擬化技術(shù)將傳統(tǒng)數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵苹A(chǔ)架構(gòu)并在其之上創(chuàng)建云,將IT基礎(chǔ)架構(gòu)作為服務(wù)交付給客戶使用[6]。Lenk等人在其文章談及云計算基礎(chǔ)設(shè)施層時也指出:云基礎(chǔ)架構(gòu)可劃分為基礎(chǔ)設(shè)施服務(wù)和資源集兩大部分,其中資源集可分為虛擬資源集和物力資源集;而基礎(chǔ)設(shè)施服務(wù)又分為高級基礎(chǔ)設(shè)施服務(wù)、基本基礎(chǔ)設(shè)施服務(wù)、計算服務(wù)、存儲服務(wù)和網(wǎng)絡(luò)服務(wù)[7]。

  通過對現(xiàn)有云基礎(chǔ)架構(gòu)以及對相關(guān)文獻資料的研究,本文認(rèn)為云計算基礎(chǔ)架構(gòu)是指由硬件資源(PC服務(wù)器、磁盤陣列、路由器、交換機及相關(guān)配套設(shè)備)組成,通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對外提供存儲、計算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計算應(yīng)用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統(tǒng)。

  3.2 云計算基礎(chǔ)架構(gòu)的分類

  通過分析研究現(xiàn)有云計算系統(tǒng)及相關(guān)[8—12],本文認(rèn)為云基礎(chǔ)架構(gòu)按照服務(wù)的對象可分為基礎(chǔ)型云基礎(chǔ)架構(gòu)和外向型云基礎(chǔ)架構(gòu):基礎(chǔ)型云基礎(chǔ)架構(gòu)指主要向運系統(tǒng)上層提供計算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu),基礎(chǔ)型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有:TFS、GFS、Cassandra、KIDC;外向型云基礎(chǔ)架構(gòu)指直接向用戶提供計算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu),外向型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有:IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。

  3.3 云基礎(chǔ)架構(gòu)的結(jié)構(gòu)體系

  通過對當(dāng)前業(yè)界主流云基礎(chǔ)架構(gòu)系統(tǒng)的分析和對相關(guān)學(xué)術(shù)成果的研究,可以看出云基礎(chǔ)架構(gòu)的作用是通過將物理資源轉(zhuǎn)化為虛擬資源池,實現(xiàn)對資源的監(jiān)控、調(diào)度和管理以達到為上層應(yīng)用和用戶提供彈性的計算和存儲資源的目的。云基礎(chǔ)架構(gòu)結(jié)構(gòu)框架如圖2。

  由此本文將云基礎(chǔ)架構(gòu)分為以下五個層次:

  1)物理層是指搭建、部署云基礎(chǔ)架構(gòu)所需的物理設(shè)備和配套環(huán)境。起作用時為云基礎(chǔ)架構(gòu)提供基本的物力資源,并保持物理設(shè)備的可靠性。

  2)虛擬層是指通過虛擬化技術(shù)解除實現(xiàn)方式、地理位置或底層物理配置對計算機資源的限制,打破上層與物力資源之間的耦合關(guān)系,形成統(tǒng)一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計算資源、虛擬存儲資源和虛擬網(wǎng)絡(luò)資源組成。

  3)數(shù)據(jù)層是指對云基礎(chǔ)架構(gòu)內(nèi)運行的客戶數(shù)據(jù)進行基本操作和管理的層次。數(shù)據(jù)層主要包含兩個部分,既數(shù)據(jù)處理與數(shù)據(jù)管理。

  4)管理層是整個云基礎(chǔ)架構(gòu)中的一個抽象層次。它對云基礎(chǔ)架構(gòu)的各類資源進行監(jiān)控,根據(jù)實際負載狀況對資源進行管理和調(diào)度并且根據(jù)上層需求對資源進行快速部署,以保證云基礎(chǔ)架構(gòu)高效運行。云基礎(chǔ)架構(gòu)管理層主要由資源監(jiān)控、負載管理、資源部署和安全管理四個部分組成。

  5)服務(wù)層是指為上層云計算應(yīng)用調(diào)用云基礎(chǔ)架構(gòu)計算、存儲資源預(yù)留的接口和對用戶使用云基礎(chǔ)架構(gòu)計算、存儲資源提供的交互界面。服務(wù)層對云基礎(chǔ)架構(gòu)效能的影響體現(xiàn)在服務(wù)層各類接口的通用性上。因為服務(wù)層接口與上層的松耦合性能夠減小底層云基礎(chǔ)架構(gòu)對上層應(yīng)用的限制,從而提高云基礎(chǔ)架構(gòu)自身的可用性。

  3.4 云基礎(chǔ)架構(gòu)實現(xiàn)的主要技術(shù)

  3.4.1 虛擬化技術(shù) 虛擬化是表示計算機資源的一種抽象方法。通過虛擬化,可以簡化基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計算機資源的表示、訪問和管理,并為這些資源提供標(biāo)準(zhǔn)的接口來接受輸入和提供輸出[2]。通過虛擬化技術(shù),可以實現(xiàn)在一臺服務(wù)器上運行多個虛擬機,從而提供服務(wù)器的效率。由于絕大部分PC產(chǎn)品均屬于X86架構(gòu),所以本文論述的虛擬化技術(shù)主要指X86架構(gòu)的虛擬化技術(shù)。當(dāng)前X86虛擬化技術(shù)的主流產(chǎn)品是VMware的VMware vSphere。

  vSphere主要用于服務(wù)器的虛擬化,即在一臺物理服務(wù)器上運行多臺虛擬機,以次達到服務(wù)器整合和優(yōu)化的目的。vSphere的核心是ESX架構(gòu),它可分為兩部分:Service Console和VMKernel。其中前者提供管理服務(wù),后者提供虛擬化能力。

  隨著虛擬化技術(shù)在云計算中發(fā)展中的作用越來越重要,對虛擬化技術(shù)的研究也成為熱點。對虛擬資源的管理便是熱點之一,[13]提出將VM模型集成到資源管理框架里,利用兩極調(diào)度將VM的管理集成至批調(diào)度器里,以次為用戶提供調(diào)度服務(wù)。

  當(dāng)前如Amazon EC2等云計算產(chǎn)品大多是以虛擬機的形式為用戶提供計算能力,但對于虛擬機的具體配置,需要用戶手動完成,因此虛擬化技術(shù)在自適應(yīng)方面還需要進一步研究。

  3.4.2 分布式存儲系統(tǒng)

  隨著IT業(yè)的發(fā)展,網(wǎng)上交易、網(wǎng)上檢索等系統(tǒng)所要處理的數(shù)據(jù)量越來越大。如何利用最低的資源成本創(chuàng)造最高的運行效率成為各大運營商考慮的首要問題。因此研發(fā)人員開發(fā)完成了一系列分布式存儲系統(tǒng),為云計算提供了強有力的后盾。

  分布式存儲系統(tǒng)研發(fā)目的是為云基礎(chǔ)架構(gòu)提供高效、海量的數(shù)據(jù)存儲能力。各大運營商在搭建自己的云基礎(chǔ)架構(gòu)前都會開發(fā)自己的分布式存儲系統(tǒng)如Google的GFS分布式文件系統(tǒng)。Google的GFS(Google File System)[14]是Google研發(fā)完成的作用于底層的分布式文件系統(tǒng)。GFS的作用是為大規(guī)模分布式應(yīng)用系統(tǒng)提供強大的數(shù)據(jù)存儲服務(wù)。GFS的核心設(shè)計思路是將系統(tǒng)故障當(dāng)作一種常態(tài)來處理,實現(xiàn)這一思路的技術(shù)主要是提供多個副本進行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項操作。Snapshot以最低的開銷創(chuàng)建一個文件或目錄副本,記錄追加則保證多客戶同時對文件進行數(shù)據(jù)追加時的原子性和正確性。

  GFS含有一個主控服務(wù)器(Master)和多個塊服務(wù)器(Chunk Server)。一份文件由外圍設(shè)備經(jīng)接口,會被分為有限個數(shù)據(jù)塊(每個數(shù)據(jù)塊64MB)。此外,每個數(shù)據(jù)塊都會產(chǎn)生一個元數(shù)據(jù)( 當(dāng)前分布式存儲系統(tǒng)已成為云基礎(chǔ)架構(gòu)重要組成之一。在學(xué)術(shù)界,對分布式存儲系統(tǒng)的研究逐漸成為熱點。[11]提出并實現(xiàn)了一種對等結(jié)構(gòu)分布式存儲系統(tǒng)NDSS,該系統(tǒng)取消了類似GFS中主控服務(wù)器的中心節(jié)點,而是利用分布式共享內(nèi)存(DSM,Distributed Shared Memory)實現(xiàn)了數(shù)據(jù)一致性模塊,利用分布式共享位圖(DSB,Distributed Shared Bitmap)限制了多個節(jié)點對信息的同時訪問,解決了同步訪問控制問題。以此在對等節(jié)點中完成了中心節(jié)點的主要功能。從測試結(jié)果看,NDSS系統(tǒng)的整體性能優(yōu)于有中心節(jié)點的YNS系統(tǒng)[10]。

  目前,云基礎(chǔ)架構(gòu)中著名的分布式存儲系統(tǒng)還有Google的Bigtable分布式存儲系統(tǒng)和Amazon的Dynamo分布式數(shù)據(jù)存儲中心[11]等。它們雖然為云基礎(chǔ)架構(gòu)提供了強大的動力,但仍有改進之處。

  3.4.3 并行編程模型

  并行編程模型是云計算中的一個重要概念。它是指系統(tǒng)為高效并行處理海量數(shù)據(jù)而設(shè)定的一組數(shù)據(jù)處理規(guī)則。研發(fā)人員為了解決輸入數(shù)據(jù)的并行計算、分發(fā)數(shù)據(jù)等問題提出了并行編程模型的概念。

  MapReduce是Google公司開發(fā)的一種新的抽象模型,也是當(dāng)前起主導(dǎo)作用的編程模型。它的設(shè)計思路來源于函數(shù)式編程語言的映射和簡化操作[1]。MapReduce的核心思想是將數(shù)據(jù)邏輯列表通過Map函數(shù)處理成為鍵值對集。(來源:多智時代)


索取“此產(chǎn)品”詳細資料,請留言
  • *姓名:
  • *手機:
  • *郵寄地址:
<