靠度函數(shù)RE4(t)同樣逐漸趨近于1，結(jié)合式(17)可推斷，增加計算節(jié)點和存儲節(jié)點的數(shù)量，整個可靠度R(t)將會逐漸增大，系統(tǒng)可靠性越來越高。對式(16)中系統(tǒng)壽命分布函數(shù)X求定積分，即可得系統(tǒng)平均無故障時間MTTF。因此，系統(tǒng)將計算任務分散到各個節(jié)點的策略是可靠的，同時可使平均無故障時間MTTF趨近于理想值。

4 存儲結(jié)構(gòu)設計與算法實現(xiàn)

    4．1存儲結(jié)構(gòu)設計

    存儲結(jié)構(gòu)設計包含兩個方面的內(nèi)容:一是設計元數(shù)據(jù)管理區(qū)數(shù)據(jù)結(jié)構(gòu);二是設計BLOB數(shù)據(jù)存儲區(qū)數(shù)據(jù)結(jié)構(gòu)，其核心內(nèi)容是設計用于存儲BLOB數(shù)據(jù)及其元數(shù)據(jù)的二維表。其中:MA統(tǒng)一管理所有的BLOB數(shù)據(jù)序號Guid，而M1，M2等服務器則分散且不重復地存儲詳細元數(shù)據(jù)信息。主元數(shù)據(jù)管理單元MA中所包含的元組如表1所示，詳細元數(shù)據(jù)元組如表2所示。BLOB存儲節(jié)點中數(shù)據(jù)結(jié)構(gòu)相對簡單，其中包含一個image類型的字段，用于存儲BLOB數(shù)據(jù)流。

    表1～2中，Guid須設置為主鍵索引;表2中的MIMEType用于記錄BLOB數(shù)據(jù)的媒體類型，如AVI視頻的資源類型描述符為video/x-msvideo，在下載該BLOB數(shù)據(jù)時，便于為該資源匹配相應文件類型以完成數(shù)據(jù)還原。

表1 主元數(shù)據(jù)管理單元MA的基本元組

表2 詳細元數(shù)據(jù)存儲節(jié)點的基本元組

    4．2分布式存儲算法實現(xiàn)

    非結(jié)構(gòu)化數(shù)據(jù)存取算法涉及兩個重要方面:其一，BLOB數(shù)據(jù)在RDBMS下的插入、刪除、更新和讀取操作方式有別于文件系統(tǒng);其二，多用戶并發(fā)式訪問頻度高，負載均衡、容錯性及魯棒性需重點考慮。各數(shù)據(jù)操作的處理流程如圖3所示，而圖6以單用戶提交非結(jié)構(gòu)化數(shù)據(jù)為例，具體說明了BLOB數(shù)據(jù)流及元數(shù)據(jù)流的處理過程，其他數(shù)據(jù)操作算法可參照圖6，此處不再一一敘述。

5 仿真實驗

    5．1仿真實驗硬軟件環(huán)境

    為對分布式非結(jié)構(gòu)化數(shù)據(jù)存儲的可靠性和穩(wěn)定性進行評估，存儲系統(tǒng)的硬件及軟件仿真環(huán)境如下。硬件環(huán)境存儲服務硬件部署于園區(qū)IP骨干網(wǎng)，BLOB存儲節(jié)點及Metadata存儲節(jié)點均采用2．4GHz的Intel至強處理器，4GB內(nèi)存，2TB存儲容量的Adaptec RAID5硬盤陣列，1Gbps背板帶寬，桌面帶寬100Mbps。

    軟件環(huán)境各服務器均安裝Windows Server 2008操作系統(tǒng)，并在系統(tǒng)中配置IIS7．0組件和．NET Framework V3．5，數(shù)據(jù)庫系統(tǒng)采用SQL Server 2000(SP4)，此外，運行于BLOB存儲節(jié)點上Web應用程序提供非結(jié)構(gòu)化數(shù)據(jù)存取接口，運行于Metadata存儲節(jié)點上的應用程序提供元數(shù)據(jù)管理接口，仿真軟件選用HP LOAd Runner 11．0。

圖6 用戶提交非結(jié)構(gòu)化數(shù)據(jù)算法流程

    5．2單用戶上傳/下載BLOB數(shù)據(jù)性能分析

    測試場景單用戶向系統(tǒng)上傳/下載大小為731．2MB的文件，實驗所涉及的服務器有BLOB存儲節(jié)點B1、主元數(shù)據(jù)存儲節(jié)點MA和詳細元數(shù)據(jù)存儲節(jié)點M1。

    實驗中，一個731．2MB的BLOB文件可在147s內(nèi)完成存取操作，上傳數(shù)據(jù)平均傳輸速率為39．0Mbps，下載數(shù)據(jù)平均傳輸速率為56．4Mbps。同時，記錄該數(shù)據(jù)在各時刻的上傳及下載傳輸速率，經(jīng)統(tǒng)計如圖7所示。

    由圖7中可看出，單用戶向存儲系統(tǒng)下載數(shù)據(jù)的性能優(yōu)于上傳數(shù)據(jù)的性能，其主要原因在于，寫入數(shù)據(jù)調(diào)用了．NET中的運算開銷較大的功能函數(shù)ExecuteNonQuery( ) ，而讀取數(shù)據(jù)調(diào)用了運算開銷較小的ExecuteDataReader( )函數(shù)。整體來看，傳輸速率比較平穩(wěn)，沒有出現(xiàn)抖動和失效現(xiàn)象。

圖7 單用戶存取非結(jié)構(gòu)化數(shù)據(jù)性能

    5．3非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)響應仿真

    測試場景待寫入BLOB數(shù)據(jù)24．9MB，單節(jié)點存儲系統(tǒng)及多節(jié)點存儲系統(tǒng)各一組。其中:單節(jié)點存儲系統(tǒng)將BLOB數(shù)據(jù)及Metadata數(shù)據(jù)合并于一臺服務器上存儲;多節(jié)點存儲系統(tǒng)由4臺BLOB存儲節(jié)點和4臺元數(shù)據(jù)存儲節(jié)點組成。向兩系統(tǒng)發(fā)出隨機寫入數(shù)據(jù)請求，統(tǒng)計兩系統(tǒng)從提交數(shù)據(jù)到結(jié)果返回的時間，統(tǒng)計數(shù)據(jù)如圖8所示。

    由圖8可看出，用戶隨機向存儲系統(tǒng)寫入一個24．9MB的文件時，隨著寫入請求數(shù)量的增長，分布式存儲系統(tǒng)的平均響應時間總是低于單節(jié)點存儲系統(tǒng)。另一方面，圖8所示分布式存儲響應曲線變化較平緩，而單節(jié)點存儲系統(tǒng)曲線變化較顯著，表明用戶數(shù)量的增長對分布式存儲系統(tǒng)無太大影響，存儲性能相對穩(wěn)定。

圖8 分布式存儲與單節(jié)點存儲響應時間對比

    5．4BLOB存儲節(jié)點擴展對存儲性能影響

    測試場景將BLOB存儲節(jié)點數(shù)量由4個增加至8個，考察系統(tǒng)聚合讀寫性能。

    由圖9可知，隨著非結(jié)構(gòu)化數(shù)據(jù)存儲節(jié)點的增長，系統(tǒng)聚合讀寫性能呈線性增長，表明系統(tǒng)具有較好的可擴展性。

圖9 擴展存儲節(jié)點后系統(tǒng)聚合讀寫性能

    5．5結(jié)果與討論

    實驗表明，無論采用單節(jié)點存儲方式還是多節(jié)點的分布式存儲方式，數(shù)據(jù)分離式的分布式存儲算法都可將BLOB數(shù)據(jù)可靠存入RDBMS，總體上看，盡管向系統(tǒng)寫入數(shù)據(jù)的效率低于讀取數(shù)據(jù)的效率，在用戶請求總量不斷增加的情況下，系統(tǒng)仍具有較高的響應比，且在系統(tǒng)擴展實驗中發(fā)現(xiàn)，系統(tǒng)的可擴展性較好。

6 結(jié)語

    面對非結(jié)構(gòu)化數(shù)據(jù)增長難題，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)，已無法應對云計算系統(tǒng)龐大的數(shù)據(jù)存儲需求。基于RDMBS的非結(jié)構(gòu)化數(shù)據(jù)存取系統(tǒng)，將海量非結(jié)構(gòu)化數(shù)據(jù)直接存儲于關系數(shù)據(jù)表中，實現(xiàn)了數(shù)據(jù)的可靠存取。通過分離BLOB數(shù)據(jù)和Metadata存儲通路，設計了分布式的硬件結(jié)構(gòu)和存取算法，將存儲負載均勻分布于各個節(jié)點。統(tǒng)一的元數(shù)據(jù)管理方式和預留的擴展接口，既便于用戶對所有數(shù)據(jù)進行統(tǒng)一使用管理，也便于聚合I/O處理能力的增強和存儲規(guī)模的進一步擴展，以適合不斷增長的云存儲需求。

    下一步的研究工作是如何優(yōu)化存儲結(jié)構(gòu)和算法，以改善存儲系統(tǒng)每秒輸入輸出量(Input/Output Operations PerSecond，IOPS)和進一步提升聚合處理能力。 

核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.zudvwvb.cn/

本文標題：面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存取(下)

本文網(wǎng)址：http://www.zudvwvb.cn/html/support/1112157858.html