基于網(wǎng)格的數據傳輸與復制技術(shù)研究論文
所謂數據復制，就是將數據庫中的數據資源復制到一個(gè)或多個(gè)不同的物理站點(diǎn)上。數據復制技術(shù)可以有效地保證目標數據庫與源數據庫的中數據的一致性。 目前，很多領(lǐng)域都會(huì )用到數據通信復制技術(shù)，如分布對象系統、移動(dòng)計算和分布式數據庫系統等。
1 數據復制的概念
所謂數據復制，就是將數據庫中的數據資源復制到一個(gè)或多個(gè)不同的物理站點(diǎn)上。數據復制技術(shù)可以有效地保證目標數據庫與源數據庫的中數據的一致性。
1.1 訪(fǎng)問(wèn)地有效性
我們在進(jìn)行數據處理里，有時(shí)候受到網(wǎng)絡(luò )的限制無(wú)法使用廣域網(wǎng)WAN，為了可以繼續訪(fǎng)問(wèn)本地數據，我們可以采用數據復制技術(shù)。在復制時(shí)，用戶(hù)可以直接在本地訊問(wèn)數據，非常方便，而不用通過(guò)數據庫之間的網(wǎng)絡(luò )連接來(lái)獲取用戶(hù)需要的數據資源。
1.2 縮短響應時(shí)間
數據復制可以縮短數據請求的響應時(shí)間，其原因如下：
1)由于數據復制的請求是在本地服務(wù)器上進(jìn)行的，不需要訪(fǎng)問(wèn)網(wǎng)絡(luò )，所以檢索速度更快。
2)在本地服務(wù)器上處理數據減輕了中心數據庫服務(wù)器的負擔，同時(shí)也緩解了對處理器時(shí)間的爭用。
1.3 事務(wù)的完整性
確保每個(gè)數據庫始終保持事務(wù)完整性是任何復制系統都面臨的挑戰。Replication Server 和 SQL Remote 按以下方式復制事務(wù)日志的各個(gè)部分，因此在復制期間可保持事務(wù)的完整性。
MobiLink合并多個(gè)已提交的事務(wù)中所做的更改。這些更改以單個(gè)事務(wù)的方式應用到另一數據庫中。
1.4 數據的準確性
我們在數據復制時(shí)，要使整個(gè)系統中的數據保持一致，提高數據的準確性。復制系統在整個(gè)體系中將工作時(shí)所做的改變以準確無(wú)誤的方式復制到其他站點(diǎn)上，但是不同的站點(diǎn)在同一時(shí)間擁有不同的數據副本。
2 數據復制的分類(lèi)
在數據復制技術(shù)中，復制配置和復制類(lèi)型是兩個(gè)重要方面，是區別不同復制技術(shù)的主要指標。配置，指的是有多少個(gè)源服務(wù)器被復制到多少個(gè)目標服務(wù)器，包括一對一復制、一對多復制、多對一復制、多對多復制。復制類(lèi)型，指的是程序如何在兩個(gè)系統之間進(jìn)行數據同步，一個(gè)復制解決方案可能根據計劃好的時(shí)間間隔來(lái)使數據保持同步，也可以用同步復制或異步復制的方式連續進(jìn)行數據復制。數據復制類(lèi)型主要有以下幾種：
1)同步復制
在一個(gè)同步復制環(huán)境中，為了確保目標系統上最高程度的數據整體性，數據必須在主系統完成寫(xiě)入之前被寫(xiě)入到目標系統中。一方面，同步復制使得無(wú)論何時(shí)，目標系統上的數據都與源系統數據完全相同;另一方面，同步復制也可能導致源系統的性能延遲，尤其是在兩個(gè)系統間的網(wǎng)絡(luò )連接速度比較慢的情況下，延遲問(wèn)題更為嚴重。
2)異步復制
在異步復制時(shí)，復制軟件會(huì )對數據進(jìn)行排隊，然后在網(wǎng)絡(luò )可用期間在系統之間批處理地傳遞改變的數據，源系統在執行前不會(huì )等候目標系統的確認。為了保持數據的完整性，有些解決方案將同步和異步復制操作組合在一起：當發(fā)生通訊問(wèn)題時(shí)，同步復制會(huì )轉為異步復制;當通訊問(wèn)題解決后，又會(huì )轉回同步方式。
3)計劃復制
對有些用途而言，連續的復制不是理想的方案，采用計劃復制更為適宜。在這種復制方式中，變化的數據將按預先設定的時(shí)間間隔被同步復制。
數據復制技術(shù)的應用范圍非常廣，不同的范圍內，復制的目標數據、數據復制粒度及重要技術(shù)都有很大差別。如分布數據庫、分布對象和移動(dòng)計算等，這些應用領(lǐng)域和分布式儲存關(guān)系非常密切。分布數據庫系統的關(guān)鍵技術(shù)是非常有效的數據復制技術(shù)，它可以幫助我們有效地提高數據庫系統的性能，如增強系統容錯能力、改善數據訪(fǎng)問(wèn)性能和實(shí)現數據系統的負載平衡等。
由于移動(dòng)環(huán)境下網(wǎng)絡(luò )帶寬低、速度慢。如果采用數據復制技術(shù)，可以根據當前用戶(hù)的訪(fǎng)問(wèn)需求和分布情況，進(jìn)行動(dòng)態(tài)數據復制。這樣做的好處是：可以使移動(dòng)用戶(hù)就近訪(fǎng)問(wèn)并復制所需的數據，大大提高訪(fǎng)問(wèn)的性能。
3 數據網(wǎng)格中的數據復制技術(shù)
為了改善數據網(wǎng)格系統性能，我們在網(wǎng)絡(luò )系統中大范圍地使用了數據復制技術(shù)。與傳統分布式系統應用領(lǐng)域中的復制相比，數據網(wǎng)格中的復制技術(shù)在復制目標、復制粒度、復制關(guān)鍵技術(shù)等方面表現出獨特性質(zhì)。數據網(wǎng)格系統中，采用數據復制技術(shù)的目的是為了節省網(wǎng)絡(luò )帶寬、減少系統的訪(fǎng)問(wèn)時(shí)間等。在使用數據復制技術(shù)時(shí)通過(guò)數據在網(wǎng)格中的流動(dòng)，實(shí)現數據網(wǎng)格系統的性能優(yōu)化，也就是根據用戶(hù)的訪(fǎng)問(wèn)需求和數據網(wǎng)格系統的數據特征自動(dòng)將數據流復制到不同的網(wǎng)格節點(diǎn)或服務(wù)器上。
3.1 在網(wǎng)格中數據復制的特點(diǎn)
數據復制技術(shù)可以多個(gè)服務(wù)器上建立數據備份，如果我們在操作過(guò)程中發(fā)現某個(gè)服務(wù)器中的數據出錯，就可以使用其他服務(wù)器進(jìn)行操作，這樣可以提高數據的準確性和數據的可用性。數據復制技術(shù)為了提高使用效率，降低傳輸負載，一般都會(huì )將遠程服務(wù)器中的數據復制到本地服務(wù)器，讓用戶(hù)就近訪(fǎng)問(wèn)并復制所需的數據，大大提高訪(fǎng)問(wèn)的性能。但是，網(wǎng)格中的數據復制技術(shù)與分布對象等、分布數據庫中的復制技術(shù)相比，還有一些問(wèn)題要注意改進(jìn)。
1)在數據系統中，用戶(hù)可以把數據存儲為一般文件、XML文件及各類(lèi)數據庫文件等;
2)而在數據網(wǎng)格系統中，需要充分考慮網(wǎng)絡(luò )開(kāi)銷(xiāo)，這和數據庫、分布對象系統選擇副本時(shí)是不同的，只在減少網(wǎng)絡(luò )開(kāi)銷(xiāo)，才能提高使用數據的速度;
3)在數據網(wǎng)格系統中，由于網(wǎng)格環(huán)境是呈動(dòng)態(tài)性的，而且數據副本的數量可達幾百甚至更多，存在巨大的數據量，為了對副本進(jìn)行有效管理;我們必須采用合理的動(dòng)態(tài)副本創(chuàng )建策略才能滿(mǎn)足要求;
4)一方面，數據網(wǎng)格系統中的數據量巨大，且操作頻率很高，整個(gè)文件的內容會(huì )被一個(gè)操作改寫(xiě)。這和傳統的數據庫中副本同步時(shí)幾個(gè)小事務(wù)的操作有著(zhù)很大的不同;而另一方面，數據網(wǎng)格中的數據廣泛分布和復制在WAN上，更加靈活，一般的保持副本一致性算法并不適用于此。
3.2 在數據網(wǎng)格中對復制系統的相關(guān)需求
根據網(wǎng)絡(luò )系統特點(diǎn)和對數據復制技術(shù)的分析，我們在使用數據網(wǎng)格下的數據復制系統需要注意以下幾點(diǎn)需求：
1)動(dòng)態(tài)性：在創(chuàng )建副本時(shí)，復制系統可以按需動(dòng)態(tài)創(chuàng )建副本和刪除副本;
2)適應性：復制系統需要考慮各種網(wǎng)絡(luò )問(wèn)題，如本地網(wǎng)速、用戶(hù)網(wǎng)速以及訪(fǎng)問(wèn)失敗等多種情況;
3)安全性：在創(chuàng )建副本時(shí)，應保證用戶(hù)數據訪(fǎng)問(wèn)的安全，不讓有圖謀的他人進(jìn)入;
4)有效性：復制系統創(chuàng )建副本時(shí)必須考慮資源和時(shí)間的開(kāi)銷(xiāo)，用自己能利用的資源設計出最佳方案;
5)靈活性：復制系統能夠根據操作需要，靈活創(chuàng )建、刪除和管理副本。
3.3 數據網(wǎng)格復制
Globus中數據管理的另一個(gè)基本服務(wù)是復制(replica management)，Globus中數據的復制管理主要是針對遠程的大型數據庫文件進(jìn)行訪(fǎng)問(wèn)。replica的原意是指復制品，即在文件復制時(shí)要與其本身保持一致性。為了滿(mǎn)足這個(gè)要求，在復制管理體系結構中，必須要有一個(gè)支持WAN的分布式數據庫。這樣就可以在對文件復制時(shí)進(jìn)行修改。同時(shí)，在原子操作時(shí)對文件進(jìn)行加密。
在Globus項目中沒(méi)有采用復雜的`分布數據庫。Globus中的復制管理服務(wù)實(shí)際上沒(méi)有按照“replica”的一般語(yǔ)義進(jìn)行實(shí)現，而是對“replica”語(yǔ)義放寬了限制，對于文件的多個(gè)復制操作，Globus的復制服務(wù)不會(huì )主動(dòng)執行任何操作來(lái)檢查確保文件的一致性。而當用戶(hù)在復制一個(gè)注冊的邏輯集合文件時(shí)，則需要由操作來(lái)保持數據文件之間的一致性。
在分布式計算的環(huán)境中，有時(shí)會(huì )遇到計算失敗，或網(wǎng)絡(luò )問(wèn)題，這就給我們的復制管理服務(wù)提出了更高的要求，可以快速從錯誤中回復，并保持數據的一致性。在Globus的復制管理服務(wù)功能中只能夠保證注冊文件的一致性，但不能保證存儲在復制管理服務(wù)中信息的一致性。
Globus復制目錄服務(wù)可以使科學(xué)應用程序快速地進(jìn)行數據訪(fǎng)問(wèn)，它是Globus復制管理的核。其工作原理是智能地把部分相關(guān)數據放置在離科學(xué)應用程序最近的位置。復制管理服務(wù)的功能主要包括：注冊新的拷貝到復制目錄中以、創(chuàng )建全部或部分文件集合的新拷貝、允許用戶(hù)查詢(xún)復制目錄來(lái)找到部分或全部文件集合的拷貝。
4 基于網(wǎng)格環(huán)境中的數據復制具體實(shí)現
在網(wǎng)格環(huán)境中，我們在數據復制前要對具體問(wèn)題進(jìn)行具體分析，做好規劃與設計。這就需要我們在設計時(shí)必須確定出需要復制的數據對象、數據庫站點(diǎn)及類(lèi)型、沖突解決方案、同步方式等內容。從而設計出一套詳實(shí)并能滿(mǎn)足實(shí)際業(yè)務(wù)需求的合理方案。在進(jìn)行詳細的規劃與設計后，我們就可以按計劃實(shí)現數據復制，具體操作如下：
1)創(chuàng )建數據復制站點(diǎn);
2)創(chuàng )建組對象;
3)配置合理、詳實(shí)的解決沖突方案。
下面，我們舉例說(shuō)明相關(guān)操作。我們會(huì )設置主控站點(diǎn)和共享數據表各兩個(gè)，采用多主控站點(diǎn)復制方式。
主控站點(diǎn)分別為處理站點(diǎn)(handle.world)和解釋站點(diǎn)(explain.world);數據表分別為測區(region)和測線(xiàn)(line)。
1)用系統身份進(jìn)行登錄并訪(fǎng)問(wèn)主站點(diǎn)數據庫。
2)為每個(gè)復制站點(diǎn)創(chuàng )建新用戶(hù)，并為其授權復制管理員身份，其主要任務(wù)是負責創(chuàng )建并管理復制的站點(diǎn)，其代碼如下圖所示：
3)指定本站點(diǎn)的propagator，其主要職責是將本地的最新數據傳播到其他站點(diǎn)上，完成任務(wù)。
4)指定本站點(diǎn)的receiver，其主要職責是接收其他站點(diǎn)上的propagator傳輸過(guò)來(lái)的數據，其代碼如下圖所示：
5)為了提高運行速度，我們需要定時(shí)清除已經(jīng)加載的事務(wù)，在本例中設定每小時(shí)清除一次。這樣做的目的是避免事務(wù)隊列過(guò)長(cháng)。
6)調度數據庫鏈接
我們用同樣的方法法創(chuàng )建處理站點(diǎn)(handle.world)和解釋站點(diǎn)(explain.world)。創(chuàng )建的過(guò)程如下：首先，需要先在各個(gè)主控站點(diǎn)之間建立數據庫鏈接，我們需要先建立一個(gè)公用的數據庫鏈接，讓它為其他私有數據庫鏈接提供服務(wù)。同時(shí)，我們需要在解釋站點(diǎn)(explain.world)上建立與處理站點(diǎn)(handle.world)的數據庫鏈接。其次，我們要為每個(gè)數據庫鏈接定義系統調度的時(shí)間。
5 解決數據復制中的沖突問(wèn)題
在進(jìn)行數據庫系統和應用程序設計過(guò)程中，設計者會(huì )考慮到?jīng)_突的問(wèn)題，在設計時(shí)進(jìn)行優(yōu)化操作，但是站點(diǎn)之間的沖突問(wèn)題并不能完全避免。一旦發(fā)生沖突，就需要采用沖突解決機制來(lái)處理，從而保證各站點(diǎn)數據的一致性。我們可以通過(guò)以下幾種方法來(lái)解決上述問(wèn)題：
5.1 查看出錯命令的具體內容
當出現復制沖突問(wèn)題時(shí)，我們要及時(shí)了解哪些數據容易出現沖突。在系統中，靜態(tài)數據很少出現沖突，發(fā)生沖突的主要是一些變化較大的動(dòng)態(tài)數據。了解這一情況之后，我們要根據情況來(lái)解決沖突問(wèn)題。其方法有如下幾種，方法1：建立各站點(diǎn)間的優(yōu)先次序，在數據不一致時(shí)，系統以基準站點(diǎn)上的數據為準;方法2：當數據不一致時(shí)，系統以某個(gè)站點(diǎn)上最新更新的修改為準。
雖然數據庫中提供了很多解決方案來(lái)避免沖突，如針對更新沖突、刪除沖突、唯一性沖突等多種沖突的解決方案。這些方案都有相應的適用范圍，用戶(hù)可以根據具體的業(yè)務(wù)情況來(lái)選擇合適的方案來(lái)解決沖突問(wèn)題。除了這些系統中的方案以外，我們還可以通過(guò)自定義方案的方法來(lái)處理沖突問(wèn)題。
5.2 比較數據之間的差異
如果遇到一些查詢(xún)復制出錯的語(yǔ)句，使用人工處理同步失敗時(shí)相對容易。但是當復制錯誤的命令很多時(shí)，就會(huì )比較麻煩，使用以上方法難以處理。這種情況下，我們一般會(huì )選擇忽略失敗的復制命令，然后通過(guò)比較訂閱表的數據之間的差異來(lái)解決問(wèn)題 。
在具體的數據復制應用中，還有許多復雜的問(wèn)題亟需解決，這些問(wèn)題需要我們在實(shí)際應用中繼續研究，深入探索。
【基于網(wǎng)格的數據傳輸與復制技術(shù)研究論文】相關(guān)文章：
數字電視數據傳輸技術(shù)研究論文10-25
基于移動(dòng)Agent系統的安全技術(shù)研究論文11-06
基于A(yíng)ndroid平臺軟件開(kāi)發(fā)技術(shù)研究論文11-07
基于遺傳算法的車(chē)牌定位技術(shù)研究論文11-06