云計算環(huán)境下大規模數據處理技術(shù)研究論文
隨著(zhù)計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展和應用，網(wǎng)絡(luò )信息和數據量正在高速增長(cháng)。傳統的并行計算、分布計算等方式由于各種限制，往往都難以滿(mǎn)足實(shí)際的計算要求�；诖�，采用基于云計算環(huán)境下的大規模數據處理技術(shù)，能夠有效的打破這些限制，從而實(shí)現更加高效、快速的數據計算。
1云計算環(huán)境下大數據處理模式
1.1大規模廉價(jià)計算平臺
利用虛擬化技術(shù)，能夠實(shí)現大規模廉價(jià)計算平臺，將存儲、應用程序、網(wǎng)絡(luò )、計算等資源作為虛擬化實(shí)體。對閑散的計算資源進(jìn)行抽象，使之形成相互之間完全獨立的虛擬服務(wù)器實(shí)例，從而獨立的完成數據處理和計算。通過(guò)這種方式，就能夠實(shí)現底層硬件的虛擬化。構建可擴展計算節點(diǎn)資源池，并在其中實(shí)現集成管理虛擬計算流程和計算節點(diǎn)。這樣，大規模數據子處理任務(wù)就能夠完成實(shí)時(shí)遷移、資源轉換、系統監控和任務(wù)部署。
建設大規模計算平臺的過(guò)程，也是云計算環(huán)境下大規模數據處理的一個(gè)重要步驟。具體來(lái)說(shuō)，首先要對數據處理需要的資源進(jìn)行參數化的配置，根據相應的要求進(jìn)行定制。通過(guò)這一過(guò)程，用戶(hù)能夠獲取自己需要的資源。在不同的操作模式下為用戶(hù)提供參數服務(wù)。在設置參數完成定制之后，以此為基礎，在大規模數據處理的時(shí)候，部署存儲和計算資源，設定計算流程和數據處理方案。將相關(guān)參數設置信息在存儲和計算資源的配置文件當中進(jìn)行寫(xiě)入之后，以此對計算流程進(jìn)行分配，從而在計算節點(diǎn)中啟動(dòng)相關(guān)的資源，并且管理和部署計算節點(diǎn)的定制處理服務(wù)。
部署工具通過(guò)網(wǎng)絡(luò )連接到目標計算節點(diǎn)和計算流程，然后執行大規模數據處理方案。然后根據相應的方案，通過(guò)代碼對存儲和計算資源進(jìn)行分配和執行。將部署在計算節點(diǎn)進(jìn)行進(jìn)行啟動(dòng)，利用網(wǎng)絡(luò )在各個(gè)計算節點(diǎn)發(fā)送數據處理命令，從而完成調度和部署計算流程的工作。
1.2Map Reduce技術(shù)的支持
采用Map Reduce分布式和并行式編程模型，從而在模型內部對任務(wù)容錯處理、計算節點(diǎn)負載均衡、空間局部性?xún)?yōu)化、并行任務(wù)調度等方加以實(shí)現。在Map Reduce的`開(kāi)發(fā)過(guò)程中，只需對Map、Reduce兩個(gè)接口進(jìn)行定義，通過(guò)計算機集群，對用戶(hù)編寫(xiě)程序進(jìn)行運行，拆分大規模數據集合，使之形成若干數據片段，從而得到一系列鍵值對[4]。然后向一個(gè)Map任務(wù)中分配一個(gè)數據片段，在Map Reduce框架下，向大規模計算集群中的節點(diǎn)進(jìn)行子任務(wù)的分配。最后，結合得到的鍵值對進(jìn)行計算，生成鍵值對集合，向Reduce當中進(jìn)行輸出。
Reduce當中每一個(gè)Reduce任務(wù)，都會(huì )向二元組集合當中進(jìn)行分配，輸入集合片段，運行Reduce函數，輸出二元組鍵值對。如果數據處理任務(wù)失敗，也能夠自動(dòng)重新進(jìn)行計算。在大規模數據處理當中，是高度并行操作Map的，這一步驟對于大規模數據的高效處理來(lái)說(shuō)，具有不可忽視的意義�；谠朴嬎悱h(huán)境下，對規模數據信息大都能夠達到TB級別或GB級別。在長(cháng)時(shí)間處理大規模數據的時(shí)候，如果發(fā)生數據處理任務(wù)失敗的情況，能夠防止發(fā)生計算任務(wù)重新執行的情況。由于數據塊是被復制的，因此在容錯性方面，還會(huì )關(guān)系到負載均衡的情況。
2云計算環(huán)境下大數據處理的框架模型
在大規模數據資源和計算資源當中，對云計算技術(shù)、計算機網(wǎng)絡(luò )技術(shù)進(jìn)行引入，建立大規模數據處理框架模型。主要包含了兩級結構，其一是虛擬資源體系、大規模廉價(jià)計算機集群，其二是大規模數據處理分析的處理監測管理體系、數據處理服務(wù)請求、以及相應的基礎架構。利用限制的計算機資源，對虛擬資源層和物理設備進(jìn)行構建，從而形成最底層的物理資源，形成同構的數據處理資源池或接近于同構的數據處理資源池。在第二級結構當中，最為重要的就是軟件體系，能夠為大規模數據處理提供服務(wù)。采用Hadoop核心技術(shù)，對數據處理接口進(jìn)行編寫(xiě)。通過(guò)這種方式，在不同的學(xué)科和領(lǐng)域當中，能夠提供相應的大規模數據處理服務(wù)，從而使用戶(hù)能夠享有良好的計算平臺軟件支持。
在這一框架的設計與實(shí)現當中，對Hadoop分布式開(kāi)源計算機框架進(jìn)行了應用，對其中的HDFS分布式文件系統，以及Map Reduce進(jìn)行應用，從而對大規模數據處理業(yè)務(wù)進(jìn)行處理和協(xié)調。在計算節點(diǎn)當中，對放置在Map Reduce任務(wù)進(jìn)行映射，對大規模數據進(jìn)行劃分，使之形成若干子塊，并對數據塊的數量、規格等參數加以掌握。通過(guò)HDFS功能，可以在每一個(gè)計算節點(diǎn)當中，對數據塊副塊進(jìn)行智能的放置，同時(shí)針對各個(gè)節點(diǎn)，對具體的角色進(jìn)行設計。在大規模數據處理的過(guò)程當中，需要利用Reduce函數、Map函數、以及相關(guān)的程序進(jìn)行分布化處理。在Hadoop當中，為了對Map Reduce進(jìn)行運行，提供了一個(gè)API進(jìn)行支持。
3結論
在當前信息化的時(shí)代背景當中，計算機和網(wǎng)絡(luò )的廣泛應用，使得各個(gè)領(lǐng)域中的數據量和信息量與日倶增。而對于這些海量的大規模數據來(lái)說(shuō)，利用傳統的數據處理方式，往往難以取得十分理想的處理效果�；诖�，可在云計算環(huán)境下，開(kāi)發(fā)和利用相應的大規模數據處理技術(shù)，以此來(lái)支持社會(huì )各個(gè)領(lǐng)域當中的大規模數據處理需要，從而數字化的時(shí)代當中，始終保持較高的工作效率和良好的工作效果。
【云計算環(huán)境下大規模數據處理技術(shù)研究論文】相關(guān)文章：
云計算環(huán)境下的分布存儲技術(shù)研究論文11-06
云計算環(huán)境下網(wǎng)絡(luò )技術(shù)研究論文11-07
分析論文：云計算環(huán)境下大數據06-26
云計算環(huán)境下的網(wǎng)絡(luò )技術(shù)及其發(fā)展論文06-02
云計算環(huán)境下軟件開(kāi)發(fā)架構應用與設計論文11-17
云計算環(huán)境數據安全研究論文11-03