基于數據抽取與訂閱實(shí)現數據共享分析及研究論文
1.引言
早期的應用系統的建設，大都存在缺少總體、全面、系統的規劃，缺乏統一的數據標準，相互之間資源難以共享的“信息孤島”。從而造成各部門(mén)提供的數據不夠完整、準確和權威。給全校范圍內信息的交流和共享帶來(lái)了障礙，同時(shí)產(chǎn)生了大量的冗余信息。因此，需要通過(guò)對各部門(mén)計算機應用系統進(jìn)行統一規劃，利用底層整合的信息資源，為門(mén)戶(hù)、應用和信息資源整合提供數據交換、資源管理等基本服務(wù)接口，以實(shí)現各部門(mén)決策數據在應用層面的互聯(lián)互通和信息共享。
為了實(shí)現數據共享，需要建設數據中心存儲全校共享的數據。建設數據中心時(shí)，盡可能擴展數據的集成范圍，形成大而全的數據中心，作為全校數據統計分析、智能決策支持的權威數據庫；數據庫能集成到數據中心運行的應用系統盡可能集成到數據中心運行，數據中心可以成為后續開(kāi)發(fā)各種應用系統的通用數據庫平臺；對于需獨立運行的應用系統，通過(guò)數據交換與共享服務(wù)平臺來(lái)實(shí)現數據的集成與共享；同時(shí)制定規范的數據變更流程，實(shí)現誰(shuí)產(chǎn)生、誰(shuí)維護、誰(shuí)負責的權威數據源。
本文以我校數字化校園項目建設為例，重點(diǎn)介紹如何規劃好我校數據流，以及如何通過(guò)數據的`抽取與訂閱實(shí)現各業(yè)務(wù)系統數據共享。
2.數據流規劃
為了實(shí)現校內各業(yè)務(wù)系統間的數據共享和保證數據的一致性，必須規劃好數據流向。數據共享的總體包括了代碼集的共享和數據集的共享。在這里，“代碼集”主要是指在各個(gè)應用系統需要實(shí)現流轉的學(xué)校標準代碼，“數據集”主要是指在各個(gè)業(yè)務(wù)系統間需要進(jìn)行數據共享的數據集。
每一個(gè)共享的代碼集或數據集都有唯一的權威數據源，執行“誰(shuí)產(chǎn)生，誰(shuí)維護”的原則。在整個(gè)數據流轉設計中，數據流都不做交叉設計，這樣不會(huì )導致數據流混亂，形成誤解。 因些必須對各業(yè)務(wù)系統進(jìn)行統一編碼，設置好業(yè)務(wù)系統間數據共享流程，并對共享數據信息流細化。
2.1業(yè)務(wù)系統統一編碼
根據我校所使用的各業(yè)務(wù)系統，分別采用數字對應各業(yè)務(wù)系統，“41”代表“人事系統”；“42”代表“學(xué)工系統”；“43”代表“招生系統”；“44”代表“科研系統”；“45”代表“科研系統”；“47”代表“迎新系統”；“48”代表“離校系統”；“50”代表“校友系統”；“52”代表“辦公系統”；“61”代表“財務(wù)系統”；“62”代表“圖書(shū)館系統”；“63”代表“一卡通系統”；
2.2業(yè)務(wù)系統間數據共享流程
業(yè)務(wù)系統主要涉及到：招生系統、教務(wù)系統、迎新系統、學(xué)工系統、離校系統、校友系統、人事系統、財務(wù)系統、科研系統、辦公系統、圖書(shū)館系統、一卡通系統；系統間各業(yè)務(wù)數據的來(lái)源及共享如下圖所示：
每個(gè)帶有“數字”箭頭的標記分別表示數據的來(lái)源和內容及數據流向哪個(gè)業(yè)務(wù)系統，詳細信息如下：
(1) 新生數據
(2) 新生數據（教務(wù)系統已經(jīng)進(jìn)行分班編學(xué)號處理）
(3) 迎新結果數據
(4) 學(xué)生基本信息，學(xué)籍基本信息，成績(jì)數據
(5) 學(xué)生基本信息，學(xué)生收費明細
(6) 學(xué)生收費結果數據
(7) 獎學(xué)金信息，資助信息，貸款信息，綠色通道信息，困難生補助信息
(8) 學(xué)生獎學(xué)金發(fā)放結果，資助金額發(fā)放結果，補助發(fā)放結果，貸款處理結果
(9) 學(xué)生收費數據，學(xué)生欠費數據
(10) 需要辦理離校手續的學(xué)生信息
(11) 離校后的學(xué)生信息
(12) 教職工基本信息，教職工工資明細
(13) 教職工基本信息
(14) 科研成果數據，論文、著(zhù)作數據
(15) 科研項目信息
(16) 項目經(jīng)費到賬信息
-教職工信息
(17) -（20）教職工信息
�。�21） 教師課程安排信息，教學(xué)質(zhì)量評價(jià)信息
�。�22）（23）學(xué)生基本信息
3.數據抽取與訂閱
3．1數據抽取與訂閱的實(shí)現流程圖
通過(guò)觸發(fā)器、系統日志、數據變化標志位來(lái)捕捉業(yè)務(wù)系統需要共享或要交換到數據中心的數據發(fā)生變化，同步到中介庫，設置中介庫在業(yè)務(wù)系統數據庫服務(wù)器，這樣數據發(fā)生變化后同步到中介庫，不需要進(jìn)行數據庫異構轉換，而且不需要經(jīng)過(guò)任何網(wǎng)絡(luò )，這樣能保證數據的實(shí)施、高效、安全的數據同步。
3．2數據抽取與訂閱實(shí)現
數據中心從各業(yè)務(wù)系統中抽取需要共享的數據來(lái)保持數據同步，如需要從教務(wù)系統中取學(xué)生信息集和教學(xué)場(chǎng)地信息集，需要從人事系統中取教職工信息集。數據中心從業(yè)務(wù)系統整合數據的關(guān)系圖如下：
先由數據中心系統管理員或各業(yè)務(wù)系統管理員進(jìn)行數據抽取配置，選擇從哪個(gè)系統抽取數據，再設定業(yè)務(wù)系統信息字段與數據中心信息字段的對應關(guān)系如圖3所示：
4.結語(yǔ)
高校信息化建設是一個(gè)不斷發(fā)展的過(guò)程 ，在這個(gè)過(guò)程中，信息資源的有效整合是一個(gè)必然的過(guò)程 ，通過(guò)整合可以實(shí)現現有業(yè)務(wù)系統之間的數據交換與共享。本文通過(guò)分析學(xué)校各業(yè)務(wù)系統的數據特點(diǎn)，規劃出各業(yè)務(wù)系統的數據流向，并通過(guò)數據的抽取與訂閱實(shí)現數據共享。
參考文獻：
[1]金保華， 和振遠， 張亮， 李金旭， 趙麗輝 基于 SOA的數據共享與交換平臺分析與設計 鄭 州 輕 工 業(yè) 學(xué) 院 學(xué) 報 (自 然 科 學(xué) 版 )2011年2月
[2]李學(xué)儉 數據共享環(huán)境下統一信息標準的建設與應用 計 算 機 技 術(shù) 與 發(fā) 展2011年5月
【基于數據抽取與訂閱實(shí)現數據共享分析及研究論文】相關(guān)文章：
論文：大數據分析與應用問(wèn)題研究07-02
基于QAR數據的民航發(fā)動(dòng)機排故方法研究分析論文10-31
基于大數據的統計分析模型設計論文11-17