一種靈活的網(wǎng)絡(luò )學(xué)習行為數據采集與分析系統論文
摘要：網(wǎng)絡(luò )學(xué)習正在日益興起，在多樣化的教與學(xué)過(guò)程中充分利用網(wǎng)絡(luò )上日益豐富的學(xué)習資源，滿(mǎn)足不同層次求學(xué)者的需要。對網(wǎng)絡(luò )學(xué)習中學(xué)習者的各項學(xué)習行為進(jìn)行分析，從中找出學(xué)習者群體的特征和個(gè)體的特點(diǎn)，從而幫助教育者促進(jìn)網(wǎng)絡(luò )教與學(xué)的建設是目前迫切學(xué)要解決的問(wèn)題。本文結合當前主流的學(xué)習行為數據采集和分析的方法的優(yōu)點(diǎn)和不足，提出了一種基于數據流獲取的網(wǎng)絡(luò )學(xué)習行為數據采集與分析的方案，詳細介紹了數據采集和數據分析的方法，并探討了實(shí)現這套方案的軟件系統設計。該軟件系統具有較強的靈活性和實(shí)用性，能夠幫助學(xué)習者和教育者進(jìn)行更加有效網(wǎng)絡(luò )教與學(xué)。
關(guān)鍵詞：網(wǎng)絡(luò )學(xué)習；學(xué)習行為數據采集；學(xué)習行為分析；數據流獲��；文本挖掘
1.引言
現代教育教學(xué)除了傳統的課堂教學(xué)和實(shí)踐培訓外，越來(lái)越多地采用了網(wǎng)絡(luò )學(xué)習的方式。網(wǎng)絡(luò )學(xué)習可以分為兩種類(lèi)型，一種是集中式網(wǎng)絡(luò )學(xué)習，比如遠程網(wǎng)絡(luò )教育以及企事業(yè)內部網(wǎng)絡(luò )的業(yè)務(wù)培訓；一種是發(fā)散式網(wǎng)絡(luò )學(xué)習，比如在學(xué)生在互聯(lián)網(wǎng)上廣泛、分散地查閱資料等自主學(xué)習。不論哪一種方式的網(wǎng)絡(luò )學(xué)習都能在多樣化的教與學(xué)過(guò)程中，充分利用網(wǎng)絡(luò )上日益豐富的學(xué)習資源，滿(mǎn)足不同層次求學(xué)者的需要。
對網(wǎng)絡(luò )學(xué)習中學(xué)習者的各項學(xué)習行為進(jìn)行分析，從中找出學(xué)習者的學(xué)習規律，可以幫助教育者不斷修正目前還不成熟的網(wǎng)絡(luò )學(xué)與教，促進(jìn)網(wǎng)絡(luò )教育的建設。
對網(wǎng)絡(luò )學(xué)習者的學(xué)習行為進(jìn)行分析，首先需要采集學(xué)生在網(wǎng)絡(luò )學(xué)習過(guò)程中的學(xué)習行為信息數據，然后對這些數據進(jìn)行集成、分類(lèi)和分析。目前，基于計算機和網(wǎng)絡(luò )平臺的網(wǎng)絡(luò )學(xué)習行為數據采集與分析的常用方法主要有兩類(lèi)，一是基于Web服務(wù)（Web Services）的方法[1][2]，一是基于Web日志挖掘（Web Usage Mining）的方法[3][4]。目前，基于Web Services的方法應用較多，但這種方法也存在比較明顯的不足，主要是：只能得到在該網(wǎng)站進(jìn)行學(xué)習的注冊學(xué)習者的學(xué)習行為數據，并對他們的學(xué)習行為進(jìn)行分析，具有局限性；這樣的系統開(kāi)發(fā)要與網(wǎng)站程序的設計以及數據庫設計同步進(jìn)行，才能做到無(wú)縫集成，專(zhuān)用性強，靈活性較差。Web Usage Mining的不足在于Web日志和客戶(hù)端數據不容易得到，即使得到了，也和Web安全的相關(guān)原則有沖突，而且這些數據都是學(xué)習者通過(guò)該Web服務(wù)器時(shí)留下的，同樣存在局限性。
通過(guò)實(shí)際對比分析和研究發(fā)現，如果能結合上述兩者，就將是一種比實(shí)用的解決方案。本方案的基本思路是：在服務(wù)器或網(wǎng)關(guān)上使用netmate進(jìn)行數據流捕獲，然后處理并輸出為文本，然后使用文本挖掘的成熟算法進(jìn)行處理，得到網(wǎng)絡(luò )學(xué)習者學(xué)習的特點(diǎn)、偏好等學(xué)習規律，幫助教育者進(jìn)行教育學(xué)分析，從而有效地指導網(wǎng)絡(luò )學(xué)習和教學(xué)的建設。
2.學(xué)習行為數據采集
學(xué)習行為數據的采集是進(jìn)行學(xué)習行為分析的前提，是整個(gè)方案的基礎。學(xué)生網(wǎng)絡(luò )學(xué)習行為數據的采集是一種基于開(kāi)源軟件netmate的數據流自動(dòng)獲取，這種方式很容易對流經(jīng)節點(diǎn)服務(wù)器或網(wǎng)關(guān)的數據流進(jìn)行實(shí)時(shí)獲取，然后回根據netmate提供的接口，生成文本已備后續的文本處理。
2.1數據流獲取
數據流獲取是網(wǎng)絡(luò )學(xué)習行為數據采集的第一步。這種獲取是實(shí)時(shí)的、基于隨機樣本的，由于樣本容量可以取很大，即使出現丟包的情況，也能夠接近實(shí)際情況。由于經(jīng)過(guò)節點(diǎn)服務(wù)器或者網(wǎng)關(guān)的數據流既有流入的也有流出的，因此既能夠獲取到學(xué)習者在站或者內部網(wǎng)絡(luò )上的集中式學(xué)習的行為數據，又能夠獲取到學(xué)習者通過(guò)服務(wù)器或網(wǎng)關(guān)進(jìn)入互聯(lián)網(wǎng)絡(luò )的發(fā)散式學(xué)習的行為數據。由此可見(jiàn)，這樣的基于數據流的網(wǎng)絡(luò )學(xué)習行為數據采集能夠滿(mǎn)足前述兩種主要的網(wǎng)絡(luò )學(xué)習方式。
首先要在節點(diǎn)服務(wù)器或者網(wǎng)關(guān)計算機上安裝好netmate及配套的庫（libpcap、readline），然后根據數據獲取的需求在配置文件（netmate.conf.xml）中進(jìn)行配置，主要是根據需求制定自己的規則（rule）。在netmate工作過(guò)程中，根據制訂好的規則，會(huì )將獲取到的數據流以指定的形式進(jìn)行輸出。
由于netmate部署的位置可以根據需要而改變，獲得的文本可以通過(guò)傳送工具傳到指定的目的主機，因此具有很強的靈活。在集中式網(wǎng)絡(luò )學(xué)習中，如果獲取點(diǎn)在遠程教育網(wǎng)站上，則可以獲取在該網(wǎng)站學(xué)習的所有學(xué)習者的學(xué)習信息，如果獲取點(diǎn)在校園網(wǎng)的Web服務(wù)器上，就可以獲取該校校園網(wǎng)絡(luò )學(xué)習資源的利用情況；在發(fā)散式網(wǎng)絡(luò )學(xué)習中，如果獲取點(diǎn)在校園網(wǎng)的網(wǎng)絡(luò )服務(wù)器上，就可以獲取全校學(xué)生在互聯(lián)網(wǎng)上的學(xué)習情況，如果獲取點(diǎn)在某個(gè)院系的`網(wǎng)關(guān)服務(wù)器上，就可以獲取該院系的學(xué)生在實(shí)驗室在各個(gè)時(shí)段的網(wǎng)絡(luò )學(xué)習情況。
3.學(xué)習行為的文本挖掘
文本挖掘也被稱(chēng)作文本數據挖掘，是指從文本中得到高質(zhì)量的、事先未知的、可理解的信息的過(guò)程。在得到通過(guò)節點(diǎn)服務(wù)器的數據文本后，就可以進(jìn)行文本分類(lèi)，從中找出網(wǎng)絡(luò )學(xué)習行為的特點(diǎn)以及一些規律。
3.1文本預處理
在進(jìn)行文本分類(lèi)之前，須先對文本文檔進(jìn)行預處理，并將信息存放在比文本數據更適合處理的數據結構中。對英文單詞而言，動(dòng)詞的不同時(shí)態(tài)一般在動(dòng)詞后加后綴表示（ing或ed），而單詞的基本意義還是在原形式上，這時(shí)就需要進(jìn)行詞根還原，將一個(gè)詞加后綴后的形式還原為它們基本形式。對中文文本的理解在于正確地斷句，由于中文詞與詞之間沒(méi)有空格，因此在進(jìn)行中文文本挖掘之前，需要對文本進(jìn)行分詞處理，把中文的漢字序列切分成有意義的詞。
在預處理的末期，將得到非常巨大的向量空間，這時(shí)需要進(jìn)行特征降維處理。由于不同的標準對同一學(xué)習行為的界定原本就不是很明確，因此采用了卡方統計（CHI）算法進(jìn)行特征選擇，接下來(lái)采用聚類(lèi)方法進(jìn)行特征提取。
3.2文本分類(lèi)
在特征降維之后，應用分類(lèi)器對文本分類(lèi)。目前的分類(lèi)器大致可分為兩類(lèi)：基于統計的分類(lèi)器和基于語(yǔ)義的分類(lèi)器�；诮y計的方法中，成熟的有中心法，樸素貝葉斯，支持向量機�；谡Z(yǔ)義的有決策樹(shù)等。通過(guò)比較算法實(shí)現的難度和算法能達到的精度，本案采用了基于統計的分類(lèi)器，通過(guò)支持向量機算法來(lái)實(shí)現。
4.采集和分析系統的設計
通過(guò)前面的描述，對本案采集和分析系統進(jìn)行了詳細地分析。
系統的軟件設計結合前述采用的算法和工具，自行開(kāi)發(fā)的一些軟件模塊，從而構成一個(gè)比較完整的采集和分析系統。軟件的結構如圖1所示。系統采用客戶(hù)機/服務(wù)器模式，數據流獲取與傳輸模塊作為客戶(hù)機端模塊，部署在獲取點(diǎn)計算機上，其余模塊作為服務(wù)器端模塊，部署在文本處理和分析的主機上。
4.1數據流獲取與傳輸模塊
數據流獲取與傳輸負責對網(wǎng)絡(luò )學(xué)習行為數據進(jìn)行廣泛的采集，然后將數據傳輸到指定的主機上。如前所述，數據流獲取通過(guò)netmate進(jìn)行，當配置為text輸出時(shí)，就會(huì )取得需要的數據流文本�？紤]到當前網(wǎng)絡(luò )基本都是高速的，在獲取數據流的過(guò)程中對服務(wù)器的需求已經(jīng)很高，因此，將這些文本數據傳輸到遠程主機的學(xué)習行為樣本庫中，然后再進(jìn)行離線(xiàn)處理和分析工作。遠程傳輸部分采用多線(xiàn)程的TCP套接字實(shí)現。recConfig也采用多線(xiàn)程的TCP套接字實(shí)現，用來(lái)接收來(lái)自于遠程主機上Configer的參數，對采集端的配置參數進(jìn)行修正，然后重啟netmate和remTrans。
4.2學(xué)習行為樣本庫
學(xué)習行為樣本庫存放從各個(gè)獲取點(diǎn)得到學(xué)習行為數據樣本，并以文本文件形式存放。樣本庫中的文本根據其采集時(shí)間或者指定來(lái)源進(jìn)行簡(jiǎn)單檢索4.3文本分析模塊文本分析模塊負責對學(xué)習行為樣本庫中的文本進(jìn)行分析，包括文本預處理（Preproceed）、文本分類(lèi)（Classify）、輸出（Export）和模式調整（RecModify）四個(gè)部分。PreProceed和Classify如前面敘述所設計。Export負責把經(jīng)過(guò)分類(lèi)的文本數據輸出為Weka的數據格式，或者直接把各分類(lèi)的數據統計結果輸出到屏幕。RecModify接收來(lái)自Modifer的模式調整參數，并重啟PreProceed和Classify，以便對文本挖掘的調整馬上生效。
4.4可視化顯示模塊
可視化顯示模塊主要是利用Weka工具提供的可視化功能，對文本分析的結果進(jìn)行顯示，或者做進(jìn)一步的關(guān)聯(lián)規則分析并可視化輸出。
4.5運行控制模塊
運行控制模塊主要負責系統運行期間對數據獲取和文本分析兩個(gè)模塊的運行參數作調整，以便系統能夠靈活處理需求變化。其中，Configer針對netmate配置文件和遠程傳輸地址進(jìn)行調整，為多線(xiàn)程TCP服務(wù)器套接字設計；Modier對文本預處理和文本分類(lèi)的模式進(jìn)行調整。
結束語(yǔ)
本文提出了一個(gè)比較靈活的網(wǎng)絡(luò )學(xué)習行為數據采集和分析系統，采用了開(kāi)源軟件工具和成熟的算法，在此基礎上進(jìn)行軟件設計，從而實(shí)現網(wǎng)絡(luò )學(xué)習行為數據采集和學(xué)習行為的分析。遠程傳輸模塊的設計大大方便了對學(xué)習行為分析的本地化，在每個(gè)階段都設計了相應的反饋和調整模塊使得系統在運行過(guò)程中能適應具體環(huán)境。系統還處在試驗的階段，下一步將繼續完善與改進(jìn)，除了分類(lèi)算法改進(jìn)外，結果可視化也需要改進(jìn)。
參考文獻：
[1]Karin Anna Hummel，Helmut Hlavacs Anytime.AnywhereLearning Behavior Using a Web-Based Platform for a University Lecture.[EB/OLD.www.ani.univie.ac.at/hlavacs/publications/ssgrr_winter03.pdf,2006-3-1]
[2]呂莉,張屹.基于Web服務(wù)的網(wǎng)絡(luò )學(xué)習行為采集研究現狀[J].開(kāi)放教育研究,2009(15)
[3]Chien-Sing Lee and YashwanL Prasud Singly.Student modelingusing Principle component analysis of SOM clusters.Proceedings of theIEEE International Conference on Advanced Learning Technologies,2004
[4]黎孟雄.基于Web挖掘的遠程教學(xué)質(zhì)量跟蹤系統設計[J].河南科技大學(xué)學(xué)報,2007(28)
[5]黃克斌,王鋒,王會(huì )霞.智能化網(wǎng)絡(luò )學(xué)習行為分析系統的設計與實(shí)現[J].中國教育信息化,2008(3)
【一種靈活的網(wǎng)絡(luò )學(xué)習行為數據采集與分析系統論文】相關(guān)文章：
教育消費的心理與行為分析01-19
系統的基本特性分析說(shuō)課稿11-02
我最敬佩的一種行為小學(xué)作文11-15
網(wǎng)絡(luò )學(xué)習教學(xué)反思08-22
《錯誤也是一種財富》論文12-05