簡(jiǎn)析基于大數據平臺的動(dòng)態(tài)票額智能預分系統的研究與實(shí)現論文
從2011年起，鐵路在全路實(shí)行旅客列車(chē)票額智能預分，采用客流預測方法生成列車(chē)席位預分方案，達到了票額管理合理化、科學(xué)化、趟車(chē)效益增加，并且自預售之日起，保證始發(fā)長(cháng)途票額分配合理，兼顧沿途需求，保障中間站的旅客發(fā)送，充分提高了中間站組織客流的積極性。為各鐵路局客運組織實(shí)現挖潛提效、精細化管理起到關(guān)鍵作用作用。隨著(zhù)參與預分的列車(chē)不斷增多，動(dòng)車(chē)組列車(chē)購票習慣的變化，現有的預分方法和實(shí)現機制也存在以下問(wèn)題：
(1)鐵路列車(chē)近年來(lái)調圖頻繁，車(chē)次急劇增加，并且預售期延長(cháng)，由調圖帶來(lái)的停站方案、開(kāi)點(diǎn)變更、編組調整變化較大，導致預測計算量巨大，系統負載較重。
(2)以往的票額預分為預售期外一次預測并預分，預售期內調整完全依據人工調整，不容易及時(shí)發(fā)現問(wèn)題，票額調整工作被動(dòng)，且臨近開(kāi)車(chē)期間銷(xiāo)售情況難以掌握。
因此，有必要針對參考期內席位售出情況和預售期內余票概貌等情況進(jìn)行動(dòng)態(tài)監測，研究票額動(dòng)態(tài)預分的方法，并對預測數據、調整依據的計算進(jìn)行基礎架構改造，適應海量數據變化的需要。
1鐵路客票大數據平臺的研究與實(shí)現
隨著(zhù)客運歷史數據的累積，以及全國鐵路客運規模的快速擴展，全國鐵路客票歷史數據規模越來(lái)越大，數據種類(lèi)也越來(lái)越多，僅僅依靠關(guān)系型數據庫進(jìn)行數據的管理和操作，已經(jīng)不能滿(mǎn)足需要。因此，以客運營(yíng)銷(xiāo)數據為基礎，結合由客票生產(chǎn)系統產(chǎn)生的實(shí)時(shí)數據，采用開(kāi)源分布式數據庫構建大數據平臺，實(shí)現鐵路客票大數據平臺的研究具有重要意義。
1.1Hadoop分布式并行處理
Hadoop是近年來(lái)炙手可熱的開(kāi)源分布式并行處理框架，用戶(hù)可忽略對底層并行實(shí)現的細節高效的構建出并行的分布式程序。Hadoop主要包括2個(gè)組件：(1)與GFS類(lèi)似的分布式文件系統，簡(jiǎn)稱(chēng)HDFS;(2)并行計算模型MapReduce，由JobTracker、TaskTracker等組件組成。
Hadoop的工作原理是將數據拆成片，并將每個(gè)“分片”分配到特定的集群節點(diǎn)上進(jìn)行分析，每個(gè)數據分片都是在獨立的集群節點(diǎn)上進(jìn)行單獨處理的，因此非常適合處理大數據量、非結構化數據。Hadoop集群的另一個(gè)特點(diǎn)是具有較好的可擴展性，隨著(zhù)數據量的增加，集群的處理能力將會(huì )受到影響，可通過(guò)添加額外的集群節點(diǎn)有效地擴充集群以解決問(wèn)題。Hadoop集群的并行處理能力可顯著(zhù)提高計算效率，能達到實(shí)時(shí)或準實(shí)時(shí)數據處理的時(shí)效性。此外，Hadoop所需軟件為開(kāi)源軟件，并能夠很好的支持商用硬件從而客運很好的控制成本，此外，Hadoop集群還具有故障容錯的優(yōu)點(diǎn)，當一個(gè)數據分片發(fā)送到某個(gè)節點(diǎn)進(jìn)行計算時(shí)，該數據在集群其他節點(diǎn)上會(huì )保留副本，即使一個(gè)節點(diǎn)發(fā)生故障，該策略也能保證該節點(diǎn)數據的副本數據正常處理。
1.2鐵路客票大數據平臺數據源
鐵路客票大數據平臺主要來(lái)源于歷史數據和實(shí)時(shí)數據兩類(lèi)。歷史數據包括互聯(lián)網(wǎng)訂票數據、運能數據以及售票、退票、廢票和改簽數據�？推毕到y實(shí)時(shí)數據包括實(shí)時(shí)余票數據、實(shí)時(shí)存量數據以及取票軌跡數據。其中，實(shí)時(shí)余票數據從互聯(lián)網(wǎng)售票的余票查詢(xún)集群獲得，實(shí)時(shí)存量數據和取票軌跡數據從鐵路局中心的客票系統獲得。
客票歷史數據和客票系統實(shí)時(shí)數據通過(guò)ETL服務(wù)，進(jìn)入鐵路總公司營(yíng)銷(xiāo)數據倉庫，通過(guò)數據建模組成數據集市提供報表、查詢(xún)應用等服務(wù);同時(shí)上述數據也進(jìn)入Hadoop平臺的HDFS，數據提供Hbase和Hive兩種訪(fǎng)問(wèn)方式。
在票額預分應用服務(wù)層中，由客流預測應用服務(wù)器從Hbase中提取預測需要的樣本數據，應用MapReduce實(shí)現客流預測算法，以實(shí)現客流預測結果。
客流預測結果通過(guò)鐵路總公司客票系統服務(wù)器實(shí)現往18個(gè)鐵路局(公司)分發(fā)。各鐵路局客票系統服務(wù)器上部署預測執行子系統，將預測結果與席位實(shí)時(shí)存量數據結合生成預分方案，對鐵路局中心席位庫進(jìn)行預分操作。
2基于客票大數據平臺的票額預分系統
各鐵路局售票歷史數據通過(guò)傳輸軟件進(jìn)入鐵路總公司營(yíng)銷(xiāo)系統，實(shí)時(shí)售票數據通過(guò)數據同步技術(shù)進(jìn)入到鐵路總公司營(yíng)銷(xiāo)系統，另外，來(lái)自于互聯(lián)網(wǎng)售票查詢(xún)集群的余票相關(guān)數據也進(jìn)入到營(yíng)銷(xiāo)數據庫，多個(gè)渠道的數據形成所需分析的數據源，通過(guò)Hadoop平臺ETL裝置進(jìn)入鐵路總公司營(yíng)銷(xiāo)數據倉庫，在客流預測子系統中進(jìn)行預測并且形成預測數據進(jìn)入票額預分執行子系統，票額預分執行子系統形成預分方案通過(guò)傳輸下發(fā)到各鐵路局形成預分方案，通過(guò)票額預分執行子系統作用于席位庫，對生成的初始票額進(jìn)行預分。在各鐵路局通過(guò)票額預分優(yōu)化子系統對預分效果進(jìn)行實(shí)時(shí)反饋，形成優(yōu)化方案供鐵路局客運決策者進(jìn)行調整，實(shí)現智能調整流程。
2.1客流預測子系統
客流預測子系統是該系統的核心系統。歷史數據是對未來(lái)計劃預測的重要依據，有效數據量越大、越全面，得到的預測結果也會(huì )與實(shí)際更為接近。目前，文獻中最常見(jiàn)的客流預測方法是外推法，該方法有很多成熟的模型，如指數平滑、ARIMA模型、非線(xiàn)性回歸模型、神經(jīng)網(wǎng)絡(luò )模型等。Vlahogianni,GoliasandKarlaftis指出神經(jīng)網(wǎng)絡(luò )在短期交通預測領(lǐng)域是最有潛力的技術(shù)，并且一些文獻也歸納了神經(jīng)網(wǎng)絡(luò )的優(yōu)點(diǎn)，如分布自由、全局最優(yōu)逼近和容錯性等，還有一些學(xué)者基于神經(jīng)網(wǎng)絡(luò )使用定量的方法建立了鐵路客運量預測模型，因此，本系統采用神經(jīng)網(wǎng)絡(luò )構造預測模型。
2.2票額預分執行子系統
票額預分執行子系統的主要功能包括預分車(chē)次定義、預分天數定義、專(zhuān)家參數定義、預分方案審核、預分模板交路維護、預分方案查詢(xún)及修改、預分結果查詢(xún)等功能。其核心概念如下：
(1)預測數據。預測數據是通過(guò)Hadoop平臺的MapReduce并行預測算法計算得出的分車(chē)次數據，其存在形式為始發(fā)站—終點(diǎn)站(OD)客流矩陣。
(2)預分方案。預分方案是基于預測數據生成的票額分配方案，是結合實(shí)際票額情況通過(guò)票額分配算法調整而生成的實(shí)際票額OD矩陣。
(3)預分模板。預分模板是歷史預分方案經(jīng)過(guò)專(zhuān)家經(jīng)驗確定的內置預分方案。鐵路局客票管理人員可自定義預分模板。預分模板可通過(guò)經(jīng)驗值人工指定，也可以通過(guò)“模板復制”功能獲取一段時(shí)間內的預分數據后，參考得出模板值。預分模板分為精確模板和模糊模板，精確模板與預分方案OD區間一致，設置了每個(gè)預分站票額的可售區間，模糊模板是對車(chē)站分組并按以遠站分塊分配票額。
(4)預分方式。由于淡旺季客流的不同，決定了預分方案的不同。一般來(lái)說(shuō)按模板預分管理更加嚴謹，而按預測預分更貼近客流實(shí)際情況。針對各鐵路局淡旺季的'不同，操作員可通過(guò)此功能對預分方式進(jìn)行定義。操作員可以在此查詢(xún)到本局所有車(chē)次的預分方式定義，并對相關(guān)車(chē)次的預分方式定義進(jìn)行追加和刪除，并查看相對應的操作日志。
(5)預分車(chē)次分組定義。對一些具有相同管理需求的車(chē)次，操作員可以將這些車(chē)次分成一組進(jìn)行統一定義，同一組內的車(chē)次可一并添加到預分方式定義中。此功能避免可避免客運管理人員對同一類(lèi)車(chē)的重復定義。
預分結果記錄在預分結果表中，再回傳至票額預分優(yōu)化子系統。計劃預分的數據也可以來(lái)源于鐵路局客票生產(chǎn)庫中的預分模板和模板交路，這樣可以得到一個(gè)相對穩定的預分方案。
2.3票額預分優(yōu)化子系統
2.3.1動(dòng)態(tài)票額預分
由于客票系統預售期較長(cháng)，傳統的票額預分方案是基于預售期外1次預測結果生成的，預售期之內不再重新預分，因此，無(wú)法適應預售期內偶然事件的影響。從2014年開(kāi)始，票額預分系統引入了動(dòng)態(tài)票額預分，可在預售期內進(jìn)行周期性的動(dòng)態(tài)客流預測及多次動(dòng)態(tài)調整，如圖6所示。以2014年6月17日為例，這一天預測子系統將產(chǎn)生2014年7月10日始發(fā)列車(chē)的OD客流預測，同時(shí)調整2014年6月30日和2014年6月23日的始發(fā)終到預測數據(這兩日初始預測數據分別在2014年6月8日和2014年6月1日生成)，在票額預分執行子系統中將預分2014年7月6日始發(fā)列車(chē)的席位，并對2014年6月29日和2014年6月22日始發(fā)列車(chē)的票額進(jìn)行重新預分。
票額動(dòng)態(tài)預分是基于客流按周變化的規律較為顯著(zhù)的特點(diǎn)進(jìn)行的。在預售期為20天時(shí)，最多通過(guò)3次預分即可達到非常滿(mǎn)意效果，但在預售期延長(cháng)至60天的時(shí)候，由于客流變化較大，且高鐵、城際列車(chē)在開(kāi)車(chē)前一日和當天的預售情況變化非常顯著(zhù)，僅靠預售期之外的動(dòng)態(tài)調整也不能很好的滿(mǎn)足預測需求，結合余票快照分析技術(shù)實(shí)現敏捷票額調整。
2.3.2敏捷票額調整
余票快照分析模塊能記錄每個(gè)時(shí)刻余票歷史截面的可售能力。由余票快照分析模塊取得的余票情況可通過(guò)圖表觀(guān)察得知，圖表的橫坐標為觀(guān)察日(觀(guān)察點(diǎn))，縱坐標為對應的觀(guān)察點(diǎn)的余票快照數據。一條折線(xiàn)表示對應某一下車(chē)站的余票變化趨勢。余票波動(dòng)圖用于顯示在車(chē)次、日期、席別、上車(chē)站確定的情況下，到各站的可售剩余票數隨時(shí)間的變化情況。在預售期內距離發(fā)車(chē)時(shí)間3天以外的取數時(shí)間間隔為1天，3天以?xún)鹊臅r(shí)間間隔為1h。
2014年5月12日7:00始發(fā)的G101次列車(chē)各區間的余票消逝情況，默認為北京南—上海虹橋這一始發(fā)終到區間的余票，可得知該區間首次售完在2014年5月11日23:00。說(shuō)明次日首列始發(fā)的京滬高鐵動(dòng)車(chē)始發(fā)長(cháng)途票在前一日晚間23:00全部售罄，由于首班高鐵旅客一般不會(huì )在開(kāi)車(chē)前即買(mǎi)即走，而夜間高鐵旅客購票相對較少，相當于既能保證始發(fā)長(cháng)途票在開(kāi)車(chē)前有票可買(mǎi)，又能保證始發(fā)長(cháng)途票及時(shí)賣(mài)完。因此該結果符合預分的初衷。若開(kāi)車(chē)前始發(fā)長(cháng)途票既未賣(mài)完，而沿途區間在開(kāi)車(chē)前一直無(wú)票可售，則說(shuō)明始發(fā)長(cháng)途預留過(guò)多，因調配一些到沿途站銷(xiāo)售。
3結束語(yǔ)
實(shí)際應用中Hadoop集群使用了16臺HPDL380的服務(wù)器，操作系統是RedHat6.4，每臺服務(wù)器上安裝了JDK1.6和Intel的Hadoop穩定版IDH2.3。16臺服務(wù)器中，1臺機器作為Master節點(diǎn)，剩余機器作為Slave節點(diǎn)�？土黝A測子系統開(kāi)發(fā)環(huán)境采用Eclipse，開(kāi)發(fā)語(yǔ)言使用Java;票額預分執行子系統前臺應用采用PowerBuilder開(kāi)發(fā)，與客票核心系統保持一致;預分優(yōu)化子系統采用.net開(kāi)發(fā)。
通過(guò)對京滬、京廣等干線(xiàn)經(jīng)過(guò)一段時(shí)間的試用及跟蹤分析，可看出旅客發(fā)送量、客運收入都有5%以上的提升。尤其是在傳統的客運淡季，其增收的效果更為明顯。
在鐵路運輸企業(yè)改革推動(dòng)下，鐵路客運業(yè)務(wù)快速發(fā)展，對新一代客票系統對票額管理精細化和智能化以及提高鐵路運輸企業(yè)效益等方面提出了更高的要求，基于大數據平臺構建了動(dòng)態(tài)票額智能預分系統，形成了“預測、預分、監控、調整、再預測”的閉環(huán)流程。進(jìn)一步提高了票額預分系統的可用性和有效性，為鐵路實(shí)施收益管理提供理論依據和技術(shù)儲備。
【簡(jiǎn)析基于大數據平臺的動(dòng)態(tài)票額智能預分系統的研究與實(shí)現論文】相關(guān)文章：
簡(jiǎn)議鐵路旅客列車(chē)票額智能預分研究論文11-01
簡(jiǎn)析基于web 的虛擬實(shí)驗平臺的設計論文11-17
基于數據抽取與訂閱實(shí)現數據共享分析及研究論文10-30
基于GIS的農業(yè)動(dòng)態(tài)信息共享網(wǎng)絡(luò )平臺研究論文11-07
論文：短信平臺系統的設計與實(shí)現06-24
簡(jiǎn)析基于CAD的偏置曲柄滑塊機構的設計與研究論文10-29
基于Hadoop平臺的課程云系統開(kāi)發(fā)研究論文10-30