我國大數據分析工具的研究情況探析論文
2016年流行一個(gè)術(shù)語(yǔ)叫做數據主義,數據主義認為整個(gè)世界由數據流構成,數據每天以指數級增長(cháng),電話(huà)、飛機、網(wǎng)購、出行都是一個(gè)新的數據。數據將會(huì )有越來(lái)越重要的作用,同時(shí)人的地位慢慢開(kāi)始下降。未來(lái)人的價(jià)值取決于對數據流的分析解讀能力,因此分析技術(shù)在未來(lái)變得越來(lái)越重要。
數據和人之間將通過(guò)算法連接,所以我們推出一個(gè)新的概念叫算法經(jīng)濟或算法革命。傳統的算法很多,如最早的數學(xué)算法,后來(lái)的天文算法,現在的統計學(xué)開(kāi)啟的算法,但都不能滿(mǎn)足機器學(xué)算法。追求更智能化正改變著(zhù)人類(lèi)的進(jìn)程,數據離開(kāi)了算法就沒(méi)有太多的意義。
到了新時(shí)代,我們發(fā)現很多是不規則的非結構化數據,更重要的是希望通過(guò)機器做一些事情,這對算法提出了新的要求。人工智能主要包括以生物為基礎的生物智能和以算法為基礎的機器智能。而機器智能的核心是數據智能,這完全取決于算法。
大數據分析的工具是怎么發(fā)展的?第一代是基于關(guān)系型數據庫的分析,在這方面中國人比較落后,因此我們推出了馬克威關(guān)系型數據庫的分析軟件,現在已經(jīng)有很多用戶(hù)了。
而到了大數據時(shí)代,關(guān)系型數據庫不能滿(mǎn)足大量數據分析的需求,所以出現一個(gè)新的算法-分布式的算法,要調用分布式存儲的數據進(jìn)行分析,就需要分布式的算法體系,到目前為止,算法體系只有一個(gè)開(kāi)源,是簡(jiǎn)單的9個(gè)算法,而且對計算結果不敢負責,另外是馬克威分布式算法軟件-馬克威云挖掘軟件。
這一點(diǎn)上我們已把傳統的關(guān)系型數據庫拋在后面。我們和阿里巴巴合作開(kāi)發(fā)該軟件,在阿里云測試3000臺服務(wù)器,一張表176億條記錄,68個(gè)變量,體積大概是3.4T.這張表是指淘寶的零售表,我們計算的結果是36秒,這意味著(zhù)可以做很多的分析。這是真正用了大數據算法,不是停留在理論。
馬克威是完全基于分布式架構來(lái)重新編寫(xiě),是真正的分布式軟件,其理念是實(shí)現從數據找算法變成算法找數據,通過(guò)算法逐步計算,然后將結果累計起來(lái)。
就在剛剛完成了分布式不久,Spark RDD用Scala語(yǔ)言編寫(xiě)的分布式內存數據處理應用,馬克威把分布式算法變成分布式內存計算,把我們的算法和Sp a rk對接。這意味著(zhù)當下算法的發(fā)展已到了比較新的生態(tài)-分布式內存生態(tài),既可以處理大量數據,同時(shí)可以快速解決問(wèn)題。
還有一個(gè)發(fā)展趨勢,未來(lái)是人工智能的時(shí)代,人工智能說(shuō)到底拼的還是算法模型。因此,天律公司正在研制基于硬件技術(shù)的嵌入式芯片。
機器智能就是機器學(xué)習算法,大部分還是在軟件中運行,其速度跟不上工業(yè)設備的需求。因此我們采用FPGA技術(shù),把算法做成極速嵌入式的裝置,可以滿(mǎn)足人機一體化的'需求。目前FPGA是最快的技術(shù),且有很多機器設備在用。我們取得了一些初步成果,第一個(gè)應用是上海期貨,而期貨高頻交易是因為大家需要更快地看到行情。
我們推出中國第一個(gè)算法交易平臺,這里有一個(gè)理念-套裝軟件衰落,算法模型興起,F在我們將所有的算法重新編寫(xiě),編成大量小的模型,部署在云端算法的交易平臺上。我們的理念是第一代互聯(lián)網(wǎng)門(mén)戶(hù),如新浪、搜狐、網(wǎng)易;第二代互聯(lián)網(wǎng)交易平臺,如阿里巴巴、京東、1號店;第三代算法平臺,即知識產(chǎn)品、智慧產(chǎn)品在互聯(lián)網(wǎng)的交易。我們正在緊鑼密鼓測試我們的平臺,希望我們的算法能夠為社會(huì )各領(lǐng)域服務(wù),由現在的B2B變成B2C或C2B,允許別人把他們的算法模型拿到我們的平臺交易,這是我們開(kāi)創(chuàng )的新商業(yè)模式。
15年以來(lái),我們專(zhuān)注的一件事情就是算法。我們有算法大全、應用模型大全、算法學(xué)院,還有集權的文檔,并網(wǎng)羅全世界難找到的開(kāi)源算法。我們將免費的算法知識都匯集到一個(gè)平臺上,要讓所有的中國人一想到分析和算法,就上馬克威算法平臺。
天律公司于2001年成立,是中國第一家真正做大數據分析化軟件的公司,我們現在是國家統計局“大數據與統計建!钡闹付◤S(chǎng)家,以及全國大學(xué)生統計建模競賽(SUCM)的指定參賽軟件,國家火炬計劃項目、中國商務(wù)智能領(lǐng)軍品牌,國家統計局、海關(guān)總署、商務(wù)部、環(huán)保部、水利部、國家質(zhì)檢總局、上海世博會(huì ),阿里巴巴等互聯(lián)網(wǎng)公司,以及一些大型企業(yè)和高校都是我們的客戶(hù)。
我們有五大產(chǎn)品,馬克威云挖掘,馬克威分析系統、馬克威決策支持平臺、馬克威算法交易平臺、馬克威硬件極速交易系統。這些系統得到很多金融界朋友的認可。
【我國大數據分析工具的研究情況探析論文】相關(guān)文章:
論文:大數據分析與應用問(wèn)題研究07-02
大數據分析的應用審計畢業(yè)論文07-24
大數據環(huán)境下我國商務(wù)管理發(fā)展研究論文10-28
大數據時(shí)代的大數據管理研究論文10-19
大數據營(yíng)銷(xiāo)創(chuàng )新研究論文11-06
我國社區銀行的發(fā)展路徑探析論文04-14
我國水利政工工作的發(fā)展探析論文05-24