- 相關(guān)推薦
大數據架構師崗位的工作職責
在不斷進(jìn)步的社會(huì )中,崗位職責的使用頻率逐漸增多,任何崗位職責都是一個(gè)責任、權力與義務(wù)的綜合體,有多大的權力就應該承擔多大的責任,有多大的權力和責任應該盡多大的義務(wù),任何割裂開(kāi)來(lái)的做法都會(huì )發(fā)生問(wèn)題。我敢肯定,大部分人都對制定崗位職責很是頭疼的,下面是小編整理的大數據架構師崗位的工作職責,僅供參考,歡迎大家閱讀。
大數據架構師崗位的工作職責1
職責:
1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實(shí)施,確保項目質(zhì)量和關(guān)鍵性能指標達成;
2.統籌和推進(jìn)制造工廠(chǎng)內部數據系統的構建,搭建不同來(lái)源數據之間的邏輯關(guān)系,能夠為公司運營(yíng)診斷、運營(yíng)效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類(lèi)、開(kāi)發(fā)標準和規范,制定全鏈路數據治理方案;深入挖掘公司數據業(yè)務(wù),超強的數據業(yè)務(wù)感知力,挖掘數據價(jià)值,推動(dòng)數據變現場(chǎng)景的落地,為決策及業(yè)務(wù)賦能;
6.定義不同的數據應用場(chǎng)景,推動(dòng)公司的數據可視化工作,提升公司數據分析效率和數據價(jià)值轉化。
任職要求:
1.本科以上學(xué)歷,8年以上軟件行業(yè)從業(yè)經(jīng)驗,5年以上大數據架構設計經(jīng)驗,熟悉BI平臺、大數據系統相關(guān)技術(shù)架構及技術(shù)標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關(guān)技術(shù);
3.熟悉大數據相關(guān)技術(shù):Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業(yè)信息化系統及相關(guān)數據庫技術(shù);
5.具備大數據平臺、計算存儲平臺、可視化開(kāi)發(fā)平臺經(jīng)驗,具有制造企業(yè)大數據系統項目開(kāi)發(fā)或實(shí)施經(jīng)驗優(yōu)先;
6.對數據敏感,具備優(yōu)秀的業(yè)務(wù)需求分析和報告展示能力,具備制造企業(yè)數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調能力,具備結果導向思維,有相關(guān)項目管理經(jīng)驗優(yōu)先。
大數據架構師崗位的工作職責2
職責:
1、從事電信行業(yè)大數據項目相關(guān)業(yè)務(wù)調研、產(chǎn)品標準建設、核心模型設計和優(yōu)化、系統測試等相關(guān)工作
2、與數據專(zhuān)業(yè)委員會(huì )一起研究數據建模方案和建模工具,負責產(chǎn)品線(xiàn)產(chǎn)品的數據架構、數據模型設計
3、參與研究數據庫之間的數據轉換方式,參與項目中的數據移植工作,收集在項目中的數據移植經(jīng)驗,優(yōu)化產(chǎn)品的數據模型
4、負責培訓本部門(mén)隊伍的數據模型基礎理論工作,建立數據模型團隊
崗位要求:
1、統招本科學(xué)歷,3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開(kāi)發(fā)經(jīng)驗,具備大型數據倉庫邏輯模型和物理模型設計經(jīng)驗,精通SQL,有較好的SQL性能調優(yōu)經(jīng)驗;
2、擁有Python,R等數學(xué)建模工具的使用經(jīng)驗,并具備一定的數據處理和建模經(jīng)驗,可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進(jìn)行完整的解釋和說(shuō)明;
3、熟悉統計學(xué)基本原理,做過(guò)實(shí)戰的數據建模項目;
4、有分布式數據倉庫建設相關(guān)經(jīng)驗者優(yōu)先,具備電信行業(yè)數據倉庫建設相關(guān)經(jīng)驗者優(yōu)先;
大數據架構師崗位的工作職責3
職責:
1.負責數據倉庫建設,基于數據驅動(dòng)構建企業(yè)級數據模型,根據架構設計進(jìn)行各層數據模型開(kāi)發(fā)。
2.面向PB級別超大規模數據處理和查詢(xún)需求,設計適合業(yè)務(wù)變化的合理的多維數據分析系統架構,滿(mǎn)足多樣性需求。
3.構建設計良好的數據流、調度系統、查詢(xún)引擎、監控系統,保證系統穩定高效運行,以實(shí)現數據的最大價(jià)值。
4.指導團隊成員開(kāi)展數據倉庫建設。
5.參與重點(diǎn)項目的評審,參與企業(yè)數據管理體系建設。
任職要求:
1.統招本科及以上學(xué)歷。
2.從事數據倉庫領(lǐng)域至少5年以上,熟悉數據倉庫模型設計與ETL開(kāi)發(fā)經(jīng)驗 ,掌握Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關(guān)經(jīng)驗 。
3.具有一定數據模型和數據架構基礎,熟悉hadoophive和常用數據庫。
4. 精通SQL,有一定的SQL性能調優(yōu)經(jīng)驗,熟悉hive sql的開(kāi)發(fā)。
5.具有管理團隊開(kāi)發(fā)經(jīng)驗,具備良好的組織能力、協(xié)調能力及項目管理能力。
6.具有較好的文字功底及語(yǔ)言表達能力,能夠快速、準確地理解需求。
7.具有專(zhuān)研、快速學(xué)習和創(chuàng )新精神,具備獨立分析問(wèn)題和解決問(wèn)題的能力。
8.具有責任心,時(shí)間觀(guān)念強,工作獨立性強,有良好的團隊合作精神。
9.全日制普通本科畢業(yè)。
大數據架構師崗位的工作職責4
職責:
1、負責規劃大數據平臺及應用產(chǎn)品的需求和技術(shù)方案設計;
2、負責數據對接和對外服務(wù)設計、開(kāi)發(fā)和維護,并能保證質(zhì)量和性能;
3、負責基于大數據平臺的應用設計、開(kāi)發(fā)和維護;
4、能從系統全局和各子系統的角度思考可能存在的問(wèn)題,并提出改進(jìn)方案建議;
任職要求:
1、大學(xué)本科6年以上工作經(jīng)驗,計算機相關(guān)專(zhuān)業(yè)。
2、至少4年以上的Java開(kāi)發(fā)經(jīng)驗,3年以上大數據應用系統的開(kāi)發(fā)和設計經(jīng)驗。
3、熟悉Hadoop生態(tài)圈技術(shù)體系, 對離線(xiàn)計算、內存計算和流式計算均有深刻理解, 如Hadoop、Storm、Spark三個(gè)中的任意二個(gè), 能進(jìn)行平臺和組件優(yōu)化。
4、精通Hive、HBase倉庫設計,深刻理解MR運行原理和機制,能進(jìn)行以提供高任務(wù)執行效率的優(yōu)化。
5、精通Java開(kāi)發(fā),熟悉JVM調優(yōu), 對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關(guān)技術(shù), 能進(jìn)行hbase可靠性診斷和維護。
7、快速研究和學(xué)習技術(shù)能力。
大數據架構師崗位的工作職責5
職責:
1. 規劃設計大數據平臺整體架構,規劃各種組件,并且指導技術(shù)團隊完成相關(guān)系統驗證、安裝、部署、配置;
2. 負責制定大數據平臺技術(shù)規范和接口規范,指導研發(fā)團隊按照規范進(jìn)行系統開(kāi)發(fā);
3. 配合商務(wù)人員完成售前技術(shù)支持工作;
4. 完成其他與數據應用有關(guān)的技術(shù)工作;
任職要求:
1. 計算機相關(guān)專(zhuān)業(yè)本科學(xué)歷,5年以上工作經(jīng)驗;
2. 對大數據技術(shù)棧有非常深刻的了解;具備架構設計的實(shí)際經(jīng)驗;
3. 對信息安全架構設計及實(shí)施有一定的經(jīng)驗;
4. 熟悉Linux、Windows等操作系統的安裝配置;
5. 熟悉互聯(lián)網(wǎng)應用的安裝配置;熟悉常見(jiàn)大數據技術(shù)棧組件的安裝配置;熟悉Visio等繪圖工具的使用;
6. 有衛生信息化建設經(jīng)驗者優(yōu)先;有容器安裝部署經(jīng)驗者優(yōu)先。
大數據架構師崗位的工作職責6
職責:
1、負責大數據平臺的架構設計、核心代碼開(kāi)發(fā)等任務(wù);根據項目要求編寫(xiě)相關(guān)技術(shù)文檔;
2、負責大數據平臺的架構評審,代碼評審,上線(xiàn)評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發(fā),負責大數據平臺的搭建,完成系統調試、集成與實(shí)施;
4、負責建立和維護大數據平臺技術(shù)標準規范,指導開(kāi)發(fā)人員編寫(xiě)代碼;
任職要求:
1、本科及以上計算機相關(guān)專(zhuān)業(yè)畢業(yè);
2、精通離線(xiàn)和實(shí)時(shí)數據處理流程,掌握離線(xiàn)數據處理框架hive、impala、spark-sql等,掌握實(shí)時(shí)數據處理常用技術(shù)工具,包括Storm、SparkStreaming等;
3、熟悉大數據技術(shù)生態(tài)圈,精通大數據技術(shù)架構,有大數據平臺構建經(jīng)驗;
4、掌握常見(jiàn)數據流接入工具,包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統和某種腳本語(yǔ)言編程(如Shell等);
6、掌握一種或以上實(shí)時(shí)處理語(yǔ)言,如JAVA、SCALA、PYTHON等,有SCALA經(jīng)驗者優(yōu)先;
7、有實(shí)際大規模數據(TB級以上)處理經(jīng)驗優(yōu)先;
大數據架構師崗位的工作職責7
職責:
1、負責大數據平臺架構的規劃與設計;
2、負責大數據平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān);
3、參與企業(yè)級大數據產(chǎn)品和應用規劃;
4、研究跟進(jìn)大數據架構領(lǐng)域新技術(shù)并分享;
5、大數據處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經(jīng)驗;
2、熟悉BI平臺架構及相關(guān)項目標準,大數據解決方案包括Hadoop、Spark、Storm、機器學(xué)習等大數據平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數據數據庫;
4、 精通Linux/Unix環(huán)境,精通J java、scala、python、R中的一種或多種語(yǔ)言;
5、 具備優(yōu)秀的團隊意識和溝通能力,學(xué)習能力和主動(dòng)性強,具有鉆研精神,充滿(mǎn)激情,樂(lè )于接受挑戰;
6、大專(zhuān)及以上學(xué)歷,3年及以上工作經(jīng)驗。
大數據架構師崗位的工作職責8
職責:
1.負責企業(yè)數據中心建設,設計數據邏輯模型和物理模型,并完成相關(guān)開(kāi)發(fā)
2.梳理公司各業(yè)務(wù)線(xiàn)常用的指標和維度,統一指標定義口徑
3.根據數據應用開(kāi)發(fā)和數據分析需求,設計數據倉庫信息層模型,提高數據開(kāi)發(fā)的效率
4.負責數據模型的運營(yíng)和優(yōu)化,及時(shí)響應業(yè)務(wù)邏輯變更,保證模型的數據質(zhì)量和穩定性
5.負責公司數據標簽體系的建設,并推動(dòng)標簽體系在實(shí)際業(yè)務(wù)場(chǎng)景中落地
崗位要求:
1.5年以上DW/BI數據架構設計、模型設計和性能調優(yōu)等相關(guān)經(jīng)驗
2.有較強的數據分析能力,精通數據倉庫架構,熟悉Erwin或PowerDesigner建模工具
3.精通一種主流關(guān)系數據庫(如mysql等),熟悉Hive開(kāi)發(fā)
4.有電商業(yè)務(wù)經(jīng)驗,元數據管理,數據質(zhì)量管理或標簽體系搭建經(jīng)驗者優(yōu)先
5.優(yōu)秀的協(xié)調溝通與團隊協(xié)作能力,極強的責任心,能承受一定的`工作壓力,認同企業(yè)文化和團隊價(jià)值
大數據架構師崗位的工作職責9
職責
1、負責企業(yè)級大數據平臺、數據云服務(wù)的設計與開(kāi)發(fā);
2、基于大數據生態(tài)圈,支持智慧交通等大數據場(chǎng)景應用實(shí)現;
3、負責公司大數據產(chǎn)品的設計、封裝與落地;
4、負責學(xué)習大數據相關(guān)算法研究、實(shí)現與應用
任職要求
1、統招本科及以上學(xué)歷;2年以上智慧城市建設或交通行業(yè)信息化相關(guān)工作經(jīng)驗,3年以上大數據架構設計、開(kāi)發(fā)經(jīng)驗;
2、精通大數據生態(tài)圈的技術(shù),包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備源碼級問(wèn)題解決和集群優(yōu)化改造能力;
3、熟悉常用編程語(yǔ)言,包括Java、Python、Scala等;
4、具有很強的技術(shù)研發(fā)和創(chuàng )新能力,能有效把握技術(shù)發(fā)展方向,有較強的執行能力、學(xué)習能力、溝通能力、適應能力,責任心強;
大數據架構師崗位的工作職責10
職責:
1)負責大數據平臺系統架構設計、核心開(kāi)發(fā)工作(Hadoop&Spark技術(shù)方向),基于業(yè)務(wù)場(chǎng)景設計最優(yōu)的系統解決方案。
2)構架支持大數量級的數據的大數據平臺系統,及相關(guān)監控,拓展系統設計及實(shí)現。
3)利用Hadoop、Spark等大數據技術(shù)對海量數據進(jìn)行處理,支持BI和數據科學(xué)(建模)的應用實(shí)現。
4)對現有系統的進(jìn)行架構深入分析及系統優(yōu)化,進(jìn)一步提升系統的性能及數據處理能力。
任職資格
1)統招本科或以上學(xué)歷,計算機相關(guān)專(zhuān)業(yè), 5年以上軟件開(kāi)發(fā)經(jīng)驗、3年以上大數據項目經(jīng)驗。
2)具備較豐富的大數據平臺相關(guān)構建,維護及調優(yōu)經(jīng)驗,有大數據量級下的大數據集市相關(guān)經(jīng)驗。
3)具備較豐富的基于Hadoop或Hive或Spark等大數據處理項目經(jīng)驗,具備一定的數據挖掘經(jīng)驗。
4) 具有阿里云的EMR(emapreduce)的經(jīng)驗者優(yōu)先考慮。
5)具有良好的業(yè)務(wù)理解、溝通和協(xié)作能力,具有較強的學(xué)習和總結能力。
6)優(yōu)秀的團隊合作精神、誠實(shí)、勤奮、嚴謹,敢于接受挑戰。
7)機器學(xué)習技術(shù)、數據挖掘經(jīng)驗豐富者優(yōu)先考慮。
大數據架構師崗位的工作職責11
職責:
1.能夠帶領(lǐng)技術(shù)人員基于hadoop平臺進(jìn)行海量數據應用系統開(kāi)發(fā);
2.負責結構化和非結構化數據的解析和清洗,海量數據查詢(xún)和報表展現;
3.負責超大規模數據平臺的搭建、維護和優(yōu)化;
4.負責大數據采集、存儲框架研究,參與在線(xiàn)或離線(xiàn)數據存儲模型設計;
5.負責大數據平臺新技術(shù)的開(kāi)發(fā)使用和性能優(yōu)化,測試。
任職資格:
1.計算機相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷;
2. 熟悉hadoop相關(guān)各種開(kāi)源項目,比如HDFS/Hive/Hbase等有實(shí)際應用。(5年以上開(kāi)發(fā)經(jīng)驗者優(yōu)先);
3.兩年以上熟練編寫(xiě)mapreduce代碼經(jīng)驗,有三年以上網(wǎng)絡(luò )日志分析、ETL經(jīng)驗。熟悉日志分析框架chukwa,flume,scribe者優(yōu)先;
4.兩年以上海量數據存儲的安裝部署、優(yōu)化、二次開(kāi)發(fā)經(jīng)驗,對大規模數據存儲、傳輸、處理等有豐富的經(jīng)驗;
5.在數據挖掘、數據密集型處理、分布式計算、網(wǎng)格計算領(lǐng)域有深入理論基礎;
6.具有較強的文檔撰寫(xiě)能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。
【大數據架構師崗位的工作職責】相關(guān)文章:
大數據架構師的崗位職責09-26
前端架構師崗位的工作職責09-27
架構師崗位職責12-23
軟件架構師崗位職責07-04
軟件架構師崗位的具體職責10-09
SOA架構師崗位職責10-13
架構師工作職責06-20
前端架構師的崗位職責(精選27篇)12-22
服務(wù)器架構師崗位職責12-20