- 相關(guān)推薦
數據倉庫工程師的工作職責8篇
數據倉庫工程師的工作職責1
職責:
1、負責數據源導入、清洗、集成等工作,優(yōu)化ETL流程并解決ETL相關(guān)技術(shù)問(wèn)題;
2、負責參與數據模型體系構建及數據主題設計和開(kāi)發(fā),數據倉庫和業(yè)務(wù)數據集市的建設;
3、負責數據集市需求調研和需求分析;
4、基于阿里云Maxcompute,進(jìn)行數據開(kāi)發(fā)工作。
崗位要求:
1、3年或以上數據倉庫開(kāi)發(fā)和模型設計經(jīng)驗;
2、深入理解DW,BI相關(guān)的.知識,包括:ETL、數據倉庫、OLAP、多維數據模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進(jìn)行數據開(kāi)發(fā);
5、具有良好的團隊協(xié)作精神和溝通能力,較強的邏輯思維,學(xué)習能力和解決問(wèn)題的能力,可承擔較大的工作壓力;
6、熟悉阿里云大數據開(kāi)發(fā)平臺優(yōu)先,如Maxcompute;
7、熟悉跨境電商及供應鏈業(yè)務(wù)優(yōu)先。
數據倉庫工程師的工作職責2
1)基于傳感數據與場(chǎng)景建模,完成基于人工智能算法的物體識別與跟蹤;
2)完成基于機器學(xué)習的`場(chǎng)景物體識別與分類(lèi);
3)完成基于場(chǎng)景態(tài)勢感知數據的概率決策算法開(kāi)發(fā);
4)基于點(diǎn)云與圖像數據融合識別場(chǎng)景特征;
5)開(kāi)發(fā)適用于自動(dòng)駕駛的場(chǎng)景、物體、行人、標志、車(chē)道線(xiàn)等的人工智能識別算法;
數據倉庫工程師的工作職責3
職責:
1、參與數據倉庫及ETL基礎架構規劃、安全規劃制定;
2、負責數據倉庫及ETL的開(kāi)發(fā)、測試和優(yōu)化,并及時(shí)解決相關(guān)技術(shù)問(wèn)題;
3、負責相關(guān)數據準確性驗證及報表等日常維護;
4、報表性能優(yōu)化:對存在性能問(wèn)題的數據報表進(jìn)行優(yōu)化;
5、數據運維:及時(shí)處理線(xiàn)上問(wèn)題;
6、完成上級交代的`其他工作。
崗位要求:
1.計算機相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,2年以上ETL開(kāi)發(fā)或數倉相關(guān)工作經(jīng)驗;
2.熟練使用Oracle、MySQL、PostgreSQL等主流數據庫,具有較強的SQL編寫(xiě)、優(yōu)化能力,熟悉存儲過(guò)程編寫(xiě);
3.熟悉數據倉庫數據處理流程,有一定的數據建模能力;
4.具有良好的溝通理解能力,能根據業(yè)務(wù)提出的需求,快速理解并落地實(shí)施;
5.有Kettle、Greenplum開(kāi)發(fā)經(jīng)驗者優(yōu)先。
數據倉庫工程師的工作職責4
1、負責醫院各種生化分析儀器的'參數調試、定標、校準、做質(zhì)控,保證公司試劑在生化分析儀上面正常使用及后期的維護、保養工作;
2、負責生化試劑的技術(shù)支持、異常結果處理工作;
3、負責收集市場(chǎng)反饋信息,提高終端用戶(hù)的滿(mǎn)意度。
數據倉庫工程師的工作職責5
職責:
1、 負責不同大型客戶(hù)環(huán)境下Linux業(yè)務(wù)服務(wù)器的配置,維護,監控,調優(yōu),故障排除等;
2、 針對用戶(hù)量大的集群,做高性能GPU服務(wù)器系統的部署方案及實(shí)施;
3、 保障服務(wù)器與數據庫安全,檢查并消除安全漏洞;
4、 數據備份、數據監控、應急響應、故障排除、編寫(xiě)數據分析報告等;
任職資格:
1、 兩年以上大中型系統運維工作經(jīng)驗、Linux基礎較好,熟悉Linux相關(guān)數據庫、操作系統、硬件服務(wù)器、系統部署、網(wǎng)絡(luò )安全等,對存儲、網(wǎng)絡(luò )安全有一定的了解,具備網(wǎng)絡(luò )故障診斷能力;
2、 精通Linux系統如Redhat、Gentoo、精通Apache、NginX、MySQL、FTP、DNS、Squid等常用服務(wù)的`安裝、配置和維護;
3、 精通并靈活運用1種以上的腳本語(yǔ)言,包括:Python、Shell、PERL、PHP等;
4、 對事物有敏銳的洞察力,高度的責任感,較強的故障分析及排除能力,運用相關(guān)工具及資源,保障系統的運行。善于在工作中學(xué)習,有較強的抗壓能力;
數據倉庫工程師的工作職責6
職責:
1.負責直播業(yè)務(wù)相關(guān)數據倉庫的數據模型設計;
3.參與數據倉庫ETL流程設計、開(kāi)發(fā)和優(yōu)化,解決ETL過(guò)程相關(guān)技術(shù)問(wèn)題;
3.參與項目規劃,數據采集設計,數據倉庫開(kāi)發(fā),模型開(kāi)發(fā),報表開(kāi)發(fā)等;
4. 總結數據倉庫建模的方法,負責數據產(chǎn)品平臺化和系統化;
任職資格:
1. 2年及以上的數據倉庫/BI相關(guān)研發(fā)經(jīng)驗,對數據和業(yè)務(wù)敏感,有較好的'數據模型設計能力;
2.熟悉數據倉庫各類(lèi)模型建模理論,了解數據倉庫數據分層架構,多維數據模型設計;
3.熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式數據庫/Kylin/ElasticSearch等經(jīng)驗者優(yōu)先;
4.有較強的編程能力和編程經(jīng)驗,至少熟悉Java/Scala/Python/PHP等其中一門(mén)編程語(yǔ)言;
5.參與過(guò)大型數據倉庫架構設計、模型設計、ETL設計,具備海量數據處理、性能調優(yōu)經(jīng)驗;
6.學(xué)習能力強,熱衷開(kāi)源技術(shù),有團隊觀(guān)念,具備獨立解決問(wèn)題的能力;
數據倉庫工程師的工作職責7
職責:
1.負責數據倉庫架構設計與開(kāi)發(fā)
2.根據業(yè)務(wù)調研,設計信息模型與數據模型,負責大數據建模、ETL、數據產(chǎn)品及平臺的設計與開(kāi)發(fā)
3.滿(mǎn)足業(yè)務(wù)數據需求,設計面向業(yè)務(wù)的數據集市模型
4.需求的溝通與數據開(kāi)發(fā)項目管理
5.基于Hadoop生態(tài)的程序設計、開(kāi)發(fā)和維護
崗位要求:
1.熟悉SQL語(yǔ)言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數據庫系統(Oracle、SQL、mysql等):精通熟悉Oracle數據庫體系結構,基礎扎實(shí);精通熟悉DataGuardRAC等高可用技術(shù),能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術(shù);熟悉SQL和PLSQL,能編寫(xiě)日常維護需要的.腳本
3.從事過(guò)數倉邏輯模型、物理模型設計與實(shí)施等工作
4.有使用Hive、Hbase、kettle等相關(guān)應用經(jīng)驗更佳
數據倉庫工程師的工作職責8
職責
1.負責數據ETL開(kāi)發(fā),優(yōu)化ETL流程設計;
2.負責數據質(zhì)量問(wèn)題的分析、跟進(jìn)、解決,進(jìn)行數據質(zhì)量監測、校驗和提升;
3.負責ETL開(kāi)發(fā)實(shí)施文檔的編寫(xiě);
4.負責梳理公司數據倉庫/數據集市數據清單、數據映射關(guān)系,優(yōu)化現有數據倉庫模型;
5.完善和梳理數據指標體系,完成和維護數據字典的工作;
6.參與數據標準的制定、數據標準管理和數據安全管理工作;
7.參與公司大數據平臺的建設,包括Sugar報表或神策接口配置,用戶(hù)畫(huà)像標簽體系的開(kāi)發(fā)等
任職要求:
1.有shell或Python腳本開(kāi)發(fā)經(jīng)驗;
2.有傳統數據庫SQL Server和MySQL,有存儲過(guò)程編寫(xiě)能力;
3.熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗,包括但不限于Sqoop、Hive、HBase、Kylin等開(kāi)發(fā)經(jīng)驗;
4.有kettle、azkaban或oozie工作流調度經(jīng)驗;
5.熟悉Hive SQL或Flink SQL的`開(kāi)發(fā);
6.有數據倉庫模型設計,有使用kafka+Flink Streaming實(shí)時(shí)數據處理經(jīng)驗優(yōu)先;
7.有Sugar、神策或Tableau使用經(jīng)驗,有用戶(hù)畫(huà)像或客戶(hù)召回標簽工作經(jīng)驗優(yōu)先;
8.對數據挖掘和機器學(xué)習有所了解,包括常用的機器學(xué)習算法和數據建模過(guò)程的優(yōu)先