數(shù)據(jù)倉庫工程師崗位的基本職責
數(shù)據(jù)倉庫工程師崗位的基本職責
數(shù)據(jù)倉庫工程師負責數(shù)據(jù)平臺相關的管理工作,如數(shù)據(jù)研發(fā)規(guī)范、數(shù)據(jù)質(zhì)量及穩(wěn)定性保證等建設。下面是學習啦小編為您精心整理的數(shù)據(jù)倉庫工程師崗位的基本職責。
數(shù)據(jù)倉庫工程師崗位的基本職責1
職責:
1、負責金融行業(yè)數(shù)據(jù)倉庫開發(fā)工作
2、負責與多個應用對接的接口和框架設計
3、充分理解產(chǎn)品需求,能夠結(jié)合需求進行任務設計,完成詳細設計文檔的編寫。
崗位要求:
1. 從事數(shù)據(jù)倉庫及商業(yè)智能(BI)領域工作至少3年以上,熟悉數(shù)據(jù)倉庫模型設計方法論,并有實際的模型設計經(jīng)驗,有大型數(shù)倉建設經(jīng)驗優(yōu)先;
2. 精通數(shù)據(jù)倉庫領域知識和管理技能,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能調(diào)優(yōu)等;
3.有主流商業(yè)/開源ETL工具(Informatica、Datastage、Kettle等)使用經(jīng)驗者優(yōu)先;
4. 熟悉Hadoop生態(tài)相關技術并有相關實踐經(jīng)驗,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具備海量數(shù)據(jù)加工處理(ETL)相關經(jīng)驗;
5. 熟練使用java語言,對微服務架構有一定了解;
6. 具有較強的團隊意識與良好的溝通能力及高度的工作責任感,熱愛技術,有很強的鉆研能力,樂于接受有挑戰(zhàn)性的任務;
7、有團隊管理經(jīng)驗優(yōu)先。
數(shù)據(jù)倉庫工程師崗位的基本職責2
職責:
1、負責大數(shù)據(jù)開發(fā)工作;
2、負責公司數(shù)據(jù)服務接口平臺的建設;
3、參與打造數(shù)據(jù)中臺內(nèi)容的規(guī)劃、設計、開發(fā)工作,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享; 4、參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā),搭建離線、近線、實時數(shù)據(jù)公共層;
5、參與構建非結(jié)構化數(shù)據(jù)體系,進行網(wǎng)絡數(shù)據(jù)爬取,數(shù)據(jù)清洗,特征挖掘,統(tǒng)計分析,并結(jié)合應用場景實現(xiàn)落地。
崗位要求:
1、本科以上學歷,計算機、數(shù)學、統(tǒng)計學等相關專業(yè);
2、熟悉數(shù)據(jù)集成、數(shù)據(jù)倉庫、數(shù)據(jù)分析等全流程數(shù)據(jù)處理,具備開源或阿里大數(shù)據(jù)平臺實戰(zhàn)經(jīng)驗,如hive/spark/Maxcompute;
3、熟悉數(shù)據(jù)治理體系,包括數(shù)據(jù)模型、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量等;
4、熟悉常見的離線、實時、流式數(shù)據(jù)應用場景及架構;
5、至少掌握一門開發(fā)語言,Java/Python;
6、具備良好的溝通能力和設計文檔編寫能力;
7、懂數(shù)據(jù)挖掘、知識圖譜的構建者優(yōu)先。
數(shù)據(jù)倉庫工程師崗位的基本職責3
職責:
負責大數(shù)據(jù)數(shù)據(jù)倉庫的建設,根據(jù)數(shù)據(jù)倉庫及BI項目的需求,制定相關的設計方案和開發(fā)計劃;
參與數(shù)據(jù)的分析處理和數(shù)據(jù)統(tǒng)計內(nèi)容的架構設計與研發(fā);
組織項目組成員完成數(shù)據(jù)倉庫的開發(fā)和運維等;
負責公司數(shù)據(jù)規(guī)范、數(shù)據(jù)標準、數(shù)據(jù)指標梳理與定義;
協(xié)助技術人員完成數(shù)據(jù)管控平臺的搭建,完成數(shù)據(jù)規(guī)范管理體系到信息平臺的落地實施;
組織開展對數(shù)據(jù)平臺各模塊的內(nèi)容進行培訓;
制定和審計業(yè)務系統(tǒng)數(shù)據(jù)數(shù)據(jù)庫模型設計規(guī)范;
任職資格:
有一定的互聯(lián)網(wǎng)數(shù)據(jù)倉庫經(jīng)驗;
深入了解 Hadoop 生態(tài)系統(tǒng),熟悉HBase、Hive、Storm、spark等大數(shù)據(jù)開發(fā)工具中一種或幾種;
具備大型數(shù)據(jù)倉庫架構設計、模型設計、ETL 設計的相關經(jīng)驗;
關系型數(shù)據(jù)庫原理基礎扎實,熟悉 MySQL/PostgreSQL等的使用和調(diào)優(yōu);
有獨立設計數(shù)據(jù)倉庫經(jīng)驗、熟悉數(shù)據(jù)倉庫相關理論知識者優(yōu)先;
數(shù)據(jù)倉庫工程師崗位的基本職責4
職責:
1、深入理解業(yè)務,了解需求和痛點,為風控和業(yè)務部門提供數(shù)據(jù)支持;
2、針對業(yè)務需求,參與數(shù)據(jù)倉庫需求分析,制定ETL相關設計方案和開發(fā)計劃;
3、負責數(shù)據(jù)同步,數(shù)據(jù)整合清洗,以及數(shù)據(jù)質(zhì)量的治理;
4、數(shù)據(jù)倉庫模型設計,分層體系構建,元數(shù)據(jù)管理監(jiān)控以及權限控制。
任職資格:
1、重點院校統(tǒng)招本科及以上學歷,計算機基礎扎實;
2、具有2年以上金融貸款類業(yè)務經(jīng)驗;
3、熟悉數(shù)據(jù)倉庫理論和數(shù)據(jù)庫建模,有redshift和AWS經(jīng)驗優(yōu)先;
4、精通pgsql/mysql等數(shù)據(jù)庫,精通sql語言,具有數(shù)據(jù)庫優(yōu)化/sql優(yōu)化相關經(jīng)驗;
5、熟練掌握python/shell語言。
數(shù)據(jù)倉庫工程師崗位的基本職責5
職責:
1.參與打造數(shù)據(jù)中心內(nèi)容的規(guī)劃、設計、開發(fā)和優(yōu)化工作,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;
2.參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā),搭建離線、實時數(shù)據(jù)倉庫;
3.參與數(shù)據(jù)產(chǎn)品與應用的數(shù)據(jù)研發(fā);
4.負責日常應用系統(tǒng)監(jiān)控,發(fā)現(xiàn)異常問題及時分發(fā),并跟進后續(xù)處理;
5.編寫Python程序,或ETL技術完成日常數(shù)據(jù)抽取和整理任務,可獨立進行數(shù)據(jù)分析;
崗位要求:
1.熟悉ETL開發(fā)、數(shù)據(jù)倉庫設計流程,熟悉Oracle, MS SQL Server 等主流數(shù)據(jù)庫,表結(jié)構設計,存儲過程編寫;
2.熟練掌握常用Linux命令,具備shell編程能力,熟練掌握Python編程語言
3.具有較強的語言表達和溝通能力,良好的團隊合作精神
4.邏輯思維能力強,對數(shù)據(jù)敏感,有較強學習能力和創(chuàng)新思維;
5.具有高度的責任感和敬業(yè)精神,能夠承受較大的工作壓力