大數(shù)據(jù)開發(fā)工程師的工作職責模板
大數(shù)據(jù)開發(fā)工程師的工作職責模板
大數(shù)據(jù)開發(fā)工程師負責數(shù)據(jù)倉庫的體系建設及落地實現(xiàn)。下面是學習啦小編整理的大數(shù)據(jù)開發(fā)工程師的工作職責模板。
大數(shù)據(jù)開發(fā)工程師的工作職責模板1
職責：
1、獨立負責工作小組，并對下級成員進行監(jiān)督;
2、具備資源整合以及對軟件項目全局把控的能力;
3、負責軟件項目的系統(tǒng)設計和需求分析;
4、制定軟件項目開發(fā)計劃，并按時完成功能模塊的設計、開發(fā)以及編程任務;
5、積極配合并完成主管下達的任務，并能夠對軟件部門的發(fā)展規(guī)劃提出意見;
任職條件
1、大數(shù)據(jù)相關開發(fā)經(jīng)驗3年以上，至少具備2年以上java開發(fā)經(jīng)驗;
2、有基于hadoop的數(shù)據(jù)抽取、轉換、加載的開發(fā)相關經(jīng)驗;
3、熟練掌握hadoop生態(tài)的相關知識，如hive,hbase,flume.kafka,storm,spark，mapreduce等;
4、熟悉Linux操作系統(tǒng)。熟悉linux各項基本操作，至少掌握一門腳本語言;
5、熟練數(shù)據(jù)倉庫，對多維數(shù)據(jù)建模有深入理解;
6、有BI數(shù)據(jù)平臺、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設計、開發(fā)、架構經(jīng)驗者優(yōu)先;
7、思維敏捷，有較強的鉆研學習能力，較好的溝通能力、團隊合作;
大數(shù)據(jù)開發(fā)工程師的工作職責模板2
1、負責數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構設計和開發(fā);
2、負責實現(xiàn)基于Spark框架的分布式計算框架的設計和開發(fā)工作;
3、負責Spark技術研究和通用數(shù)據(jù)平臺的性能調優(yōu);
4、負責大數(shù)據(jù)項目中，基于kafka、flume、spark streaming、Spark SQL等相關技術的海量數(shù)據(jù)的處理、分析、統(tǒng)計、挖掘工作。
5、熟悉Scala/Java語言，對Scala/Java原理、底層技術有深入研究者優(yōu)先;
6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗者優(yōu)先;
7、熟悉Hadoop/Spark生態(tài)系統(tǒng)組件的使用，至少有2年以上的Spark開發(fā)經(jīng)驗;
8、寫過推薦系統(tǒng)的優(yōu)先考慮
大數(shù)據(jù)開發(fā)工程師的工作職責模板3
職責
1、負責公司大數(shù)據(jù)平臺建設工作，完成Hdaoop/Spark搭建部署，根據(jù)業(yè)務需要進行開發(fā);
2、開發(fā)實現(xiàn)網(wǎng)絡爬蟲并爬取所需數(shù)據(jù)，有效存儲到大數(shù)據(jù)平臺;
3、對平臺數(shù)據(jù)做預處理，滿足數(shù)據(jù)展現(xiàn)及后續(xù)機器學習等系統(tǒng)使用;
4、根據(jù)業(yè)務需要，應用大數(shù)據(jù)實時分析技術、可視化技術等，并對平臺發(fā)展規(guī)劃進行設計。
任職資格
1、本科及以上學歷，計算機相關專業(yè);
2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關技術細節(jié)，有編程經(jīng)驗，熟悉SQL/Hadoop/Hive/Hbase/Spark等大數(shù)據(jù)工具;
3、具備海量數(shù)據(jù)處理經(jīng)驗，或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗;
4、1年以上崗位經(jīng)驗優(yōu)先，本科應屆有意向的，可優(yōu)先培養(yǎng)。
大數(shù)據(jù)開發(fā)工程師的工作職責模板4
職責：
1.負責金融銀行大數(shù)據(jù)系統(tǒng)相關模塊的數(shù)據(jù)架構及研發(fā)實施工作
2.依據(jù)業(yè)務場景、分析需求提供技術解決方案并加以實現(xiàn);
3.與客戶業(yè)務部門對接，解決數(shù)據(jù)建模、報表和報告在系統(tǒng)開發(fā)遇到的問題;
任職資格：
1.具備3年以上DW系統(tǒng)建設經(jīng)驗，了解BI系統(tǒng)，有數(shù)據(jù)管理經(jīng)驗，有維度建模相關經(jīng)驗，了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題
2.精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉換、整合，具備海量數(shù)據(jù)加工處理相關經(jīng)驗
3.熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質量體系管理
4.掌握大型數(shù)據(jù)庫開發(fā)技術(ORACLE/DB2等)，有豐富的數(shù)據(jù)庫模型設計和優(yōu)化經(jīng)驗
5.熟練掌握Unix/Linux常規(guī)命令、工具及Shell編程
6.掌握一門或多門編程語言優(yōu)先，如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大數(shù)據(jù)生態(tài)相關技術，有相關實踐經(jīng)驗著優(yōu)先8.良好的語言溝通與表達能力和自我驅動動力9.具備銀行項目設計、開發(fā)、優(yōu)化等經(jīng)驗者加分
大數(shù)據(jù)開發(fā)工程師的工作職責模板5
職責：
1、 參與ODS系統(tǒng)或Hadoop 系統(tǒng)數(shù)據(jù)庫相關開發(fā),包括數(shù)據(jù)倉庫的數(shù)據(jù)模型設計(ODS層設計、基礎數(shù)據(jù)層設計、匯總層設計等);
2、 參與ETL Mapping設計及開發(fā)工作;
3、 參與客戶/用戶畫像、經(jīng)營管理、產(chǎn)品畫像、營銷活動等主題域建設工作。
資質要求：
1.計算機相關專業(yè)本科及以上學歷，優(yōu)秀者放寬至大專;
2.有大型數(shù)據(jù)庫(ORALCE/MSSQL SERVER等)開發(fā)經(jīng)驗，有Sybase IQ\HIVE\Spark SQL開發(fā)經(jīng)驗者優(yōu)先;
3、有較強的SQL編程能力,熟練編寫存儲過程，能設計各種復雜的業(yè)務處理、統(tǒng)計分析語句，精通sql性能優(yōu)化;
4、具有數(shù)據(jù)倉庫、ods、BI商務智能項目經(jīng)驗者優(yōu)先，具有金融行業(yè)項目背景者優(yōu)先;
5、較好的溝通理解能力，態(tài)度踏實，積極上進。
相關文章：