大數(shù)據(jù)工程師成長(zhǎng)歷程
階段 技能點(diǎn) 能力培養(yǎng)
Java基礎(chǔ) Java基礎(chǔ)語(yǔ)法、面向?qū)ο?、異常處理、集合框架、常用類、I/O操作、多線程、網(wǎng)絡(luò)編程、XML解析 熟練使用MyElipse開(kāi)發(fā)Java程序
會(huì)使用Java編寫常用的流程控制語(yǔ)句
理解并掌握面向?qū)ο笏枷爰捌淙筇匦?
能夠運(yùn)用Java常用類解決實(shí)際問(wèn)題
會(huì)使用集合框架存儲(chǔ)數(shù)據(jù)、I/O技術(shù)操作文件
能夠?qū)崿F(xiàn)多線程及網(wǎng)絡(luò)編程
JavaWeb網(wǎng)站開(kāi)發(fā) HTML5、CSS3、JavaScript/ES6、JQuery、JSP/Servlet、MySQL數(shù)據(jù)庫(kù)、JDBC、Linux、SVN 了解B/S架構(gòu)運(yùn)行原理
掌握網(wǎng)頁(yè)的開(kāi)發(fā)和設(shè)計(jì)技能
掌握J(rèn)avaWeb核心開(kāi)發(fā)技能
掌握Linux應(yīng)用部署和監(jiān)控技能
掌握基本的JavaEE應(yīng)用設(shè)計(jì)和開(kāi)發(fā)技能
鍛煉學(xué)員團(tuán)隊(duì)協(xié)作能力
SSM/SSH框架 MyBatis框架、Spring框架、Spring MVC框架、Struts2框架、Hibernate框架、Git、Maven 、Oracle數(shù)據(jù)庫(kù) 掌握SSM/SSH框架核心技能及應(yīng)用開(kāi)發(fā)技能
掌握Oracle數(shù)據(jù)庫(kù)設(shè)計(jì)和應(yīng)用技能
學(xué)會(huì)使用Git進(jìn)行項(xiàng)目代碼版本管理
學(xué)會(huì)使用Maven進(jìn)行項(xiàng)目構(gòu)建管理
基于分布式微服的互聯(lián)網(wǎng)架構(gòu) 分布式微服架構(gòu)、Dubbox、Spring Cloud、Spring Boot、Docker環(huán)境快速搭建實(shí)現(xiàn)自動(dòng)化部署、分布式下ID*性、Redis、分布式事務(wù)處理、分布式下三方接入、Active MQ消息隊(duì)列等 培養(yǎng)學(xué)員基于分布式項(xiàng)目的業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、技術(shù)架構(gòu)、安全架構(gòu)、網(wǎng)絡(luò)拓?fù)浼軜?gòu)等的
設(shè)計(jì)和代碼開(kāi)發(fā)能力，以及在部署策略等方面的綜合能力
培養(yǎng)學(xué)員分布式項(xiàng)目下核心業(yè)務(wù)處理能力
培養(yǎng)學(xué)員在分布式項(xiàng)目下對(duì)于高并發(fā)、數(shù)據(jù)最終一致性、性能優(yōu)化等問(wèn)題的解決處理能力
Python爬蟲+ELK+分析 Shell編程、Python編程、NumPy&Pandas、Scrapy、LXML、PySpider、數(shù)據(jù)采集、整理和清洗、Elasticsearch、Logstash、Kibana 掌握Python編程
具備Python的爬蟲開(kāi)發(fā)、 數(shù)據(jù)獲取和整理等能力
能夠使用ELK進(jìn)行數(shù)據(jù)導(dǎo)入、 查詢和集成
Hadoop生態(tài)圈 HDFS、MapReduce、YARN、Hive、Sqoop、HBase 掌握Hadoop集群配置與管理
掌握HDFS文件操作
掌握分布式計(jì)算原理
掌握基于Hive的數(shù)據(jù)ETL和數(shù)據(jù)查詢
掌握HBase數(shù)據(jù)存儲(chǔ)
掌握數(shù)據(jù)導(dǎo)入導(dǎo)出
Spark技術(shù)線 Scala編程、Spark RDD、Spark SQL、Spark GraphX、PySpark、Jupyter、Hadoop數(shù)據(jù)模型、Atlas&Ranger、NiFi、Kafka、Oozie、Cassandra&Hive、Redis&Hive、MongoDB、Tableau 掌握Spark集群配置與管理，以及Spark離線計(jì)算
具備Scala和Python編寫 Spark應(yīng)用的能力
具備在企業(yè)數(shù)據(jù)湖中建立數(shù)據(jù)流程/通道、實(shí)施數(shù)據(jù)監(jiān)管、規(guī)范數(shù)據(jù)管理和確保數(shù)據(jù)安全
具備數(shù)據(jù)采集、數(shù)據(jù)變換、數(shù)據(jù)建模、任務(wù)調(diào)度以及與企業(yè)應(yīng)用的數(shù)據(jù)集成的能力具備多種NoSQL數(shù)據(jù)存儲(chǔ)的能力
掌握Hive/Spark實(shí)施數(shù)據(jù)變換、BI工具與 Hive、 NoSQL 的集成
掌握用戶興趣取向分析/航班飛行網(wǎng)圖分析/電子商務(wù)消費(fèi)行為分析/用戶交易欺詐分析案例的具體實(shí)現(xiàn)
實(shí)時(shí)流處理平臺(tái) Spark Streaming、Flink、Flume、Storm、d3.js、Echarts 掌握Apache NiFi/Kafka/Flume/Spark Streaming的集成使用
具備實(shí)時(shí)流數(shù)據(jù)存儲(chǔ)、計(jì)算、查詢的能力
具備多種流處理框架的運(yùn)用能力
掌握多種常見(jiàn)可視化工具的使用
掌握股票流數(shù)據(jù)實(shí)時(shí)分析/輿情分析案例
機(jī)器學(xué)習(xí) Spark Mllib 掌握Spark機(jī)器學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)及流程
掌握分類,聚類和推薦模型
掌握垃圾郵件分類
提升課程
課程（崗位） 能力培養(yǎng) 項(xiàng)目經(jīng)驗(yàn)
大數(shù)據(jù)開(kāi)發(fā)工程師標(biāo)準(zhǔn)版(Java開(kāi)發(fā)工程師) 掌握J(rèn)ava語(yǔ)言及Java技能體系 互聯(lián)網(wǎng)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)：
具備分布式項(xiàng)目的開(kāi)發(fā)經(jīng)驗(yàn)，具備針對(duì)系統(tǒng)中的擴(kuò)展性、安全性、高性能等問(wèn)題的分析、解決能力
掌握SSM/SSH框架技術(shù)進(jìn)行垂直架構(gòu)項(xiàng)目的開(kāi)發(fā)
具備架構(gòu)設(shè)計(jì)能力，可進(jìn)行分布式微服架構(gòu)項(xiàng)目的開(kāi)發(fā)
具備大數(shù)據(jù)Hadoop相關(guān)基礎(chǔ)知識(shí)
大數(shù)據(jù)開(kāi)發(fā)工程師提升版(大數(shù)據(jù)應(yīng)用開(kāi)發(fā)工程師) 掌握大數(shù)據(jù)生態(tài)圈相關(guān)技術(shù)的開(kāi)發(fā)及應(yīng)用，掌握Hadoop、Spark、Spark Streaming、Kafka，掌握Flink，了解Storm 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn):
包括Python爬蟲與ELK搜索、電子商務(wù)消費(fèi)行為分析、航班飛行網(wǎng)圖分析、垃圾郵件分類、輿情分析、用戶交易欺詐分析、用戶興趣取向分析、股票流數(shù)據(jù)實(shí)時(shí)分析
掌握J(rèn)ava、Python、Scala、Shell編程
搭建和部署Hadoop、Spark、Flink、Storm集群，并能夠利用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析和處理
大數(shù)據(jù)分析師 流行的學(xué)習(xí)、分析、挖掘算法、分布式數(shù)據(jù)處理、數(shù)學(xué)建模、模型演練、智能化算法優(yōu)化，以及創(chuàng)造性的算法實(shí)現(xiàn)，同時(shí)使用R、go、python等進(jìn)行模型實(shí)現(xiàn)
