青島ETL大數(shù)據(jù)培訓(xùn)課程，主要學(xué)習(xí)LINUX、HADOOP、HBASE、HIVE、SPOOP等課程內(nèi)容，可從事ETL開發(fā)工程師、業(yè)務(wù)數(shù)據(jù)分析師、大數(shù)據(jù)分析工程師、大數(shù)據(jù)挖掘師、Spark工程師、建模數(shù)據(jù)挖掘師、Python開發(fā)工程師、數(shù)據(jù)產(chǎn)品經(jīng)理等崗位。
主要學(xué)習(xí)LINUX、HADOOP、HBASE、HIVE、SPOOP等課程內(nèi)容。政策支持、行業(yè)前景、人才緊缺、超高薪資，可從事ETL開發(fā)工程師、業(yè)務(wù)數(shù)據(jù)分析師、大數(shù)據(jù)分析工程師、大數(shù)據(jù)挖掘師、Spark工程師等崗位。
起點(diǎn)相同！能力不同！薪資懸殊！
數(shù)據(jù)倉庫架構(gòu)概述
數(shù)據(jù)倉庫概述
數(shù)據(jù)庫
混合型數(shù)據(jù)中心之大數(shù)據(jù)平臺
混合型數(shù)據(jù)中心參考架構(gòu)
ORACLE-SQL基礎(chǔ)
數(shù)據(jù)庫控制
數(shù)據(jù)庫對象
ORACLE-PLSQL
SQL語言的基本結(jié)構(gòu)? PLSQL高級編程
數(shù)據(jù)挖掘理論基礎(chǔ)
數(shù)據(jù)的概念
數(shù)據(jù)的內(nèi)容
數(shù)據(jù)屬性及數(shù)據(jù)集
數(shù)據(jù)特征的統(tǒng)計描述 數(shù)據(jù)的可視化
數(shù)據(jù)相似與相異性的度量
數(shù)據(jù)質(zhì)量
數(shù)據(jù)預(yù)處理
大數(shù)據(jù)ETL基礎(chǔ)
從數(shù)據(jù)庫到數(shù)據(jù)倉庫 數(shù)據(jù)倉庫的架構(gòu)
數(shù)據(jù)倉庫的數(shù)據(jù)模型 ETL技術(shù)
聯(lián)機(jī)分析處理--OLAP OLAP的數(shù)據(jù)模型
大數(shù)據(jù)的加工與處理
抽取工具的特征 KETTLE的使用
數(shù)據(jù)挖掘的應(yīng)用
數(shù)據(jù)挖掘的起源
數(shù)據(jù)挖掘的定義
數(shù)據(jù)挖掘的任務(wù)
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
Linux
Linux系統(tǒng)詳解
Linux系統(tǒng)進(jìn)程
Linux啟動流程
vi、vim編輯器
Linux用戶和組賬戶管理
Linux磁盤管理
Linux系統(tǒng)文件權(quán)限管理
Linux的RPM軟件包管理
yum 、Linux網(wǎng)絡(luò)
Shell編程
Linux上常見軟件的安裝
Hadoop
Hadoop概述
HDFS
Mapreduce Mapreducer案例 Hadoop2.x集群
HBase
HBase與RDBMS的對比
數(shù)據(jù)模型
系統(tǒng)架構(gòu)
HBase上的MapReduce
表的設(shè)計
集群的搭建過程講解
集群的監(jiān)控
集群的管理
HBase Shell以及演示
Hbase樹形表設(shè)計 Hbase一對多和多對多表設(shè)計
Hbase微博案例
Hbase訂單案例
Hbase表級優(yōu)化Hbase數(shù)據(jù)讀寫優(yōu)化
Hive
數(shù)據(jù)倉庫基礎(chǔ)知識Hive定義
Hive體系結(jié)構(gòu)簡介Hive集群
客戶端簡介
HiveQL定義
HiveQL與SQL的比較 數(shù)據(jù)類型
外部表和分區(qū)表
DDL與CLI客戶端演示
Sqoop
配置和介紹Sqoop Sqoop shell使用 Sqoop- import DBMS- hdfs
DBMS- hive
DBMS- hbase Sqoop- export
Flume
flume簡介-基礎(chǔ)知識 flume安裝與測試 flume部署方式 flume source相關(guān)配置及測試
flume sink相關(guān)配置及測試
flume selector 相關(guān)配置與案例分析 flume Sink Processors相關(guān)配置和案例分析
flume Interceptors相關(guān)配置和案例分析 flume AVRO Client開發(fā)
flume和kafka 的整合
Zookeeper
Zookeeper java API開發(fā)
Zookeeper RMI高可用分布式集群開發(fā) Zookeeper REDIS高可用監(jiān)控實現(xiàn)
NETTY異步IO通信框架
Zookeeper實現(xiàn)NRTTY分布式架構(gòu)的高可用
Hue
Cloudera Hadoop Manager的分布式集群部署搭建
基于文件瀏覽器（File Browser）訪問HDFS
基于Hive編輯器來開發(fā)和運(yùn)行Hive查詢
基于Solr進(jìn)行搜索的應(yīng)用，并提供可視化的數(shù)據(jù)視圖，以及儀表板（Dashboard） 基于Impala的應(yīng)用進(jìn)行交互式查詢
Spark編輯器和儀表板（Dashboard）
Oozie編輯器，可以通過儀表板提交和監(jiān)控Workflow、Coordinator和Bundle
Python編程
介紹Python以及特點(diǎn) Python的安裝 Python基本操作（注釋、邏輯、字符串使用等）
Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典） 使用Python進(jìn)行批量重命名
Python常見內(nèi)建函數(shù) Python函數(shù)及使用常見技巧
Python異常的處理 Python函數(shù)的參數(shù)講解
Scala編程
1. scala解釋器、變量、常用數(shù)據(jù)類型等 2. scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu) 3. scala的函數(shù)、默認(rèn)參數(shù)、變長參數(shù)等 4. scala的數(shù)組、變長數(shù)組、多維數(shù)組等 5. scala的映射、元組等操作 6. scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器 7. scala的對象、單例對象、伴生對象、擴(kuò)展類、apply方法
Spark-Score
Spark介紹
Spark應(yīng)用場景 Spark和Hadoop MR、Storm的比較和優(yōu)勢
RDD Transformation Action、Spark計算PageRank
Lineage
Spark模型簡介
Spark緩存策略和容錯
處理寬依賴與窄依賴
Spark-Streaming
1Spark Streaming：數(shù)據(jù)源和DStream sparksql 編程實戰(zhàn) spark的多語言操作 spark新版本的新特性
Kafka
kafka是什么
kafka體系結(jié)構(gòu)
kafka的存儲策略 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合
Storm
Storm的基本概念 Storm的應(yīng)用場景 Storm集群搭建 Storm配置文件配置項講解
集群搭建常見問題解決
Hadoop項目實戰(zhàn)
項目實戰(zhàn)一
項目實戰(zhàn)二
數(shù)據(jù)倉庫項目簡介：整合各個業(yè)務(wù)線數(shù)據(jù)，為各個業(yè)務(wù)系統(tǒng)提供統(tǒng)一&規(guī)范的數(shù)據(jù)出口。是整個大數(shù)據(jù)系統(tǒng)中的關(guān)鍵，是所有數(shù)據(jù)分析、數(shù)據(jù)挖掘等工作的基礎(chǔ)。
數(shù)倉項目開發(fā)流程：技術(shù)選型-數(shù)據(jù)采集-數(shù)倉設(shè)計-數(shù)倉開發(fā)-任務(wù)調(diào)度-項目優(yōu)化。
項目性能指標(biāo)：滿足日增100T+數(shù)據(jù)處理；查詢速度滿足秒級查詢。
項目收獲：學(xué)習(xí)并掌握數(shù)據(jù)倉庫的分層設(shè)計&數(shù)據(jù)倉庫從0~1的構(gòu)建過程。
熱線監(jiān)控項目簡介：對整個監(jiān)控系統(tǒng)的一個可視化數(shù)據(jù)大屏展示，分別體現(xiàn)出訴求業(yè)務(wù)總量，轉(zhuǎn)辦案件排名，資訊業(yè)務(wù)重量，來電資訊分類等數(shù)據(jù)進(jìn)行分析。
數(shù)倉項目開發(fā)流程：技術(shù)選型-數(shù)據(jù)采集-數(shù)倉設(shè)計-數(shù)倉開發(fā)-任務(wù)調(diào)度-項目優(yōu)化。
項目性能指標(biāo)：滿足日增100T+數(shù)據(jù)處理；查詢速度滿足秒級查詢。
項目收獲：學(xué)習(xí)并掌握數(shù)據(jù)倉庫的分層設(shè)計&數(shù)據(jù)倉庫從0~1的構(gòu)建過程。
ETL開發(fā)講師，ETL大數(shù)據(jù)工程師，4年Oracle數(shù)據(jù)庫開發(fā)經(jīng)驗，3年EDW項目開發(fā)經(jīng)驗，3年大數(shù)據(jù)開發(fā)經(jīng)驗，曾任職海爾集團(tuán)、印孚瑟斯技術(shù)（中國）有限公司等。
精通Oracle、PL/SQL、Mongodb等數(shù)據(jù)庫，精通Informatica、Kettle工具的使用，精通Hadoop，HIVE，HBASE、Zookeeper、Kafka、Spark、Impala、Sqoop、Hue、Python等大數(shù)據(jù)以及數(shù)據(jù)分析技術(shù)，熟悉數(shù)據(jù)建模過程，對制造業(yè)、銀行等行業(yè)IT應(yīng)用方向具有一定經(jīng)驗。
參與并主導(dǎo)多個大數(shù)據(jù)項目：海爾集團(tuán)EDW平臺的整體建設(shè)，海爾集團(tuán)多媒體客服中心大數(shù)據(jù)平臺設(shè)計開發(fā)以及后期升級改造，1169用戶中心大數(shù)據(jù)項目、四川移動大數(shù)據(jù)項目、山東農(nóng)村信用社財報項目、濰坊銀行微貸中心核算項目、海爾數(shù)據(jù)倉庫EDW/TBM平臺搭建項目等。
ETL講師，大數(shù)據(jù)行業(yè)8年工作經(jīng)驗。
主要工作領(lǐng)域為金融大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、政府大數(shù)據(jù)。曾任職于北京文思海輝信息有限公司以及北京宇信科技有限公司。
作為項目經(jīng)理和負(fù)責(zé)人完成過國家開發(fā)銀行數(shù)據(jù)集市項目、蘇州銀行1104監(jiān)管報送項目、浙江義烏商業(yè)銀行數(shù)據(jù)平臺項目。精通大數(shù)據(jù)可視化以及大數(shù)據(jù)云計算平臺的架構(gòu)和搭建，精通分布式計算的原理和架構(gòu)，精通數(shù)據(jù)庫運(yùn)行機(jī)制以及ETL工具KETTLE/INFOMATICA的使用，精通大數(shù)據(jù)可視化平臺帆軟報表finereport的使用。精通ORACLE/DB2/SQLSERVER/PG等關(guān)系型數(shù)據(jù)庫的使用，并能根據(jù)業(yè)務(wù)需求搭建合理的數(shù)據(jù)模型，開發(fā)全流程圖形化界面以及B/S架構(gòu)。
大數(shù)據(jù)ETL開發(fā)講師，5年以上軟件開發(fā)設(shè)計、系統(tǒng)架構(gòu)、項目管理與實施經(jīng)驗。2年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗，2年教學(xué)經(jīng)驗。
曾任職重慶中軟國際開發(fā)事業(yè)部并參與多個政府項目的開發(fā)：重慶稅務(wù)局稅務(wù)系統(tǒng)、重慶稅務(wù)局黨建系統(tǒng)、
也擔(dān)任過重慶文投大數(shù)據(jù)項目開發(fā)以及一些ERP系統(tǒng)的開發(fā)
精通各大主流框架如:spring、springmvc、mybatis、hibernate、springboot、springcloud等，熟悉各種主流開發(fā)管理工具：maven、svn、idea等，精通Hadoop，HIVE，HBASE、Zookeeper、Kafka、Python等大數(shù)據(jù)以及數(shù)據(jù)分析技術(shù)
與省內(nèi)多家高校建立校企合作關(guān)系：專業(yè)共建、師資培養(yǎng)、課題申報、實驗室建設(shè)等；與多家行業(yè)知名企業(yè)建立人才訂單合作：青島海信集團(tuán)、天匠動畫、甲殼蟲動漫等。
