數據采集
使用Flume,可進行流式日志數據的收集。使用Sqoop可以交互關系型數據庫,進行導入導出數據。使用爬蟲技術,可在網上爬取。
數據存儲與管理
大數據利用分布式文件系統HDFS、HBase、Hive,實現對結構化、半結構化和非結構化數據的存儲和管理。
數據處理與分析
利用分布式并行編程模型和計算框架,結合機器學習和數據挖掘算法,實現對海量數據的處理和分析。
計算機相關專業
數學相關專業
ICT在職轉行大數據
對大數據感興趣的人
數據采集
數據存儲
數據處理
課程階段 | 主要內容 | 核心能力培養 |
大數據開發語言基礎 | 基本程序邏輯、面向對象深入、異常處理機制、常用類、集合&泛型、多線程、MySQL基礎、遠程倉庫、DDL/DCL/DML/DQL、SQL優化、批量處理事務DBUtil、Git管理文件版本、pom.xml詳解 | 掌握Java核心技術、掌握MySQL數據庫、掌握利用JDBC操作數據庫 |
離線場景下的數據存儲和計算 | 企業常用Linux命令、awk,sed,seq,xargs進階命令、HDFS分布式文件系統、MapReduce并行計算、Yarn資源分配、Hive數據倉庫、Flume日志實時采集、Sqoop數據導入導出工具 | 掌握Hadoop生態技術棧:HDFS,MapReduce,Yarn,Zookeeper,Hive,Flume,Sqoop等,掌握ETL技術:Kylin、kettle等、BI工具:Superset、Echarts。 項目實戰:企業級電商大數據分析系統之離線數據倉庫項目、客快物流大數據項目 |
數倉建設和實時檢索 | Redis概述、Redis事務、Jedis和Spring整合、Hbase整體架構、API的使用方式、數據結構檢索與搜索原理、search搜索相關算法、kafka安裝和使用、kafka運行流程和文件存儲、分區原則、消息可靠性 | 掌握No SQL數據庫:Redis,HBase,掌握數據倉庫設計和建設,掌握實時檢索Elastic Search技術 |
Scala編程&Spark分布式計算框架 |
Scala概述、Scala程序邏輯、Scala面向對象編程、 隱式轉換、Scala集合、函數式編程、單向環形鏈表、約瑟夫問題、Spark概述、Spark安裝和使用、RDD&算子、Spark SQL、DataSet DataFrame 、SparkStreaming、Spark調優
|
掌握Scala語言和算法,掌握Spark分布式計算框架 |
實時計算與數據挖掘 |
Spark MLlib算法、Spark MLlib統計分析、Spark MLlib分類和回歸、Spark MLlib聚類和降維、Spark MLlib關聯規則與推薦算法、Flink狀態管理與恢復、Flink的Time詳解、Flink SQL、Flink的事件處理
|
掌握數據挖掘、掌握Flink計算引擎 |
大數據已滲透到各個領域,無處不在
高頻交易,市場分析,信貸風險分析等
智慧物流,包括成本控制,風險管理等
在線教育、適應性教學,教學規律發現等
流行病預測,智慧醫療,健康管理等
用戶畫像,個性化推薦,廣告投放等
智慧交通,城市規劃,智能安防等
選擇我們,選擇成功!
前臺
走廊
綠蔭小道
辦公區
¥22800課時:100課時
¥18800課時:100課時
¥18800課時:100課時
¥18800課時:100課時
¥18800課時:100課時
¥詢價課時:詳詢
¥詢價課時:詳詢
¥詢價課時:詳詢
¥詢價課時:詳詢
¥詢價課時:350課時
¥詢價課時:350課時
¥詢價課時:詳詢