Java大數(shù)據(jù)課程簡(jiǎn)介
達(dá)內(nèi)教育開(kāi)設(shè)的Java大數(shù)據(jù)培訓(xùn)班，課程內(nèi)容覆蓋Java語(yǔ)言基礎(chǔ)、JavaEE深度開(kāi)發(fā)、互聯(lián)網(wǎng)架構(gòu)開(kāi)發(fā)、大數(shù)據(jù)開(kāi)發(fā)、算法數(shù)據(jù)挖掘分析等Java大數(shù)據(jù)全棧技術(shù)內(nèi)容，解決學(xué)員Java大數(shù)據(jù)的學(xué)習(xí)需求，滿足學(xué)員高薪就業(yè)所需技術(shù)廣度。
掃清知識(shí)死角，精選經(jīng)典內(nèi)容
JavaSE階段
JavaWeb階段
JavaEE框架階段
大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)階段
大數(shù)據(jù)框架階段
數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法階段
| 課程模塊 | 課程內(nèi)容 | 學(xué)習(xí)內(nèi)容 |
| Java基礎(chǔ) | Java簡(jiǎn)介 | Java發(fā)展歷程、Java的技術(shù)結(jié)構(gòu)、JDK的下載及安裝、HelloWorld入門案例 |
| Java基本語(yǔ)法 | 關(guān)鍵字、標(biāo)識(shí)符、注釋、字面量、進(jìn)制及其換算、變量、數(shù)據(jù)類型及其轉(zhuǎn)換、運(yùn)算符、流程控制、數(shù)組、二維數(shù)組、方法 | |
| 面向?qū)ο? | 面向?qū)ο笈c面向過(guò)程比較、類與對(duì)象的關(guān)系、成員變量與局部變量、構(gòu)造方法、this關(guān)鍵字、代碼塊。面向?qū)ο蟮奶卣鳎ǚ庋b、繼承、多態(tài)）、super關(guān)鍵字、權(quán)限修飾符、方法的重寫static、final、abstract、接口、內(nèi)部類、包、垃圾分代回收機(jī)制 | |
| API（一） | Object、String、Pattern、包裝類、Math、BigDecimal、Date、Calendar | |
| API（二） | 異常、集合、Map、泛型、迭代器、比較器 | |
| Java增強(qiáng) | API（三） | IO、線程、套接字 |
| API（四） | 反射、注解、斷言 | |
| jvm參數(shù) | jvm內(nèi)存大小調(diào)節(jié)、常見(jiàn)回收機(jī)制 | |
| JDK8的部分特性 | 接口中的默認(rèn)方法、Lambda表達(dá)式、函數(shù)式接口、時(shí)間包 | |
| Git版本控制 | 版本控制概念、Git發(fā)展歷史、Git安裝配置、Git版本庫(kù)管理、Git版本控制、Git遠(yuǎn)程倉(cāng)庫(kù)、Git分支管理、Git標(biāo)簽管理、碼云介紹 |
| 課程階段 | 學(xué)習(xí) |
| XML | XML的概念與基本作用、XML語(yǔ)法、XML解析介紹、DOM4J解析XML |
| HTML/CSS | HTML介紹、HTML文檔結(jié)構(gòu)、HTML語(yǔ)法、HTML標(biāo)簽技術(shù)（超鏈接、列表、表格、圖像、表單等），CSS介紹、CSS導(dǎo)入方式、CSS選擇器、CSS布局、CSS樣式屬性。完成EasyMall項(xiàng)目靜態(tài)頁(yè)面 |
| JavaScript | JavaScript語(yǔ)法、數(shù)據(jù)類型、運(yùn)算符、流程控制、數(shù)組、函數(shù)、JavaScript內(nèi)部對(duì)象、自定義對(duì)象，DHTML編程、DOM介紹，DOM編程（使用DOM操作HTML文檔）。完成EasyMall靜態(tài)頁(yè)面中的js腳本 |
| Jquery | Jquery對(duì)象、Jquery選擇器（ID、元素、class、層級(jí)等）的使用、Jquery案例（用戶列表增、刪、改、查）、Json的對(duì)象轉(zhuǎn)換、Jquery AJAX的實(shí)現(xiàn)。完成EasyMall靜態(tài)頁(yè)面中的jquery腳本 |
| MySql | 數(shù)據(jù)庫(kù)介紹、MySQL安裝與配置、數(shù)據(jù)庫(kù)增刪改操作DDL語(yǔ)句使用、表增刪改操作DML語(yǔ)句使用、表查詢操作DQL語(yǔ)句使用，數(shù)據(jù)備份及恢復(fù)、多表設(shè)計(jì)、多表查詢。完成EasyMall中數(shù)據(jù)庫(kù)的設(shè)計(jì) |
| JDBC | JDBC介紹、JDBC快速入門，JDBC核心API介紹，JDBC的CURD操作防止SQL注入及PrepareStatement使用，使用批處理。連接池的介紹、自定義連接池，常用的開(kāi)源連接池C3P0的介紹及使用。 |
| Tomcat/HTTP | WEB服務(wù)器介紹、Tomcat的安裝與啟動(dòng)、Tomcat的體系結(jié)構(gòu)、組織WEB應(yīng)用目錄與在Tomcat中發(fā)布WEB應(yīng)用程序的方式、配置WEB的主頁(yè)、使用Tomcat配置虛擬主機(jī)、HTTP協(xié)議詳解 |
| Servlet | Servlet介紹、開(kāi)發(fā)Servlet程序、Servlet生命周期、Servlet調(diào)用分析、Request及Response的使用、ServletConfig使用，ServletContext使用（作為域?qū)ο笫褂谩⑴渲孟到y(tǒng)初始化參數(shù)、獲取web資源）。AJAX介紹、XMLHttpRequest對(duì)象詳解。完成EasyMall用戶注冊(cè)模塊 |
| Cookie/Session | 會(huì)話技術(shù)介紹、Cookie介紹及Cookie的使用、案例之Cookie實(shí)現(xiàn)記住用戶名，Session的使用及Session的原理，案例之利用Session實(shí)現(xiàn)登陸功能及驗(yàn)證碼校驗(yàn)。完成EasyMall用戶登錄模塊 |
| JSP/EL表達(dá)式/JSTL標(biāo)簽庫(kù) | JSP介紹、JSP表達(dá)式、JSP腳本片段、JSP聲明、JSP注釋、JSP中的9個(gè)內(nèi)部對(duì)象和作用，EL表達(dá)式簡(jiǎn)介，EL獲得數(shù)據(jù)、EL執(zhí)行運(yùn)算、EL內(nèi)置對(duì)象，page指令及其重要的屬性，JSP中的include指令、pageContext對(duì)象的詳細(xì)講解。JSP動(dòng)作標(biāo)簽介紹。JSTL標(biāo)準(zhǔn)標(biāo)簽庫(kù)的介紹及使用。完成EasyMall動(dòng)態(tài)頁(yè)面 |
| MVC設(shè)計(jì)模式/三層架構(gòu) | JavaEE開(kāi)發(fā)模式介紹、MVC軟件設(shè)計(jì)模式介紹、JavaEE經(jīng)典開(kāi)發(fā)模式重構(gòu)EasyMall項(xiàng)目、工廠設(shè)計(jì)模式介紹、工廠設(shè)計(jì)模式的應(yīng)用。層與層之間的耦合與解耦。重構(gòu)EasyMall為三層架構(gòu) |
| 過(guò)濾器/監(jiān)聽(tīng)器 | Servlet Listenert監(jiān)聽(tīng)器介紹及使用、Servlet Filter過(guò)濾器介紹、過(guò)濾器生命周期。30天內(nèi)自動(dòng)登錄功能的實(shí)現(xiàn)，全站亂碼處理功能實(shí)現(xiàn)。完成EasyMall全站過(guò)濾器、自動(dòng)登錄等功能 |
| JavaWeb高級(jí)開(kāi)發(fā)技術(shù) | 泛型、注解、內(nèi)省、動(dòng)態(tài)代理、枚舉、AOP原理及實(shí)現(xiàn)。完成EasyMall改造實(shí)現(xiàn)AOP |
| 數(shù)據(jù)庫(kù)高級(jí)開(kāi)發(fā)技術(shù) | 事務(wù)概述、事務(wù)的隔離級(jí)別、事務(wù)控制、更新丟失。完成EasyMall中商品相關(guān)模塊 |
| EasyMall項(xiàng)目開(kāi)發(fā) | EasyMall是一個(gè)典型的互聯(lián)網(wǎng)電子商務(wù)系統(tǒng)，在WEB學(xué)習(xí)階段，通過(guò)所學(xué)習(xí)的WEB技術(shù)，實(shí)現(xiàn)EasyMall商城中包括用戶注冊(cè)、用戶登錄、用戶注銷、商品添加、商品刪除、商品修改、商品列表、商品詳情等功能。在實(shí)現(xiàn)商城相關(guān)功能的過(guò)程中，熟悉并掌握WEB開(kāi)發(fā)相關(guān)技術(shù)、架構(gòu)思想、項(xiàng)目開(kāi)發(fā)流程、版本控制等內(nèi)容。整個(gè)項(xiàng)目貫穿于整個(gè)WEB學(xué)習(xí)階段，通過(guò)項(xiàng)目貫穿課程教學(xué)，通過(guò)應(yīng)用引導(dǎo)學(xué)員學(xué)習(xí) |
| 課程階段 | 課程內(nèi)容 |
| Spring | Spring IOC基礎(chǔ)、Spring的工廠模式(靜態(tài)工廠、實(shí)例工廠、Spring工廠)、Spring依賴注入（構(gòu)造器注入，set注入）、Spring的注解形式、Spring AOP原理及實(shí)現(xiàn)、Spring 整合JDBC、JDBCTemplate、Spring聲明式事務(wù)處理、事務(wù)的回滾策略等 |
| SpringMVC | SpringMVC原理、SpringMVC簡(jiǎn)單參數(shù)封裝、復(fù)雜參數(shù)封裝、值傳遞的原理、SpringMVC的注解形式、日期格式類型轉(zhuǎn)換、文件上傳、頁(yè)面訪問(wèn)控制( 轉(zhuǎn)發(fā)和重定向 )、RESTFUL結(jié)構(gòu) |
| MyBatis | MyBatis原理、DQL映射、DML映射、復(fù)雜結(jié)果集映射、參數(shù)傳遞（注解形式和MAP形式）、結(jié)果集封裝原理、動(dòng)態(tài)SQL的拼接、字符轉(zhuǎn)義、MyBatis的接口實(shí)現(xiàn)、代碼自動(dòng)生成工具、關(guān)聯(lián)關(guān)系的講解、Spring+SpringMVC+MyBatis整合（SSM整合） |
| EasyMall項(xiàng)目重構(gòu)及開(kāi)發(fā) | 通過(guò)框架技術(shù)重構(gòu)在JavaWeb階段實(shí)現(xiàn)的EasyMall項(xiàng)目，通過(guò)對(duì)比使學(xué)員們理解使用框架的好處，熟悉框架的搭建和使用，理解框架整合方式、了解框架下業(yè)務(wù)開(kāi)發(fā)流程。并進(jìn)一步實(shí)現(xiàn)EasyMall中的購(gòu)物車模塊、訂單模塊、在線支付、銷售統(tǒng)計(jì)等模塊 |
| Springboot | springboot基礎(chǔ)，快速搭建，springboot組合注解運(yùn)行原理，springboot的web開(kāi)發(fā)，spring data JPA，聲明式事務(wù) |
| SpringBoot重構(gòu)EasyMall項(xiàng)目 | 通過(guò)SpringBoot重構(gòu)EasyMall項(xiàng)目 , 加深對(duì)SpringBoot的理解，實(shí)現(xiàn)購(gòu)物車、訂單、在線支付等功能模塊的實(shí)現(xiàn) |
| 課程階段 | 課程內(nèi)容 |
| Linux | 大數(shù)據(jù)生產(chǎn)環(huán)境需要在Linux下部署，大數(shù)據(jù)開(kāi)發(fā)人員必須對(duì)Linux系統(tǒng)有相應(yīng)的了解。學(xué)習(xí)內(nèi)容包括Linux操作系統(tǒng)的安裝配置、文件系統(tǒng)管理、用戶及用戶組管理、進(jìn)程管理、資源管理、vim編輯器使用、Linux下軟件安裝、shell編程等內(nèi)容 |
| 云平臺(tái)使用 | 才高大數(shù)據(jù)課程采用全云化教學(xué)，講師授課、學(xué)員學(xué)習(xí)、練習(xí)、項(xiàng)目運(yùn)行部署、性能測(cè)試等都在真實(shí)云平臺(tái)上進(jìn)行，完全模擬企業(yè)真實(shí)環(huán)境。此處講授云平臺(tái)的使用 |
| Redis、Redis與SpringBoot整合 | redis簡(jiǎn)介，雪崩/緩存擊穿，hash、string、list、set、zset、jedis數(shù)據(jù)分片，jedis數(shù)據(jù)分片連接池，jedis的hash一致性，redis主從復(fù)制，哨兵集群，redis-cluster，redis集群的槽道 |
| MycatMycat與SpringBoot整合 | mycat簡(jiǎn)介，mysql主從復(fù)制，mycat讀寫分離，mycat配置詳解 |
| Rabbitmq、Rabbitmq與SpringBoot整合 | rabbimq消息隊(duì)列，connection，channle，exchange，消息生產(chǎn)者和消費(fèi)者，消息傳遞simple模式，work模式，publish模式，routing模式，topic模式，秒殺案例 |
| Lucene | lucene概述，分詞系統(tǒng)，索引概念，倒排索引，索引創(chuàng)建，索引刪除，索引更新，詞項(xiàng)搜索，布爾搜索，范圍搜索，前綴搜索，多關(guān)鍵字搜索，模糊搜索，通配符搜索 |
| ElasticSearchES與SpringBoot整合 | 搜索系統(tǒng)概括，搜索引擎框架，solr安裝與配置詳解，elasticseacher安裝與配置詳解，集群搭建 |
| 爬蟲(chóng) | jsoup爬蟲(chóng)，爬取網(wǎng)站，爬取頁(yè)面，爬取二次提交數(shù)據(jù)，爬取定位信息，模擬瀏覽器頭爬取網(wǎng)站，爬取京東數(shù)據(jù)落地?cái)?shù)據(jù)庫(kù) |
| Ngnix | http服務(wù)器，反向代理，入門配置，server配置，location匹配，負(fù)載均衡輪詢、權(quán)重、session黏著，hash取余 |
| Easymall項(xiàng)目整合 | 整合springboot開(kāi)發(fā)系統(tǒng)，整合redis，mycat，Ngnix負(fù)載均衡，rabbitmq消息隊(duì)列，lucene搜索技術(shù)；jsonp，httpclient跨域訪問(wèn)，調(diào)用服務(wù)使用互聯(lián)網(wǎng)架構(gòu)技術(shù)，將EasyMall項(xiàng)目重構(gòu)為分布式技術(shù)架構(gòu)的大型電商項(xiàng)目，可承受高并發(fā)，具有高可用的特點(diǎn)。后臺(tái)商品管理：負(fù)責(zé)商品的增刪改查，圖片上傳，商品分類樹(shù)、前臺(tái)系統(tǒng)：商品前臺(tái)分類樹(shù)，商品查看，登錄，購(gòu)物車，訂單頁(yè)面跳轉(zhuǎn)、登錄頁(yè)面：負(fù)責(zé)用戶登錄，解決session集群共享、購(gòu)物車：負(fù)責(zé)購(gòu)物車商品管理、訂單：負(fù)責(zé)訂單提交，定時(shí)任務(wù)的處理、功能搭建：sso單點(diǎn)登錄，cart購(gòu)物車系統(tǒng)，order訂單系統(tǒng)，manage后臺(tái)系統(tǒng)，web前臺(tái)系統(tǒng) |
| SpringCloud微服務(wù)整合 | 微服務(wù)概括springcloud-config：分布式配置中心組件，支持配置文件放在配置服務(wù)的內(nèi)存中，也支持放在遠(yuǎn)程Git倉(cāng)庫(kù)里、springcloud-eureka：服務(wù)治理組件，可以管理微服務(wù)群體的所有服務(wù)調(diào)度、springcloud-ribbon：負(fù)載均衡組件，服務(wù)調(diào)度中高可用，輪詢?cè)L問(wèn)、springcloud-hystrix：斷熔器，異常錯(cuò)誤等處理的組件、springcloud-zuul：網(wǎng)關(guān)組件，可以用于服務(wù)調(diào)度的路由轉(zhuǎn)發(fā)和過(guò)濾等作用、springcloud-feign：基于接口調(diào)用rest的組件、springcloud微服務(wù)框架重構(gòu)EasyMall項(xiàng)目 |
| 課程模塊 | 課程內(nèi)容 | 學(xué)習(xí)內(nèi)容 |
| 大數(shù)據(jù)高并發(fā)基礎(chǔ) | 大數(shù)據(jù)java加強(qiáng) | 學(xué)習(xí)java中關(guān)于Concurrent高并發(fā)包、NIO、序列化反序列化（AVRO）、RPC等相關(guān)知識(shí)，掌握zookeeper、sqoop等大數(shù)據(jù)領(lǐng)域常用工具原理及使用，為后續(xù)大數(shù)據(jù)課程學(xué)習(xí)、分布式理論理解打下基礎(chǔ) |
| 大數(shù)據(jù)離線數(shù)據(jù)分析 | Hadoop | Hadoop是知名的大數(shù)據(jù)處理工具，包括分布式數(shù)據(jù)存儲(chǔ)系統(tǒng) HDFS、分布式數(shù)據(jù)計(jì)算框架MapReduce和資源協(xié)調(diào)框架Yarn三大組件。HDFS: 詳細(xì)講解HDFS使用方式、存儲(chǔ)機(jī)制、可靠性保證、上傳、下載、刪除等實(shí)現(xiàn)原理、Java開(kāi)發(fā)Api開(kāi)發(fā)插件等內(nèi)容。MapReduce: 詳細(xì)講解MR理論基礎(chǔ)、開(kāi)發(fā)方式、序列化機(jī)制、分區(qū)機(jī)制、Combiner機(jī)制、shuffle詳細(xì)流程、MR案例、MR性能優(yōu)化等內(nèi)容。Yarn: 介紹Yarn資源協(xié)調(diào)框架的基本原理、使用及調(diào)優(yōu)。Hadoop是大數(shù)據(jù)生態(tài)中知名的組件，在行業(yè)中應(yīng)用廣泛，是學(xué)習(xí)大數(shù)據(jù)重要的技術(shù)之一 |
| Flume | Flume是大數(shù)據(jù)生態(tài)環(huán)境中流行的日志收集框架，基于其靈活的可廣泛配置的使用方式及優(yōu)良的效率被廣泛的應(yīng)用在大數(shù)據(jù)生產(chǎn)環(huán)境中。課程中詳細(xì)講解了Flume的Source、Channel、Sink、Selector、Interceptor、Processor等組件的使用。并通過(guò)美團(tuán)應(yīng)用案例，展示了Flume企業(yè)級(jí)應(yīng)用場(chǎng)景的實(shí)現(xiàn)方式，并在后續(xù)項(xiàng)目中有大量的應(yīng)用 | |
| Hive | Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，通過(guò)將結(jié)構(gòu)化的數(shù)據(jù)文件映射為HIVE中的表，并提供類SQL的語(yǔ)法實(shí)現(xiàn)數(shù)據(jù)處理。學(xué)習(xí)內(nèi)容包括hive的安裝配置、hive的元數(shù)據(jù)庫(kù)、hive的內(nèi)部表外部表、hive的分區(qū)表、hive的分桶表、hive的語(yǔ)法、hive的UDF等內(nèi)容 | |
| Hbase | HBase是一種分布式、面向列的基于hadoop的非關(guān)系型數(shù)據(jù)庫(kù)，合存儲(chǔ)半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，基于其優(yōu)良的設(shè)計(jì)，可以提供良好的實(shí)時(shí)數(shù)據(jù)存取能力，并提供更好的橫向擴(kuò)展能力，在企業(yè)級(jí)大數(shù)據(jù)開(kāi)發(fā)中占用重要地位。課程中詳細(xì)介紹了Hbase使用方式、Hbase邏輯結(jié)構(gòu)、Hbase的理論基礎(chǔ)-LSM樹(shù)、Hbase的實(shí)現(xiàn)原理、Hbase表設(shè)計(jì)原則等內(nèi)容，從理論到實(shí)踐講解Hbase相關(guān)知識(shí) | |
| Zebra 項(xiàng)目 | 項(xiàng)目名稱：zebra電信日志數(shù)據(jù)分析項(xiàng)目業(yè)務(wù)背景：電信行業(yè)通過(guò)大量的電信基站為移動(dòng)設(shè)備提供3G、4G網(wǎng)絡(luò)信號(hào)，在移動(dòng)設(shè)備通過(guò)基站訪問(wèn)網(wǎng)絡(luò)的過(guò)程中，基站將會(huì)記錄所有的訪問(wèn)數(shù)據(jù)，此項(xiàng)目通過(guò)大數(shù)據(jù)離線分析技術(shù)分析這些日志，得到相關(guān)的業(yè)務(wù)結(jié)論指導(dǎo)行業(yè)改進(jìn)。學(xué)習(xí)目標(biāo)：通過(guò)學(xué)習(xí)zebra電信日志分析項(xiàng)目，掌握企業(yè)級(jí)大數(shù)據(jù)離線分析技術(shù)應(yīng)用的技術(shù)：flume收集日志，采用三層結(jié)構(gòu)實(shí)現(xiàn)日志收集聚集最終持久化到hadoop hdfs中并實(shí)現(xiàn)日志收集過(guò)程中的失敗恢復(fù)及負(fù)載均衡；hadoop hdfs分布式存儲(chǔ)收集到的日志數(shù)據(jù) ，hadoop mapreduce進(jìn)行日志清洗、格式轉(zhuǎn)換；hive進(jìn)行日志處理、業(yè)務(wù)規(guī)則計(jì)算，按照不同維度分時(shí)段統(tǒng)計(jì)應(yīng)用受歡迎程度、網(wǎng)站受歡迎程度、小區(qū)上網(wǎng)能力、小區(qū)上網(wǎng)喜好等信息；sqoop技術(shù)將處理完成的結(jié)果導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)；ECharts通過(guò)web技術(shù)實(shí)現(xiàn)結(jié)果數(shù)據(jù)的可視化；Zookeeper作為集群協(xié)調(diào)、集群狀態(tài)監(jiān)控工具 | |
| 大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)分析 | Storm | Storm是大數(shù)據(jù)行業(yè)中流行的大數(shù)據(jù)實(shí)時(shí)分析框架之一，是一個(gè)分布式的、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，能夠?qū)崿F(xiàn)具有可靠性保障的分布式實(shí)時(shí)數(shù)據(jù)處理，在行業(yè)中廣泛應(yīng)用。在課程中講解包括Storm基礎(chǔ)、可靠性保證、并發(fā)控制、實(shí)現(xiàn)原理、Topology、StormSpout、StormBolt、StormStream行業(yè)應(yīng)用等相關(guān)內(nèi)容 |
| Kafka | Kafka是一種具有高吞吐能力的分布式發(fā)布訂閱消息系統(tǒng)，具有傳統(tǒng)消息隊(duì)列相關(guān)特性，此外具有一些獨(dú)特的設(shè)計(jì)，可以實(shí)現(xiàn)分布式持久化的消息隊(duì)列，在實(shí)時(shí)處理過(guò)程中通常用做數(shù)據(jù)緩存，為實(shí)時(shí)處理系統(tǒng)提供緩沖能力。在課程中包括kafka的安裝配置、基本概念、實(shí)現(xiàn)原理、可靠性保障等相關(guān)理論及應(yīng)用相關(guān)內(nèi)容 | |
| 分布式編程思想 | 大數(shù)據(jù)問(wèn)題的本質(zhì)是海量數(shù)據(jù)，大數(shù)據(jù)解決方案的核心理念是分布式，分布式場(chǎng)景有其獨(dú)特的問(wèn)題、解決方案、設(shè)計(jì)思想，本節(jié)通過(guò)討論分布式在各種技術(shù)背景、業(yè)務(wù)場(chǎng)景下的應(yīng)用，揭示分布式技術(shù)的原理及應(yīng)用原則 | |
| 網(wǎng)站流量分析項(xiàng)目 | 項(xiàng)目名稱：電商網(wǎng)站流量分析項(xiàng)目學(xué)習(xí)目標(biāo)：通過(guò)電商網(wǎng)站流量分析項(xiàng)目掌握企業(yè)級(jí)大數(shù)據(jù)離線分析、實(shí)時(shí)分析的的架構(gòu)設(shè)計(jì)、技術(shù)應(yīng)用及業(yè)務(wù)開(kāi)發(fā)流程業(yè)務(wù)背景：網(wǎng)站在運(yùn)營(yíng)過(guò)程中除了產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)外還會(huì)產(chǎn)生大量的用戶行為數(shù)據(jù)，包括用戶訪問(wèn)網(wǎng)站時(shí)鼠標(biāo)點(diǎn)擊、瀏覽器信息、會(huì)話信息、語(yǔ)言環(huán)境、所處地域等相關(guān)信息，網(wǎng)站流量分析項(xiàng)目通過(guò)大數(shù)據(jù)離線、實(shí)時(shí)分析技術(shù)，分析產(chǎn)生的大量行為數(shù)據(jù)，得到網(wǎng)站運(yùn)行方關(guān)注的各項(xiàng)業(yè)務(wù)指標(biāo)數(shù)據(jù)，引導(dǎo)網(wǎng)站改進(jìn)其頁(yè)面布局、廣告投放等相關(guān)運(yùn)營(yíng)行為，提升網(wǎng)站運(yùn)行效率。應(yīng)用的技術(shù)：通過(guò)在網(wǎng)站的前臺(tái)頁(yè)面中進(jìn)行js埋點(diǎn)收集用戶訪問(wèn)網(wǎng)站的行為信息；通過(guò)Ngnix和Tomcat服務(wù)器集群收集用戶產(chǎn)生的行為數(shù)據(jù)，并通過(guò)Flume來(lái)進(jìn)行收集、匯聚數(shù)據(jù)并分發(fā)到HDFS和Kafka為離線分析和實(shí)時(shí)分析提供數(shù)據(jù)來(lái)源；離線分析中通過(guò)MR、Hive等技術(shù)實(shí)現(xiàn)業(yè)務(wù)指標(biāo)的離線計(jì)算，并通過(guò)Sqoop導(dǎo)出結(jié)果數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫(kù)；實(shí)時(shí)分析中通過(guò)Storm消費(fèi)Kafka中的數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)計(jì)算，中間數(shù)據(jù)通過(guò)HBase進(jìn)行存儲(chǔ)，結(jié)果數(shù)據(jù)通過(guò)JDBC寫出到關(guān)系型數(shù)據(jù)庫(kù)中；最終通過(guò)大數(shù)據(jù)可視化技術(shù)將結(jié)果數(shù)據(jù)展示給最終用戶。計(jì)算指標(biāo)包括網(wǎng)站的 PV、UV、VV、Bounce Rate、獨(dú)立 ip、平均在線時(shí)長(zhǎng)、新獨(dú)立訪客、訪問(wèn)深度等信息。整個(gè)系統(tǒng)分為數(shù)據(jù)收集、數(shù)據(jù)傳遞、數(shù)據(jù)分析三部分，數(shù)據(jù)分析又分為離線數(shù)據(jù)分析和實(shí)時(shí)數(shù)據(jù)分析，應(yīng)對(duì)數(shù)據(jù)分析的不同的實(shí)時(shí)性需求 | |
| 大數(shù)據(jù)內(nèi)存計(jì)算框架 | SCALA | Scala是一門函數(shù)式編程的語(yǔ)言，是學(xué)習(xí)Spark的基礎(chǔ)，并在其他場(chǎng)景下也有廣泛應(yīng)用。Scala是一門多范式的編程語(yǔ)言，集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。Scala視一切數(shù)據(jù)類型皆對(duì)象，且支持閉包、lambda等特性，語(yǔ)法簡(jiǎn)潔。Scala使用Actor作為并發(fā)模型，與Akka框架自然契合，是一種基于數(shù)據(jù)共享為主要機(jī)制的并發(fā)開(kāi)發(fā)模式。Scala語(yǔ)言靈活、代碼簡(jiǎn)介、高并發(fā)處理機(jī)制優(yōu)良，特別適合于復(fù)雜的函數(shù)型計(jì)算，是Spark學(xué)習(xí)的基礎(chǔ)語(yǔ)言。Scala的語(yǔ)法內(nèi)容包括：方法定義、變量、字符串、泛型、Option、集合、程序控制結(jié)構(gòu)、匿名函數(shù)、類、Class Case樣例類。模式匹配、traits、extends、函數(shù)式編程、高階函數(shù)、AKKA編程等內(nèi)容。學(xué)員學(xué)習(xí)完成后可以掌握Scala這門語(yǔ)言，并理解函數(shù)式編程這種編程范式 |
| SPARK | 知名的內(nèi)存計(jì)算框架，可用來(lái)構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序，在迭代處理計(jì)算方面比Hadoop快100倍以上。Spark構(gòu)建了自己的整個(gè)大數(shù)據(jù)處理生態(tài)系統(tǒng)，如流處理、圖計(jì)算、機(jī)器學(xué)習(xí)、類SQL查詢等方面都有自己的技術(shù)，并且是Apache項(xiàng)目。基于其良好的設(shè)計(jì)、超強(qiáng)的性能、良好的編程接口、豐富的生態(tài)體系，在大數(shù)據(jù)開(kāi)發(fā)領(lǐng)域發(fā)展迅速，特別是最近幾年在國(guó)內(nèi)的大數(shù)據(jù)開(kāi)發(fā)領(lǐng)域中得到了廣泛的應(yīng)用。內(nèi)容包括SparkCore：Spark核心計(jì)算模型。包括Spark基礎(chǔ)、RDD彈性分布式數(shù)據(jù)集、DAG有向無(wú)環(huán)圖、Spark原理（懶執(zhí)行機(jī)制、寬依賴、窄依賴、Transformation類型方法、Action類型方法、流水線優(yōu)化、Shuffle過(guò)程等）、Spark中的函數(shù)等內(nèi)容，通過(guò)學(xué)習(xí)可以掌握Spark核心計(jì)算機(jī)制。SparkSQL: 基于Spark的SQL編程接口，可以實(shí)現(xiàn)在Spark中通過(guò)類SQL的方式操作數(shù)據(jù)，因其基于性能優(yōu)良Spark工作，性能相對(duì)于Hive有大幅提升SparkStreaming：基于Spark實(shí)現(xiàn)的流式計(jì)算，相對(duì)于Storm在吞吐率、可靠性保證、開(kāi)發(fā)便利程度上都有質(zhì)的飛躍SparkMllib：基于Spark的機(jī)器學(xué)習(xí)相關(guān)組件，可以實(shí)現(xiàn)海量數(shù)據(jù)下的機(jī)器學(xué)習(xí) | |
| 推薦系統(tǒng)項(xiàng)目 | 學(xué)習(xí)目標(biāo)：通過(guò)學(xué)習(xí)推薦系統(tǒng)項(xiàng)目掌握推薦系統(tǒng)相關(guān)算法、了解海量數(shù)據(jù)場(chǎng)景下自動(dòng)化推薦技術(shù)、提升綜合運(yùn)用大數(shù)據(jù)技術(shù)的能力、提高對(duì)算法、WEB技術(shù)、互聯(lián)網(wǎng)架構(gòu)等技術(shù)的應(yīng)用能力，實(shí)現(xiàn)企業(yè)級(jí)大數(shù)據(jù)開(kāi)發(fā)的架構(gòu)設(shè)計(jì)、需求分析、業(yè)務(wù)實(shí)現(xiàn)等環(huán)節(jié)，掌握大數(shù)據(jù)技術(shù)的綜合運(yùn)用能力。業(yè)務(wù)背景：在線學(xué)習(xí)網(wǎng)站在運(yùn)營(yíng)時(shí)產(chǎn)生了大量用戶的訪問(wèn)、瀏覽、購(gòu)買課程、支付等相關(guān)數(shù)據(jù)通過(guò)這些數(shù)據(jù)為用戶精準(zhǔn)推薦相關(guān)產(chǎn)品，提升網(wǎng)站的用戶體驗(yàn)。應(yīng)用的技術(shù)：綜合應(yīng)用之前所學(xué)技術(shù)實(shí)現(xiàn)，包括大數(shù)據(jù)離線分析技術(shù)、大數(shù)據(jù)實(shí)時(shí)分析技術(shù)、WEB技術(shù)、可視化技術(shù)、算法、機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)該項(xiàng)目。主要過(guò)程包括：收集業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中結(jié)構(gòu)化數(shù)據(jù)、日志系統(tǒng)中的行為數(shù)據(jù)，構(gòu)建基于hive的數(shù)據(jù)倉(cāng)庫(kù)，基于數(shù)據(jù)倉(cāng)庫(kù)中的基礎(chǔ)數(shù)據(jù)，利用推薦算法實(shí)現(xiàn)基于商品的推薦系統(tǒng)，為在線學(xué)習(xí)網(wǎng)站推薦提供支持 | |
| Python爬蟲(chóng)、數(shù)據(jù)可視化 | Python語(yǔ)言及爬蟲(chóng) | Python是一種腳本化語(yǔ)言，具有簡(jiǎn)單易用、天然開(kāi)源、生態(tài)豐富、應(yīng)用范圍廣泛的特點(diǎn)。在大數(shù)據(jù)技術(shù)中，數(shù)據(jù)獲取是第一步驟，其中利用爬蟲(chóng)獲取互聯(lián)網(wǎng)中公開(kāi)的數(shù)據(jù)是一種非常常見(jiàn)的場(chǎng)景。Python爬蟲(chóng)技術(shù)在爬蟲(chóng)領(lǐng)域具有很廣泛的應(yīng)用，課程中將介紹Python的基本語(yǔ)法、基于Python的爬蟲(chóng)實(shí)現(xiàn)、Scrapy、PySpider等爬蟲(chóng)框架，使學(xué)員具有基于Python的爬蟲(chóng)開(kāi)發(fā)能力 |
| 數(shù)據(jù)可視化 | 數(shù)據(jù)可視化技術(shù)是大數(shù)據(jù)處理過(guò)程中的結(jié)果展示相關(guān)技術(shù)，通過(guò)相關(guān)工具將分析結(jié)果展示為直觀的、美觀的圖形頁(yè)面，為最終用戶提供展示效果。內(nèi)容包括：利用Echarts等Web前端技術(shù)實(shí)現(xiàn)大數(shù)據(jù)可視化 利用相關(guān)大數(shù)據(jù)可視化工具實(shí)現(xiàn)大數(shù)據(jù)可視化等內(nèi)容 |
| 課程模塊 | 課程內(nèi)容 | 學(xué)習(xí)內(nèi)容 |
| 算法基礎(chǔ) | 統(tǒng)計(jì)學(xué)基礎(chǔ) | 統(tǒng)計(jì)學(xué)是關(guān)于認(rèn)識(shí)客觀現(xiàn)象總體數(shù)量特征和數(shù)量關(guān)系的科學(xué)。學(xué)習(xí)本課程的目的在于使學(xué)生掌握收集、處理、分析、解釋數(shù)據(jù)的能力，并能從數(shù)據(jù)中得出結(jié)論或結(jié)果。能夠通過(guò)搜集、整理、分析統(tǒng)計(jì)資料，認(rèn)識(shí)客觀現(xiàn)象數(shù)量規(guī)律性，并應(yīng)用于所專修的專業(yè)領(lǐng)域去解決實(shí)際問(wèn)題 |
| R語(yǔ)言基礎(chǔ) | R是用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境，它是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具 | |
| 算法模型 | 回歸模型 | 回歸模型研究的問(wèn)題 因變量（y）和一個(gè)或多個(gè)自變量（x）的函數(shù)關(guān)系，可以用于預(yù)測(cè)，是現(xiàn)代預(yù)測(cè)學(xué)的基礎(chǔ)。此外也可以用于分類。學(xué)習(xí)的算法有：最小二乘回歸、逐步回歸、嶺回歸、LASSO回歸、LAR回歸等 |
| 正則化模型 | 正則化模型的思想是基于一個(gè)基礎(chǔ)模型（比如最小二乘回歸）引入懲罰措施，目的是使模型具有更好的泛化能力 | |
| 決策樹(shù)模型 | 數(shù)據(jù)挖掘中決策樹(shù)是一種常用算法模型，既可以用來(lái)作預(yù)測(cè)，也可以用于數(shù)據(jù)分類。決策樹(shù)建立的模型不是函數(shù)式，而是一個(gè)決策樹(shù)，易于理解。學(xué)習(xí)的算法有：ID3算法樹(shù)、C4.5算法樹(shù)、CART算法樹(shù)等 | |
| 判別模型 | 判別模型模型的特點(diǎn)基于樣本數(shù)據(jù)建立判別函數(shù)，通過(guò)判別函數(shù)判別新樣本的類歸屬問(wèn)題。學(xué)習(xí)的算法有：Fisher判別、K-最近鄰判別法等 | |
| 集成模型 | 集成模型的特點(diǎn)將多個(gè)弱模型組合在一起。所以可以提高模型的精度和準(zhǔn)確度。所以深受歡迎。學(xué)習(xí)的算法有：Bagging算法、Boosting 算法、Random Forest算法等 | |
| 聚類模型 | 聚類算法的特點(diǎn)一般是基于距離度量來(lái)對(duì)數(shù)據(jù)做聚類分析。學(xué)習(xí)的算法有：層次聚類法、K-Means聚類等 | |
| 貝葉斯模型 | 貝葉斯模型的核心思想是基于貝葉斯公式（定理），是一個(gè)種概率模型，可以應(yīng)用自動(dòng)推理，文本分析等領(lǐng)域。學(xué)習(xí)的算法有：樸素貝葉斯分類器、貝葉斯信念網(wǎng)絡(luò)等 | |
| SVM模型 | 支持向量機(jī)主要解決分類問(wèn)題，擅長(zhǎng)處理高維數(shù)據(jù)，多應(yīng)用于模式識(shí)別領(lǐng)域，比如手寫體識(shí)別，圖片識(shí)別等場(chǎng)景 | |
| 推薦系統(tǒng)模型 | 主要基于ALS算法實(shí)現(xiàn)基于用戶的推薦和基于物品的推薦。推薦系統(tǒng)模型是購(gòu)物平臺(tái)或新聞?dòng)嵪⑵脚_(tái)使用較多的一種模型實(shí)現(xiàn) |
豐富的課程特色，為你保駕護(hù)航
核心教學(xué)優(yōu)勢(shì)，專為提升設(shè)計(jì)
大數(shù)據(jù)云計(jì)算課程體系
內(nèi)容較全，技術(shù)深，涉及JavaEE架構(gòu)級(jí)技術(shù)，分布式高并發(fā)技術(shù)，云計(jì)算技術(shù)，云計(jì)算架構(gòu)技術(shù)等。
“云計(jì)算云主機(jī)”試驗(yàn)環(huán)境
提供真實(shí)項(xiàng)目的大數(shù)據(jù)云計(jì)算開(kāi)發(fā)部署環(huán)境，學(xué)員可以擁有幾十臺(tái)主機(jī)節(jié)點(diǎn)以完成開(kāi)發(fā)部署試驗(yàn)。
O2O雙模式教學(xué)體驗(yàn)
達(dá)內(nèi)強(qiáng)大的TMOOC+TTS8.0在線教學(xué)平臺(tái)，為學(xué)員提供線下學(xué)習(xí)，線上輔助的雙模式教學(xué)體驗(yàn)。
專業(yè)師資，幫助突破
Java大數(shù)據(jù)講師
Java大數(shù)據(jù)講師
上課 (2)
課室 (2)
上課 (3)
上課 (4)
￥詢價(jià)課時(shí)：詳詢
￥詢價(jià)課時(shí)：詳詢
￥詢價(jià)課時(shí)：詳詢
￥詢價(jià)課時(shí)：詳詢
￥詢價(jià)課時(shí)：詳詢
￥詢價(jià)課時(shí)：詳詢
勤學(xué)教育網(wǎng)
