第1章 大數(shù)據(jù)概述
本章將從幾則故事說起,讓大家明白大數(shù)據(jù)是與我們的生活息息相關(guān)的,并不是遙不可及的,還會介紹大數(shù)據(jù)的特性,以及大數(shù)據(jù)對我們帶來的技術(shù)變革,大數(shù)據(jù)處理過程中涉及到的技術(shù)
第2章 初識Hadoop
本章節(jié)將帶領(lǐng)大家認(rèn)識Hadoop以及Hadoop生態(tài)系統(tǒng)、Hadoop的發(fā)展史、Hadoop的優(yōu)缺點(diǎn)、Hadoop的三個(gè)核心組件、Hadoop發(fā)行版的選擇以及Hadoop在企業(yè)中的案例分享,為后續(xù)深入講解Hadoop打下堅(jiān)實(shí)的基礎(chǔ)
第3章 分布式文件系統(tǒng)HDFS
本章將從Hadoop的設(shè)計(jì)目標(biāo)、架構(gòu)及副本的腳本帶大家詳細(xì)剖析,快速搭建單節(jié)點(diǎn)偽分布式HDFS的實(shí)驗(yàn)環(huán)境,并講解使用hdfs shell以及Java API的方式操作HDFS文件系統(tǒng),并詳細(xì)分析HDFS文件的讀寫流程,使得大家對Hadoop分布式文件系統(tǒng)HDFS有深刻的認(rèn)識以及使用...
第4章 分布式資源調(diào)度YARN
本章將從YARN的產(chǎn)生背景、YARN的架構(gòu)及執(zhí)行流程的角度帶大家認(rèn)知Hadoop的資源調(diào)度框架YARN,快速搭建單節(jié)點(diǎn)偽分布式Y(jié)ARN的實(shí)驗(yàn)環(huán)境并掌握如何提交一個(gè)官方自帶的MapReduce作業(yè)提交到Y(jié)ARN上運(yùn)行
第5章 分布式計(jì)算框架MapReduce
本章將從架構(gòu)、優(yōu)缺點(diǎn)、編程模型等角度帶大家認(rèn)識Hadoop的分布式計(jì)算框架MapReduce,掌握MapReduce應(yīng)用程序的開發(fā),學(xué)會配置JobHistory Server
第6章 Hadoop項(xiàng)目實(shí)戰(zhàn)
本章將通過對慕課網(wǎng)主站的訪問日志進(jìn)行分析的項(xiàng)目實(shí)戰(zhàn),來將前面幾個(gè)章節(jié)講解的知識點(diǎn)串聯(lián)起來,綜合使用Hadoop的技術(shù)進(jìn)行離線統(tǒng)計(jì)分析
第7章 Hadoop分布式集群搭建
本章將帶領(lǐng)大家搭建一個(gè)三個(gè)節(jié)點(diǎn)的分布式Hadoop集群環(huán)境,讓大家對于Hadoop集群的安裝有更深入的認(rèn)識,并將項(xiàng)目實(shí)戰(zhàn)案例運(yùn)行在分布式集群環(huán)境中
第8章 Hadoop集成Spring的使用
本章將帶領(lǐng)大家使用Java社區(qū)中最流行的Spring框架來整合Hadoop的使用
第9章 前沿技術(shù)拓展: Spark/Flink/Beam
本章將帶領(lǐng)大家認(rèn)識當(dāng)前大數(shù)據(jù)領(lǐng)域中非;鸨娜齻(gè)框架:Spark、Flink以及Beam,并使用這三個(gè)框架完成詞頻統(tǒng)計(jì)分析操作,為大家以后更加深入的學(xué)習(xí)這幾個(gè)框架打下堅(jiān)實(shí)的基礎(chǔ)
第10章 Hadoop3.x新特性
本章將帶來大家學(xué)習(xí)Hadoop3.x版本的一些新特性,實(shí)時(shí)跟上Hadoop社區(qū)的發(fā)展