大数据工具Hadoop Hive Hbase Flume Sqoop从理论到实践视频教程

大数据工具Hadoop Hive Hbase Flume Sqoop从理论到实践视频教程课程涵盖了Hadoop、Hive、Hbase、Flume、Sqoop等大数据领域的关键技术和工具。学员将通过理论学习和实际项目操作，深入了解大数据的基本概念、工作机制和应用场景。通过这一系列的课程，学员将培养大数据处理和分析的实际能力，为在大数据领域取得更进一步的技术提升奠定基础。

课程概览

Hadoop-day01-集群安装部署

在第一天的课程中，学员将深入了解大数据基本概念，探讨大数据应用场景，并详细介绍HDFS的整体工作机制。通过实际操作，学员将学会在服务器上进行网络配置和JDK的安装，准备HDFS集群。进一步，课程包括HDFS集群的部署和启动，以及通过命令行客户端进行基本操作，包括观察DATANODE存储文件块和常用命令演示。此外，还涉及业务系统中日志生成机制和Java客户端API的基本使用，为后续开发奠定基础。

Hadoop-day02-HDFS工作机制

第二天的课程深入研究HDFS的读写机制，学员将通过自开发分布式数据采集系统和HDFS版wordcount程序的开发实现，理解框架式开发。探讨HDFS工作机制，包括Namenode元数据管理和checkpoint，以及客户端写数据到HDFS和从HDFS读数据的流程。通过课程，学员将掌握Hadoop的核心概念和编程实践。

Hadoop-day03-MapReduce与Yarn详解

第三天的课程聚焦在MapReduce和Yarn的详细解析上。学员将了解mapreduce分布式计算框架的整体工作机制，以及通过mapreduce实现wordcount的思路设计和逻辑代码。进一步，课程涵盖Yarn集群的功能和大体机制介绍，以及在Windows系统中运行job客户端提交mapreduce程序到yarn上的实践。通过实际案例和操作，学员将对MapReduce和Yarn有更深刻的理解。

Hadoop-day04-MapReduce编程案例1

第四天的课程带领学员深入MapReduce编程，包括节点管理、数据输入输出类型的序列化问题、编程模型和实现框架的概念关系。学员将学会不同的mapreduce程序提交方式，包括在集群上的机器上启动提交客户端和在Windows平台上以本地模式运行mapreduce程序。实践中，将进行本地运行debug调试、自定义类型的序列化接口实现、以及流量统计、页面访问次数topn等编程案例。

Hadoop-day05-MapReduce编程案例2

在第五天的课程中，学员将继续深入MapReduce编程案例。课程包括文档索引创建、分组topn的实现、高效求分组topn的原理机制解析，以及共同好友统计案例。学员将深入了解MapReduce框架内部核心工作机制，并掌握替换默认的文本输入输出组件为sequence文件输入输出组件的实践。

Hadoop-day06-Zookeeper详解

第六天的课程重点介绍Zookeeper，包括其基本概念、功能、应用场景，以及集群安装部署和命令行客户端的功能测试。学员将通过实际开发案例了解Zookeeper的java客户端API基本功能操作，以及监听功能的代码实践。最后，通过一个实际案例，学员将了解如何利用Zookeeper开发分布式应用系统，包括服务端和客户端的实现。

Hadoop-day07-HA-Hive安装部署与HQL

第七天的课程涵盖Hadoop的HA机制原理解析和Hive的基本功能机制和概念。学员将学会HA集群的搭建示范，以及Hive的安装和基本使用。课程还包括MySQL的安装、Hive的脚本化运行使用方式、基本语法和数据导入导出操作。通过实际操作，学员将掌握Hive的基本操作和编写HQL查询语句的技能。

Hadoop-day08-Hive函数与HQL详解

第八天的课程深入Hive函数与HQL，包括查询语法、分组聚合、子查询、复合数据类型的使用、内置函数等内容。学员将学会如何处理不同类型的数据和进行高效的分组聚合查询。此外，课程还包括Hive内置函数的时间、日期、字符串处理，以及表生成函数的使用。通过作业题的实践，学员将巩固所学知识。

Hadoop-day09-Hbase安装部署与详解

第九天的课程开始深入研究Hbase，包括基本概念、核心特性、整体工作机制等。学员将学会Hbase集群的搭建和Java客户端操作，涉及表定义管理和数据读写的路由流程。课程还涵盖Hbase中判断数据是否在一个持久化文件中的机制，如布隆过滤器的应用。学员将通过实际案例了解Hbase的应用场景和操作技巧。

Hadoop-day10-Flume安装部署与Hbase结合使用案例

在第十天的课程中，学员将学会使用Flume进行数据采集，包括概念介绍、工作机制解释以及安装配置。实际操作中，学员将通过Flume采集配置案例，实现将文件内容新增到HDFS中，并了解多级agent串联的配置和运行。最后，课程将通过一个实际项目案例，让学员深入了解Hadoop离线分析项目架构、流程和说明。

Hadoop-day11-App数据分析与日活跃用户统计

第十一天的课程聚焦在App数据分析领域，学员将通过实际项目案例进行日活跃用户统计的开发。课程包括app数据分析预处理程序的开发、日活用户统计的实现，以及新用户统计和维度报表统计的案例实践。学员将在实际项目中应用所学知识，掌握数据分析的实际操作技能。

Hadoop-day12-app-sqoop

在课程的最后一天，学员将学会Sqoop的基本概念、安装和测试，以及利用Sqoop将数据导入HDFS和Hive，以及导出数据到MySQL的实际操作。课程还包括一个完整的App数据统计分析案例，包括次日留存用户统计和版本升级轨迹信息抽取。通过这一系列实际案例，学员将全面掌握大数据处理和分析的技能。

├─大数据工具Hadoop Hive Hbase Flume Sqoop从理论到实践视频教程-12天
│ ├─Hadoop-day01-集群安装部署
│ │ ├─01.大数据基本概念–课程内容介绍.mp4 118.11MB
│ │ ├─02.大数据应用场景介绍.mp4 18.36MB
│ │ ├─03.HDFS的整体工作机制介绍.mp4 62.06MB
│ │ ├─04.HDFS集群搭建–服务器-网络配置准备.mp4 65.46MB
│ │ ├─05.JDK安装和基础环境配置–环境变量–域名映射.mp4 86.9MB
│ │ ├─06.HDFS集群部署启动.mp4 276.26MB
│ │ ├─07.HDFS的命令行客户端基本操作–DATANODE存储文件块的观察.mp4 40.61MB
│ │ ├─08.HDFS的命令行客户端常用命令演示.mp4 49.5MB
│ │ ├─09.业务系统中日志生成机制和代码展示.mp4 126.81MB
│ │ ├─10.HDFS的java客户端api基本使用–客户端参数加载机制深入理解.mp4 97.32MB
│ │ ├─11.HDFS的不同进程使用不同参数–但写在一个文件中.mp4 7.89MB
│ │ ├─12.在windows环境中开发hadoop程序需要配置的本地环境.mp4 62.29MB
│ │ ├─13.HDFS的java客户端API常用操作方法的使用演示.mp4 64.85MB
│ │ └─资料.zip 38.74MB
│ ├─Hadoop-day02-HDFS工作机制
│ │ ├─01.自开发分布式数据采集系统–系统流程设计–采集任务逻辑实现.mp4 156.84MB
│ │ ├─02.自开发分布式数据采集系统–备份数据清理任务实现.mp4 25.74MB
│ │ ├─03.自开发分布式数据采集系统–可配置化改造–单例设计模式的运用.mp4 97.08MB
│ │ ├─04.HDFS的读文件内容的输入流使用示例–顺序读取–随机读取.mp4 77.21MB
│ │ ├─05.HDFS的写数据到文件的输出流使用示例.mp4 33MB
│ │ ├─06.HDFS版wordcount程序的开发实现–框架式开发.mp4 150.36MB
│ │ ├─07.HDFS工作机制–namenode元数据管理–checkpoint.mp4 63.52MB
│ │ ├─08.HDFS工作机制–客户端写数据到HDFS的流程.mp4 43.88MB
│ │ ├─09.HDFS工作机制–客户端从HDFS读数据的流程.mp4 19.55MB
│ │ └─课件与资料.zip 34.37MB
│ ├─Hadoop-day03-MapReduce与Yarn详解
│ │ ├─01.mapreduce分布式计算框架的整体工作机制.mp4 52.47MB
│ │ ├─02.用mapreduce来实现wordcount的思路设计.mp4 21.28MB
│ │ ├─03.mapreduce实现wordcount的逻辑代码.mp4 92.35MB
│ │ ├─04.yarn集群的功能和大体机制介绍.mp4 16.78MB
│ │ ├─05.yarn集群安装启动.mp4 49.22MB
│ │ ├─06.在windows系统中运行job客户端来提交mapreduce程序到yarn上去执行.mp4 152.74MB
│ │ └─课件与资料
│ │ ├─hadoop-day01-day03笔记.docx 412.85KB
│ │ ├─hdp-day03-05笔记.docx 193.04KB
│ │ ├─m2repo.zip 666.56MB
│ │ └─mapreduce24.zip 13.11KB
│ ├─Hadoop-day04-MapReduce编程案例1
│ │ ├─01.nodemanager资源总量配置问题–maven工程插件缺失问题.mp4 91.39MB
│ │ ├─02.mapreduce数据输入输出类型的序列化问题–明确jobsubmitter只是一个用于提交mr-job的客户端工具程序.mp4 149.76MB
│ │ ├─03.mapreduce编程模型和具体实现框架之间的概念关系.mp4 27.12MB
│ │ ├─04.mapreduce程序提交的方式2——在集群上的机器上启动提交客户端.mp4 228.05MB
│ │ ├─05.mapreduce程序提交方式3–直接在windows平台上以本地模式运行mapreduce程序.mp4 71.81MB
│ │ ├─06.mapreduce本地运行debug调试观察.mp4 65.63MB
│ │ ├─07.mapreduce编程中自定义类型的序列化接口实现方式.mp4 116.59MB
│ │ ├─08.mapreduce编程案例–流量统计求和–自定义数据类型.mp4 121.2MB
│ │ ├─09.mapreduce编程案例–页面访问次数topn的编程模型设计–treemap的使用.mp4 122MB
│ │ ├─10.mapreduce编程案例–页面访问次数topn的实现–如何向map和reduce方法中传递外部参数.mp4 181.51MB
│ │ ├─11.mapreduce编程案例–页面访问总次数的全局倒序排序.mp4 174.27MB
│ │ ├─12.mapreduce编程案例–流量统计按归属地输出–设计思想–控制数据分发规则–partition.mp4 21.55MB
│ │ ├─13.mapreduce编程案例–流量统计安归属地输出–代码实现–自定义Partitioner的实现.mp4 101.47MB
│ │ └─课件与资料.zip 6.19MB
│ ├─Hadoop-day05-MapReduce编程案例2
│ │ ├─01.mr编程案例–文档索引创建–输入切片–文件切片.mp4 202.43MB
│ │ ├─02.mr编程案例–求分组topn的简单实现.mp4 310.22MB
│ │ ├─03.mr编程案例–高效求分组topn的原理机制解析.mp4 112MB
│ │ ├─04.mr编程案例–高效求分组topn的代码实现.mp4 167.47MB
│ │ ├─05.mr编程案例–共同好友统计案例实现.mp4 105.96MB
│ │ ├─06.mapreduce框架内部核心工作机制详解.mp4 255.55MB
│ │ ├─07.mr编程案例–替换默认的文本输入输出组件为sequence文件输入输出组件.mp4 101.85MB
│ │ └─课件与资料.zip 465.03KB
│ ├─Hadoop-day06-Zookeeper详解
│ │ ├─01.mapreduce编程模型–及hadoop中的具体实现框架–复习.mp4 61.46MB
│ │ ├─02.mapreduce编程案例–join算法的代码实现.mp4 225.16MB
│ │ ├─03.mapreduce数据倾斜–利用Combiner组件 maptask端局部聚合数据来减轻倾斜影响.mp4 134.05MB
│ │ ├─04.mapreduce编程案例–数据倾斜的通用解决方案–打散倾斜的key.mp4 133.31MB
│ │ ├─05.mapreduce程序在yarn上的运行过程实验观察.mp4 256.26MB
│ │ ├─06.hadoop-HA机制整体解析–引入zookeeper.mp4 44.57MB
│ │ ├─07.zookeeper快速上手–功能总结.mp4 19.78MB
│ │ ├─08.zookeeper应用场景举例–服务器上下线动态感知–配置文件同步管理.mp4 62.31MB
│ │ ├─09.zookeeper集群安装部署–自动批量启动脚本编写.mp4 145.81MB
│ │ ├─10.zookeeper命令行客户端的功能测试.mp4 39.44MB
│ │ ├─11.zookeeper的数据节点类别–短暂–持久–带序号.mp4 28.4MB
│ │ ├─12.zookeeper的java客户端api基本功能操作示范.mp4 82.05MB
│ │ ├─13.zookeeper的java客户端api的监听功能代码示范.mp4 129.6MB
│ │ ├─14.zookeeper的客户端工作线程–sendThread–eventThread-守护线程.mp4 74.23MB
│ │ ├─15.利用zookeeper开发分布式应用系统案例–服务端实现.mp4 140MB
│ │ ├─16.利用zookeeper开发分布式应用系统案例–客户端实现–运行测试.mp4 182.44MB
│ │ └─课件与资料.zip 20.82MB
│ ├─Hadoop-day07-HA-Hive安装部署与HQL
│ │ ├─01.hadoop的HA机制原理解析.mp4 108.56MB
│ │ ├─02.hadoop的HA集群搭建示范.mp4 417.98MB
│ │ ├─03.hadoop的HA集群的客户端编程注意点.mp4 52.09MB
│ │ ├─04.hive的基本功能机制和概念.mp4 42.62MB
│ │ ├─05.mysql的安装详细步骤.mp4 134.73MB
│ │ ├─06.hive的安装和基本使用.mp4 137.8MB
│ │ ├─07.hive.mp4 105MB
│ │ ├─08.hive的脚本化运行使用方式.mp4 58.12MB
│ │ ├─09.hive的基本语法–建表语法.mp4 28.47MB
│ │ ├─10.hive的基本语法–内部表和外部表.mp4 46.11MB
│ │ ├─11.hive的基本语法–CTAS建表.mp4 133.37MB
│ │ ├─12.hive的基本语法–数据导入–从本地–从hdfs.mp4 18.53MB
│ │ └─课件与资料.zip 39.52KB
│ ├─Hadoop-day08-Hive函数与HQL详解
│ │ ├─01.hive查询语法–基本查询–条件查询–关联查询.mp4 145.33MB
│ │ ├─02.hive查询语法–分组聚合–groupby查询–where过滤和having过滤的区别.mp4 306.45MB
│ │ ├─03.hive查询语法–子查询.mp4 75.4MB
│ │ ├─04.hive数据类型–复合类型–array数组类型的使用.mp4 150.33MB
│ │ ├─05.hive数据类型–复合类型–map类型的使用.mp4 112.66MB
│ │ ├─06.hive数据类型–复合类型–struct结构类型的使用.mp4 65.18MB
│ │ ├─07.hive内置函数–类型转换cast–数学运算函数.mp4 135.84MB
│ │ ├─08.hive内置函数–时间-日期-字符串–函数.mp4 159.29MB
│ │ ├─09.hive内置函数–表生成函数–行转列explode–lateral-view.mp4 126.43MB
│ │ ├─10.hive-day01-作业题.mp4 38.1MB
│ │ └─课件与资料.zip 393.33MB
│ ├─Hadoop-day09-Hbase安装部署与详解
│ │ ├─01.hive内置函数–集合函数–条件控制函数.mp4 82.33MB
│ │ ├─02.hive内置函数–窗口分析函数–row_number_over.mp4 42.52MB
│ │ ├─03.hive窗口分析函数–应用场景–累积报表–用传统方法实现.mp4 97.93MB
│ │ ├─04.hive窗口分析函数–累积报表–用sum-over函数实现.mp4 33.98MB
│ │ ├─05.hive中如何自定义函数–json解析函数示例.mp4 168.16MB
│ │ ├─06.hive中的json解析函数–json-tuple.mp4 16.82MB
│ │ ├─07.日新-日活用户统计sql开发–shell脚本.mp4 302.62MB
│ │ ├─08.hbase基本概念介绍–数据库–nosql数据库.mp4 37.05MB
│ │ ├─09.hbase的核心特性–基于hdfs-分布式数据管理–表结构.mp4 31.59MB
│ │ ├─10.hbase的整体工作机制–集群角色功能介绍–存储机制.mp4 52.85MB
│ │ ├─11.hbase集群搭建–及其各种机制的观察–hdfs中的目录–zookeeper中的状态数据.mp4 164.79MB
│ │ ├─12.hbase客户端读写数据时的路由流程.mp4 29.3MB
│ │ ├─13.hbase的工作机制补充–regionserver数据管理–内存缓存热数据–持久化到hdfs的观察.mp4 190.58MB
│ │ ├─14.hbase中判断数据是否在一个持久化文件中的机制–布隆过滤器.mp4 192.08MB
│ │ ├─15.hbase的java客户端操作–表定义管理.mp4 23.72MB
│ │ └─课件与资料.zip 263.46MB
│ ├─Hadoop-day10-Flume安装部署与Hbase结合使用案例
│ │ ├─01.hbase客户端编程DML-数据插入.mp4 141.64MB
│ │ ├─02.hbase客户端编程DML–get查询数据.mp4 108.31MB
│ │ ├─03.hbase客户端编程DML–范围查询–scan.mp4 157.89MB
│ │ ├─04.hbase应用综合练习题.mp4 112.14MB
│ │ ├─05.flume概念介绍及工作机制解释.mp4 82.79MB
│ │ ├─06.flume的安装–解压即可.mp4 31.6MB
│ │ ├─07.flume采集配置案例–采集目录中的新文件到HDFS中–配置详解.mp4 453.19MB
│ │ ├─08.flume采集配置案例–采集文件新增内容到HDFS.mp4 123.34MB
│ │ ├─09.flume采集配置案例–多级agent串联.mp4 123.03MB
│ │ ├─10.hadoop离线分析项目案例–app后台数据分析整体架构-流程-说明.mp4 228.18MB
│ │ ├─11.hadoop离线分析项目案例–数据预处理需求说明.mp4 149.18MB
│ │ └─课件与资料.zip 144.49MB
│ ├─Hadoop-day11-App数据分析与日活跃用户统计
│ │ ├─01.app数据分析–预处理程序开发.mp4 567.15MB
│ │ ├─02.app数据分析–预处理程序继续改造.mp4 249.25MB
│ │ ├─03.app数据分析–预处理程序的脚本开发和启动测试.mp4 91.68MB
│ │ ├─04.app数据分析–日活用户统计开发.mp4 246.27MB
│ │ ├─05.app数据分析–日新用户统计开发.mp4 162.41MB
│ │ ├─06.app数据分析–日新用户维度报表统计.mp4 102.18MB
│ │ └─课件与资料.zip 76.68MB
│ └─Hadoop-day12-app-sqoop
│ ├─01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点.mp4 80.01MB
│ ├─02.app数据统计分析案例–次日留存用户统计分析.mp4 158.62MB
│ ├─03.app数据统计分析案例–版本升级轨迹信息抽取.mp4 100.59MB
│ ├─04.sqoop的基本概念–安装-测试.mp4 97.23MB
│ ├─05.利用sqoop将mysql中的数据导入hdfs和hive.mp4 213.29MB
│ ├─06.利用sqoop将hdfs和hive中的数据导出到mysql.mp4 74.19MB
│ ├─07.app数据统计–hive报表迁移到mysql–充分注意编码统一.mp4 371.78MB
│ ├─08.hadoop-mapreduce编程考试题需求说明.mp4 96.63MB
│ ├─09.java基础拾遗–类的加载和对象的构造过程.mp4 157.65MB
│ ├─10.java基础拾遗–匿名内部类的应用–实现scala中的集合map方法.mp4 54.74MB
│ ├─11.java基础拾遗–匿名内部类语法详解.mp4 37.13MB
│ └─课件与资料.zip 16.82MB