大数据工具Spark从安装到部署到高级视频教程

本大数据工具Spark视频教程共分为10天，涵盖了Spark的安装、部署、高级功能等多个方面。每天的课程都包含详细的视频讲解和相应的课件与代码，帮助学习者系统地了解和掌握Spark技术。

1. 第一天 – 安装部署环境搭建

• Spark简介与安装包下载
• Spark集群安装与高可用集群安装
• 提交第一个Spark程序与本地调试
• Yarn和Spark的对比
• 在IDEA中用Scala和Java编写WordCount
• 视频总计约1.5GB，附带课件与代码1.34MB

2. 第二天 – Rdd介绍与使用

• RDD简介与创建方式
• RDD的Transformation与分区数量
• mapPartitionWithIndex和aggregate方法
• RDD的AggregateByKey方法与collect方法
• 在IDEA中用Java Lambda编写WordCount
• 作业和总结
• 视频总计约1.1GB，附带课件与代码384.06KB

3. 第三天 – TopN与WordCount执行过程详解

• RDD复习与CombineByKey方法
• 最受欢迎老师TopN案例
• WordCount执行过程详解
• 视频总计约1.4GB，附带课件与代码582.29KB

4. 第四天 – Spark案例讲解

• RDD的cache和checkpoint机制
• 根据IP计算归属地需求
• 广播变量的使用
• 将数据写入MySQL
• 视频总计约1.6GB，附带课件与代码3.71MB

5. 第五天 – 自定义排序与切分Stage

• 自定义排序与JDBC RDD
• Spark执行过程简介和构建DAG
• 切分Stage过程详解
• 线程池介绍和Spark整体执行流程
• 视频总计约2.1GB，附带课件与代码1.4MB

6. 第六天 – Spark SQL简介与案例详解1

• 复习序列化问题和函数中引用问题
• Spark SQL简介和案例详解
• Spark 1.x和2.x的SQL方式和DataSet API
• 视频总计约1.7GB，附带课件与代码87.09MB

7. 第七天 – Spark SQL案例详解2

• 复习Spark SQL和DataFrame的join
• 使用广播变量实现mapsidejoin
• 自定义聚合函数和Dataset介绍
• Spark 2.0的特性和JDBC数据源
• 写入多种文件格式和不同数据源
• 视频总计约1.4GB，附带课件与代码1.33MB

8. 第八天 – Spark Streaming简介与Kafka 0.8集群安装

• Spark整合Hive和实时计算介绍
• Spark Streaming简介和实时计算架构
• Kafka相关概念介绍和Kafka 0.8集群安装
• Kafka的Java API
• 视频总计约1.8GB，附带课件与代码51.5MB

9. 第九天 – Kafka分区、DStream与直连方式实现

• 复习Kafka分区和Spark Streaming原理
• DStream简介和第一个Spark Streaming程序
• DStream深入理解和直连方式实现
• 视频总计约1GB，附带课件与代码1.02MB

10. 第十天 – Redis与Spark Streaming

• 复习和Redis介绍
• Redis基本使用和连接池
• Spark Streaming程序实现多指标计算
• Spark Streaming执行过程详解
• 计算省份成交量和综合测试
• Spark on Yarn介绍
• 视频总计约1.3GB，附带课件与代码1.1MB

通过这十天的学习，学员将深入了解Spark的安装、核心概念、案例应用、Spark SQL、Spark Streaming以及与其他工具的整合，为在大数据处理领域打下坚实基础。

视频教程部分内容截图：

大数据工具Spark从安装到部署到高级视频教程

spark-02-Rdd介绍与使用

spark-03-TopN与WordCount执行过程详解

spark-04-Spark案例讲解

spark-05-自定义排序与切分Stage

spark-06-spark SQL简介与案例详解1

spark-07-spark SQL案例详解2

spark-08-SparkStraming简介

spark-09-Kafka分区、DStream与直连方式实现

spark-10-Redis与SparkSteaming

├─大数据工具Spark从安装到部署到高级视频教程-10天
│ ├─spark-01-安装部署环境搭建
│ │ ├─视频
│ │ │ ├─01Spark简介.mp4 73.45MB
│ │ │ ├─02spark安装包下载.mp4 53.65MB
│ │ │ ├─03spark集群安装-1.mp4 22.28MB
│ │ │ ├─04spark集群安装-2.mp4 198.93MB
│ │ │ ├─05spark高可用集群安装-1.mp4 36.72MB
│ │ │ ├─06spark高可用集群安装-2.mp4 121.91MB
│ │ │ ├─07提交第一个spark程序.mp4 133.73MB
│ │ │ ├─08spark shell运行wordcount.mp4 161.47MB
│ │ │ ├─09spark任务执行流程简介.mp4 65.08MB
│ │ │ ├─10Yarn和spark的对比.mp4 29.19MB
│ │ │ ├─11在idea中用scala编写WordCount.mp4 162.73MB
│ │ │ ├─12在idea中用java编写WordCount.mp4 110.84MB
│ │ │ ├─13在idea中用java lambda编写WordCount.mp4 76.59MB
│ │ │ └─14本地调试spark程序.mp4 52.98MB
│ │ └─课件与代码.zip 1.34MB
│ ├─spark-02-Rdd介绍与使用
│ │ ├─视频
│ │ │ ├─01RDD简介.mp4 117.77MB
│ │ │ ├─02RDD介绍.mp4 69.13MB
│ │ │ ├─03创建RDD的方式.mp4 74.46MB
│ │ │ ├─04RDD的Transformation-1.mp4 66.92MB
│ │ │ ├─05RDD的Transformation-2.mp4 115.39MB
│ │ │ ├─06RDD的分区数量.mp4 125.94MB
│ │ │ ├─07HDFS读取数据分区的数量.mp4 145.57MB
│ │ │ ├─08mapParitionWithIndex.mp4 128.07MB
│ │ │ ├─09RDD的aggregate方法.mp4 81.44MB
│ │ │ ├─10RDD的AggregateByKey方法.mp4 68.02MB
│ │ │ ├─11collect方法执行过程说明.mp4 69.45MB
│ │ │ ├─12foldByKey方法.mp4 74.88MB
│ │ │ ├─13foreach和foreachPartition.mp4 78.6MB
│ │ │ └─14作业和总结.mp4 74.93MB
│ │ └─课件与代码.zip 384.06KB
│ ├─spark-03-TopN与WordCount执行过程详解
│ │ ├─视频
│ │ │ ├─01RDD复习.mp4 79.51MB
│ │ │ ├─02CombineByKey方法.mp4 207.1MB
│ │ │ ├─03最受欢迎老师.mp4 112.69MB
│ │ │ ├─04每个学科最受欢迎老师TopN-1.mp4 200.75MB
│ │ │ ├─05每个学科最受欢迎老师TopN-2（过滤多次提交）.mp4 173.14MB
│ │ │ ├─06每个学科最受欢迎老师TopN-3（自定义分区器）.mp4 180.12MB
│ │ │ ├─07每个学科最受欢迎老师TopN-1（减少shuffle）.mp4 100.65MB
│ │ │ ├─08WordCount执行过程详解-1.mp4 205.52MB
│ │ │ └─09WordCount执行过程详解-2.mp4 73.68MB
│ │ └─课件与代码.zip 582.29KB
│ ├─spark-04-Spark案例讲解
│ │ ├─视频
│ │ │ ├─01回顾.mp4 51.42MB
│ │ │ ├─02RDD的cache.mp4 111.94MB
│ │ │ ├─03cache部分数据.mp4 29.57MB
│ │ │ ├─04cache的补充说明.mp4 129.78MB
│ │ │ ├─05RDD的checkpoint机制.mp4 145.49MB
│ │ │ ├─06根据ip计算归属地的需求.mp4 180.43MB
│ │ │ ├─07单机程序计算ip归属地.mp4 106.72MB
│ │ │ ├─08广播变量.mp4 76.4MB
│ │ │ ├─09广播变量的使用.mp4 27.42MB
│ │ │ ├─10根据IP地址计算归属地实现-1.mp4 145.48MB
│ │ │ ├─11根据IP地址计算归属地实现-2.mp4 126.54MB
│ │ │ └─12将数据写入到MySQL中.mp4 170.02MB
│ │ └─课件与代码.zip 3.71MB
│ ├─spark-05-自定义排序与切分Stage
│ │ ├─视频
│ │ │ ├─01内容回顾.mp4 40.24MB
│ │ │ ├─02自定义排序-1.mp4 93.67MB
│ │ │ ├─03自定义排序-2.mp4 87.82MB
│ │ │ ├─04自定义排序-3.mp4 28.86MB
│ │ │ ├─05自定义排序-4.mp4 39.82MB
│ │ │ ├─06自定义排序-5.mp4 48.04MB
│ │ │ ├─07JDBC RDD.mp4 115.88MB
│ │ │ ├─08JDBC RDD使用注意事项.mp4 48.72MB
│ │ │ ├─09Spark执行过程简介.mp4 39.38MB
│ │ │ ├─10构建DAG.mp4 54.36MB
│ │ │ ├─11切分Stage过程-1.mp4 70.02MB
│ │ │ ├─12切分Stage过程-2.mp4 58.43MB
│ │ │ ├─13切分Stage过程-3.mp4 64.23MB
│ │ │ ├─14切分Stage过程-4.mp4 162.53MB
│ │ │ ├─15线程池介绍.mp4 90.76MB
│ │ │ ├─16序列化复习.mp4 64.46MB
│ │ │ ├─17Spark整体执行流程.mp4 89.04MB
│ │ │ └─18SparkCore阶段总结.mp4 43.83MB
│ │ └─课件与代码.rar 1.4MB
│ ├─spark-06-spark SQL简介与案例详解1
│ │ ├─视频
│ │ │ ├─01复习.mp4 66.95MB
│ │ │ ├─02复习.mp4 20.3MB
│ │ │ ├─03序列化问题.mp4 83.62MB
│ │ │ ├─04函数中引用一个Driver端的一个类的实例.mp4 137.73MB
│ │ │ ├─05函数中引用一个Driver端的一个objec1.mp4 68.69MB
│ │ │ ├─06在EXecutor中初始化一个object.mp4 87.84MB
│ │ │ ├─07一个Executor中多个Task的多线程问题.mp4 178.28MB
│ │ │ ├─08spark SQL简介~1.mp4 58.27MB
│ │ │ ├─08spark SQL简介~2.mp4 74.22MB
│ │ │ ├─09sparkSQL1.x案例-1~1.mp4 419.9MB
│ │ │ ├─10sparkSQL1.x案例-2.mp4 125.87MB
│ │ │ ├─11sparkSQL1.x案例-3.mp4 82.47MB
│ │ │ ├─12sparkSQL2.x案例-1.mp4 120.08MB
│ │ │ ├─13spark2.x的sql方式的wordcount.mp4 149.86MB
│ │ │ └─14spark2.x DataSet方式的api.mp4 79.29MB
│ │ └─课件与代码.zip 87.09MB
│ ├─spark-07-spark SQL案例详解2
│ │ ├─视频
│ │ │ ├─01复习-01.mp4 90.81MB
│ │ │ ├─02复习-02.mp4 66.04MB
│ │ │ ├─03spark sql的join.mp4 135.44MB
│ │ │ ├─04dataframe的join.mp4 11.46MB
│ │ │ ├─06用SQL根据IP地址计算归属地.mp4 77.98MB
│ │ │ ├─07使用广播变量实现mapsidejoin.mp4 117.43MB
│ │ │ ├─08几何平均数说明.mp4 72.65MB
│ │ │ ├─09自定义聚合函数.mp4 127.15MB
│ │ │ ├─10Dataset介绍.mp4 125.8MB
│ │ │ ├─11spark2.0的特性.mp4 58.26MB
│ │ │ ├─12sparkSQL的JDBC数据源.mp4 126.48MB
│ │ │ ├─13写入多种文件格式.mp4 107.4MB
│ │ │ ├─14json数据源.mp4 68.18MB
│ │ │ ├─15csv数据源.mp4 28.86MB
│ │ │ └─16parquet数据源.mp4 52.71MB
│ │ └─课件与代码.zip 1.33MB
│ ├─spark-08-SparkStraming简介与kafka0.8集群安装
│ │ ├─视频
│ │ │ ├─01sparkSQL补充.mp4 223.17MB
│ │ │ ├─02sparkSQL的join-1.mp4 142.65MB
│ │ │ ├─03sparkSQL的join-2.mp4 89.95MB
│ │ │ ├─04spark整合hive.mp4 389.94MB
│ │ │ ├─05spark整合hive.mp4 183.25MB
│ │ │ ├─06实时计算介绍.mp4 56.22MB
│ │ │ ├─07SparkStraming简介.mp4 28.3MB
│ │ │ ├─08实时计算架构简介.mp4 55.15MB
│ │ │ ├─09kafka相关概念介绍.mp4 81.87MB
│ │ │ ├─10kafka0.8集群安装.mp4 200.94MB
│ │ │ └─11kafka的java api.mp4 43.31MB
│ │ └─课件与代码.rar 51.5MB
│ ├─spark-09-Kafka分区、DStream与直连方式实现
│ │ ├─视频
│ │ │ ├─01复习0.mp4 55.71MB
│ │ │ ├─02Kafka分区的相关知识.mp4 58.09MB
│ │ │ ├─03sparksteaming原理简介.mp4 44.1MB
│ │ │ ├─04DSteam简介.mp4 30.79MB
│ │ │ ├─05第一个sparkSteaming程序.mp4 149.08MB
│ │ │ ├─06sparkSteaming程序整合kafka.mp4 143.82MB
│ │ │ ├─07可以更新状态累加的WordCount.mp4 168.47MB
│ │ │ ├─08深入理解DStream.mp4 142.99MB
│ │ │ ├─09DStream深入理解.mp4 38.56MB
│ │ │ ├─10Receiver方式和直连方式介绍.mp4 54.97MB
│ │ │ ├─11直连方式实现-1.mp4 108.03MB
│ │ │ ├─12直连方式实现-2.mp4 130.42MB
│ │ │ └─13直连方式实现-3.mp4 51.89MB
│ │ └─课件与代码.zip 1.02MB
│ └─spark-10-Redis与SparkSteaming
│ ├─视频
│ │ ├─01复习。.mp4 183.9MB
│ │ ├─02Redis介绍.mp4 32.68MB
│ │ ├─03Redis基本使用.mp4 70.66MB
│ │ ├─04Redis连接池.mp4 67.93MB
│ │ ├─05sparkSteaming程序计算多个指标.mp4 121.85MB
│ │ ├─06sparkSteaming执行过程说明.mp4 119.07MB
│ │ ├─07计算省份成交量.mp4 192.58MB
│ │ ├─08sparkSteaming程序综合测试.mp4 59.58MB
│ │ ├─09spark-on-yarn-01.mp4 138.72MB
│ │ └─10spark-on-yarn-02.mp4 91.79MB
│ └─课件与代码.zip 1.1MB