大数据spark3.2从基础到精通

  课程目录  

　　大数据spark3.2从基础到精通(滑动查看)

　　第1节 - PySpark导学

　　第2节 - PySpark课程解读

　　第3节 - Spark基础入门-第一章-1.1-Spark简单介绍

　　第4节 - Spark基础入门-第一章-1.2-Spark风雨十年

　　第5节 - Spark基础入门-第一章-1.3-Spark和Hadoop的对比

　　第6节 - Spark基础入门-第一章-1.4-Spark四大特点

　　第7节 - Spark基础入门-第一章-1.5-Spark框架模块

　　第8节 - Spark基础入门-第一章-1.6-Spark运行模式

　　第9节 - Spark基础入门-第一章-1.7-Spark的架构角色

　　第10节 - Spark基础入门-第一章-总结

　　第11节 - Spark基础入门-第二章-2.1-课程服务器环境

　　第12节 - Spark基础入门-第二章-2.2-Local模式基本原理

　　第13节 - Spark基础入门-第二章-2.3-在Linux上服务器上安装Anaconda

　　第14节 - Spark基础入门-第二章-2.4-Spark Local模式部署

　　第15节 - Spark基础入门-第三章-3.1-StandAlone的运行原理

　　第16节 - Spark基础入门-第三章-3.2-StandAlone部署

　　第17节 - Spark基础入门-第三章-3.3-StandAlone程序测试

　　第18节 - Spark基础入门-第三章-3.4-Spark程序运行层次划分

　　第19节 - Spark基础入门-第三章-3.5-总结

　　第20节 - Spark基础入门-第四章-4.1-StandAlone HA模式的运行原理

　　第21节 - Spark基础入门-第四章-4.2-StandAlone 部署和测试

　　第22节 - Spark基础入门-第四章-4.3-总结

　　第23节 - Spark基础入门-第五章-5.1-Spark On YARN的运行原理

　　第24节 - Spark基础入门-第五章-5.2-Spark On YARN 部署和测试

　　第25节 - Spark基础入门-第五章-5.3-两种部署模式的区别

　　第26节 - Spark基础入门-第五章-5.4-两种部署模式的演示和总结

　　第27节 - Spark基础入门-第五章-5.5-两种模式任务提交流程

　　第28节 - Spark基础入门-第五章-5.6-总结

　　第29节 - Spark基础入门-第六章-6.1-框架和类库

　　第30节 - Spark基础入门-第六章-6.2-PySpark类库介绍

　　第31节 - Spark基础入门-第六章-6.3-PySpark安装

　　第32节 - Spark基础入门-第六章-6.4-总结

　　第33节 - Spark基础入门-第七章-7.1-本机配置Python环境

　　第34节 - Spark基础入门-第七章-7.2-PyCharm本地和远程解释器配置

　　第35节 - Spark基础入门-第七章-7.3-编程入口SparkContext对象以及WordCount演示

　　第36节 - Spark基础入门-第七章-7.4-WordCount代码流程解析

　　第37节 - Spark基础入门-第七章-7.5-提交WordCount到Linux集群运行

　　第38节 - Spark基础入门-第七章-7.6-总结

　　第39节 - Spark基础入门-第八章-8.1-Spark运行角色回顾

　　第40节 - Spark基础入门-第八章-8.2-分布式代码执行分析

　　第41节 - Spark基础入门-第八章-8.3-Python On Spark执行原理

　　第42节 - Spark基础入门-第八章-总结

　　第43节 - SparkCore-第一章-1.1-什么是RDD

　　第44节 - SparkCore-第一章-1.2-RDD五大特性-特性1

　　第45节 - SparkCore-第一章-1.3-RDD五大特性-特性2

　　第46节 - SparkCore-第一章-1.4-RDD的五大特性-特性3

　　第47节 - SparkCore-第一章-1.5-RDD的五大特性-特性4

　　第48节 - SparkCore-第一章-1.6-RDD的五大特性-特性5.mp4

　　第49节 - SparkCore-第一章-1.7-WordCount结合RDD特性进行执行分析

　　第50节 - SparkCore-第一章-1.8-总结

　　第51节 - SparkCore-第二章-1-RDD的创建-1

　　第52节 - SparkCore-第二章-10-RDD算子-filter

　　第53节 - SparkCore-第二章-11-RDD算子-distinct

　　第54节 - SparkCore-第二章-12-RDD算子-union

　　第55节 - SparkCore-第二章-13-RDD算子-join

　　第56节 - SparkCore-第二章-14-RDD算子-intersection

　　第57节 - SparkCore-第二章-15-RDD算子-glom

　　第58节 - SparkCore-第二章-16-RDD算子-groupByKey

　　第59节 - SparkCore-第二章-17-RDD算子-sortBy

　　第60节 - SparkCore-第二章-18-RDD算子-sortByKey

　　第61节 - SparkCore-第二章-19-RDD算子-案例

　　第62节 - SparkCore-第二章-2-RDD的创建-2

　　第63节 - SparkCore-第二章-20-RDD算子-案例-提交到YARN执行

　　第64节 - SparkCore-第二章-21-RDD算子-countByKey

　　第65节 - SparkCore-第二章-22-RDD算子-reduce

　　第66节 - SparkCore-第二章-23-RDD算子-fold

　　第67节 - SparkCore-第二章-24-RDD算子-take-first-count-top

　　第68节 - SparkCore-第二章-25-RDD算子-takeSample

　　第69节 - SparkCore-第二章-26-RDD算子-takeOrdered

　　第70节 - SparkCore-第二章-27-RDD算子-foreach

　　第71节 - SparkCore-第二章-28-RDD算子-saveAsTextFile

　　第72节 - SparkCore-第二章-29-RDD算子-mapPartitions

　　第73节 - SparkCore-第二章-3-RDD算子概念和分类

　　第74节 - SparkCore-第二章-30-RDD算子-foreachPartition

　　第75节 - SparkCore-第二章-31-RDD算子-partitionBy

　　第76节 - SparkCore-第二章-32-RDD算子-repartition-coalesce

　　第77节 - SparkCore-第二章-33-RDD算子-面试题-groupByKey和reduceByKey的区别

　　第78节 - SparkCore-第二章-34-总结

　　第79节 - SparkCore-第二章-4-转换算子-map

　　第80节 - SparkCore-第二章-5-转换算子-flatMap

　　第81节 - SparkCore-第二章-6-转换算子-reduceByKey

　　第82节 - SparkCore-第二章-7-RDD算子-mapValues

　　第83节 - SparkCore-第二章-8-WordCount案例回顾

　　第84节 - SparkCore-第二章-9-RDD算子-groupBy

　　第85节 - SparkCore-第三章-1-RDD的数据是过程数据概念

　　第86节 - SparkCore-第三章-2-RDD的缓存

　　第87节 - SparkCore-第三章-3-RDD的CheckPoint

　　第88节 - SparkCore-第三章-4-总结

　　第89节 - SparkCore-第四章-1-jieba库入门使用

　　第90节 - SparkCore-第四章-2-案例需求1开发

　　第91节 - SparkCore-第四章-3-案例需求2开发

　　第92节 - SparkCore-第四章-4-案例需求3开发

　　第93节 - SparkCore-第四章-5-提交代码到YARN集群运行

　　第94节 - SparkCore-第四章-6-作业和总结

　　第95节 - SparkCore-第五章-1-广播变量

　　第96节 - SparkCore-第五章-2-累加器

　　第97节 - SparkCore-第五章-3-广播变量累加器综合案例

　　第98节 - SparkCore-第五章-4-总结

　　第99节 - SparkCore-第六章-1-DAG

　　第100节 - SparkCore-第六章-2-宽窄依赖和阶段划分

　　第101节 - SparkCore-第六章-3-内存迭代计算

　　第102节 - SparkCore-第六章-4-Spark并行度

　　第103节 - SparkCore-第六章-5-Spark任务调度

　　第104节 - SparkCore-第六章-6-Spark运行概念名词解释和层级梳理

　　第105节 - SparkCore-第六章-7-总结

　　第106节 - SparkSQL-第一章-SparkSQL基础入门

　　第107节 - SparkSQL-第二章-1-SparkSQL和Hive的异同以及SparkSQL的数据抽象

　　第108节 - SparkSQL-第二章-2-SparkSession执行环境入口构建和SparkSQL HelloWorld

　　第109节 - SparkSQL-第二章-3-总结

　　第110节 - SparkSQL-第三章-1-DataFrame对象的构成

　　第111节 - SparkSQL-第三章-10-DSL风格入门API

　　第112节 - SparkSQL-第三章-11-SQL风格入门API

　　第113节 - SparkSQL-第三章-12-WordCount案例

　　第114节 - SparkSQL-第三章-13-电影评分案例编程

　　第115节 - SparkSQL-第三章-14-SparkSQL Shuffle阶段分区数参数设定

　　第116节 - SparkSQL-第三章-15-异常数据处理API

　　第117节 - SparkSQL-第三章-16-DataFrame数据写出

　　第118节 - SparkSQL-第三章-17-DataFrame使用JDBC协议读写数据库(MySQL)

　　第119节 - SparkSQL-第三章-18-总结

　　第120节 - SparkSQL-第三章-2-DataFrame创建-1

　　第121节 - SparkSQL-第三章-3-DataFrame创建-2

　　第122节 - SparkSQL-第三章-4-DataFrame创建-3

　　第123节 - SparkSQL-第三章-5-DataFrame创建-4-基于Pandas的DF转换为SparkSQL的DF对象

　　第124节 - SparkSQL-第三章-6-标准API读取text数据源构建DataFrame

　　第125节 - SparkSQL-第三章-7-标准API读取json构建DataFrame

　　第126节 - SparkSQL-第三章-8-标准API读取jcsv构建DataFrame

　　第127节 - SparkSQL-第三章-9-标准API读取jparquet构建DataFrame

　　第128节 - SparkSQL-第四章-1-UDF创建演示

　　第129节 - SparkSQL-第四章-2-注册返回值是数组类型的UDF

　　第130节 - SparkSQL-第四章-3-返回字典类型的UDF定义

　　第131节 - SparkSQL-第四章-4-拓展-通过RDD代码模拟UDAF效果

　　第132节 - SparkSQL-第四章-5-窗口函数的演示

　　第133节 - SparkSQL-第四章-6-总结

　　第134节 - SparkSQL-第五章-1-Catalyst优化器

　　第135节 - SparkSQL-第五章-2-SparkSQL执行流程及本章总结

　　第136节 - SparkSQL-第六章-SparkOnHive原理和配置及总结

　　第137节 - SparkSQL-第七章-分布式SQL的执行引擎原理和配置

　　第138节 - 案例-案例背景及需求1开发

　　第139节 - 案例-需求2开发

　　第140节 - 案例-需求3开发

　　第141节 - 案例-需求4开发

　　第142节 - Spark新特性及核心回顾-1-1-HashShuffleManager

　　第143节 - Spark新特性及核心回顾-1-2-SortShuffleManager

　　第144节 - Spark新特性及核心回顾-1-3-总结

　　第145节 - Spark新特性及核心回顾-2-1-3.0新特性-AQE

　　第146节 - Spark新特性及核心回顾-2-2-新特性-动态分区裁剪

　　第147节 - Spark新特性及核心回顾-2-3-新特性-koalas库

　　第148节 - Spark新特性及核心回顾-2-4-总结

　　第149节 - Spark新特性及核心回顾-3-Spark概念总结

　　未完待续，黑马老师996更新中......