spark2.0:入门到精通视频教程

适用人群:Java开发人员、运维人员

共278课时 更新时间:2019-03-31 09:16:37

价  格

¥0.00

优惠活动

0.00

2424小时内答疑

课时永久观看

PC倍速播放

专属资料下载

课程介绍

课程目录

资料&视频下载

学员评价

Spark 2.0从入门到精通:Scala编程、大数据开发、上百个实战案例、内核源码深度剖析

学完这个可以开始学习项目实战:spark实战:电商行为分析

课程背景

本课程主要讲解目前大数据领域热门、火爆、有前景的技术——Spark。在本课程中,会从浅入深,基于大量案例实战,深度剖析和讲解Spark,并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、性能调优、企业级案例实战等部分。完全从零起步,让学员可以一站式精通Spark企业级大数据开发,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从j2ee等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。

课程学习目标

目标一. 熟练掌握Scala编程语言,能够用Scala开发Spark程序,并能看懂Spark源码

目标二. 从零开始手动搭建Hadoop集群、Spark集群、Hive、ZooKeeper和kafka集群

目标三. 熟练掌握Spark核心编程,可以开发各种复杂的大数据离线批处理程序

目标四. 透彻理解Spark内核源码,可以在线上程序报错时进行故障排查,根据异常堆栈信息阅读对应源码解决线上故障

目标五. 能够对常见的Spark性能问题,使用各种技术进行性能调优

目标六. 熟练使用Spark SQL开发大数据交互式查询程序,掌握常见性能优化技术

目标七. 熟练使用Spark Streaming开发大数据实时计算程序,理解原理和源码,并能进行性能调优

目标八. 熟练掌握Spark集群的运维和管理:包括高可用性集群的部署、HistoryServer部署、自定义Metrics、动态资源分配等

目标九. 熟悉Spark 1.3、1.5、2.0等几个重要版本的演变发展,以及核心功能特性,包括基本的原理

课程亮点

亮点一、使用Spark 1.3.0 / Spark 1.5.1+Hadoop 2.4.1组合,Spark深入讲解划时代版本1.3.0,并讲解新版本1.5.1,技术绝对处于行业的前沿。.

亮点二、代码驱动讲解所有技术点,现场画图讲解所有原理和概念,既能够动手实战,又能够透彻理解.

亮点三、所有功能点均按照官方大纲来,所有技术点、功能点,基础功能和高级特性,全部讲解到,全面覆盖。.

亮点四、全程案例实战,Scala包含数十个趣味案例,Spark中涉及数个从实际企业需求场景抽取出来的复杂案例.

亮点五、几乎所有Spark代码实战、案例实战,都提供了Java和Scala两个版本的代码!

亮点六、大量独家的高级知识点和技术点,包括Spark二次排序、分组取topn,Spark SQL内置函数和开窗函数,Spark Streaming Driver高可用方案等等。

亮点七、现场画图讲解源码,深入剖析80%的核心内核源码,给源码进行大量注释,深入细致的源码讲解。

亮点八、全面讲解Spark、Spark SQL和Spark Streaming的性能优化技术,结合现场画图讲解性能调优,并深入讲解Shuffle性能调优。

亮点九、深入讲解Spark集群的运维和管理,包括Spark高可用集群部署、动态资源分配以及作业资源调度等

亮点十、深入浅出讲解Spark 2.0新版本的新特性,包括第二代Tungsten引擎的原理,以及Dataset开发、Structured Streaming下一代持续计算引擎的讲解

针对人群及学习方法

1.课程针对人群
本课程针对J2EE开发工程师,如果有扎实的Java基础,学习本课程是最最合适的,可以一站式精通Spark开发,实现J2EE工程师到大数据Spark工程师的华丽转型;针对Hadoop工程师,可以在掌握Hadoop大数据开发技术的基础上,精通Spark大数据开发,瞬间提升自己的职业含金量和技术能力;针对有java基础、hadoop基础的在校大学生、应届生以及毕业不久的初级工程师,精通Spark开发后,可以顺利实现自己职场的升华。

2.我该怎么学,如何才能学好这门课程,给些建议。
2.1、时间上的安排建议
本课程共112讲,如果您时间上充分,建议以每天2-3讲的进度往前学习。如果时间特别充裕,建议将重点理论知识的相关视频看2~3遍。

2.2、学习要求
学习的时候, 可以要自己边看边做笔记,建议看视频的同时,电脑上打开一个记事本即可。所有理论知识的剖析和讲解一定要反复思考和理解,如果不理解,建议看2~3遍;所有代码实战开发和案例实战开发,全部都要求手动敲一遍代码;对于源码剖析的讲解,建议自己下载源码,根据课程思路自己反复看几遍。
2.3、讲师建议
1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
2.对于案例实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了

  1. 建议一般听视频,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。
  2. 一定不要过于依赖视频,要学会看API和使用百度,学会思考,学会举一反三
  3. 最后祝您学有所成

学完做什么

课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作
1.Spark大数据开发工程师
2.Spark大数据平台开发工程师

环境及内容简介

1.课程研发环境
开发工具: Eclipse、Scala IDE for Eclipse;
Spark: 1.3.0和1.5.1
Hadoop: 2.4.1
Hive: 0.13
ZooKeeper: 3.4.5
Kafka: 2.9.2-0.8.1
其他工具: SecureCRT、WinSCP、VirtualBox等

2.内容简介
本课程主要讲解的内容包括:Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。
本课程的特色包括:
1、代码驱动讲解Spark的各个技术点(绝对不是照着PPT空讲理论);
2、现场动手画图讲解Spark原理以及源码(绝对不是干讲源码和PPT);
3、覆盖Spark所有功能点(Spark RDD、Spark SQL、Spark Streaming,初级功能到高级特性,一个不少);
4、Scala全程案例实战讲解(近百个趣味性案例);
5、Spark案例实战的代码,几乎都提供了Java和Scala两个版本和讲解(一次性同时精通Java和Scala开发Spark);
6、大量全网独有的知识点:基于排序的wordcount,Spark二次排序,Spark分组取topn,DataFrame与RDD的两种转换方式,Spark SQL的内置函数、开窗函数、UDF、UDAF,Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。
7、多个从企业实际需求抽取出的复杂案例实战:每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统 计案例、top3热门商品实时统计案例
8、深度剖析Spark内核源码与Spark Streaming源码,给源码进行详细的注释和讲解
9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优,其中包括全网独有的Shuffle性能调优(详细讲解性能调优的各个技术点)
10、涵盖Spark两个重要版本,Spark 1.3.0和Spark 1.5.1的讲解(走在Spark前沿,涵盖新高级特性)

你可能还感兴趣的课程

所属专题

如侵权联系删除

  驰狼网免责声明

官方交流群

 

官方交流群(348039381)

立即加入

141768人学习过

7日学霸榜 有311841人与你一起学习

课程介绍

课程目录

资料&视频下载

学员评价

×
  • 用户登录
  • 注册新用户