《微职位:大数据工程师》课程学习分享

bankwc

67
0

2020/07/28

大家好,是我大数据工程师班级学员小陈,以下是我学习课程的一些经验分享,个人经验仅供参考。

大数据课程的安排由浅入深,从相关的java语言入门到spark源码、spark ml等机器学习相关内容,都是一环扣一环,安排得非常合理Java相关的课程是李兴华老师的课程,但看的内容不是非常多,还是结合《java从入门到精通》这本书,慢慢学的。后面大数据课程把前面的李兴华老师的内容更换为汤老师的讲解java课程,个人感觉汤老师讲解得更细致一些,有李兴华老师部分的精华所在。

有了java的基础,然后就可以学习scala,毕竟scala是对java的函数式封装。这一部分个人感觉不用全部去学,主要是学下scala的常规用法,隐式转换、泛型等即可,后面需要用到再回头看即可。

Hadoop生态有很多组件,大数据课程基本把这些组件都涵盖。现在回顾大数据的内容,大体可以把内容分为:分布式存储、分布式资源调度、分布式协调系统、分布式计算系统。一步一步跟着这几大块往下面学就够用了。首先学习分布式存储相关:hdfshivehbase。Hbase还是放在最后面在学也可以。其次分布式资源调度相关:yarn,就是一个对计算机集群的内存、cpu资源的管理者,需要多少资源就向yarn申请即可。接着分布式协调系统相关:zookeeper,主要是用来做分布式系统的高可用协调组件。最后是分布式计算系统相关:sparkflink。这一块是非常重要的一块,做大数据开发基本和sparkflink打交道比较多,建议回头多看看课程sparkflink相关的课程,如果能把spark的源码学下来,面试绝对是加分,可能直接给offer课程中建议可以把spark源码部分的课程再细化讲解,我是看《图解spark核心源码》这本书学下来的,然后跟着汤老师的源码视频学spark源码。去面试的时候,只要是大数据开发岗位,把源码都能讲下来offer都能拿到,大厂的offer也拿到。

看视频的时候一定要勤动手,不要怕出error,能出error是好事,可以发现自己不懂的地方。遇到不懂的问题,还是老师那句话:遇到问题先自己思考,然后百度谷歌查问题,半小时后自己还不能解决再去问老师。因为在工作当中没有老师给你解答这些问题,自己查找的同时也是一次学习。

最后感谢班上同学们,小班,老汤在我学习这段期间无私的帮助。这个课程学完了,但是我的学习之旅才刚开始,我会继续保持这份学习的心继续学习新的知识 ,不断地进步。


客服投诉
关注微信

扫一扫关注我们

电话咨询
400-101-1651