大家好，很高兴再次与大家见面，我是你们的老朋友全栈君。
学习大数据只需掌握Java标准版JavaSE即可。对于Servlet、JSP、Tomcat、Struct、Spring、Hibernate、Mybaits这些JavaEE技术，在大数据领域用得并不多，了解即可。当然，如何用Java连接数据库是必备技能，像JDBC必须熟练掌握。有人问，Hibernate或Mybaits也能连接数据库，为什么不学？我并不是说它们不好，而是它们可能耗费你大量时间，而在实际大数据工作中使用频率不高。如果你时间充裕，可以学习Hibernate或Mybaits的原理，而不是只学API，这样能加深对Java操作数据库的理解，因为这两个技术的核心是Java的反射和JDBC的应用。
Linux：由于大数据相关软件都在Linux上运行，所以要扎实学习Linux。学好Linux能帮助你快速掌握大数据技术，更好地理解Hadoop、Hive、HBase、Spark等大数据软件的运行和网络环境配置，减少犯错。学会shell脚本也能更容易理解和配置大数据集群，对学习新的大数据技术也很有帮助。
想成为云计算大数据Spark高手，点击这里阅读！
年薪50万的Java程序员转大数据学习路线，点击这里阅读！
大数据人工智能发展趋势与前景，点击这里阅读！
最全最新的大数据系统交流路径，点击这里阅读！
2019最新！大数据工程师就业薪资，让人惊艳！点击这里阅读！
接下来，我将介绍需要学习的大数据技术，建议按以下顺序学习。
Hadoop：这是目前流行的几乎成为大数据代名词的大数据处理平台，必学。Hadoop包括几个组件：HDFS、MapReduce和YARN。HDFS是数据存储的地方，类似于电脑硬盘；MapReduce用于数据处理计算，特点是能处理任意规模的数据，但速度可能不快，属于批处理；YARN是Hadoop平台的重要组件，允许其他大数据生态系统软件在Hadoop上运行，充分利用HDFS的大存储优势和节省资源，比如不再需要单独搭建Spark集群，直接在现有的Hadoop YARN上运行即可。掌握这些组件就能进行大数据处理，尽管你可能对“大数据”的具体规模还不是很清楚，但别担心，工作中你会遇到几十T甚至几百T的大数据，到时你会发现处理大数据是你的价值所在，让那些JavaEE、PHP、HTML5和DBA羡慕吧。
Zookeeper：这是个万能工具，在安装Hadoop的HA时会用到，HBase也会用到。它通常用于存储协作信息，这些信息通常很小，不超过1M。对于个人来说，只需正确安装并让它正常运行即可。
Mysql：学习完大数据处理后，学习小数据处理工具Mysql数据库，因为安装Hive时会用到。需要掌握在Linux上安装、运行Mysql，配置简单权限，修改root密码，创建数据库。重点是学习SQL语法，因为Hive的语法与此非常相似。
技术上面应用了三层结构，AJAX框架，URL重写等基础的开发。并用了动软的代码生成器及数据访问类，加进了一些自己用到的小功能，算是整理了一些自己的操作类。系统设计上面说不出用什么模式，大体设计是后台分两级分类，设置好一级之后，再设置二级并选择栏目类型，如内容，列表，上传文件，新窗口等。这样就可以生成无限多个二级分类，也就是网站栏目。对于扩展性来说，如果有新的需求可以直接加一个栏目类型并新加功能操作
Sqoop：用于将Mysql数据导入Hadoop。当然，也可以直接将Mysql数据表导出成文件再放到HDFS上，但在生产环境中要注意Mysql的压力。
Hive：对于熟悉SQL语法的人来说，这是个神器，能让大数据处理变得简单，不用再费力编写MapReduce程序。有人问Pig怎么样？Hive和Pig功能相似，掌握一个即可。
Oozie：学会Hive后，你会需要这个工具。它可以管理Hive或MapReduce、Spark脚本，检查程序是否正确执行，出现错误时发送警报并重试，还能配置任务依赖关系。相信你会喜欢上它，不然面对一大堆脚本和密密麻麻的crond会让你头疼。
Hbase：这是Hadoop生态系统中的NOSQL数据库，数据以key-value形式存储，key唯一，可用于数据去重。与Mysql相比，它能存储更多数据，常用于大数据处理后的存储。
Kafka：这是个好用的队列工具，队列是做什么的？就像排队买票一样，数据多时也需要排队处理，这样与你协作的同事不会抱怨你给他们太多数据（比如几百G的文件）。你可以告诉他们数据在队列中，他们可以一个个取，这样他们就不会抱怨，而是去优化自己的程序，因为处理不过来是他们的问题，不是你给的数据有问题。我们也可以用这个工具进行实时数据入库或入HDFS，可以与Flume配合使用，Flume专门用于简单处理数据并写入各种数据接收方（如Kafka）。
Spark：用于弥补基于MapReduce处理数据速度的缺点。它的特点是将数据加载到内存中计算，而不是读取慢速硬盘，适合迭代运算，因此算法专家特别喜欢它。Spark用Scala编写，Java或Scala都可以操作它，因为它们都使用JVM。
如何学习大数据？没有资料怎么办？
想学习大数据开发技术，Hadoop、Spark、云计算、数据分析等技术，这里推荐一个学习资料分享群：199427210，里面有大牛整理好的相关学习资料，希望对你们有所帮助。
发布者：全栈程序员栈长，转载请注明出处：https://www.php.cn/link/1eebbb55fd7a6ade3787002e5f87ceab
