爬虫是大数据时代数据矿工的工具。那么数据矿工的命运如何？
我的思考：
1／不会数学永远难逃矿工命运。。。。无论是统计学，还是最优化，还是人工智能，还是随机过程，傅立叶分析，小波分析，时间序列分析，这都是没有边的高科技。。。。所以大数据绝对是学数学的福音。
2／我们也可以想象，数据矿工的能力取决于反反爬。但是要清醒的明白：这不是主流。主流是拥有海量数据的公司。如阿里，他们有自己的内部黄金矿。而一般人只能偷挖他的数据。。。。或者只能去挖一些价值比较低的数据。是的，有人天生就有一座黄金矿，钻石矿。
3／在别人有玛瑙，黄金，钻石矿。而大多数人只能挖点沙子。这就是数据矿工的命运。
4／未来一定还会有这样的故事，某某人挖到了黄金，结果大家蜂拥而至，成就一段矿工培训的传奇。
5／在后来你还会发现，你会收到数据分析公司的压迫。他们握有客户，你只能挖矿。。。。。
6／在后来，你会发现，TMD有了智能挖矿机。。。。。。
7／悲剧的命运。。。。数据矿工。
各位什么看法。
回复内容：
一个行业越成熟，分工就越明确，整个链条也越稳定。每个行业都有“矿工”，我是铁定了心只做大数据矿工，把爬虫做的最好用。就像一部智能手机，高端的技术浓缩在几个芯片中，研发不成那个芯片，能做成富士康也很了不起。
所以，最重要的是选定行业位置，站住了 老实讲你上面讲的这些，大部分都是有些道理站得住脚的。不过，你忽略了一个重要因素——大部分「大数据创业公司」事实上本身是没有多少数据的。
无论一家公司标榜自己数据分析水平多么牛，没有数据，你分析什么呢？毕竟 BAT 这样海量数据的公司数量有限，剩下的小公司想玩，就只有爬虫去抓数据。
举个例子，我知道几家查询企业信息的公司，企业征信_誉存科技 、 启信宝|企业查询 、企查查 - 企业查询 等，据我所知，这些公司都没有多少自己的数据，大部分数据还是来自互联网，来自网络爬虫，而他们好像都活的非常滋润，而且查询的结果都比较令人满意（第一个付费，第二、三个有免费版，不过我相信，「买贵的东西是有道理的」）。
另外，我没有看明白题主担忧的是什么。是作为一个爬虫开发者对未来的担忧？我觉得要是担心未来发展，大可转行便是。但是，只要有网络，爬虫就永远不会消失。就如同 Python，爬虫的入门门槛也非常低，但是好多人以为会用 Python 写 「hello, world.」就是学会了 Python，这就说不过去了，爬虫同样如此，入门容易，提升的曲线比较陡峭，复杂的爬虫——比如百度、Google 的全网抓取爬虫——的编写难度一点不比所谓数据分析简单。
最后，说到底只是分工不同，搞技术的人，只要有真技术在手，有什么担忧呢？不爽就换个环境，分分钟炒了你的老板。 所以，最好跟着拥有金矿，钻石矿的主，别被沙子蒙蔽了眼睛！ 我不知道为什么你这么悲观，我自己就是做爬虫的，带了一个团队专门做爬虫。 公司也有数据挖掘的部门，离我们很近。
我得到的感觉是， 再好的挖掘技术，比不上增加一个有效的数据维度。
而新的维度，更容易被我们发现，而不是做分析的。
就算用个很简单的决策树，维度多了一个跑得结果要好很多。
至于怎么增加维度，那就是眼光问题，和你会不会数学无关。和你是不是一个喜欢从众的人有关，越被集体影响越不太可能发现新的维度。
来我这里面试的，大部分做爬虫的都想之后从事数据挖掘，他们都是被人工智能洗脑严重，根本不懂人工智能要怎么样产生。
我觉得你不懂统计也没关系， 可以往基础走。 搭建分布式数据分析框架，分布式爬虫,分布式储存解决方案。不管哪种，现在是搞数据挖掘的多，会搭建（或者说搭建的好）分布式处理系统的人少。
大学出来的人，都和导师搞过几个案例，做过几个外包分析项目， 有几个有经验做搭建的活?
你悲观是在于你根本没意识到自己的价值，从事最火的职业竟然无法意识到自己的价值，你应该换家公司了。
PS：（阿里，腾讯）他们不做爬虫吗？ 太天真了。 第一次受邀，关键我还是一个在爬虫之路上爬行的新手，心里很激动。随着互联网的急速发展，大数据的趋势不可阻挡的。获取数据并对其进行分析并向用户呈现分析结果也是数据公司服务的发展趋势，所以一切的一切都在于数据的海量性和准确性。巧妇难为无米之炊，数据公司的核心竞争力也在于其强大的数据存储能力和数据获取能力，你现在还觉得没有钱途么？
