从 98 年 google 以搜索技术起家开始，互联网至今，以提供内容为主的互联网企业每一家都离不开小爬虫的帮助，大到互联网巨头，小到刚成立没几天的创业公司， 在早期没有足够内容来撑住自家网站和 app 时，都会采取抓取手段来补充内容，让自家产品显得内容满满。

还有好些公司的商业模式就建立在爬虫技术之上的，比如搜索引擎公司、大数据处理公司、网络舆情监控公司，没有数据，他们的公司就没法运转。

另外现如今互联网公司的获客成本上升，出现了增长黑客这个概念，里面的大量运营技巧都是要依赖于爬虫技术的手段来驱动，这里不是指抓数据，而是模仿用户请求，模仿用户操作，自动发贴等手法来新增和激活用户。