从 98 年 google 以搜索技术起家开始，互联网至今，以提供内容为主的互联网企业每一家都离不开小爬虫的帮助，大到互联网巨头，小到刚成立没几天的创业公司， 在早期没有足够内容来撑住自家网站和 app 时，都会采取抓取手段来补充内容，让自家产品显得内容满满。