• 新手兴趣爱好者或者是应届毕业生

　　新手兴趣爱好者、应届毕业生的爬虫通常简单粗暴，根本不管服务器压力，加上人数不可预测，很容易把站点弄挂。

　　• 创业小公司

　　现在的创业公司越来越多，觉得大数据比较热，就开始做大数据。发现自己手头没有数据。怎么办?只能通过写爬虫获取更多的数据。于是就有了不计其数的小爬虫，出于公司生死存亡的考虑，不断爬取数据维持公司的生计。

　　• 失控小爬虫

　　有些网站已经做了相应的反爬，但是爬虫依然孜孜不倦地爬取。虽然他们根本爬不到任何数据，或者一切数据都是不对的，可是爬虫依然不停止。���这个很可能就是一些托管在某些服务器上的小爬虫，已经无人认领了，依然在辛勤地工作着。

　　• 成型的商业对手

　　这个是最大的对手，他们有技术，有钱，要什么有什么，如果和你死磕，你就只能硬着头皮和他死磕。否则法律手段解决。

　　• 抽风的搜索引擎

　　大家不要以为搜索引擎都是好人，他们也有抽风的时候，而且一抽风就会导致服务器性能下降，请求量跟网络攻击没什么区别。