1. 降低访问频率

　　反爬虫一般是在规定时间内IP访问次数进行的限制，可以限制每天抓取的页面数量和时间间隔。既能满足采集速度，也能不被限制IP。

　　2.多线程采集

　　采集大批量的数据的时候，可以使用多线程。它可以同步完成多项任务，每个线程采集不同的任务，提高采集数量。

　　3.使用代理IP

　　想要突破网站的反爬虫机制，需要使用代理IP，通过换IP的方法进行多次访问。采用多线程采集时，也需要大量的IP，优先使用高匿名代理，否则目标网站检测到你的真实IP，也会影响到工作的进行。

　　4.对IP进行伪装

　　虽然大多网站都有反爬虫，但有一些网站对这方便比较忽略，这样就可以对IP进行伪装，修改X-Forwarded-for就可以避过。但如果想频发抓取，还是需要多IP。

　　通过js实现跳转来反爬，js实现页面跳转，无法在源码中获取下一页url，需要多次抓包获取条状url，分析规律。

　　通过蜜罐(陷阱)获取爬虫ip(或者代理ip)，进行反爬。蜜罐的原理：在爬虫获取链接进行请求的过程中，爬虫会根据正则，xpath，css等方式进行后续链接的提取，此时服务器端可以设置一个陷阱url，会被提取规则获取，但是正常用户无法获取，这样就能有效的区分爬虫和正常用户

　　通过假数据反爬，向返回的响应中添加假数据污染数据库，通常假数据不会被正常用户看到。