爬虫在互联网世界中有很多的作用，比如：

　　1.数据采集,比如：

　　• 抓取微博评论(机器学习舆情监控)

　　• 抓取招聘网站的招聘信息(数据分析、挖掘)

　　• 新浪滚动新闻

　　• 百度新闻网站

　　2.软件测试

　　• 爬虫之自动化测试

　　自动化测试所必需的selenium . selenium是一个用于Web应用程序测试的工具,selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。 支持的浏览器包括IE,chrome和Firefox等。其实就是借助于selenium做爬虫的事情。

　　3.抢票和投票

　　• 12306抢票

　　• 投票网

　　4.网络安全

　　• 短信轰炸

　　• web漏洞扫描