什么是爬虫？爬虫的用途介绍
推荐
在线提问>>
什么是爬虫？爬虫是模拟客户端发送网络请求，接收到与该请求对应的响应，按照一定规则自动抓取互联网信息的程序。理论上只要客户端(主要指浏览器)能做的，爬虫都能做。
爬虫的用途
1、数据收集，提取目的数据
2、软件测试，测试很多技术和python爬虫也是交叉的
3、12306抢票、商品抢购等
4、刷票类
5、短信轰炸
6.网络攻击(基于tcp-ip)
7、web漏洞扫描器
爬虫只需要学习爬虫的知识？
没那么简单。通常，大多数告诉您这些快速观点的人都有其他意图。今天我就来告诉大家“一个合格的爬虫需要学习哪些技术”？我们应该重点掌握哪些技术？
网页知识
html、js、css、xpath知识，虽然简单，但一定要懂。在分解它们之前，您需要知道这些页面是如何构建的。
HTTP
知识通用爬虫你需要模拟浏览器的操作才能获取网页的信息。如果有些网站需要登录才能获取更多信息，您必须先登录，并提交登录账号和密码。
部分网站登录后需要保存cookie信息，才能继续获取更多信息。
正则表达式
有了正则表达式，我们就可以更好的对网页信息进行切分，得到我们想要的数据，所以也需要了解正则表达式。
一些重要的爬虫库
url，url2
beautiul Soup
数据库
我们需要一个地方来保存从数据库中爬取的数据。您可以使用文件或数据库。这里我会使用mysql，比较适合爬虫的MongoDB数据库，以及分布式使用的redis数据库。
爬虫框架
PySpider 和 Scrapy 这两个爬虫框架都很NB。简单的爬虫可以使用urllib、urllib2和正则表达式来完成，但是高级的爬虫就不得不使用这两个框架。这两个框架需要单独安装。以后一起学习。
反爬虫
有时候你想禁止别人爬取你的网站数据，可以做一些反爬虫的处理操作。比如百度查不到淘宝上的数据，从而避免了搜索引擎的竞争，而淘宝可以制定自己的一套竞价排名。
分布式爬虫
使用多个redis实例来缓存每台主机上爬取的数据。
关于“什么是爬虫以及爬虫的用途”就先介绍到这里，想要从事爬虫相关工作，需要每一方面都要学好，这就需要我们在平时的学习中多积累，才能灵活运用知识点。
