一：对scrapy的认识：

　　1.scrapy只是一个爬虫的框架

　　他把爬虫的需要的共性的东西都默认写下来了，只需要我们具体细化，具体分析补充里面的细节的东西。就像造房子一样，scrapy就充当了一个房屋架构，至于房屋里面的东西 需要我们自己去补充设计。

　　2.scrapy的几个部分

　　引擎(engine) 爬虫(spider)调度器(scheduler) 下载器(downloader) items文件pipeline(管道文件) settings.py(进行对爬虫修改的东西，比如UserAgent可以注释掉，pipline管道文件可以将其关闭，从而不使用管道文件，robots协议可以改为False)

　　3.各个部分的作用

　　引擎的作用：处理scrapy这几个部分之间的联系，像人类的大脑，由引擎控制其他各个部分,扮演一个事情通知员的角色，是其他部分之间联系的桥梁。

　　调度器：使我们需要爬取的Url做一个个有序排列

　　下载器：从云端internet上下载东西

　　spider：爬虫 对爬虫的编写，实现爬取数据，是整个爬虫的主干

　　items文件：需要爬取的字段写在里面 如：name=scrapy.Field()

　　pipeline：管道文件，用来写存储代码的，将爬取的数据存储到本地或者数据库

　　ps：以上大概了解下各个部分的职能就好了。

　　二.scrpay框架实现爬虫的模拟的简要过程：

　　1.首先引擎告诉spider我们需要爬取的数据的网域domain，然后spider给引擎作出回应表示知道了

　　2.引擎告诉调度器(scheduler)‘需要你排序啦’，然后spider将域告诉调度器，调度器将域里面每个需要爬取的url做一个排序，然后对引擎说‘’ 我排好序了’’

　　3.引擎就对下载器说‘调度器排好序了，你待会需要从云端下载东西了’ 。。。下载器就准备开始以一个个的url里面下载我们写的item文件，下载好后，对引擎说‘’我下载好了“

　　4.引擎就开始对spider说“下载器把items文件下好了”,下载器将下载的item文件(响应文件)给spider，spider将得到的items文件(响应文件)给pipline管道进行存储，同时将继续要爬取的URl给调度器，然后调度器，然后周而复始 直到需要爬取的url爬完。

　　写spider(爬虫)中需要注意的

　　1. name是必要参数，是scrapy爬虫的名字。domain域可选参数，可以没有，start_urls必要的参数，是指开始要爬取的url。

　　2. def parse(self,response) 这个函数是就这个名字，scrapy中定了的，是对响应文件做出处理的函数。

　　3. yield 生成器函数，生成一个新的函数，再对数据做出进一步处理 如：

　　ps：yield自己理解的也不是很清楚，见谅。

　　4. xpath中的.extract()方法：从一个列表中(脱壳)得到一个新的列表。一心得到标签里面的元素，以列表形式返回

　　(1)第一种

　　position = response.xpath(’./td[1]/a/text()’)[] 技术类 2 深圳 2018ps：没有extract()的时候，整个标签的东西都拿下来了。返回的是一个selector对象(2)第二种

　　position = response.xpath(’./td[1]/a/text()’).extract()[‘22989-腾讯云虚拟化高级研发工程师(深圳) 技术类 2 深圳 2018’]

　　(3)第三种

　　position=response.xpath‘./td[1]/a/text()’).extract[0]22989-腾讯云虚拟化高级研发工程师(深圳) 技术类 2 深圳 2018

　　scrapy写爬虫的步骤：

　　1. 新建项目：scrapy startproject <项目名>，创建爬虫 scrpay genspider <爬虫名> “爬取数据的域 如：www.cqggzy.com”

　　2. 明确自己需要爬取的数据，写items字段

　　3. 编写spider爬虫

　　4. 存储：编写管道文件

　　注意事项：

　　scrapy默认setting.py中管道文件是关闭的，需要打开，请求头在settings中最好将headers也打开，UserAgent最好修改全面一点。robots协议也可以改为False。