在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题 scrapy 框架运行的机制？从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据 scrapy 的流程图，描述出五大组件、两个中间件，以及完成一个请求的流程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python工程师常见面试题集锦--网络编程（2）
下一篇：
Python面试题scrapy和scrapy-redis的区别是什么？
相关推荐 更多
Python开发中给定两个列表怎么找出相同元素和不同元素?
Python开发中给定两个列表怎么找出他们相同元素和不同元素?相同元素：print(set1&set2)；不同元素：print(set1^set2)
12380
2019-06-28 14:18:46
Python开发的内存管理机制及调优手段？
Python 的内存管理机制及调优手段？Python内存管理机制：引用计数、垃圾回收、内存池。垃圾回收 ：引用计数、标记清除、分代回收。引用计数进行高效的内存管理手段。调优手段：手动垃圾回收、调高垃圾回收阈值、避免循环引用。
7218
2019-06-28 14:59:42
Python开发的魔法方法总结
Python开发的魔法方法总结：魔法方法就是可以给你的类增加魔力的特殊方法， __init__ 构造器，__new__才是实例化对象调用的第一个方法，__call__ 允许一个类的实例像函数一样被调用。
6570
2019-07-01 15:55:02
Python爬虫框架有哪些？
在大数据时代，掌握数据就掌握了企业发展的方向。爬虫作为抓取互联网数据的一个途径，成为企业需求量非常大的岗位之一。一般情况下小型的爬虫需求直接使用request库+BS4就可以解决了。稍微复杂一点的可以使用selenium解决JS的异步加载问题。而如果遇到大型的爬虫需求，则需要考虑使用框架了。下面我们来一起学习以及各框架。
8232
2019-07-15 17:57:58
Python 函数默认返回None原因是什么？
Python 函数默认返回None原因：定义的函数没有返回值，Python 解释器就会强行地默认给注入一段返回逻辑！实际上 Python 中有很多行为都是隐性的。
6523
2020-08-19 15:29:51
