在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件，可以让 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis 数据库因为 redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis 的分布式爬虫，对请求和数据的高频读取效率非常高。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
Python面试题 scrapy 框架运行的机制？
下一篇：
Python应该怎么学？学习python有技巧吗？
相关推荐 更多
Python开发中给定两个列表怎么找出相同元素和不同元素?
Python开发中给定两个列表怎么找出他们相同元素和不同元素?相同元素：print(set1&set2)；不同元素：print(set1^set2)
12275
2019-06-28 14:18:46
Python开发岗位求职面试常见问题集锦（二）
Python是目前国内外广受关注的编程语言之一。因此很多朋友选择学习python编程语言，而再人才大量涌入这个行业的同时，企业有了更多的选择性，对求职者的筛选也越来越严格。如果没有充分准备就去面试，很容易遭遇碰壁。那如何才能增加自己面试成功的几率呢？……
8640
2019-06-28 18:21:33
Python工程师常见面试题集锦--网络编程（1）
自从互联网诞生以来，基本上所有的程序都属于网络程序，也就需要设计到网络编程，在python中，就是在python程序本身这个进程内，链接别的服务器进程的通信端口进行通信。在Python程序员找工作的时候，京城被问到关于网络编程的问题。下面就和大家分享一下那些面试中经常出现的问题吧。
8300
2019-08-14 10:20:04
Python面试题 Tornado的核心是什么？
Tornado 的核心是 ioloop 和 iostream 这两个模块，前者提供了 一个高效的 I/O 事件循环，后者则封装了 一个无阻塞的 socket 。 通过向 ioloop 中添加网络 I/O 事件，利用无阻塞的 socket ，再搭配相应的回调函数，便可达到梦寐以求的高效异步执行。
10558
2019-07-02 17:43:40
Python爬虫框架有哪些？
在大数据时代，掌握数据就掌握了企业发展的方向。爬虫作为抓取互联网数据的一个途径，成为企业需求量非常大的岗位之一。一般情况下小型的爬虫需求直接使用request库+BS4就可以解决了。稍微复杂一点的可以使用selenium解决JS的异步加载问题。而如果遇到大型的爬虫需求，则需要考虑使用框架了。下面我们来一起学习以及各框架。
8139
2019-07-15 17:57:58
