crawler spider中如何处理starturl中的url返回的response

收藏
crawlspider starturls
3
Feb 19, 2018

    我们在使用crawler spider中时候,starturl返回的response一般都是用来提取url链接的,但是我们有时候需要还处理返回的response数据

回答

MrSun回答

解决方法:

crawlspider 为我提供了一个方法,所以我们重写parse_start_url(response)方法即可,但是需要注意处理完成后的返回值

(0)

提交成功