在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Python爬虫一般用什么框架比较好?一般来讲,只有在遇到比较大型的需求时,才会使用Python爬虫框架。这样的做的主要目的,是为了方便管理以及扩展。本文将向大家推荐十个Python爬虫框架,它们分别是Scrapy、Crawley、Portia、newspaper、python-goose、Beautiful Soup、mechanize、selenium、cola和PySpider。
1、Scrapy:Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架,可以满足简单的页面爬取,比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如weibo的页面信息,这个框架就满足不了需求了。它的特性有:HTML, XML源数据 选择及提取 的内置支持;提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders),对智能处理爬取数据提供了内置支持。
2、Crawley:高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等。
3、Portia:是一个开源可视化爬虫工具,可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面,Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲,它是基于scrapy内核;可视化爬取内容,不需要任何开发专业知识;动态匹配相同模板的内容。
4、newspaper:可以用来提取新闻、文章和内容分析。使用多线程,支持10多种语言等。作者从requests库的简洁与强大得到灵感,使用python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。
5、python-goose:java写的文章提取工具。Python-goose框架可提取的信息包括:文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
6、Beautiful Soup:名气大,整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。
7、mechanize:它的优点是可以加载JS。当然它也有缺点,比如文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
8、selenium:这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。Selenium是自动化测试工具,它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果在这些浏览器里面安装一个 Selenium 的插件,可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。Selenium支持多种语言开发,比如 Java,C,Ruby等等,PhantomJS 用来渲染解析JS,Selenium 用来驱动以及与 Python 的对接,Python 进行后期的处理。
9、cola:是一个分布式的爬虫框架,对于用户来说,只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。项目整体设计有点糟,模块间耦合度较高。
10、PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。python 脚本控制,可以用任何你喜欢的html解析包。
以上就是Python爬虫一般用的十大主流框架。这些框架的优缺点都不同,大家在使用的时候,可以根据具体场景选择合适的框架。对于学习“Python爬虫如何和抓取页面数据”有兴趣的小伙伴,可以来博学谷报名在线学习课程。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Python图像处理工具推荐附用法介绍
今天小编要向大家推荐五款Python图像处理工具,分别是scikit-image、 Numpy、Scipy、 PIL/ Pillow和OpenCV-Python。并且还会介绍这五款工具的用法,有需求的小伙伴赶紧看下去吧!
8106
2019-08-05 17:03:03
Python容器可以存储哪些类型数据?
Python容器可以存储哪些类型数据?一般可以储存四种数据类型,即list(列表)、tuple(元组)、set(集合)和dict(字典)。下面为大家详细介绍分析Python容器的存储数据类型,这些也是大家在学习Python编程基础所必须掌握的知识点,还不了解的小伙伴赶紧接着看下去吧!
9511
2019-10-23 16:17:39
新冠肺炎数据可视化分析
数据可视化作为数据分析的重要手段,可以让我们更直观的了解数据,这也是为什么数据可视化大行其道的原因。相信大家现在一定十分好奇如何进行数据可视化分析,本文就来向大家介绍博学谷的免费课程《新型冠状肺炎数据可视化分析》,在该课程中会用高级讲师向大家层层解析利用Pandas对新冠肺炎进行数据可视化分析,下面一起来看看吧!
8016
2020-03-13 11:19:16
爬虫应用场景的利弊分析
相信大家在春节的时候都有过抢火车票的经历,对一些抢票软件一定不会感到陌生。今天我们就来从技术的角度,来看看抢票软件背后的东西——爬虫。通俗点说,爬虫就是模拟人的行为去各个网站溜达,并把看到的信息背回来的探测机器。如今随着网络和大数据的发展,爬虫的应用场景变得越来越广泛,下面我们就一起来分析一下爬虫应用场景的利弊吧!
7888
2020-04-15 10:51:25
如何修改goods表结构?怎么操作?
如何修改goods表结构?怎么操作?修改表结构可以使用: alter table语句,多个修改字段之间使用逗号分隔,使数据库中表的字段名称标准化便于查找。
3067
2022-01-25 10:21:06