在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据开发工程师需要了解的热门技术
目前大数据、人工智能、区块链已经成为未来互联网核心的发展趋势。人工智能技术还未成熟，而区块链的落地应用也缺乏市场的支撑，而大数据技术已经逐渐融入到各行各业，对于大数据开发工程师而言，哪些技术是受欢迎的？应该注重哪些方面技术的学习？
5613
2019-12-10 18:47:11
大数据带你看疫情热词分析
今年注定是极其不平凡的一年，在新年的起初，一场来势汹汹的新冠肺炎打破了许多人平静幸福的生活。封城封路，延迟开工，被隔离在家的大众每天都心系疫情的发展状况，因此关于疫情的信息也屡屡冲上热搜。本文对热搜的疫情热词进行了统计分析，下面大数据带你一起来看看疫情热词分析吧！
12106
2020-02-26 16:23:49
什么是数据科学异常值检测原理？
什么是数据科学异常值检测原理？异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等。使用pandas，可以直接使用describe()来观察数据的统计性描述，或者简单使用散点图也能很清晰的观察到异常值的存在。
7321
2020-03-20 16:21:07
大数据智能与人工智能的联系和区别
现在进入了互联网时代，提出人工智能概念，人工智能已经在多个领域中实践，比如无人驾驶、图像识别、语音识别等领域。大数据不断采集、沉淀、分类等积累数据，人工智能基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现。
6503
2020-07-27 16:48:30
10月数据库排行榜出炉，火速围观！
十月份的数据库榜单出炉啦！DB-Engines最近发布了2021年10月份的数据库排名，网站是根据数据库管理系统当前的流行程度进行排名，排名每月更新一次。这份榜单分析主要为数据库相关从业人员提供一个技术方向的参考，其中数据库排名情况并非依据产品市场占有率等因素。
3642
2021-10-19 18:27:08
