在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据是什么？有什么巨大价值？
随着市场经济的不断发展以及互联网科技的快速提升，信息流通的价值也越来越大，马云曾指出我们即将进入DT的时代。因此大数据成为炙手可热的关键因素。大数据更像是矿藏，不只是因为他的量大，而更在于这些数据背后所带来的的价值以及利益。那大数据到底是什么？他的背后隐含着什么样的巨大价值呢？
7319
2019-08-09 18:04:03
参加大数据培训能找哪些工作？需要具备什么技能？
马云说我们进入了date时代。数据经代替大部分经验成为企业发展的指导准则。对于我们个体而言，首先我们的日常行为以及记录都是大数据的一部分。与此同时面对大数据的发展我们也有了更多的职业机会。因此很多小伙伴纷纷进入大数据培训学校，深化学习大数据技术。那现在参加大数据培训能找哪些工作？分别需要什么技能呢？
8054
2019-07-09 17:03:42
大数据在电子商务的应用有哪些？
我们身处在一个大数据时代，随着近几年来，互联网服务的飞速发展,国内的互联网三大巨头之一的阿里，从好几年前就开始引入了大数据进行电子商务决策。那么到底大数据在电子商务的应用有哪些？具体来讲，电子商务行业的大数据应用有以下几个方面：精准营销、个性化服务、商品个性化推荐。
16373
2019-07-23 19:21:20
大数据应用技术的发展方向分析
如今，大数据的应用对企业公司以及个人都产生了深远影响，本文就来预测一下大数据应用技术的发展方向。可以预见的是，数据资产管理、数据资产管理、AI驱动的数据基础设施、面向AI的分布式计算框架和数据安全这些都将成为大数据应用技术的发展方向。对大数据应用技术感兴趣的小伙伴，可以接着往下看小编的的详细分析。
6331
2019-10-29 17:24:18
数据挖掘的步骤有哪些？
所谓数据挖掘就是从海量的数据中，找到隐藏在数据里有价值的信息。因为这个数据是隐式的，因此想要挖掘出来并不简单。那么，如何进行数据挖掘呢？数据挖掘的步骤有哪些呢？一般来讲，数据挖掘需要经历数据收集、数据可视化、数据预处理、准备模型输入以及训练模型五大步骤，下面让我们来详细分析一下吧！
5475
2020-08-10 15:32:38
