pandas读取超大文件

pandas读取大于内存的文件

方法1, 设置chunksize, 分块读取

chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

方法2, 使用iterator, 但是也需要设置chunksize

chunkSize = 10 ** 6
reader = pd.read_csv(filename, iterator=True)
while True:
    try:
        chunk = reader.get_chunk(chunkSize)
        process(chunk)
    except StopIteration:
        break

相比较而言, 第一种方法更简介一些, 推荐使用

参考连接

1. https://stackoverflow.com/a/25962187
2. https://blog.csdn.net/u012347642/article/details/78555132