全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

python如何读取大文件

发布时间:2022-08-17 17:33:27
发布人:qyf

python如何读取大文件

  可以通过两种方法利用python读取大文件:第一种是利用yield生成器读取;第二种是:利用open()自带方法生成迭代对象,这个是一行一行的读取。

  1、利用yield生成器读取

  def readPart(filePath, size=1024, encoding="utf-8"):

  with open(filePath,"r",encoding=encoding) as f:

  while True:

  part = f.read(size)

  if part:

  yield part

  else:

  return None

  filePath = r"filePath"

  size = 2048 # 每次读取指定大小的内容到内存

  encoding = 'utf-8'

  for part in readPart(filePath,size,encoding):

  print(part)

  # Processing data

  2、利用open()自带方法生成迭代对象,这个是一行一行的读取

  with open(filePath) as f:

  for line in f:

  print(line)

  # Processing data

  更多关于“Python培训”的问题,欢迎咨询千锋教育在线名师。千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,千锋教育随时欢迎你来试听。

相关文章

强化学习中on-policy与off-policy有什么区别?

强化学习中on-policy与off-policy有什么区别?

2023-10-14
为什么交叉熵可以用于计算代价?

为什么交叉熵可以用于计算代价?

2023-10-14
开发网上平台的大概流程有什么?

开发网上平台的大概流程有什么?

2023-10-14
脚本语言和编程语言有什么区别?

脚本语言和编程语言有什么区别?

2023-10-14

最新文章

常见网络安全面试题:Windows常用的命令有哪些?

常见网络安全面试题:Windows常用的命令有哪些?

2023-10-09
常见网络安全面试题:根据设备告警如何展开排查?

常见网络安全面试题:根据设备告警如何展开排查?

2023-10-09
常见网络安全面试题:mysql加固呢?(数据库加固)

常见网络安全面试题:mysql加固呢?(数据库加固)

2023-10-09
常见网络安全面试题:windows和linux加固?(操作系统加固)

常见网络安全面试题:windows和linux加固?(操作系统加固)

2023-10-09
在线咨询 免费试学 教程领取