【5.10】python 读取大文件越来越慢

一、python读文件效率变低的原因

1.GC 的问题,有篇文章里面写,python list append 的时候会越来越慢,解决方案是禁止GC

使用 gc.disable()和gc.enable()

2.能是因为 git 导致的,因为append 的时候 git 会不断同步,会出问题,于是删除 .git 文件夹,结果还是不行。

3.dict 的 in dict.key(),判断 key 是否在 dict 里面,这个的效率是非常低的

in、 in dict.keys()、 has_key() 方法实战对比:

>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

二、我的案例

将in dict.keys() 改成了 in dick ,然后速度就嗖嗖的,快的简直我不敢相信。。

参考资料

https://www.cnblogs.com/hank-yan/articles/8660162.html

个人公众号,比较懒,很少更新,可以在上面提问题,如果回复不及时,可发邮件给我: tiehan@sina.cn

Sam avatar
About Sam
专注生物信息 专注转化医学