文件的讀取

在做數據分析的過程中，經常會遇到文件的讀取。我想很多人都在這個環節遇到過問題，所以就把自己掌握的一些文件讀取方法記錄下來，以及過程中遇到的一些狀況和解決方法列出來，以便交流。

open

open() 函數用於創建或打開指定文件，該函數的語法格式如下：

file = open(file_name [, mode[, buffering]])

參數說明：

• file：表示要創建的文件對象。
• file_name：要創建或打開文件的文件名稱。
• mode：可選參數，用於指定文件的打開模式。預設以只讀（r）模式打開文件。
• buffing：可選參數，用於指定對文件做讀寫操作時，是否使用緩衝區。如果 buffering 的值被設為 0，就不會有寄存。如果 buffering 的值取 1，訪問文件時會寄存行。如果將 buffering 的值設為大於 1 的整數，表明瞭這就是的寄存區的緩衝大小。如果取負值，寄存區的緩衝大小則為系統預設。

不同模式打開文件的完全列表：

基本用法如下：

f = open('filename', 'r')
print(f.read())
f.close()  # 釋放文件

簡易寫法：with語句結束會自動關閉文件

with open('filename', 'r') as f:
    print(f.read())

file 對象方法

• file.read([size])：size 未指定則返回整個文件，如果文件大小 >2 倍記憶體則有問題，f.read()讀到文件尾時返回""(空字串)。

• file.readline()：返回一行。

• file.readlines([size]) ：返回包含size行的列表, size 未指定則返回全部行。

• for line in f: print(line) ：通過迭代器訪問。

• f.write("hello\n")：如果要寫入字元串以外的數據,先將他轉換為字元串。

• f.tell()：返回一個整數,表示當前文件指針的位置(就是到文件頭的比特數)。

• f.seek(偏移量,[起始位置])：用來移動文件指針。

  • 偏移量: 單位為比特，可正可負
  • 起始位置: 0 - 文件頭, 預設值; 1 - 當前位置; 2 - 文件尾

• f.close() 關閉文件

文件的編碼問題

在讀取文件的時候，容易出現編碼問題，例如：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 0: invalid start byte

這是因為open()函數在讀取文件時預設使用utf-8編碼，當文件編碼不匹配時，就會報類似上面的編碼錯誤。這時可以通過指定編碼類型來解決，例如：

with open('filename', 'r', encoding='gbk') as file: 
    file.read()

大文件的讀取技巧

python讀取文件一般情況是利用open()函數以及read()函數來完成，但這種方法適用於讀取小文件，因為read()函數會將數據讀入記憶體。當需讀取文件大於記憶體的大小時，會造成MemoryError，也就是發生記憶體溢出。所以需要一定的技巧來實現大文件的讀取。

解決方法：

（1）read(參數)：通過參數指定每次讀取的大小長度，迴圈讀取

with open('filename','r') as file:
    while True:
        block = file.read(1024)
        if not block:
            break

（2）readline()：每次獲取一行數據

with open('filename','r') as file:
    for line in file.readline():
        pass    # 對應操作

（3）對可迭代對象file進行迭代，這樣會自動的使用buffered IO以及記憶體管理

with open('filename','r') as file:
    for line in file:
        pass    #   對應操作

json

當我們讀取的文件是Json格式的時候，利用json包可以方便的將數據轉換為python的字典格式

Json模塊提供了四個功能：dumps、dump、loads、load

• dumps把數據類型轉換成字元串
• dump把數據類型轉換成字元串並存儲在文件中
• loads把字元串轉換成數據類型
• load把文件打開從字元串轉換成數據類型

示例，將一個字元串轉換為字典：

import json
string = '{"name":"張三", "age":24}'
dict1 = json.loads(string)