使用Python讀寫csv文件的三種方法

来源:https://www.cnblogs.com/cloud-ken/archive/2018/02/08/8432999.html
-Advertisement-
Play Games

Python讀寫csv文件 覺得有用的話,歡迎一起討論相互學習~ "Follow Me" 前言 逗號分隔值(Comma Separated Values,CSV,有時也稱為字元分隔值,因為分隔字元也可以不是逗號),其文件以純文本形式存儲表格數據(數字和文本)。純文本意味著該文件是一個字元序列,不含必 ...


Python讀寫csv文件

覺得有用的話,歡迎一起討論相互學習~Follow Me

前言

逗號分隔值(Comma-Separated Values,CSV,有時也稱為字元分隔值,因為分隔字元也可以不是逗號),其文件以純文本形式存儲表格數據(數字和文本)。純文本意味著該文件是一個字元序列,不含必須像二進位數字那樣被解讀的數據。CSV文件由任意數目的記錄組成,記錄間以某種換行符分隔;每條記錄由欄位組成,欄位間的分隔符是其它字元或字元串,最常見的是逗號或製表符。通常,所有記錄都有完全相同的欄位序列.

特點

  • 讀取出的數據一般為字元類型,如果是數字需要人為轉換為數字
  • 以行為單位讀取數據
  • 列之間以半形逗號或製表符為分隔,一般為半形逗號
  • 一般為每行開頭不空格,第一行是屬性列,數據列之間以間隔符為間隔無空格,行之間無空行

行之間無空行十分重要,如果有空行或者數據集中行末有空格,讀取數據時一般會出錯,引發[list index out of range]錯誤。PS:已經被這個錯誤坑過很多次!

使用python I/O寫入和讀取CSV文件

使用PythonI/O寫入csv文件

  • 以下是將"birthweight.dat"低出生體重的dat文件從作者源處下載下來,並且將其處理後保存到csv文件中的代碼。
import csv
import os
import numpy as np
import random
import requests
# name of data file
# 數據集名稱
birth_weight_file = 'birth_weight.csv'

# download data and create data file if file does not exist in current directory
# 如果當前文件夾下沒有birth_weight.csv數據集則下載dat文件並生成csv文件
if not os.path.exists(birth_weight_file):
    birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'
    birth_file = requests.get(birthdata_url)
    birth_data = birth_file.text.split('\r\n')
    # split分割函數,以一行作為分割函數,windows中換行符號為'\r\n',每一行後面都有一個'\r\n'符號。
    birth_header = birth_data[0].split('\t')
    # 每一列的標題,標在第一行,即是birth_data的第一個數據。並使用製表符作為劃分。
    birth_data = [[float(x) for x in y.split('\t') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]
    print(np.array(birth_data).shape)
    # (189, 9)
    # 此為list數據形式不是numpy數組不能使用np,shape函數,但是我們可以使用np.array函數將list對象轉化為numpy數組後使用shape屬性進行查看。
    with open(birth_weight_file, "w", newline='') as f:
    # with open(birth_weight_file, "w") as f:
        writer = csv.writer(f)
        writer.writerows([birth_header])
        writer.writerows(birth_data)
        f.close()

2018-02-08_163850

常見錯誤list index out of range

  • 其中我們重點需要講的是 with open(birth_weight_file, "w", newline='') as f: 這個語句。表示寫入csv文件,如果不加上參數 newline='' 表示以空格作為換行符,而是用 with open(birth_weight_file, "w") as f: 語句。則生成的表格中會出現空行。

2018-02-08_163623

  • 不僅僅是用python I/O進行csv數據的讀寫時,利用其餘方法讀寫csv數據,或者從網上下載好csv數據集後都需要查看其每行後有沒有空格,或者有沒有多餘的空行。避免不必要的錯誤~影響數據分析時的判斷。

使用PythonI/O讀取csv文件

  • 使用python I/O方法進行讀取時即是新建一個List 列表然後按照先行後列的順序(類似C語言中的二維數組)將數據存進空的List對象中,如果需要將其轉化為numpy 數組也可以使用np.array(List name)進行對象之間的轉化。
birth_data = []
with open(birth_weight_file) as csvfile:
    csv_reader = csv.reader(csvfile)  # 使用csv.reader讀取csvfile中的文件
    birth_header = next(csv_reader)  # 讀取第一行每一列的標題
    for row in csv_reader:  # 將csv 文件中的數據保存到birth_data中
        birth_data.append(row)


birth_data = [[float(x) for x in row] for row in birth_data]  # 將數據從string形式轉換為float形式


birth_data = np.array(birth_data)  # 將list數組轉化成array數組便於查看數據結構
birth_header = np.array(birth_header)
print(birth_data.shape)  # 利用.shape查看結構。
print(birth_header.shape)
#
# (189, 9)
# (9,)

使用Pandas讀取CSV文件

import pandas as pd

csv_data = pd.read_csv('birth_weight.csv')  # 讀取訓練數據
print(csv_data.shape)  # (189, 9)
N = 5
csv_batch_data = csv_data.tail(N)  # 取後5條數據
print(csv_batch_data.shape)  # (5, 9)
train_batch_data = csv_batch_data[list(range(3, 6))]  # 取這20條數據的3到5列值(索引從0開始)
print(train_batch_data)

#      RACE  SMOKE  PTL
# 184   0.0    0.0  0.0
# 185   0.0    0.0  1.0
# 186   0.0    1.0  0.0
# 187   0.0    0.0  0.0
# 188   0.0    0.0  1.0

使用Tensorflow讀取CSV文件

  • 本人在平時一般都是使用Tensorflow處理各類數據,所以對於使用Tensorflow讀取數據在此不過多的進行解釋。下麵貼上一段代碼,如果有不懂的地方可以看我原來的博客內容。

tf_train_shuffle_batch函數解析

Tensorflow簡單CNN實現

利用TFRecords存儲與讀取帶標簽的圖片

'''使用Tensorflow讀取csv數據'''
filename = 'birth_weight.csv'
file_queue = tf.train.string_input_producer([filename])  # 設置文件名隊列,這樣做能夠批量讀取文件夾中的文件
reader = tf.TextLineReader(skip_header_lines=1)  # 使用tensorflow文本行閱讀器,並且設置忽略第一行
key, value = reader.read(file_queue)
defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]]  # 設置列屬性的數據格式
LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)
# 將讀取的數據編碼為我們設置的預設格式
vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI])  # 讀取得到的中間7列屬性為訓練特征
vertor_label = tf.stack([BWT])  # 讀取得到的BWT值表示訓練標簽

# 用於給取出的數據添加上batch_size維度,以批處理的方式讀出數據。可以設置批處理數據大小,是否重覆讀取數據,容量大小,隊列末尾大小,讀取線程等屬性。
example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)

# 初始化Session
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 線程管理器
    threads = tf.train.start_queue_runners(coord=coord)
    print(sess.run(tf.shape(example_batch)))  # [10  7]
    print(sess.run(tf.shape(label_batch)))  # [10  1]
    print(sess.run(example_batch)[3])  # [ 19.  91.   0.   1.   1.   0.   1.]
    coord.request_stop()
    coord.join(threads)

'''
對於使用所有Tensorflow的I/O操作來說開啟和關閉線程管理器都是必要的操作
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 線程管理器
    threads = tf.train.start_queue_runners(coord=coord)
    #  Your code here~
    coord.request_stop()
    coord.join(threads)
'''

還有其他使用python讀取文件的各種方法,這裡介紹三種,不定期進行補充。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 使用內置函數 id( xx ) 獲取,返回結果以10進位格式表示 ...
  • hiernate4入門 【實戰】本文將講述hibernate4的入門,我寫是以實用入門為主,不作過多展開,我寫東西如果開頭標了實戰二字,必然會保證讀者能夠獲取源代碼並且能夠按要求做的話一定能跑起來,否則沒有意義。 【環境說明:】 jdk8,eclipse4.7,hibernate4.3.11,mys ...
  • 上一篇介紹了Servlet初始化,以及如何處理HTTP請求,實際上在這兩個過程中,都伴隨著Servlet的生命周期,都是Servlet生命周期的一部分。同時,由於Tomcat容器預設是採用單實例多線程的方式處理多個請求,這一特性就導致了線程安全問題的存在。因此,本篇主要講述Servlet生命周期與線 ...
  • 一、整體流程 1、客戶端註冊Watcher 2、服務端處理Watcher 3、客戶端回調Watcher 二、Watcher 通知狀態與事件類型 state type path WatcheEvent 只有三個屬性 state type path 不會告訴原始數據內容和更新內容,需要client再次主 ...
  • "minio java client" 使用okhttp作為底層的http實現,在產品包裡面區域網上傳文件的速度一直只有400~800KB/s,經過一天排查發現是 禁用了即時編譯導致。 發現問題的場景 minio java的使用架構圖是這樣的: [Minio Server] ...
  • Python擅長的領域: WEB開發:Django\pyramid\Tornado\Bottle\Flask\WebPy網路編程:Twisted\Requests\Scrapy\Paramiko科學運算:SciPy\Pandas\IpythonGUI圖形開發:wxPythin\PyQT\Kivy運維 ...
  • 1.1 基於UDP協議實現簡單的套接字通信 udp是無鏈接的,先啟動哪一端都不會報錯 udp套接字簡單示例 1.1.1.1 客戶端: from socket import * client=socket(AF_INET,SOCK_DGRAM) #數據報協議,創建一個客戶的套接字 while True ...
  • 在python中,可以使用try...except語句來處理異常。做法是,把可能引發異常的語句放在try 塊中,把處理異常的語句放在except 塊中。 當程式在try內部打開文件引發異常時,會跳過try中剩下的代碼,直接跳轉到except中的語句處理異常。於是輸出了“File not exists ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...