【scipy 基礎】--稀疏矩陣

来源:https://www.cnblogs.com/wang_yb/archive/2023/11/23/17850740.html
-Advertisement-
Play Games

稀疏矩陣是一種特殊的矩陣,其非零元素數目遠遠少於零元素數目,並且非零元素分佈沒有規律。這種矩陣在實際應用中經常出現,例如在物理學、圖形學和網路通信等領域。 稀疏矩陣其實也可以和一般的矩陣一樣處理,之所以要把它區分開來進行特殊處理,是因為:一方面稀疏矩陣的存儲空間開銷通常比稠密矩陣要小得多,可以節省存 ...


稀疏矩陣是一種特殊的矩陣,其非零元素數目遠遠少於零元素數目,並且非零元素分佈沒有規律。
這種矩陣在實際應用中經常出現,例如在物理學、圖形學和網路通信等領域。

稀疏矩陣其實也可以和一般的矩陣一樣處理,之所以要把它區分開來進行特殊處理,是因為:
一方面稀疏矩陣存儲空間開銷通常比稠密矩陣要小得多,可以節省存儲空間;
另一方面,在計算稀疏矩陣時,可以利用其特殊的結構,採用專門的演算法,提高計算效率和準確性。
因此,稀疏矩陣Scipy庫中被單獨作為一個模塊,以便被更好地處理和應用。

1. 主要功能

稀疏矩陣子模塊(scipy.sparse)的主要功能包括:

類別 說明
稀疏數組類 支持各種格式的稀疏數組
稀疏矩陣類 支持各種格式的稀疏矩陣
稀疏矩陣工具 構建,保存,載入以及識別稀疏矩陣的各種函數
其他 包含壓縮稀疏圖常式,稀疏線性代數等子模塊,以及一些異常處理方法

這裡有個需要註意的地方是稀疏數組稀疏矩陣的區別。
這兩個類別中的很多函數名稱也類似,比如:bsr_arraybsr_matrixcoo_arraycoo_matrix等等。

只要區別在於:
***_matrix類的函數是一種基於Compressed Sparse Row(CSR)和Compressed Sparse Column(CSC)格式的塊稀疏矩陣表示方法。
它使用一個字典來存儲非零元素,其中每個元素對應於一個包含三個值的元組,分別表示該元素的行索引、列索引和非零元素的值。
這種數據結構可以提供更好的計算性能和記憶體使用效率,特別適合於大規模的塊稀疏矩陣計算。

***_array 類的函數雖然類似於***_matrix的數據結構,但它允許更大的靈活性。
***_array 可以表示任意的稀疏數組,而不僅僅是塊稀疏矩陣。
它使用一個具有三個數組的元組來表示稀疏數組,其中第一個數組存儲行索引,第二個數組存儲列索引,第三個數組存儲非零元素的值。
這種數據結構適用於更通用的稀疏數組計算,但可能不如***_matrix高效。

總之,***_matrix***_array都是用於表示塊稀疏矩陣或稀疏數組的數據結構。
***_matrix更適合於大規模的塊稀疏矩陣計算,而***_array適用於更通用的稀疏數組計算。

2. 使用示例

稀疏矩陣之所以成為單獨的一個模塊,是因為它的稀疏的特性在很多領域多有廣泛的應用。
scipy.sparse子模塊中提供了大概7種

  1. csc_matrix: 壓縮稀疏列格式(Compressed Sparse Column)
  2. csr_matrix: 壓縮稀疏行格式(Compressed Sparse Row)
  3. bsr_matrix: 塊稀疏行格式(Block Sparse Row)
  4. lil_matrix: 列表格式的列表(List of Lists format)
  5. dok_matrix: 鍵格式字典(Dictionary of Keys)
  6. coo_matrix: 坐標格式(又名 IJV,三元組格式)
  7. dia_matrix: 對角線格式(DIAgonal format)

2.1. 使用稀疏矩陣

稀疏矩陣其實在運算上和使用普通矩陣一樣。
首先,構造一個創建矩陣的方法create_matrix,這個方法會生成一個10x10的矩陣,
方法的參數N表示隨機在矩陣的N個位置中生成值。

from scipy import sparse
import numpy as np

# 創建一個10x10矩陣,其中有值的元素不超過N個
def create_matrix(N):
    data = np.zeros((10, 10))

    for _ in range(N):
        row = np.random.randint(0, 10, 1)
        col = np.random.randint(0, 10, 1)
        data[row, col] = np.random.randint(1, 100, 1)

    return data

create_matrix創建的是普通矩陣,我們將生成的矩陣轉換為稀疏矩陣後,計算方式差不多。

# 創建兩個普通矩陣
m1 = create_matrix(8)
m2 = create_matrix(6)

# 計算點積
m1.dot(m2) # 返回m1和m2的點積結果

# 將普通矩陣變為稀疏矩陣
#(這裡的演示用了7種類型中的一種bsr)
d1 = sparse.bsr_matrix(m1)
d2 = sparse.bsr_matrix(m2)

# 計算點積後,用toarray方法轉換為二維數組
d1.dot(d2).toarray()

從上面的代碼可以看出,用scipy.sparse中的稀疏矩陣和使用一般矩陣差不多。

2.2. 稀疏矩陣的性能

我們使用稀疏矩陣,就是因為其運算性能比使用一般矩陣強,否則還不如直接用一般矩陣。
下麵,簡單測試下scipy.sparse模塊下稀疏矩陣的性能。

先看其記憶體占用是否有減少,為了讓性能差別能顯著看出,
先擴大測試矩陣為 1000x1000

import sys

def create_matrix(N):
    data = np.zeros((1000, 1000))

    for _ in range(N):
        row = np.random.randint(0, 1000, 1)
        col = np.random.randint(0, 1000, 1)
        data[row, col] = np.random.randint(1, 100, 1)

    return data

m1 = create_matrix(8)
m2 = create_matrix(6)

d1 = sparse.csr_matrix(m1)
d2 = sparse.csr_matrix(m2)

print("一般矩陣 m1 占用的空間:{}".format(sys.getsizeof(m1)))
print("一般矩陣 m2 占用的空間:{}".format(sys.getsizeof(m2)))
print("一般矩陣 d1 占用的空間:{}".format(sys.getsizeof(d1)))
print("一般矩陣 d2 占用的空間:{}".format(sys.getsizeof(d2)))
# 運行結果:
一般矩陣 m1 占用的空間:8000128
一般矩陣 m2 占用的空間:8000128
一般矩陣 d1 占用的空間:56
一般矩陣 d2 占用的空間:56

可以看出占用的空間明顯縮小了。

再看點積的運算性能:(運行10輪,每輪100次)

%%timeit -r 10 -n 100
m1.dot(m2)
# 運行結果:
10.6 ms ± 136 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)

稀疏矩陣的點積運算:

%%timeit -r 10 -n 100
d1.dot(d2)
# 運行結果:
137 µs ± 14.3 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)

可以看出,運算性能差別非常大,一個是毫秒級別10.6ms)的,一個是微秒級別137 µs)的。

3. 總結

稀疏矩陣在矩陣中只是一種特殊的矩陣,然而在實際應用領域中,卻應用極廣,比如:
數值計算中,可以用於解決大規模線性代數方程組、大規模非線性方程組和非線性優化問題,以及求解大規模約束規劃問題。

模式識別中,如人臉識別、手寫數字識別、文本分類等任務,可用於表示高維數據,提取特征併進行降維,提高識別準確率和計算效率。

推薦系統中,處理大量用戶和物品的數據時,稀疏矩陣可以有效地表示這些數據。

社交網路中,因為一般社交關係都是稀疏的,所以可用於分析社交網路的結構和行為,例如社區檢測、影響力傳播。

此外,還可以用在電腦視覺自然語言處理生物信息學等等領域。
所以,研究稀疏矩陣有其重要的實際意義。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在數據處理和報告生成的領域中,Excel 文件一直是廣泛使用的標準格式。為了讓 Python 開發者能夠輕鬆創建和修改 Excel 文件,XlsxWriter 庫應運而生。XlsxWriter 是一個功能強大的 Python 模塊,專門用於生成 Microsoft Excel 2007及以上版本(.... ...
  • 函數式(Functional)介面 只包含一個抽象方法的介面,稱為函數式介面。 你可以通過Lambda表達式來創建該介面的對象。(若Lambda表達式拋出一個受檢異常(即:非運行時異常),那麼該異常需要在目標介面的抽象方法上進行聲明 我們可以在一個介面上使用@Functionallnterface註 ...
  • 問題出現的前提 keycloak通過k8s部署,併進行了集群部署,共2個節點 通過功能變數名稱解析後,直接到外網LB,在LB上配置了k8s-ingress的IP,埠是80和443 在keycloak應用的ingress配置中,對功能變數名稱進行了keycloak服務的綁定 問題的描述 有時間無法完成登錄,點登錄後 ...
  • 介紹了Spring的高級註解,包括@Configuration註解替代XML配置文件、@Bean註解創建和註入Bean、@ComponentScan註解進行註解掃描,配置Bean的底層實現原理等 ...
  • java三種類型的加減,LocalDate、Calendar、Date @目錄1.LocalDate類型加減:2.Calendar加減:3.Date類型加減 1.LocalDate類型加減: 以下是LocalDate類進行日期加減: import java.time.LocalDate; impor ...
  • Date類: 1.1、將字元串型時間日期轉化為date類型 String timeString = "2023-11-17 09:27:00"; SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); //創建"簡單時間 ...
  • SCM(Service Control Manager)服務管理器是 Windows 操作系統中的一個關鍵組件,負責管理系統服務的啟動、停止和配置。服務是一種在後臺運行的應用程式,可以在系統啟動時自動啟動,也可以由用戶或其他應用程式手動啟動。本篇文章中,我們將通過使用 Windows 的服務管理器(... ...
  • 這一篇內容可能相對較少,但是迭代器在Java中是有用處的。因此,我想介紹一下Python中迭代器的使用方法。除了寫法簡單之外,Python的迭代器還有一個最大的不同之處,就是無法直接判斷是否還有下一個元素。我們只能通過捕獲異常或使用for迴圈來退出迭代,這點讓我感到十分驚訝。 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...