《Python高性能編程》——列表、元組、集合、字典特性及創建過程

来源:https://www.cnblogs.com/shangmo/archive/2018/05/27/9098106.html
-Advertisement-
Play Games

這裡的內容僅僅是本人閱讀《Python高性能編程》後總結的一些知識,用於自己更好的瞭解Python機制。本人現在並不從事計算密集型工作:人工智慧、數據分析等。僅僅只是出於好奇而去閱讀這本書。很多人因為Python不能同時使用多顆CPU(全局解釋器鎖GIL),而覺得它不能實現高性能。書中有很多介紹避開 ...


  這裡的內容僅僅是本人閱讀《Python高性能編程》後總結的一些知識,用於自己更好的瞭解Python機制。本人現在並不從事計算密集型工作:人工智慧、數據分析等。僅僅只是出於好奇而去閱讀這本書。很多人因為Python不能同時使用多顆CPU(全局解釋器鎖GIL),而覺得它不能實現高性能。書中有很多介紹避開GIL或者Python虛擬機的方式,例如Cython,PyPy等。

首先我們要說一下時間複雜度,可以幫助我們理解CPython編譯器怎麼幹活:

時間複雜度

  在描述演算法複雜度時,經常用到o(1), o(n), o(logn), o(nlogn)來表示對應演算法的時間複雜度, 這裡進行歸納一下它們代表的含義:   這是演算法的時空複雜度的表示。不僅僅用於表示時間複雜度,也用於表示空間複雜度。O後面的括弧中有一個函數,指明某個演算法的耗時/耗空間與數據增長量之間的關係。其中的n代表輸入數據的量。比如時間複雜度為O(n),就代表數據量增大幾倍,耗時也增大幾倍。比如常見的遍歷演算法。再比如時間複雜度O(n^2),就代表數據量增大n倍時,耗時增大n的平方倍,這是比線性更高的時間複雜度。比如冒泡排序,就是典型的O(n^2)的演算法,對n個數排序,需要掃描n×n次。再比如O(logn),當數據增大n倍時,耗時增大logn倍(這裡的log是以2為底的,比如,當數據增大256倍時,耗時只增大8倍,是比線性還要低的時間複雜度)。二分查找就是O(logn)的演算法,每找一次排除一半的可能,256個數據中查找只要找8次就可以找到目標。O(nlogn)同理,就是n乘以logn,當數據增大256倍時,耗時增大256*8=2048倍。這個複雜度高於線性低於平方。歸併排序就是O(nlogn)的時間複雜度。 O(1)就是最低的時空複雜度了,也就是耗時/耗空間與輸入數據大小無關,無論輸入數據增大多少倍,耗時/耗空間都不變。 哈希演算法就是典型的O(1)時間複雜度,無論數據規模多大,都可以在一次計算後找到目標(不考慮衝突的話)   列表和元組   1、列表是動態數組,它們可變且可以重設長度(改變其內部元素個數)。 2、元組是靜態的數組,它們不可變,且其內部數據一旦創建便無法改變。 3、元組緩存與Python 運行時環境,這以為著我們每次使用元組都無需訪問內核去分配記憶體。   當創建的數據量及,達到百萬千萬級以上,合併多個元組,會比一個列表占用更少的空間。   列表在進行append()操作時,會Copy原列表,創建一個更大的列表,然後銷毀原列表。在append時,編譯器會預創建一部分數據空間,用於以後的添加。 元組在進行合併操作(+)時,會創建一個新的元組,然後銷毀舊的元組,元組數據集前後不會發生改變   字典和集合   字典和集合適合於存儲能夠被索引的數據。當你在使用字典和集合處理可以索引的數據時它的時間複雜度是O(1),但是對於那些不能被索引的數據是徒勞無功的。     字典與集合在CPython創建時,會像系統申請定量記憶體塊預設最小長度是8,每次改變大小增加到原來的4倍。每次插入數據時會生成索引(二進位數),會在申請的記憶體存儲塊中隨機插入,如果目標存儲塊已有數據,那就換個位置,這叫做散列碰撞。   由於字典與集合在插入數據不是每一次都會擴增集合體積,所以會比列表效率高效、省記憶體空間。雖然會有散列碰撞,但是每次散列碰撞都是二進位數的比較。   集合:在對一批數據進行去重時,不如把這批數據放入集合中。因為在你使用列表存儲這批數據時,你需要手動判斷是否重覆,而且列表會預創建空桶用於存接下來的數據。而集合是一個純Key的數組,裡面的數據時唯一的。   字典:是key:value的形式存儲   散列函數:在散列函數中會對字典和列表生成二進位數作為掩碼(可以理解為索引,因為在插入、查詢時是依靠這個值)。     應該有一種——而且最好只有唯一的一種——明顯的方式去完成它。雖然這種方式可能一開始並不明顯,除非你是荷蘭人。 ——Tim Peters Python之禪 使用Python的目的是快速實現功能,且代碼能夠穩定運行。至於優化,所花費的時間可能是產品初創到誕生的數倍時間。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近兄弟團隊讓我去幫忙優化兩個頁面,前端用的react全家桶,後端用的python,上一次寫react代碼都過去一年了,順著以前的的學習思路,再捋順一下react的要點 組件的生命周期就是Reac的工作過程,就好比人有生老病死,自然界有日月更替,每個組件在網頁中也會有被創建、更新和刪除,如同有聲明的 ...
  • 可以利用js中函數的閉包進行封裝 通常我們可以用下麵這種方法進行一個封裝,這樣在外部引入我們寫的這個js文件後,就可以直接使用export.getUserId()這種形式去調用該函數 上面寫法等價於下麵這一種,下麵可能更易於理解,但都差不多,這樣就進行了封裝然後在其他地方就可以通過window的全局 ...
  • 工廠方法模式 簡單工廠類 簡單工廠模式屬於創建型模式,又稱靜態工廠方法(Static factory method)模式。其是由一個工廠對象決定創建出哪一種產品類的實例,可理解為不同工廠模式的一個特殊實現。 上述代碼對於修改開放了,違反了開放封閉原則。故而引出工廠方法模式,去解決這樣的矛盾。 GOF ...
  • 引言 之前就瞭解過kafka,看的似懂非懂,最近項目組中引入了 "kafka" ,剛好接著這個機會再次學習下。 Kafka在很多公司被用作分散式高性能消息隊列,kafka之前我只用過redis的list來做簡單的隊列處理,也還算好用,可能數據量比較小,也是單機運行,未出現過問題,用作輕量級消息隊列還 ...
  • 將springMVC進行了進一步的封裝。讓開發者更容易。 ...
  • Java開源生鮮電商平臺-團購模塊設計與架構(源碼可下載) 說明:任何一個電商系統中,對於促銷這塊是必不可少的,畢竟這塊是最吸引用戶的,用戶也是最愛的模塊之一,理由很簡單,便宜。 我的經驗是無論是大的餐飲點還是小的餐飲店,優惠與折扣永遠是說福他們進入平臺的最好的手段之一。(大企業叫做節約成本,小企業 ...
  • 函數 1.函數結構 def 是函數的定義關鍵字,my_len是函數名。()傳參用,冒號下麵都是函數體。 執行函數方法:函數名加括弧來執行函數。My_len() 舉例: # s = 'lkfjsjulkjdgjdsf' # def my_len(): # count = 0 # for i in s: ...
  • 我們或多或少都有過,或者見過將賦值表達式參與運算的情況。這通常會伴隨著一些意想不到的問題。今天我就見到了一段奇怪的代碼: 乍一看,似乎答案很明朗,按照順序運算之後,a的值是3,b的值是5.有經驗的程式員肯定會一眼看出,這裡的計算過程是一個未定義行為(Undefined behavior).在這裡簡單 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...