前人總結出的一些學Python中的陷阱和技巧,非常受用!

来源:https://www.cnblogs.com/py1357/archive/2018/06/06/9148003.html
-Advertisement-
Play Games

但是同時使用元素的序號和元素本身也是常見的需求。我們經常看到一些程式員使用len()和range()來通過下標迭代列表,但是有一種更簡單的方式。 enumerate 函數可以同時遍歷元素及其序號。 Set類型 許多概念都可以歸結到對集合(set)的操作。例如:確認一個列表沒有重覆的元素;查看兩個列表 ...


 

 

但是同時使用元素的序號和元素本身也是常見的需求。我們經常看到一些程式員使用len()和range()來通過下標迭代列表,但是有一種更簡單的方式。

drinks = ["coffee", "tea", "milk", "water"]
for index, drink in enumerate(drinks):
 print("Item {} is {}".format(index, drink))
#Item 0 is coffee
#Item 1 is tea
#Item 2 is milk
#Item 3 is water

enumerate 函數可以同時遍歷元素及其序號。

Set類型

許多概念都可以歸結到對集合(set)的操作。例如:確認一個列表沒有重覆的元素;查看兩個列表共同的元素等等。Python提供了set數據類型以使類似這樣的操作更快捷更具可讀性。

# deduplicate a list *fast*
print(set(["ham", "eggs", "bacon", "ham"]))
# {'bacon', 'eggs', 'ham'}
 
# compare lists to find differences/similarities
# {} without "key":"value" pairs makes a set
menu = {"pancakes", "ham", "eggs", "bacon"}
new_menu = {"coffee", "ham", "eggs", "bacon", "bagels"}
 
new_items = new_menu.difference(menu)
print("Try our new", ", ".join(new_items))
# Try our new bagels, coffee
 
discontinued_items = menu.difference(new_menu)
print("Sorry, we no longer have", ", ".join(discontinued_items))
# Sorry, we no longer have pancakes
 
old_items = new_menu.intersection(menu)
print("Or get the same old", ", ".join(old_items))
# Or get the same old eggs, bacon, ham
 
full_menu = new_menu.union(menu)
print("At one time or another, we've served:", ", ".join(full_menu))
# At one time or another, we've served: coffee, ham, pancakes, bagels, bacon, eggs

 

使用defaultdict 我們可以跳過檢查關鍵字是否存在的邏輯,對某個未定義key的任意訪問,都會返回一個空列表(或者其他數據類型)。

login_times = collections.defaultdict(list)
for t in logins:
 login_times[t.username].append(t.datetime)

你甚至可以使用自定義的類,這樣調用的時候實例化一個類。

from datetime import datetime
class Event(object):
 def __init__(self, t=None):
 if t is None:
 self.time = datetime.now()
 else:
 self.time = t
 
events = collections.defaultdict(Event)
 
for e in user_events:
 print(events[e.name].time)

如果既想具有defaultdict的特性,同時還想用訪問屬性的方式來處理嵌套的key,那麼可以瞭解一下 addict。

normal_dict = {
 'a': {
 'b': {
 'c': {
 'd': {
 'e': 'really really nested dict'
 }
 }
 }
 }
}
 
from addict import Dict
addicted = Dict()
addicted.a.b.c.d.e = 'really really nested'
print(addicted)
# {'a': {'b': {'c': {'d': {'e': 'really really nested'}}}}}

這段小程式比標準的dict要容易寫的多。那麼為什麼不用defaultdict呢? 它看起來也夠簡單了。

from collections import defaultdict
default = defaultdict(dict)
default['a']['b']['c']['d']['e'] = 'really really nested dict'
# fails

這段代碼看起來沒什麼問題,但是它最終拋出了KeyError異常。這是因為default[‘a']是dict,不是defaultdict.讓我們構造一個value是defaulted dictionaries類型的defaultdict,這樣也只能解決兩級嵌套。

如果你只是需要一個預設計數器,你可以使用collection.Counter,這個類提供了許多方便的函數,例如 most_common.

控制流當學習Python中的控制結構時,通常要認真學習 for, while,if-elif-else, 和 try-except。只要正確使用,這幾個控制結構能夠處理絕大多數的情況。也是基於這個原因,幾乎你所遇到的所有語言都提供類似的控制結構語句。在基本的控制結構以外,Python也額外提供一些不常用的控制結構,這些結構會使你的代碼更具可讀性和可維護性。

Great Exceptations

Exceptions作為一種控制結構,在處理資料庫、sockets、文件或者任何可能失敗的資源時非常常用。使用標準的 try 、except 結構寫資料庫操作時通常是類型這樣的方式。

try:
 
# get API data
 data = db.find(id='foo')
# may raise exception
 
# manipulate the data
 db.add(data)
 
# save it again
 db.commit()
# may raise exception
except Exception:
 
# log the failure
 db.rollback()
 
db.close()

你能發現這裡的問題嗎?這裡有兩種可能的異常會觸發相同的except模塊。這意味著查找數據失敗(或者為查詢數據建立連接失敗)會引發回退操作。這絕對不是我們想要的,因為在這個時間點上事務並沒有開始。同樣回退也不應該是資料庫連接失敗的正確響應,因此讓我們將不同的情況分開處理。

首先,我們將處理查詢數據。

try:
 
# get API data
 data = db.find(id='foo')
# may raise exception
except Exception:
 
# log the failure and bail out
 log.warn("Could not retrieve FOO")
 return
 
# manipulate the data
db.add(data)

現在數據檢索擁有自己的try-except,這樣當我們沒有取得數據時,我們可以採取任何處理方式。沒有數據我們的代碼不大可能再做有用的事,因此我們將僅僅退出函數。除了退出你也可以構造一個預設對象,重新進行檢索或者結束整個程式。

現在讓我們將commit的代碼也單獨包起來,這樣它也能更優雅的進行錯誤處理。

try:
 db.commit()
# may raise exception
except Exception:
 log.warn("Failure committing transaction, rolling back")
 db.rollback()
else:
 log.info("Saved the new FOO")
finally:
 db.close()

 

考慮到這一點,讓我們再看一下上一章資料庫的例子。我們使用try-except-finally來保證任何我們開始的事務要麼提交要麼回退。

try:
 
# attempt to acquire a resource
 db.commit()
except Exception:
 
# If it fails, clean up anything left behind
 log.warn("Failure committing transaction, rolling back")
 db.rollback()
else:
 
# If it works, perform actions
 
# In this case, we just log success
 log.info("Saved the new FOO")
finally:
 
# Clean up
 db.close()
# Program complete

我們前面的例子幾乎精確的映射到剛剛提到的步驟。這個邏輯變化的多嗎?並不多。

差不多每次存儲數據,我們都將做相同的步驟。我們可以將這些邏輯寫入一個方法中,或者我們可以使用上下文管理器(context manager)

db = db_library.connect("fakesql://")
# as a function
commit_or_rollback(db)
 
# context manager
with transaction("fakesql://") as db:
 
# retrieve data here
 
# modify data here

上下文管理器通過設置代碼段運行時需要的資源(上下文環境)來保護代碼段。在我們的例子中,我們需要處理一個資料庫事務,那麼過程將是這樣的:

連接資料庫
 在代碼段的開頭開始操作
 在代碼段的結尾提交或者回滾
 在代碼段的結尾清除資源

讓我們建立一個上下文管理器,使用上下文管理器為我們隱藏資料庫的設置工作。contextmanager 的介面非常簡單。上下文管理器的對象需要具有一個__enter__()方法用來設置所需的上下文環境,還需要一個__exit__(exc_type, exc_val, exc_tb) 方法在離開代碼段之後調用。如果沒有異常,那麼三個 exc_* 參數將都是None。

此處的__enter__方法非常簡單,我們先從這個函數開始。

class DatabaseTransaction(object):
 def __init__(self, connection_info):
 self.conn = db_library.connect(connection_info)
 
 def __enter__(self):
 return self.conn

enter__方法只是返回資料庫連接,在代碼段內我們使用這個資料庫連接來存取數據。資料庫連接實際上是在__init方法中建立的,因此如果資料庫建立連接失敗,那麼代碼段將不會執行。

現在讓我們定義事務將如何在 exit 方法中完成。這裡面要做的工作就比較多了,因為這裡要處理代碼段中所有的異常並且還要完成事務的關閉工作。

def __exit__(self, exc_type, exc_val, exc_tb):
 if exc_type is not None:
 self.conn.rollback()
 
 try:
 self.conn.commit()
 except Exception:
 self.conn.rollback()
 finally:
 self.conn.close()

現在我們就可以使用 DatabaseTransaction 類作為我們例子中的上下文管理器了。在類內部,enter 和 exit 方法將開始和設置數據連接並且處理善後工作。

# context manager
with DatabaseTransaction("fakesql://") as db:
 
# retrieve data here
 
# modify data here

為了改進我們的(簡單)事務管理器,我們可以添加各種異常處理。即使是現在的樣子,這個事務管理器已經為我們隱藏了許多複雜的處理,這樣你不用每次從資料庫拉取數據時都要擔心與資料庫相關的細節。

生成器

Python 2中引入的生成器(generators)是一種實現迭代的簡單方式,這種方式不會一次產生所有的值。Python中典型的函數行為是開始執行,然後進行一些操作,最後返回結果(或者不返回)。

生成器的行為卻不是這樣的。

def my_generator(v):
 yield 'first ' + v
 yield 'second ' + v
 yield 'third ' + v
 
print(my_generator('thing'))
# 

使用 yield 關鍵字代替 return ,這就是生成器的獨特之處。當我們調用 my_generator('thing') 時,我得到的不是函數的結果而是一個生成器對象,這個生成器對象可以在任何我們使用列表或其他可迭代對象的地方使用。

更常見的用法是像下麵例子那樣將生成器作為迴圈的一部分。迴圈會一直進行,直到生成器停止 yield值。

for value in my_generator('thing'):
 print value
 
# first thing
# second thing
# third thing
 
gen = my_generator('thing')
next(gen)
# 'first thing'
next(gen)
# 'second thing'
next(gen)
# 'third thing'
next(gen)
# raises StopIteration exception

生成器實例化之後不做任何事直到被要求產生數值,這時它將一直執行到遇到第一個 yield 並且將這個值返回給調用者,然後生成器保存上下文環境後掛起一直到調用者需要下一個值。

現在我們來寫一個比剛纔返回三個硬編碼的值更有用的生成器。經典的生成器例子是一個無窮的斐波納契數列生成器,我們來試一試。數列從1開始,依次返回前兩個數之和。

def fib_generator():
 a = 0
 b = 1
 while True:
 yield a
 a, b = b, a + b

函數中的 while True 迴圈通常情況下應該避免使用,因為這會導致函數無法返回,但是對於生成器卻無所謂,只要保證迴圈中有 yield 。我們在使用這種生成器的時候要註意添加結束條件,因該生成器可以持續不斷的返回數值。

現在,使用我們的生成器來計算第一個大於10000的斐波納契數列值。

min = 10000
for number in fib_generator():
 if number > min:
 print(number, "is the first fibonacci number over", min)
 break

這非常簡單,我們可以把數值定的任意大,代碼最終都會產生斐波納契數列中第一個大於X的值。

讓我們看一個更實際的例子。翻頁介面是應對應用限制和避免向移動設備發送大於50兆JSON數據包的一種常見方法。首先,我們定義需要的API,然後我們為它寫一個生成器在我們的代碼中隱藏翻頁邏輯。

我們使用的API來自Scream,這是一個用戶討論他們吃過的或想吃的餐廳的地方。他們的搜索API非常簡單,基本是下麵這樣。

GET http://scream-about-food.com/search?q=coffee
{
 "results": [
 {"name": "Coffee Spot",
 "screams": 99
 },
 {"name": "Corner Coffee",
 "screams": 403
 },
 {"name": "Coffee Moose",
 "screams": 31
 },
 {...}
 ]
 "more": true,
 "_next": "http://scream-about-food.com/search?q=coffee?p=2"
}

他們將下一頁的鏈接嵌入到API應答中,這樣當需要獲得下一頁時就非常簡單了。我們能夠不考慮頁碼,只是獲取第一頁。為了獲得數據,我們將使用常見的 requests 庫,並且用生成器將其封裝以展示我們的搜索結果。

這個生成器將處理分頁並且限制重試邏輯,它將按照下述邏輯工作:

收到要搜索的內容
 查詢scream-about-food介面
 如果介面失敗進行重試
 一次yield一個結果
 如果有的話,獲取下一頁
 當沒有更多結果時,退出

非常簡單。我來實現這個生成器,為了簡化代碼我們暫時不考慮重試邏輯。

import requests
 
api_url = "http://scream-about-food.com/search?q={term}"
 
def infinite_search(term):
 url = api_url.format(term)
 while True:
 data = requests.get(url).json()
 
 for place in data['results']:
 yield place
# end if we've gone through all the results
 if not data['more']: break
 
 url = data['_next']

當我們創建了生成器,你只需要傳入搜索的內容,然後生成器將會生成請求,如果結果存在則獲取結果。當然這裡有些未處理的邊界問題。異常沒有處理,當API失敗或者返回了無法識別的JSON,生成器將拋出異常。

儘管存在這些未處理完善的地方,我們仍然能使用這些代碼獲得我們的餐廳在關鍵字“coffee”搜索結果中的排序。

# pass a number to start at as the second argument if you don't want
# zero-indexing
for number, result in enumerate(infinite_search("coffee"), 1):
 if result['name'] == "The Coffee Stain":
 print("Our restaurant, The Coffee Stain is number ", number)
 return
print("Our restaurant, The Coffee Stain didnt't show up at all! :(")

如果使用Python 3,當你使用標準庫時你也能使用生成器。調用類似 dict.items() 這樣的函數時,不返回列表而是返回生成器。在Python 2中為了獲得這種行為,Python 2中添加了 dict.iteritems() 函數,但是用的比較少。

Python 2 & 3 相容性

從Python 2 遷移到Python3對任何代碼庫(或者開發人員)都是一項艱巨的任務,但是寫出兩個版本都能運行的代碼也是可能的。Python2.7將被支持到2020年,但是許多新的特性將不支持向後相容。目前,如果你還不能完全放棄Python 2, 那最好使用Python 2.7 和 3+相容的特性。

對於兩個版本支持特性的全面指引,可以在python.org上看 Porting Python 2 Code 。

讓我們查看一下在打算寫相容代碼時,你將遇到的最常見的情況,以及如何使用 future作為變通方案。

print or print()

幾乎每一個從Python 2 切換到Python 3的開發者都會寫出錯誤的print 表達式。幸運的是,你能夠通過導入 print_function 模塊,將print作為一個函數而不是一個關鍵字來寫出可相容的print.

for result in infinite_search("coffee"):
 if result['name'] == "The Coffee Stain":
 print("Our restaurant, The Coffee Stain is number ", result['number'])
 return
print("Our restaurant, The Coffee Stain didn't show up at all! :(")
Divided Over Division

從Python 2 到 Python 3,除法的預設行為也發生了變化。在Python 2中,整數的除法只進行整除,小數部分全部截去。大多數用戶不希望這樣的行為,因此在Python 3中即使是整數之間的除法也執行浮點除。

print "hello"
# Python 2
print("hello")
# Python 3
 
from __future__ import print_function
print("hello")
# Python 2
print("hello")
# Python 3

這種行為的改變會導致編寫同時運行在Python 2 和 Python 3上的代碼時,帶來一連串的小bug。我們再一次需要 future 模塊。導入 division 將使代碼在兩個版本中產生相同的運行結果。

print(1 / 3) 
# Python 2
# 0
print(1 / 3) 
# Python 3
# 0.3333333333333333
print(1 // 3) 
# Python 3
# 0

歡迎加入我的千人交流學習群:125240963


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 繼上一篇自己動手寫Java String類之後,今晚10點鐘下班,感覺稍早,於是手癢癢就想自己動手來寫StringBulder,畢竟程式員啥都講究自己動手才能豐衣足食嘛!StringBuilder與String類的區別是String的變數內容是放在final char[]裡面的,而StringBui... ...
  • java 類修飾符:通常情況下使用 public 修飾,此時,java 強制要求 .java 文件名需與該 public 修飾類名一致,否則無法編譯通過。如若沒有加修飾符,文件名與類名可無任何關聯。 .java 文件建議僅聲明單個類,不要在同一個類文件,創建多個類。 PATH 添加時,可旋轉在當前 ...
  • 1 import java.io.File; 2 import java.text.DateFormat; 3 import java.util.Date; 4 5 public class FileDemo { 6 public static void main(String[] args) th... ...
  • Java中static使用方法一:Java中的static使用之靜態變數;二:Java中的static使用之靜態方法;三:Java中的static使用之靜態初始化快; ...
  • 曾經有人問我,為什麼要學習Python!我說:"因為我想學習爬蟲!""那你為什麼學習爬蟲呢?""因為可以批量下載很多很多妹子圖!"其實我都是為了學習,都是為了讓自己能更好的掌握Python,練手的項目!Emmmmm....沒錯,是為了學習 除了Python還能用什麼語言寫爬蟲? C,C++。高效率, ...
  • 一: 二: ...
  • 老師說,按繼承/多態/封裝這個順序來講。 子類使用父類的方法: 繼承的例子: 繼承順序: 多態的例子: ...
  • 在上一章的源碼分析里,我們知道了spring boot 2.0中的環境是如何區分普通環境和web環境的,以及如何準備運行時環境和應用上下文的,今天我們繼續分析一下run函數接下來又做了那些事情。先把run函數的代碼貼出來: 緊接著我們就看到了這行代碼:exceptionReporters1 = th ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...