python文章

我們雖然不能往a當(dāng)中添加或者刪除元素，但是a當(dāng)中含有一個(gè)list，我們可以改變這個(gè)list類(lèi)型的元素，這并不會(huì)觸發(fā)tuple的異常：

dict也是Python當(dāng)中經(jīng)常使用的容器，它等價(jià)于C++當(dāng)中的map，即 存儲(chǔ)key和value的鍵值對(duì) 。我們用{}表示一個(gè)dict，用:分隔key和value。

對(duì) 。我們用{}表示一個(gè)dict，用:分隔key和value。

dict的key必須為不可變對(duì)象，所以 list、set和dict不可以作為另一個(gè)dict的key ，否則會(huì)拋出異常：

我們同樣用[]查找dict當(dāng)中的元素，我們傳入key，獲得value，等價(jià)于get方法。

我們可以call dict當(dāng)中的keys和values方法，獲取dict當(dāng)中的所有key和value的集合，會(huì)得到一個(gè)list。在Python3.7以下版本當(dāng)中，返回的結(jié)果的順序可能和插入順序不同，在Python3.7及以上版本中，Python會(huì)保證返回的順序和插入順序一致：

我們也可以用in判斷一個(gè)key是否在dict當(dāng)中，注意只能判斷key。

如果使用[]查找不存在的key，會(huì)引發(fā)KeyError的異常。如果使用 get方法則不會(huì)引起異常，只會(huì)得到一個(gè)None ：

方法可以 為不存在的key 插入一個(gè)value，如果key已經(jīng)存在，則不會(huì)覆蓋它：

我們可以使用update方法用另外一個(gè)dict來(lái)更新當(dāng)前dict，比如a.update(b)。對(duì)于a和b交集的key會(huì)被b覆蓋，a當(dāng)中不存在的key會(huì)被插入進(jìn)來(lái)：

我們一樣可以使用del刪除dict當(dāng)中的元素，同樣只能傳入key。

Python3.5以上的版本支持使用**來(lái)解壓一個(gè)dict：

set是用來(lái)存儲(chǔ) 不重復(fù)元素 的容器，當(dāng)中的元素都是不同的，相同的元素會(huì)被刪除。我們可以通過(guò)set()，或者通過(guò){}來(lái)進(jìn)行初始化。注意當(dāng)我們使用{}的時(shí)候，必須要傳入數(shù)據(jù)，否則Python會(huì)將它和dict弄混。

set當(dāng)中的元素也必須是不可變對(duì)象，因此list不能傳入set。

可以調(diào)用add方法為set插入元素：

set還可以被認(rèn)為是集合，所以它還支持一些集合交叉并補(bǔ)的操作。

set還支持 超集和子集的判斷 ，我們可以用大于等于和小于等于號(hào)判斷一個(gè)set是不是另一個(gè)的超集或子集：

和dict一樣，我們可以使用in判斷元素在不在set當(dāng)中。用copy可以拷貝一個(gè)set。

Python當(dāng)中的判斷語(yǔ)句非常簡(jiǎn)單，并且Python不支持switch，所以即使是多個(gè)條件，我們也只能 羅列if-else 。

我們可以用in來(lái)循環(huán)迭代一個(gè)list當(dāng)中的內(nèi)容，這也是Python當(dāng)中基本的循環(huán)方式。

如果我們要循環(huán)一個(gè)范圍，可以使用range。range加上一個(gè)參數(shù)表示從0開(kāi)始的序列，比如range(10)，表示[0, 10)區(qū)間內(nèi)的所有整數(shù)：

如果我們傳入兩個(gè)參數(shù)，則 代表迭代區(qū)間的首尾 。

如果我們傳入第三個(gè)元素，表示每次 循環(huán)變量自增的步長(zhǎng) 。

如果使用enumerate函數(shù)，可以 同時(shí)迭代一個(gè)list的下標(biāo)和元素 ：

while循環(huán)和C++類(lèi)似，當(dāng)條件為T(mén)rue時(shí)執(zhí)行，為false時(shí)退出。并且判斷條件不需要加上括號(hào)：

Python當(dāng)中使用 try和except捕獲異常 ，我們可以在except后面限制異常的類(lèi)型。如果有多個(gè)類(lèi)型可以寫(xiě)多個(gè)except，還可以使用else語(yǔ)句表示其他所有的類(lèi)型。finally語(yǔ)句內(nèi)的語(yǔ)法 無(wú)論是否會(huì)觸發(fā)異常都必定執(zhí)行 ：

在Python當(dāng)中我們經(jīng)常會(huì)使用資源，最常見(jiàn)的就是open打開(kāi)一個(gè)文件。我們 打開(kāi)了文件句柄就一定要關(guān)閉 ，但是如果我們手動(dòng)來(lái)編碼，經(jīng)常會(huì)忘記執(zhí)行close操作。并且如果文件異常，還會(huì)觸發(fā)異常。這個(gè)時(shí)候我們可以使用with語(yǔ)句來(lái)代替這部分處理，使用with會(huì) 自動(dòng)在with塊執(zhí)行結(jié)束或者是觸發(fā)異常時(shí)關(guān)閉打開(kāi)的資源 。

以下是with的幾種用法和功能：

凡是可以使用in語(yǔ)句來(lái)迭代的對(duì)象都叫做 可迭代對(duì)象 ，它和迭代器不是一個(gè)含義。這里只有可迭代對(duì)象的介紹，想要了解迭代器的具體內(nèi)容，請(qǐng)移步傳送門(mén)：

Python——五分鐘帶你弄懂迭代器與生成器，夯實(shí)代碼能力

當(dāng)我們調(diào)用dict當(dāng)中的keys方法的時(shí)候，返回的結(jié)果就是一個(gè)可迭代對(duì)象。

我們 不能使用下標(biāo)來(lái)訪問(wèn) 可迭代對(duì)象，但我們可以用iter將它轉(zhuǎn)化成迭代器，使用next關(guān)鍵字來(lái)獲取下一個(gè)元素。也可以將它轉(zhuǎn)化成list類(lèi)型，變成一個(gè)list。

使用def關(guān)鍵字來(lái)定義函數(shù)，我們?cè)趥鲄⒌臅r(shí)候如果指定函數(shù)內(nèi)的參數(shù)名， 可以不按照函數(shù)定義的順序 傳參：

可以在參數(shù)名之前加上*表示任意長(zhǎng)度的參數(shù)，參數(shù)會(huì)被轉(zhuǎn)化成list：

也可以指定任意長(zhǎng)度的關(guān)鍵字參數(shù)，在參數(shù)前加上**表示接受一個(gè)dict：

當(dāng)然我們也可以兩個(gè)都用上，這樣可以接受任何參數(shù)：

傳入?yún)?shù)的時(shí)候我們也可以使用*和**來(lái)解壓list或者是dict：

Python中的參數(shù) 可以返回多個(gè)值 ：

函數(shù)內(nèi)部定義的變量即使和全局變量重名，也 不會(huì)覆蓋全局變量的值 。想要在函數(shù)內(nèi)部使用全局變量，需要加上 global 關(guān)鍵字，表示這是一個(gè)全局變量：

Python支持 函數(shù)式編程 ，我們可以在一個(gè)函數(shù)內(nèi)部返回一個(gè)函數(shù)：

Python中可以使用lambda表示 匿名函數(shù) ，使用:作為分隔，:前面表示匿名函數(shù)的參數(shù)，:后面的是函數(shù)的返回值：

我們還可以將函數(shù)作為參數(shù)使用map和filter，實(shí)現(xiàn)元素的批量處理和過(guò)濾。關(guān)于Python中map、reduce和filter的使用，具體可以查看之前的文章：

五分鐘帶你了解map、reduce和filter

我們還可以結(jié)合循環(huán)和判斷語(yǔ)來(lái)給list或者是dict進(jìn)行初始化：

使用 import語(yǔ)句引入一個(gè)Python模塊 ，我們可以用.來(lái)訪問(wèn)模塊中的函數(shù)或者是類(lèi)。

我們也可以使用from import的語(yǔ)句，單獨(dú)引入模塊內(nèi)的函數(shù)或者是類(lèi)，而不再需要寫(xiě)出完整路徑。使用from import *可以引入模塊內(nèi)所有內(nèi)容（不推薦這么干）

可以使用as給模塊內(nèi)的方法或者類(lèi)起別名：

我們可以使用dir查看我們用的模塊的路徑：

這么做的原因是如果我們當(dāng)前的路徑下也有一個(gè)叫做math的Python文件，那么 會(huì)覆蓋系統(tǒng)自帶的math的模塊 。這是尤其需要注意的，不小心會(huì)導(dǎo)致很多奇怪的bug。

我們來(lái)看一個(gè)完整的類(lèi)，相關(guān)的介紹都在注釋當(dāng)中

以上內(nèi)容的詳細(xì)介紹之前也有過(guò)相關(guān)文章，可以查看：

Python—— slots ，property和對(duì)象命名規(guī)范

下面我們來(lái)看看Python當(dāng)中類(lèi)的使用：

這里解釋一下，實(shí)例和對(duì)象可以理解成一個(gè)概念，實(shí)例的英文是instance，對(duì)象的英文是object。都是指類(lèi)經(jīng)過(guò)實(shí)例化之后得到的對(duì)象。

繼承可以讓子類(lèi) 繼承父類(lèi)的變量以及方法 ，并且我們還可以在子類(lèi)當(dāng)中指定一些屬于自己的特性，并且還可以重寫(xiě)父類(lèi)的一些方法。一般我們會(huì)將不同的類(lèi)放在不同的文件當(dāng)中，使用import引入，一樣可以實(shí)現(xiàn)繼承。

我們創(chuàng)建一個(gè)蝙蝠類(lèi)：

我們?cè)賱?chuàng)建一個(gè)蝙蝠俠的類(lèi)，同時(shí)繼承Superhero和Bat：

執(zhí)行這個(gè)類(lèi)：

我們可以通過(guò)yield關(guān)鍵字創(chuàng)建一個(gè)生成器，每次我們調(diào)用的時(shí)候執(zhí)行到y(tǒng)ield關(guān)鍵字處則停止。下次再次調(diào)用則還是從yield處開(kāi)始往下執(zhí)行：

除了yield之外，我們還可以使用()小括號(hào)來(lái)生成一個(gè)生成器：

關(guān)于生成器和迭代器更多的內(nèi)容，可以查看下面這篇文章：

五分鐘帶你弄懂迭代器與生成器，夯實(shí)代碼能力

我們引入functools當(dāng)中的wraps之后，可以創(chuàng)建一個(gè)裝飾器。裝飾器可以在不修改函數(shù)內(nèi)部代碼的前提下，在外面包裝一層其他的邏輯:

裝飾器之前也有專門(mén)的文章詳細(xì)介紹，可以移步下面的傳送門(mén)：

一文搞定Python裝飾器，看完面試不再慌

不知道有多少小伙伴可以看到結(jié)束，原作者的確非常厲害，把Python的基本操作基本上都囊括在里面了。如果都能讀懂并且理解的話，那么Python這門(mén)語(yǔ)言就算是入門(mén)了。

如果你之前就有其他語(yǔ)言的語(yǔ)言基礎(chǔ)，我想本文讀完應(yīng)該不用30分鐘。當(dāng)然在30分鐘內(nèi)學(xué)會(huì)一門(mén)語(yǔ)言是不可能的，也不是我所提倡的。但至少通過(guò)本文我們可以做到熟悉Python的語(yǔ)法，知道大概有哪些操作，剩下的就要我們親自去寫(xiě)代碼的時(shí)候去體會(huì)和運(yùn)用了。

根據(jù)我的經(jīng)驗(yàn)，在學(xué)習(xí)一門(mén)新語(yǔ)言的前期，不停地查閱資料是免不了的。希望本文可以作為你在使用Python時(shí)候的查閱文檔。

*，我這里有各種免費(fèi)的編程類(lèi)資料，有需要的及時(shí)私聊我，回復(fù)"學(xué)習(xí)"，分享給大家，正在發(fā)放中............

一篇文章帶你深度解析Python線程和進(jìn)程

使用Python中的線程模塊，能夠同時(shí)運(yùn)行程序的不同部分，并簡(jiǎn)化設(shè)計(jì)。如果你已經(jīng)入門(mén)Python，并且想用線程來(lái)提升程序運(yùn)行速度的話，希望這篇教程會(huì)對(duì)你有所幫助。

線程與進(jìn)程

什么是進(jìn)程

進(jìn)程是系統(tǒng)進(jìn)行資源分配和調(diào)度的一個(gè)獨(dú)立單位 進(jìn)程是具有一定獨(dú)立功能的程序關(guān)于某個(gè)數(shù)據(jù)集合上的一次運(yùn)行活動(dòng),進(jìn)程是系統(tǒng)進(jìn)行資源分配和調(diào)度的一個(gè)獨(dú)立單位。每個(gè)進(jìn)程都有自己的獨(dú)立內(nèi)存空間，不同進(jìn)程通過(guò)進(jìn)程間通信來(lái)通信。由于進(jìn)程比較重量，占據(jù)獨(dú)立的內(nèi)存，所以上下文進(jìn)程間的切換開(kāi)銷(xiāo)（棧、寄存器、虛擬內(nèi)存、文件句柄等）比較大，但相對(duì)比較穩(wěn)定安全。

什么是線程

CPU調(diào)度和分派的基本單位 線程是進(jìn)程的一個(gè)實(shí)體，是CPU調(diào)度和分派的基本單位,它是比進(jìn)程更小的能獨(dú)立運(yùn)行的基本單位.線程自己基本上不擁有系統(tǒng)資源,只擁有一點(diǎn)在運(yùn)行中必不可少的資源(如程序計(jì)數(shù)器,一組寄存器和棧),但是它可與同屬一個(gè)進(jìn)程的其他的線程共享進(jìn)程所擁有的全部資源。線程間通信主要通過(guò)共享內(nèi)存，上下文切換很快，資源開(kāi)銷(xiāo)較少，但相比進(jìn)程不夠穩(wěn)定容易丟失數(shù)據(jù)。

進(jìn)程與線程的關(guān)系圖

線程與進(jìn)程的區(qū)別：

進(jìn)程

現(xiàn)實(shí)生活中，有很多的場(chǎng)景中的事情是同時(shí)進(jìn)行的，比如開(kāi)車(chē)的時(shí)候 手和腳共同來(lái)駕駛 汽車(chē) ，比如唱歌跳舞也是同時(shí)進(jìn)行的，再比如邊吃飯邊打電話；試想如果我們吃飯的時(shí)候有一個(gè)領(lǐng)導(dǎo)來(lái)電，我們肯定是立刻就接聽(tīng)了。但是如果你吃完飯?jiān)俳勇?tīng)或者回電話，很可能會(huì)被開(kāi)除。

注意：

多任務(wù)的概念

什么叫 多任務(wù) 呢？簡(jiǎn)單地說(shuō)，就是操作系統(tǒng)可以同時(shí)運(yùn)行多個(gè)任務(wù)。打個(gè)比方，你一邊在用瀏覽器上網(wǎng)，一邊在聽(tīng)MP3，一邊在用Word趕作業(yè)，這就是多任務(wù)，至少同時(shí)有3個(gè)任務(wù)正在運(yùn)行。還有很多任務(wù)悄悄地在后臺(tái)同時(shí)運(yùn)行著，只是桌面上沒(méi)有顯示而已。

現(xiàn)在，多核CPU已經(jīng)非常普及了，但是，即使過(guò)去的單核CPU，也可以執(zhí)行多任務(wù)。由于CPU執(zhí)行代碼都是順序執(zhí)行的，那么，單核CPU是怎么執(zhí)行多任務(wù)的呢？

答案就是操作系統(tǒng)輪流讓各個(gè)任務(wù)交替執(zhí)行，任務(wù)1執(zhí)行0.01秒，切換到任務(wù)2，任務(wù)2執(zhí)行0.01秒，再切換到任務(wù)3，執(zhí)行0.01秒，這樣反復(fù)執(zhí)行下去。表面上看，每個(gè)任務(wù)都是交替執(zhí)行的，但是，由于CPU的執(zhí)行速度實(shí)在是太快了，我們感覺(jué)就像所有任務(wù)都在同時(shí)執(zhí)行一樣。

真正的并行執(zhí)行多任務(wù)只能在多核CPU上實(shí)現(xiàn)，但是，由于任務(wù)數(shù)量遠(yuǎn)遠(yuǎn)多于CPU的核心數(shù)量，所以，操作系統(tǒng)也會(huì)自動(dòng)把很多任務(wù)輪流調(diào)度到每個(gè)核心上執(zhí)行。 其實(shí)就是CPU執(zhí)行速度太快啦！以至于我們感受不到在輪流調(diào)度。

并行與并發(fā)

并行（）

并行：指兩個(gè)或兩個(gè)以上事件（或線程）在同一時(shí)刻發(fā)生，是真正意義上的不同事件或線程在同一時(shí)刻，在不同CPU資源呢上（多核），同時(shí)執(zhí)行。

特點(diǎn)

并發(fā)（）

指一個(gè)物理CPU(也可以多個(gè)物理CPU) 在若干道程序（或線程）之間多路復(fù)用，并發(fā)性是對(duì)有限物理資源強(qiáng)制行使多用戶共享以提高效率。

特點(diǎn)

.Process模塊

process模塊是一個(gè)創(chuàng)建進(jìn)程的模塊，借助這個(gè)模塊，就可以完成進(jìn)程的創(chuàng)建。

語(yǔ)法：Process([group [, target [, name [, args [, kwargs]]]]])

由該類(lèi)實(shí)例化得到的對(duì)象，表示一個(gè)子進(jìn)程中的任務(wù)（尚未啟動(dòng)）。

注意：1. 必須使用關(guān)鍵字方式來(lái)指定參數(shù)；2. args指定的為傳給target函數(shù)的位置參數(shù)，是一個(gè)元祖形式，必須有逗號(hào)。

參數(shù)介紹：

group：參數(shù)未使用，默認(rèn)值為None。

target：表示調(diào)用對(duì)象，即子進(jìn)程要執(zhí)行的任務(wù)。

args：表示調(diào)用的位置參數(shù)元祖。

kwargs：表示調(diào)用對(duì)象的字典。如kwargs = {'name':Jack, 'age':18}。

name：子進(jìn)程名稱。

代碼：

除了上面這些開(kāi)啟進(jìn)程的方法之外，還有一種以繼承Process的方式開(kāi)啟進(jìn)程的方式：

通過(guò)上面的研究，我們千方百計(jì)實(shí)現(xiàn)了程序的異步，讓多個(gè)任務(wù)可以同時(shí)在幾個(gè)進(jìn)程中并發(fā)處理，他們之間的運(yùn)行沒(méi)有順序，一旦開(kāi)啟也不受我們控制。盡管并發(fā)編程讓我們能更加充分的利用IO資源，但是也給我們帶來(lái)了新的問(wèn)題。

當(dāng)多個(gè)進(jìn)程使用同一份數(shù)據(jù)資源的時(shí)候，就會(huì)引發(fā)數(shù)據(jù)安全或順序混亂問(wèn)題，我們可以考慮加鎖，我們以模擬搶票為例，來(lái)看看數(shù)據(jù)安全的重要性。

加鎖可以保證多個(gè)進(jìn)程修改同一塊數(shù)據(jù)時(shí)，同一時(shí)間只能有一個(gè)任務(wù)可以進(jìn)行修改，即串行的修改。加鎖犧牲了速度，但是卻保證了數(shù)據(jù)的安全。

因此我們*找尋一種解決方案能夠兼顧：1、效率高（多個(gè)進(jìn)程共享一塊內(nèi)存的數(shù)據(jù)）2、幫我們處理好鎖問(wèn)題。

模塊為我們提供的基于消息的IPC通信機(jī)制：隊(duì)列和管道。隊(duì)列和管道都是將數(shù)據(jù)存放于內(nèi)存中 隊(duì)列又是基于（管道+鎖）實(shí)現(xiàn)的，可以讓我們從復(fù)雜的鎖問(wèn)題中解脫出來(lái)， 我們應(yīng)該盡量避免使用共享數(shù)據(jù)，盡可能使用消息傳遞和隊(duì)列，避免處理復(fù)雜的同步和鎖問(wèn)題，而且在進(jìn)程數(shù)目增多時(shí)，往往可以獲得更好的可獲展性（ 后續(xù)擴(kuò)展該內(nèi)容 ）。

線程

Python的threading模塊

Python 供了幾個(gè)用于多線程編程的模塊，包括 thread, threading 和 Queue 等。thread 和 threading 模塊允許程序員創(chuàng)建和管理線程。thread 模塊 供了基本的線程和鎖的支持，而 threading 供了更高級(jí)別，功能更強(qiáng)的線程管理的功能。Queue 模塊允許用戶創(chuàng)建一個(gè)可以用于多個(gè)線程之間 共享數(shù)據(jù)的隊(duì)列數(shù)據(jù)結(jié)構(gòu)。

python創(chuàng)建和執(zhí)行線程

創(chuàng)建線程代碼

1. 創(chuàng)建方法一:

2. 創(chuàng)建方法二:

進(jìn)程和線程都是實(shí)現(xiàn)多任務(wù)的一種方式，例如：在同一臺(tái)計(jì)算機(jī)上能同時(shí)運(yùn)行多個(gè)QQ（進(jìn)程),一個(gè)QQ可以打開(kāi)多個(gè)聊天窗口（線程）。資源共享：進(jìn)程不能共享資源，而線程共享所在進(jìn)程的地址空間和其他資源，同時(shí)，線程有自己的棧和棧指針。所以在一個(gè)進(jìn)程內(nèi)的所有線程共享全局變量，但多線程對(duì)全局變量的更改會(huì)導(dǎo)致變量值得混亂。

代碼演示:

得到的結(jié)果是：

首先需要明確的一點(diǎn)是GIL并不是Python的特性，它是在實(shí)現(xiàn)Python解析器(CPython)時(shí)所引入的一個(gè)概念。就好比C++是一套語(yǔ)言（語(yǔ)法）標(biāo)準(zhǔn)，但是可以用不同的編譯器來(lái)編譯成可執(zhí)行代碼。同樣一段代碼可以通過(guò)CPython，PyPy，Psyco等不同的Python執(zhí)行環(huán)境來(lái)執(zhí)行（其中的JPython就沒(méi)有GIL）。

那么CPython實(shí)現(xiàn)中的GIL又是什么呢？GIL全稱Global Lock為了避免誤導(dǎo)，我們還是來(lái)看一下官方給出的解釋：

主要意思為:

因此，解釋器實(shí)際上被一個(gè)全局解釋器鎖保護(hù)著，它確保任何時(shí)候都只有一個(gè)Python線程執(zhí)行。在多線程環(huán)境中，Python 虛擬機(jī)按以下方式執(zhí)行:

由于GIL的存在，Python的多線程不能稱之為嚴(yán)格的多線程。因?yàn)? 多線程下每個(gè)線程在執(zhí)行的過(guò)程中都需要先獲取GIL，保證同一時(shí)刻只有一個(gè)線程在運(yùn)行。

由于GIL的存在，即使是多線程，事實(shí)上同一時(shí)刻只能保證一個(gè)線程在運(yùn)行， 既然這樣多線程的運(yùn)行效率不就和單線程一樣了嗎，那為什么還要使用多線程呢？

由于以前的電腦基本都是單核CPU，多線程和單線程幾乎看不出差別，可是由于計(jì)算機(jī)的迅速發(fā)展，現(xiàn)在的電腦幾乎都是多核CPU了，最少也是兩個(gè)核心數(shù)的，這時(shí)差別就出來(lái)了：通過(guò)之前的案例我們已經(jīng)知道，即使在多核CPU中，多線程同一時(shí)刻也只有一個(gè)線程在運(yùn)行，這樣不僅不能利用多核CPU的優(yōu)勢(shì)，反而由于每個(gè)線程在多個(gè)CPU上是交替執(zhí)行的，導(dǎo)致在不同CPU上切換時(shí)造成資源的浪費(fèi)，反而會(huì)更慢。即原因是一個(gè)進(jìn)程只存在一把gil鎖，當(dāng)在執(zhí)行多個(gè)線程時(shí)，內(nèi)部會(huì)爭(zhēng)搶gil鎖，這會(huì)造成當(dāng)某一個(gè)線程沒(méi)有搶到鎖的時(shí)候會(huì)讓cpu等待，進(jìn)而不能合理利用多核cpu資源。

但是在使用多線程抓取網(wǎng)頁(yè)內(nèi)容時(shí)，遇到IO阻塞時(shí)，正在執(zhí)行的線程會(huì)暫時(shí)釋放GIL鎖，這時(shí)其它線程會(huì)利用這個(gè)空隙時(shí)間，執(zhí)行自己的代碼，因此多線程抓取比單線程抓取性能要好，所以我們還是要使用多線程的。

GIL對(duì)多線程Python程序的影響

程序的性能受到計(jì)算密集型(CPU)的程序限制和I/O密集型的程序限制影響,那什么是計(jì)算密集型和I/O密集型程序呢?

計(jì)算密集型：要進(jìn)行大量的數(shù)值計(jì)算，例如進(jìn)行上億的數(shù)字計(jì)算、計(jì)算圓周率、對(duì)視頻進(jìn)行高清解碼等等。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成，但是花費(fèi)的主要時(shí)間在任務(wù)切換的時(shí)間，此時(shí)CPU執(zhí)行任務(wù)的效率比較低。

IO密集型：涉及到網(wǎng)絡(luò)請(qǐng)求(time.sleep())、磁盤(pán)IO的任務(wù)都是IO密集型任務(wù)，這類(lèi)任務(wù)的特點(diǎn)是CPU消耗很少，任務(wù)的大部分時(shí)間都在等待IO操作完成（因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度）。對(duì)于IO密集型任務(wù)，任務(wù)越多，CPU效率越高，但也有一個(gè)限度。

當(dāng)然為了避免GIL對(duì)我們程序產(chǎn)生影響，我們也可以使用，線程鎖。

Lock&RLock

常用的資源共享鎖機(jī)制：有Lock、RLock、Semphore、Condition等，簡(jiǎn)單給大家分享下Lock和RLock。

Lock

特點(diǎn)就是執(zhí)行速度慢，但是保證了數(shù)據(jù)的安全性

RLock

使用鎖代碼操作不當(dāng)就會(huì)產(chǎn)生死鎖的情況。

什么是死鎖

死鎖：當(dāng)線程A持有獨(dú)占鎖a，并嘗試去獲取獨(dú)占鎖b的同時(shí)，線程B持有獨(dú)占鎖b，并嘗試獲取獨(dú)占鎖a的情況下，就會(huì)發(fā)生AB兩個(gè)線程由于互相持有對(duì)方需要的鎖，而發(fā)生的阻塞現(xiàn)象，我們稱為死鎖。即死鎖是指多個(gè)進(jìn)程因競(jìng)爭(zhēng)資源而造成的一種僵局，若無(wú)外力作用，這些進(jìn)程都將無(wú)法向前推進(jìn)。

所以，在系統(tǒng)設(shè)計(jì)、進(jìn)程調(diào)度等方面注意如何不讓這四個(gè)必要條件成立，如何確定資源的合理分配算法，避免進(jìn)程永久占據(jù)系統(tǒng)資源。

死鎖代碼

python線程間通信

如果各個(gè)線程之間各干各的，確實(shí)不需要通信，這樣的代碼也十分的簡(jiǎn)單。但這一般是不可能的，至少線程要和主線程進(jìn)行通信，不然計(jì)算結(jié)果等內(nèi)容無(wú)法取回。而實(shí)際情況中要復(fù)雜的多，多個(gè)線程間需要交換數(shù)據(jù)，才能得到正確的執(zhí)行結(jié)果。

python中Queue是消息隊(duì)列，提供線程間通信機(jī)制，python3中重名為為queue，queue模塊塊下提供了幾個(gè)阻塞隊(duì)列，這些隊(duì)列主要用于實(shí)現(xiàn)線程通信。

在 queue 模塊下主要提供了三個(gè)類(lèi)，分別代表三種隊(duì)列，它們的主要區(qū)別就在于進(jìn)隊(duì)列、出隊(duì)列的不同。

簡(jiǎn)單代碼演示

此時(shí)代碼會(huì)阻塞，因?yàn)閝ueue中內(nèi)容已滿，此時(shí)可以在第四個(gè)queue.put('蘋(píng)果')后面添加timeout，則成為 queue.put('蘋(píng)果'，timeout=1)如果等待1秒鐘仍然是滿的就會(huì)拋出異常，可以捕獲異常。

同理如果隊(duì)列是空的，無(wú)法獲取到內(nèi)容默認(rèn)也會(huì)阻塞，如果不阻塞可以使用queue.get_nowait()。

在掌握了 Queue 阻塞隊(duì)列的特性之后，在下面程序中就可以利用 Queue 來(lái)實(shí)現(xiàn)線程通信了。

下面演示一個(gè)生產(chǎn)者和一個(gè)消費(fèi)者，當(dāng)然都可以多個(gè)

使用queue模塊，可在線程間進(jìn)行通信，并保證了線程安全。

協(xié)程

協(xié)程，又稱微線程，纖程。英文名Coroutine。

協(xié)程是python個(gè)中另外一種實(shí)現(xiàn)多任務(wù)的方式，只不過(guò)比線程更小占用更小執(zhí)行單元（理解為需要的資源）。為啥說(shuō)它是一個(gè)執(zhí)行單元，因?yàn)樗詭PU上下文。這樣只要在合適的時(shí)機(jī)， 我們可以把一個(gè)協(xié)程 切換到另一個(gè)協(xié)程。只要這個(gè)過(guò)程中保存或恢復(fù) CPU上下文那么程序還是可以運(yùn)行的。

通俗的理解：在一個(gè)線程中的某個(gè)函數(shù)，可以在任何地方保存當(dāng)前函數(shù)的一些臨時(shí)變量等信息，然后切換到另外一個(gè)函數(shù)中執(zhí)行，注意不是通過(guò)調(diào)用函數(shù)的方式做到的，并且切換的次數(shù)以及什么時(shí)候再切換到原來(lái)的函數(shù)都由開(kāi)發(fā)者自己確定。

在實(shí)現(xiàn)多任務(wù)時(shí)，線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡(jiǎn)單。操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存Cache等等數(shù)據(jù)，操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作。所以線程的切換非常耗性能。但是協(xié)程的切換只是單純的操作CPU的上下文，所以一秒鐘切換個(gè)上百萬(wàn)次系統(tǒng)都抗的住。

greenlet與gevent

為了更好使用協(xié)程來(lái)完成多任務(wù)，除了使用原生的yield完成模擬協(xié)程的工作，其實(shí)python還有的greenlet模塊和gevent模塊，使實(shí)現(xiàn)協(xié)程變的更加簡(jiǎn)單高效。

greenlet雖說(shuō)實(shí)現(xiàn)了協(xié)程，但需要我們手工切換，太麻煩了，gevent是比greenlet更強(qiáng)大的并且能夠自動(dòng)切換任務(wù)的模塊。

其原理是當(dāng)一個(gè)greenlet遇到IO(指的是input output 輸入輸出，比如網(wǎng)絡(luò)、文件操作等)操作時(shí)，比如訪問(wèn)網(wǎng)絡(luò)，就自動(dòng)切換到其他的greenlet，等到IO操作完成，再在適當(dāng)?shù)臅r(shí)候切換回來(lái)繼續(xù)執(zhí)行。

模擬耗時(shí)操作：

如果有耗時(shí)操作也可以換成，gevent中自己實(shí)現(xiàn)的模塊，這時(shí)候就需要打補(bǔ)丁了。

使用協(xié)程完成一個(gè)簡(jiǎn)單的二手房信息的爬蟲(chóng)代碼吧！

以下文章來(lái)源于Python專欄 ，作者宋宋

文章鏈接：

python發(fā)布文章時(shí)防止重復(fù)發(fā)布

用Python實(shí)現(xiàn)英文文章難度評(píng)級(jí)

python docx 使用總結(jié)

本文將總結(jié)之前在使用 python-docx 包處理 word 文檔時(shí)的一些理解與經(jīng)驗(yàn)。

安裝

引入

python-docx 將整個(gè)文章看做是一個(gè) Document 對(duì)象 官方文檔 - Document ，其基本結(jié)構(gòu)如下：

在 python-docx 中， run 是最基本的單位，每個(gè) run 對(duì)象內(nèi)的文本樣式都是一致的，也就是說(shuō)，在從 docx 文件生成文檔對(duì)象時(shí)， python-docx 會(huì)根據(jù)樣式的變化來(lái)將文本切分為一個(gè)個(gè)的 Run 對(duì)象。

你也可以通過(guò)它來(lái)處理表格 官方文檔 - 表格 ，基本結(jié)構(gòu)如下：