不管你是待業(yè)還是失業(yè),在這個(gè)被互聯(lián)網(wǎng)圍繞的時(shí)代里,選擇python什么學(xué)校好,就多了一項(xiàng)技能,還怕找不到工作?,還怕不好找工作?小編就來告訴你這個(gè)專業(yè)的優(yōu)勢到底體現(xiàn)在哪里:python爬蟲爬取2020年**排名(預(yù)祝各位考生考上心儀*),自學(xué)了半個(gè)月python,感覺沒用,怎么辦???。
前言本文的文字及圖片來源于網(wǎng)絡(luò),僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途今天發(fā)的是python爬蟲爬取**排名,并且保存到excel中,當(dāng)然這個(gè)代碼很簡單,我用了半小時(shí)就寫完了,我的整體框架非常清晰,可以直接拿去用,也希望有小白可以學(xué)習(xí)到關(guān)于爬蟲的一些知識(shí)爬取**排名request 獲取 html beautiful soup 解析網(wǎng)頁 re 正則表達(dá)式匹配內(nèi)容 新建并保存 excel from bs4 import # 網(wǎng)頁解析 獲取數(shù)據(jù) import re # 正則表達(dá)式 進(jìn)行文字匹配 import urllib.request, urllib.error # 制定url 獲取網(wǎng)頁數(shù)據(jù) import xlwt def main(): baseurl = " # 1爬取網(wǎng)頁 datalist = getData(baseurl) savepath = "**排名.xls" saveData(datalist,savepath) # 正則表達(dá)式 paiming = re.compile(r'<td>(.*)</td><td>.*</td><td>.*</td><td>.*</td><td>.*</td>') # 創(chuàng)建超鏈接正則表達(dá)式對(duì)象,表示字符串模式,規(guī)則 xuexiao = re.compile(r'<td>.*</td><td>(.*)</td><td>.*</td><td>.*</td><td>.*</td>') defen = re.compile(r'<td>.*</td><td>.*</td><td>(.*)</td><td>.*</td><td>.*</td>') xingji = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>(.*)</td><td>.*</td>') cengci = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>.*</td><td>(.*)</td>') # 爬取網(wǎng)頁 def getData(baseurl): datalist = [] html = askURL(baseurl) # 保存獲取到的網(wǎng)頁源碼 # print(html) #【逐一】解析數(shù)據(jù) (一個(gè)網(wǎng)頁就解析一次) soup = (html, "html.parser") # soup是解析后的樹形結(jié)構(gòu)對(duì)象 for item in soup.find_all('tr'): # 查找符合要求的字符串形成列表 # print(item) #測試查看item全部 data = [] # 保存一個(gè)學(xué)校的所有信息 item = str(item) #排名 paiming1 = re.findall(paiming, item) # re正則表達(dá)式查找指定字符串 0表示只要*個(gè) 前面是標(biāo)準(zhǔn)后面是找的范圍 # print(paiming1) if(not paiming1): pass else: print(paiming1[0]) data.append(paiming1) if(paiming1 in data): #學(xué)校名字 xuexiao1 = re.findall(xuexiao, item)[0] # print(xuexiao1) data.append(xuexiao1) #得分 defen1 = re.findall(defen, item)[0] # print(defen1) data.append(defen1) #星級(jí) xingji1 = re.findall(xingji, item)[0] # print(xingji1) data.append(xingji1) #層次 cengci1 = re.findall(cengci, item)[0] # print(cengci1) data.append(cengci1) # print('-'*80) datalist.append(data) # 把處理好的一個(gè)學(xué)校信息放入datalist中 return datalist # 得到指定一個(gè)url網(wǎng)頁信息內(nèi)容 def askURL(url): # 我的初始訪問user agent head = { # 模擬瀏覽器頭部信息,向豆瓣服務(wù)器發(fā)送消息 偽裝用的 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) /537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" } # 用戶代理表示告訴豆瓣服務(wù)器我們是什么類型的機(jī)器--瀏覽器 本質(zhì)是告訴瀏覽器我們可以接受什么水平的文件內(nèi)容 request = urllib.request.Request(url, headers=head) # 攜帶頭部信息訪問url # 用request對(duì)象訪問 html = "" try: response = urllib.request.urlopen(request) # 用urlopen傳遞封裝好的request對(duì)象 html = response.read().decode("utf-8") # read 讀取 可以解碼 防治亂碼 # print(html) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) # 打印錯(cuò)誤代碼 if hasattr(e, "reason"): print(e.reason) # 打印錯(cuò)誤原因 return html # 3保存數(shù)據(jù) def saveData(datalist, savepath): book = xlwt.Workbook(encoding="utf-8", style_=0) # 創(chuàng)建workbook對(duì)象 樣式壓縮效果 sheet = book.add_sheet('**排名', cell_overwrite_ok=True) # 創(chuàng)建工作表 一個(gè)表單 cell覆蓋 for i in range(0, 640): print("第%d條" % (i + 1)) data = datalist[i] # print(data) for j in range(0, 5): # 每一行數(shù)據(jù)保存進(jìn)去 sheet.write(i , j, data[j]) # 數(shù)據(jù) book.save(savepath) # 保存數(shù)據(jù)表 #主函數(shù) if __name__ == "__main__": # 當(dāng)程序執(zhí)行時(shí) # #調(diào)用函數(shù) 程序執(zhí)行入口 main() # init_db("movietest.db") print("爬取完畢!") 具體實(shí)現(xiàn)效果如下 一共600多條數(shù)據(jù)
本人從零基礎(chǔ)開始學(xué)習(xí)python,已有兩年之久,雖然一路上磕磕絆絆,但學(xué)習(xí)了一段時(shí)間之后,日常很多繁瑣的工作,在python的助力下確實(shí)得到了很好的解決,工作效率也大大提高。回到問題上來,自學(xué)了半個(gè)月python,感覺沒用,很正常,要不就是你沒找到正確的學(xué)習(xí)方法;要不就是你沒找到合適的入門視頻、書籍;又或者你就是漫無目的學(xué)習(xí),東學(xué)一點(diǎn)兒,西學(xué)一點(diǎn)兒……這些都可能是你感覺到?jīng)]用的原因。我并不覺得python無用,如果你繼續(xù)學(xué)下去,python這項(xiàng)技能,絕對(duì)會(huì)在你日后的工作中發(fā)揮很大的作用的,別著急。我的建議是你可以先了解python,再來決定該怎么辦,以下也算是我學(xué)了兩年的經(jīng)驗(yàn)分享,希望能給到你一點(diǎn)幫助吧。(如果有用的話,歡迎大家收藏點(diǎn)贊哦。)一、了解python主要的應(yīng)用場景Python的應(yīng)用領(lǐng)域其實(shí)是非常廣泛的,像:1、web開發(fā)2、網(wǎng)絡(luò)爬蟲3、科學(xué)計(jì)算和數(shù)值計(jì)算4、用戶圖形接口5、系統(tǒng)管理……現(xiàn)在各大高校紛紛開設(shè)人工智能等相關(guān)專業(yè),編程被各教育大省納入必修課甚至高考范疇,可見它的重要性。而且編程這門語言,正在變得與更多人息息相關(guān)。二、為什么要學(xué)習(xí)python在學(xué)python之前,你一定要清楚自己學(xué)python是為了什么。是學(xué)生想增加就業(yè)機(jī)會(huì)?是想深入掌握數(shù)據(jù)分析能力?還是想進(jìn)入AI領(lǐng)域?又或者是想轉(zhuǎn)行,打破行業(yè)壁壘呢?只有對(duì)自己有了清晰的定位,再針對(duì)性地去定位python,在學(xué)習(xí)過程深挖其中某一個(gè)領(lǐng)域的技能,帶著目的去學(xué)習(xí),事半功倍,也肯定可以找到它所發(fā)揮的作用。自學(xué)了半個(gè)月python,感覺沒用,很正常,因?yàn)槟氵€沒有挖到精髓,不過別灰心,找準(zhǔn)自己的目標(biāo),干就完事兒了。三、怎么學(xué)python有些小伙伴可能擔(dān)心自己因?yàn)樽灾屏Σ粡?qiáng),拖延癥嚴(yán)重等導(dǎo)致沒辦法長久的堅(jiān)持學(xué)習(xí)下去,別擔(dān)心,因?yàn)槲乙彩牵。?!最開始自學(xué)python確實(shí)學(xué)的十分苦惱,后來就報(bào)了個(gè)課程,初學(xué)階段的朋友,強(qiáng)烈建議你們跟著入門視頻學(xué)習(xí)基礎(chǔ)知識(shí),通過別人的講解和引導(dǎo),上手實(shí)操會(huì)更快。親測風(fēng)變編程的“免費(fèi)Python入門課程”還不錯(cuò),尤其是小白們,可以多了解下,像這種“交互式課堂+在線作業(yè)實(shí)操+老師跟蹤輔導(dǎo)答疑”的形式,可以幫我們真正掌握和熟練使用Python語言,并有能力將之實(shí)踐于學(xué)習(xí)和生活當(dāng)中。對(duì)我這種懶癌晚期+拖延癥晚期患者也是很有效的! datetime、random、os、sys等。接下來就嘗試著去找些基礎(chǔ)項(xiàng)目開始做吧,不以項(xiàng)目為導(dǎo)向的學(xué)習(xí)都是耍流氓。如果你是一個(gè)新媒體工作者,可以利用網(wǎng)絡(luò)資源,爬取幾百甚至上千個(gè)爆款文案標(biāo)題,總結(jié)它的爆款邏輯。如果你是狂熱小說愛好者,可以用來下載你所有知道名字的小說。像我小會(huì)計(jì)一枚,學(xué)習(xí)過程中就把財(cái)務(wù)數(shù)據(jù)反復(fù)分析,然后總結(jié)出自己的方法,工作上確實(shí)高效了許多。在此期間,你可能會(huì)遇到各種困難,那就帶著這個(gè)困難問題去尋找答案,百度、知乎、b站,兵來將擋,水來土掩,在不斷解決問題的過程中,不知不覺就提高了自己的開發(fā)水平和問題解決能力?;蛟S會(huì)走一些彎路,但是有些彎路,早走總比晚走好。例如在爬動(dòng)態(tài)網(wǎng)站的時(shí)候,可能會(huì)爬不動(dòng),這時(shí)候就需要你去了解html語言,以及網(wǎng)站交互的知識(shí)。然后通過這些,你又可以了解flask,繼而學(xué)習(xí)用flask生成網(wǎng)頁,將自己爬下來的數(shù)據(jù)在web端展示出來等等等等……看到這,你還敢說自己學(xué)了半個(gè)月的python,沒有用嗎?靜下心來,調(diào)整下自己的學(xué)習(xí)姿勢,千萬別打用時(shí),方恨python學(xué)得不夠好??!四、做好時(shí)間規(guī)劃計(jì)劃好每天的學(xué)習(xí)時(shí)間,如果身在職場,除了下班后的時(shí)間,很少會(huì)有大段的時(shí)間來讓你學(xué)習(xí),碰上加班更沒有時(shí)間了,所以碎片化時(shí)間尤其要利用起來。拖延癥來了怎么解決?如果無法避免,那就縮小拖延時(shí)間,給拖延時(shí)間設(shè)置一個(gè)上限。碰到難題怎么解決?即便在一個(gè)問題上死磕,也要有技巧的死磕,不能把寶貴的時(shí)間都浪費(fèi)在這件事上,要尋求合理的解決方法,請(qǐng)教他人或者暫時(shí)擱置,說不定學(xué)別的知識(shí)點(diǎn)的時(shí)候就突然聯(lián)想到了這個(gè)難題的解決方法。五、學(xué)會(huì)python的好處隨著5G時(shí)代的到來和人工智能的普及,機(jī)械性的重復(fù)工作內(nèi)容,肯定會(huì)被淘汰,如果不想被淘汰,花時(shí)間學(xué)習(xí)python是對(duì)未來*的投資。python有許多實(shí)用性功能:批量處理 Excel 等辦公文件,實(shí)現(xiàn)自動(dòng)化辦公,提升辦公效率;全網(wǎng)一鍵爬取所需資料,信息收集更高效;批量處理大數(shù)據(jù),一鍵數(shù)據(jù)可視化等高效功能。當(dāng)別人因?yàn)闀?huì)python這項(xiàng)硬核技能而找到好工作,從而升職加薪,你卻只能原地踏步,你還不抓緊學(xué)習(xí)python嗎?當(dāng)你學(xué)會(huì)了python,工作中被搜集資源、整理信息等重復(fù)工作帶來的困擾,就能借助工具去完成,不僅能得到老板同事的刮目相看,更為自己爭取寶貴的自由時(shí)間。比起來從網(wǎng)上下載那么多資料吃灰,抓住風(fēng)變編程這個(gè)專為0基礎(chǔ)小白設(shè)計(jì)的Python免費(fèi)體驗(yàn)課,簡直太香了好嘛!
就拿大數(shù)據(jù)說話,優(yōu)勢一目了然,從事IT行業(yè),打開IT行業(yè)的新大門,找到適合自己的培訓(xùn)機(jī)構(gòu),進(jìn)行專業(yè)和系統(tǒng)的學(xué)習(xí)。
只要一個(gè)電話
我們免費(fèi)為您回電