一、爬取目標(biāo)

大家好，我是@馬哥python說 ，一枚10年程序猿。

今天分享一期python爬蟲案例，爬取目標(biāo)是大麥網(wǎng)近期演出活動：

https://search.damai.cn/search.html?keyword=

二、展示爬取結(jié)果

爬取結(jié)果截圖：

含10個字段：

頁碼，演出標(biāo)題，鏈接地址，演出時間，演出城市，演出地點，售價，演出類別，演出子類別，售票狀態(tài)。

演示視頻：

以上。

三、講解代碼

首先，導(dǎo)入需要用到的庫：

定義一個請求頭：

其中，cookie的獲取方式如下：

定義請求地址url：

定義請求參數(shù)params，從PayLoad中獲?。?/p>

發(fā)送請求，并且用json格式解析數(shù)據(jù)：

以"演出標(biāo)題"字段為例：

其他字段同理，不再贅述。?

最后是保存到csv文件：

其中，encoding參數(shù)設(shè)置為utf_8_sig，目的是防止csv文件產(chǎn)生亂碼，不便讀取。

整個代碼中，還含有：設(shè)置sleep隨機(jī)等待、判斷循環(huán)停止條件、防止多次寫入表頭、用戶input輸入過濾條件、往csv文件名添加時間戳等功能，篇幅有限，詳細(xì)請見原始代碼。

四、同步視頻

代碼演示：

五、獲取完整源碼

愛學(xué)習(xí)的小伙伴，本次分析過程的完整python源碼及結(jié)果數(shù)據(jù)，我已打包好，并上傳至我的微信公眾號"老男孩的平凡之路"，后臺回復(fù)"爬大麥"即可獲取。

我是@馬哥python說，一名10年程序猿，近期持續(xù)分享python干貨中！