爬蟲案例

既然爬蟲是大量抓取網(wǎng)頁，那是不是爬蟲都是不好的呢？答案當然不是，可以說我們的日常上網(wǎng)已經(jīng)離不開爬蟲了，為什么這么說？下面我就為大家盤點幾個爬蟲日常應用：

1.搜索引擎：如Google、百度、雅虎、搜狗、必應等等很多搜索引擎其本質(zhì)就是一個（可能多個）巨大爬蟲，這些搜索引擎工作原理是：頁面收錄->頁面分析->頁面排序->響應關鍵字查詢，也就是說它會先把互聯(lián)網(wǎng)上很多頁面保存到服務