爬蟲的分類

四大類：

·聚焦爬蟲：完成某一項(xiàng)特定數(shù)據(jù)的采集（百分之90的爬蟲）

·通用爬蟲：就是什么內(nèi)容都采集，都存下來（例：搜索引擎（百度；谷歌））

·增量爬蟲：既可以是聚焦爬蟲，也可以是通用爬蟲（當(dāng)內(nèi)容發(fā)生變化的時(shí)候，可以增量的獲取內(nèi)容）

·暗網(wǎng)爬蟲：深網(wǎng)爬蟲--少見

·暗網(wǎng)/深網(wǎng)爬蟲--見不得光的地方

·暗網(wǎng)爬蟲既可以是聚焦爬蟲也可以是增量爬蟲