爬蟲合法嗎？

機器人協(xié)議

·robots.txt

·協(xié)議中規(guī)定了哪些內(nèi)容可以哪些內(nèi)容不可以

·通常協(xié)議中會標(biāo)明哪些不讓爬

君子協(xié)議

·未標(biāo)注是否可以爬取

·歷史上有很多爬蟲工程師吃了官家飯

寫爬蟲的注意事項

·給服務(wù)器活路

·脫離敏感數(shù)據(jù)

·不要公開收費

·不要爬國家公共資源的網(wǎng)站

爬蟲如何搞錢

入職企業(yè) 找到一份爬蟲工程師的崗位

搶購

最火茅臺

電商渠道1499元一瓶

市場價3000左右

使用爬蟲去搶茅臺

搶到之后賣掉茅臺

各種電商平臺都有秒殺

基本上是為了沖量

很多都是賠本的

你搶了之后可以在賣出去

羊毛出自豬身上

看小說

同一本小說,有付費 還有免費的 這是什么情況

假設(shè)我們是一個小說的作者 我們每天寫小說是為了做什么 興趣 愛好

最終還要養(yǎng)家糊口的

說白了還是要靠小說賺錢的

看小說的可能沒有直接付款

免費看小說的網(wǎng)站是哪來的

玩法

我在小說網(wǎng)站開通了一個會員

充值了小說的閱讀資源

我寫了一個爬蟲 將新的火的小說爬取下來 存入我自己的數(shù)據(jù)庫

之后又將小說的資源搭建一個web網(wǎng)站顯示出來

在之后就引入第三方廣告的推廣

廣告一般按瀏覽器收費

還有可能還會按照實際投放效果進(jìn)行收費

只要有點進(jìn)去就會涉及一個轉(zhuǎn)化率

舉個列子

1w人瀏覽

1k人點進(jìn)詳情

100個人進(jìn)行了付費,付費100元

總收入就是1w