通過網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)批量自動(dòng)下載天文觀測(cè)證認(rèn)圖(PAN-STARRS1和SDSS為例)

目錄
前言
爬蟲程序PAN-STARRS1示范
一、導(dǎo)入依賴包
二、讀取本地星表
提取星表中的RA和DEC
三、生成對(duì)應(yīng)的PAN-STARRS1圖像網(wǎng)站
四、爬蟲偽裝瀏覽器
五、批量爬蟲
下面是SDSS DR16示范,解釋同上
一、二程序不變
三、生成對(duì)應(yīng)的SDSS DR16圖像網(wǎng)站
四、爬蟲偽裝瀏覽器
五、批量爬蟲
結(jié)語
前言
如果你有很多需要觀測(cè)的天體,需要在觀測(cè)計(jì)劃中陳列相應(yīng)的證認(rèn)圖,或者你有很多感興趣的天體,想看看他們的圖像,那這篇文章或許對(duì)你有用。
以SDSS DR16和PAN-STARRS1證認(rèn)圖網(wǎng)站的爬蟲為例,這兩個(gè)望遠(yuǎn)鏡并不能觀測(cè)全天,但可以在光學(xué)波段觀測(cè)大部分天區(qū)了,其他望遠(yuǎn)鏡的網(wǎng)站爬蟲程序可以參考本程序改寫。
相應(yīng)的觀測(cè)網(wǎng)站通過輸入RA和DEC坐標(biāo)得到相應(yīng)的圖像,因此本爬蟲也通過自己星表的RA和DEC來識(shí)別輸入。
參照本文可以通過Python實(shí)現(xiàn)自動(dòng)爬取大量天體的證認(rèn)圖,從網(wǎng)站中提取證認(rèn)圖網(wǎng)站,自動(dòng)下載到本地并保存為圖片格式
爬蟲程序PAN-STARRS1示范
一、導(dǎo)入依賴包
二、讀取本地星表
如果是fits文件可以導(dǎo)入astropy來讀取
提取星表中的RA和DEC
三、生成對(duì)應(yīng)的PAN-STARRS1圖像網(wǎng)站
這里根據(jù)PAN-STARRS1的網(wǎng)站構(gòu)造,根據(jù)每個(gè)天體的RA和DEC生成相應(yīng)的網(wǎng)站
我這里只用到了g和z波段的數(shù)據(jù),有需要更多波段的只需要將其它波段選上,然后把相應(yīng)網(wǎng)站的后半部分替換例子中的即可
四、爬蟲偽裝瀏覽器
五、批量爬蟲
下面是SDSS DR16示范,解釋同上
一、二程序不變
三、生成對(duì)應(yīng)的SDSS DR16圖像網(wǎng)站
四、爬蟲偽裝瀏覽器
五、批量爬蟲
結(jié)語
當(dāng)需要下載大量圖像或數(shù)據(jù)的時(shí)候,一個(gè)一個(gè)手動(dòng)輸入RA和DEC肯定是不現(xiàn)實(shí)的,像這樣的簡(jiǎn)單爬蟲就可以幫到我們。
需要注意的是: 有些網(wǎng)站是有反爬蟲機(jī)制的,需要進(jìn)一步調(diào)用time、selenium等包操作來加強(qiáng)偽裝。如果網(wǎng)站方不允許的話我們還是應(yīng)該遵守他們的規(guī)則。