目錄

• 前言

• 爬蟲程序PAN-STARRS1示范

• 一、導(dǎo)入依賴包

• 二、讀取本地星表

• 提取星表中的RA和DEC

• 三、生成對(duì)應(yīng)的PAN-STARRS1圖像網(wǎng)站

• 四、爬蟲偽裝瀏覽器

• 五、批量爬蟲

• 下面是SDSS DR16示范，解釋同上

• 一、二程序不變

• 三、生成對(duì)應(yīng)的SDSS DR16圖像網(wǎng)站

• 四、爬蟲偽裝瀏覽器

• 五、批量爬蟲

• 結(jié)語

前言

如果你有很多需要觀測(cè)的天體，需要在觀測(cè)計(jì)劃中陳列相應(yīng)的證認(rèn)圖，或者你有很多感興趣的天體，想看看他們的圖像，那這篇文章或許對(duì)你有用。

以SDSS DR16和PAN-STARRS1證認(rèn)圖網(wǎng)站的爬蟲為例，這兩個(gè)望遠(yuǎn)鏡并不能觀測(cè)全天，但可以在光學(xué)波段觀測(cè)大部分天區(qū)了，其他望遠(yuǎn)鏡的網(wǎng)站爬蟲程序可以參考本程序改寫。

相應(yīng)的觀測(cè)網(wǎng)站通過輸入RA和DEC坐標(biāo)得到相應(yīng)的圖像，因此本爬蟲也通過自己星表的RA和DEC來識(shí)別輸入。

參照本文可以通過Python實(shí)現(xiàn)自動(dòng)爬取大量天體的證認(rèn)圖，從網(wǎng)站中提取證認(rèn)圖網(wǎng)站，自動(dòng)下載到本地并保存為圖片格式

爬蟲程序PAN-STARRS1示范

一、導(dǎo)入依賴包

二、讀取本地星表

如果是fits文件可以導(dǎo)入astropy來讀取

提取星表中的RA和DEC

三、生成對(duì)應(yīng)的PAN-STARRS1圖像網(wǎng)站

這里根據(jù)PAN-STARRS1的網(wǎng)站構(gòu)造，根據(jù)每個(gè)天體的RA和DEC生成相應(yīng)的網(wǎng)站

我這里只用到了g和z波段的數(shù)據(jù)，有需要更多波段的只需要將其它波段選上，然后把相應(yīng)網(wǎng)站的后半部分替換例子中的即可

四、爬蟲偽裝瀏覽器

五、批量爬蟲

下面是SDSS DR16示范，解釋同上

一、二程序不變

三、生成對(duì)應(yīng)的SDSS DR16圖像網(wǎng)站

四、爬蟲偽裝瀏覽器

五、批量爬蟲

結(jié)語

當(dāng)需要下載大量圖像或數(shù)據(jù)的時(shí)候，一個(gè)一個(gè)手動(dòng)輸入RA和DEC肯定是不現(xiàn)實(shí)的，像這樣的簡(jiǎn)單爬蟲就可以幫到我們。

需要注意的是: 有些網(wǎng)站是有反爬蟲機(jī)制的，需要進(jìn)一步調(diào)用time、selenium等包操作來加強(qiáng)偽裝。如果網(wǎng)站方不允許的話我們還是應(yīng)該遵守他們的規(guī)則。