[開源]ACG2Vec——ACG相關(guān)深度學(xué)習(xí)應(yīng)用(以圖搜圖、插畫評分、文本搜圖等)

ACG2vec全稱為Anime Comics Games to vector。本repo會(huì)持續(xù)維護(hù)一些基于二次元相關(guān)的深度學(xué)習(xí)領(lǐng)域?qū)嵺`與探索。
在線預(yù)覽(目前包含文本搜索、以圖搜圖、文本搜圖、圖片分?jǐn)?shù)預(yù)測):
開源倉庫:
演示頁前端開源倉庫:
以上兩個(gè)倉庫求個(gè)star QAQ??????
目前模塊包括:
model:深度神經(jīng)網(wǎng)絡(luò)模型模塊,目前包括
acgvoc2vec:基于從維基百科動(dòng)漫列表、萌娘百科、Bangumi、pixiv、AnimeList等來源獲取清洗處理抽取的510w語句對微調(diào)的sentence-transformers模型,生成二次元相關(guān)文本的特征向量,用于各種下游任務(wù)(標(biāo)簽推薦,標(biāo)簽搜索,推薦系統(tǒng)等)
可以使用Huggingface在線體驗(yàn):
dclip:使用danburoo2021數(shù)據(jù)集對clip(ViT-L/14)模型進(jìn)行微調(diào)。
可以使用Huggingface在線體驗(yàn):
pix2score:基于resnet101的多任務(wù)模型,用于預(yù)測動(dòng)漫插圖的收藏?cái)?shù)、瀏覽數(shù)與琴瑟級別
illust2vec:從模型去除預(yù)測頭并對末尾層做均值池化的圖片語義特征抽取模型
webapp:對外提供web服務(wù)模塊。目前包括開箱即用的二次元插畫標(biāo)簽預(yù)測服務(wù)、以圖搜圖服務(wù)、插畫特征抽取服務(wù)、文本特征抽取服務(wù)
docker:基于容器化的部署模塊,包括了部署所需要的配置文件與資源文件
??預(yù)覽
語義文本搜索

語義圖像搜索

插畫綜合評分預(yù)測

以圖搜圖
