近年來，隨著GPU等計(jì)算設(shè)備計(jì)算能力的快速提高，對(duì)計(jì)算能力要求較高的深度學(xué)習(xí)模型逐漸開始在網(wǎng)上購物、醫(yī)療、音視頻等領(lǐng)域得到廣泛應(yīng)用。如何結(jié)合深度學(xué)習(xí)框架，利用好高計(jì)算能力的GPU設(shè)備，是我們?cè)贏I基礎(chǔ)設(shè)施建設(shè)中遇到的一個(gè)至關(guān)重要的問題。英偉達(dá)等公司從硬件廠商的角度推出了Trition推理服務(wù)器，旨在幫助用戶更好、更方便地部署深度學(xué)習(xí)，提供優(yōu)質(zhì)的在線預(yù)測(cè)服務(wù)。

Triton推理服務(wù)器是什么？

Triton推理服務(wù)器(NVIDIATritonInferenceServer)是英偉達(dá)等公司推出的開源推理框架，為用戶提供部署在云和邊緣推理上的解決方案。

那么推理服務(wù)器有什么特點(diǎn)呢？

1.推理服務(wù)器具有超強(qiáng)的計(jì)算密度和超高能效的特點(diǎn)。目前已廣泛應(yīng)用于精準(zhǔn)營銷、視頻分析、深度學(xué)習(xí)模型、文字識(shí)別和醫(yī)學(xué)影像分析。通過為人工智能服務(wù)器提供強(qiáng)大的計(jì)算能力，加速了人工智能的發(fā)展。

2.微云網(wǎng)絡(luò)推理服務(wù)器最多可以支持20個(gè)推理加速卡，其高效加速應(yīng)用可以滿足不同場(chǎng)景的推理需求。

3、在使用的過程中，推理服務(wù)器可以通過發(fā)揮架構(gòu)多核，功耗低的優(yōu)勢(shì)，為推理場(chǎng)景構(gòu)建能效高，功耗低的計(jì)算平臺(tái)。其中推理加速卡的單卡功耗只為70瓦，它能夠?yàn)榉?wù)器的算力加速的同時(shí)，還可以帶來更優(yōu)的能效比。

4.推理服務(wù)器是當(dāng)今世界上性能最高的服務(wù)器，將在石油勘探、天文探索和自動(dòng)駕駛領(lǐng)域發(fā)揮非常重要的作用。憑借其超高的計(jì)算能力，必將加速行業(yè)的智能化發(fā)展。此外，它還可以通過超強(qiáng)的AI技術(shù)使各個(gè)行業(yè)智能化，從而使智能化遍地開花。

通過以上內(nèi)容，我們已經(jīng)了解了推理服務(wù)器的特點(diǎn)?？梢娡评矸?wù)器的功能非常強(qiáng)大，計(jì)算能力高，計(jì)算密度是行業(yè)的兩倍。它還有一個(gè)高速接口，可以延遲芯片之間跨服務(wù)器的互聯(lián)，縮短10%到70%。

了解更多相關(guān)內(nèi)容歡迎關(guān)注http://www.vecloud.com/