Teco-vLLM作為面向大模型推理的關(guān)鍵框架，向上為開(kāi)發(fā)者提供與標(biāo)準(zhǔn)vLLM一致的推理接口，向下充分利用太初AI加速卡的算力資源。開(kāi)發(fā)者無(wú)需深入了解太初元碁硬件的底層物理細(xì)節(jié)，只需遵循標(biāo)準(zhǔn)的vLLM使用方式，即可快速在太初AI加速卡上運(yùn)行大模型推理任務(wù)，享受由Teco-vLLM帶來(lái)的高效推理。目前，Teco-vLLM已在政務(wù)、科研、智能辦公等領(lǐng)域，助力用戶(hù)高效實(shí)現(xiàn)國(guó)產(chǎn)算力大模型應(yīng)用落地。

產(chǎn)品亮點(diǎn)

• 兼容vLLM生態(tài)，代碼可以無(wú)縫遷移至太初AI加速卡運(yùn)行

Teco-vLLM通過(guò)插件機(jī)制，將太初AI加速卡接入vLLM框架，實(shí)現(xiàn)與原生vLLM框架完全一致的推理接口和方法。運(yùn)行在GPU上的vLLM大模型應(yīng)用，無(wú)需修改模型代碼和啟動(dòng)方式，即可無(wú)縫遷移至太初AI加速卡運(yùn)行，降低生態(tài)切換成本，實(shí)現(xiàn)“一次開(kāi)發(fā)，跨平臺(tái)部署”的工業(yè)級(jí)易用性。

• 支持主流的大模型推理技術(shù)，突破吞吐與顯存瓶頸

Teco-vLLM支持PagedAttention、Continuous Batching、PD分離、量化壓縮等關(guān)鍵技術(shù)，配合動(dòng)態(tài)編譯優(yōu)化、多維并行策略、存算分離式顯存管理等，能夠有效降低顯存壓力并提升批處理規(guī)模，使系統(tǒng)在應(yīng)對(duì)海量推理請(qǐng)求時(shí)，提升吞吐、降低延遲。

• 智能算子融合，提升計(jì)算效能

Teco-vLLM通過(guò)深度圖優(yōu)化技術(shù)，自動(dòng)識(shí)別并融合計(jì)算圖中的細(xì)粒度算子，減少內(nèi)核調(diào)度開(kāi)銷(xiāo)與顯存訪(fǎng)問(wèn)頻次，在長(zhǎng)序列推理等復(fù)雜場(chǎng)景中，降低計(jì)算延遲，為高并發(fā)任務(wù)提供強(qiáng)勁動(dòng)力。

• 硬件級(jí)特性?xún)?yōu)化，動(dòng)態(tài)匹配最優(yōu)算子實(shí)現(xiàn)

Teco-vLLM結(jié)合太初AI加速卡的硬件特性，針對(duì)不同輸入數(shù)據(jù)形狀與張量布局，在推理預(yù)熱階段，自動(dòng)感知數(shù)據(jù)特征，動(dòng)態(tài)選擇最優(yōu)的算子實(shí)現(xiàn)，端到端提升模型推理的計(jì)算效能。