NVIDIA a anunțat astăzi că procesorul de date NVIDIA BlueField®-4, parte a platformei full-stack NVIDIA BlueField, alimentează platforma de stocare a memoriei contextuale NVIDIA Inference, o nouă clasă de infrastructură de stocare nativă pentru inteligența artificială, destinată următoarei frontiere a inteligenței artificiale.
Pe măsură ce modelele de inteligență artificială se scalează la trilioane de parametri și raționament în mai mulți pași, acestea generează cantități uriașe de date contextuale – reprezentate de o memorie cache cheie-valoare (KV), esențială pentru acuratețe, experiența utilizatorului și continuitate.
O memorie cache KV nu poate fi stocată pe GPU-uri pe termen lung, deoarece acest lucru ar crea un blocaj pentru inferența în timp real în sistemele multi-agent.
Aplicațiile native pentru inteligența artificială necesită un nou tip de infrastructură scalabilă pentru a stoca și partaja aceste date.
Platforma de stocare a memoriei contextuale NVIDIA Inference oferă infrastructura pentru memoria contextuală prin extinderea capacității memoriei GPU, permițând partajarea de mare viteză între noduri, crescând numărul de token-uri pe secundă de până la 5 ori și oferind o eficiență energetică de până la 5 ori mai mare în comparație cu stocarea tradițională.
„Inteligența artificială revoluționează întregul stack de calcul – și acum, stocarea”
„Inteligența Artificială nu mai este despre chatbot-uri unice, ci despre colaboratori inteligenți care înțeleg lumea fizică, raționează pe termen lung, rămân ancorați în fapte, folosesc instrumente pentru a face muncă reală și își păstrează memoria atât pe termen scurt, cât și pe termen lung. Cu BlueField-4, NVIDIA și partenerii noștri software și hardware reinventează stiva de stocare pentru următoarea frontieră AI.” a declarat Jensen Huang, fondator și CEO al NVIDIA.
Platforma de stocare NVIDIA Inference Context Memory crește capacitatea memoriei cache KV și accelerează partajarea contextului între clustere de sisteme AI la scară rack, în timp ce contextul persistent pentru agenții AI multi-turn îmbunătățește timpul de răspuns, crește randamentul fabricii AI și susține scalarea eficientă a inferenței multi-agent, la context lung.
Printre capacitățile cheie ale platformei NVIDIA BlueField-4 se numără:
- Capacitatea cache-ului KV la nivel de cluster NVIDIA Rubin, care oferă scalabilitatea și eficiența necesare pentru inferența agentic multi-turn, cu context lung.
- Eficiență energetică de până la 5 ori mai mare decât stocarea tradițională.
- Partajarea inteligentă și accelerată a cache-ului KV între nodurile AI, activată de framework-ul NVIDIA DOCA™ și strâns integrată cu biblioteca NVIDIA NIXL și software-ul NVIDIA Dynamo pentru a maximiza numărul de token-uri pe secundă, a reduce timpul până la primul token și a îmbunătăți răspunsul multi-turn.
- Plasarea cache-ului KV accelerată prin hardware, gestionată de NVIDIA BlueField-4, elimină supraîncărcarea metadatelor, reduce mișcarea datelor și asigură acces securizat și izolat de la nodurile GPU.
- Partajarea și recuperarea eficientă a datelor, activată de NVIDIA Spectrum-X™ Ethernet, servește ca structură de rețea de înaltă performanță pentru accesul bazat pe RDMA la cache-ul KV nativ AI.
Inovatori în domeniul stocării, inclusiv AIC, Cloudian, DDN, Dell Technologies, HPE, Hitachi Vantara, IBM, Nutanix, Pure Storage, Supermicro, VAST Data și WEKA, se numără printre primii care construiesc platforme de stocare cu inteligență artificială de generație următoare cu BlueField-4, care va fi disponibil în a doua jumătate a anului 2026.
Lasă un răspuns