Soluzione ‘pronta all’uso’ per la codifica AI a livello aziendale

Il ruolo dell’inferenza AI diventa preponderante nel complesso e dinamico ambito tecnologico dell’intelligenza artificiale (AI), rimodellando l’economia dei data center e la pianificazione energetica delle infrastrutture informatiche. Con inferenza AI si intende il processo attraverso cui un modello AI già pre-addestrato nella fase di training analizza nuovi dati per fare una previsione, eseguire un compito o generare una risposta. Secondo la società internazionale di consulenza McKinsey & Company, entro il 2030, l’inferenza supererà il training, diventando il carico di lavoro predominante nei data center dedicati all’intelligenza artificiale, rappresentando oltre la metà di tutta la potenza di calcolo dedicata all’AI e circa il 30-40% della domanda totale dei data center. Questa transizione, dal training una tantum dei modelli a un’attività di inferenza continuativa, influenzerà sempre più le decisioni degli hyperscaler in materia di ubicazione, progettazione della rete e approvvigionamento energetico.

Sviluppo congiunto per un’inferenza AI ‘local-first’

Nel contesto di crescente importanza dell’inferenza AI per il mondo imprenditoriale, il mercato richiede soluzioni ‘semplici’ da implementare per lo sviluppo di software di intelligenza artificiale a livello enterprise. Con l’obiettivo di rispondere a questa esigenza, fornendo alle organizzazioni un percorso accessibile di implementazione e gestione di sistemi di inferenza AI ‘local-first’, AMD, Supermicro e Spectro Cloud hanno sviluppato congiuntamente AMD Instinct Coder (nella foto), una soluzione ideata per aiutare il settore aziendale a espandere lo sviluppo di software basato su AI con un maggiore controllo sul codice sorgente, sull’utilizzo dei modelli e sui costi.

L’intelligenza artificiale, spiega Amd, è ormai parte integrante dello sviluppo di software aziendale, in quanto aiuta gli sviluppatori a generare codice, modernizzare le applicazioni, automatizzare i test e accelerare la consegna del software. Tuttavia, man mano che le organizzazioni ampliano queste capacità, possono trovarsi ad affrontare un rapido aumento dei costi relativi alle applicazioni, agli agenti automatizzati e ai token. Le aziende hanno inoltre l’esigenza di proteggere il codice sorgente proprietario, applicare una governance coerente ed evitare la complessità legata all’assemblaggio e alla gestione di uno stack infrastrutturale di intelligenza artificiale on-premise. Amd Instinct Coder si propone di rispondere a queste esigenze attraverso un approccio ibrido, che privilegia l’ambiente locale (local-first), fornendo alle organizzazioni una piattaforma completa per lo sviluppo di software AI aziendale.

Configurazione hardware con otto GPU

Alla base della soluzione ci sono le tecnologie di intelligenza artificiale di Amd, a partire dall’elaborazione host e dall’accelerazione AI, fino alla connettività di rete e alla distribuzione ottimizzata dei modelli. La configurazione iniziale è costituita da otto GPU Amd Instinct per l’inferenza AI memory-intensive. I processori Amd EPYC ad alta frequenza forniscono un nodo host ad alte prestazioni. Le soluzioni di rete Amd Pensando rendono disponibile una connettività Ethernet ad elevata larghezza di banda.

La componente software che attua i processi decisionali è invece costituita dalla piattaforma PaletteAI Inference Launchpad di SpectroCloud. Quest’ultima instrada le richieste in accordo con le politiche aziendali, la complessità del workload, le capacità del modello, la disponibilità dell’infrastruttura e i costi. I workload di codifica appropriati possono essere eseguiti su modelli distribuiti localmente, mentre il ragionamento avanzato e le attività specializzate possono continuare a utilizzare modelli di frontiera, quando sono richieste le loro capacità.

Supermicro riunisce queste tecnologie in un sistema AI integrato con otto acceleratori e fornisce servizi di progettazione, integrazione e qualificazione a livello di sistema. L’integrazione e la sinergia tra tali tecnologie si propone di sostituire i complessi progetti di infrastruttura fai-da-te con una soluzione chiavi in mano che i clienti possono facilmente implementare e gestire.

Semplificare l’implementazione

Secondo Dan McNamara, senior vice president e general manager Compute &Enterprise AI di AMD «la programmazione AI sta passando dall’essere uno strumento per singoli sviluppatori a una scelta di piattaforma aziendale. Le organizzazioni hanno necessità di controllare dove viene elaborato il codice, quali modelli vengono utilizzati e quali sono i costi di tale utilizzo. AMD Instinct Coder combina le elevate prestazioni di calcolo di AMD e un ecosistema software aperto con le tecnologie Supermicro e Spectro Cloud, fornendo ai clienti un modo semplice per eseguire un maggior numero di carichi di lavoro a livello locale, utilizzare modelli di frontiera in modo strategico e gestire autonomamente l’infrastruttura».

Secondo Tenry Fu, cofondatore e ceo di Spectro Cloud, l’inferenza AI ‘local-first’ fornisce valore solo quando le aziende possono implementarla e gestirla in modo semplice, sicuro e su larga scala. «Attraverso PaletteAI Inference Launchpad, Spectro Cloud fornisce il software e il livello operativo per AMD Instinct Coder, introducendo routing basato su policy, misurazione e governance nei workload di codifica AI. Ciò aiuta i clienti a eseguire le attività di codifica appropriate a livello locale, a utilizzare i modelli di frontiera in maniera mirata e a mantenere l’utilizzo dell’inferenza AI visibile e controllabile».

Vik Malyala, chief business officer di Supermicro, sottolinea che l’azienda «si impegna ad aiutare le imprese, i fornitori di servizi cloud e gli operatori di AI sovrana a implementare più rapidamente infrastrutture di intelligenza artificiale in produzione, con le prestazioni, l’affidabilità e la semplicità operativa richieste per workload AI particolarmente esigenti». E aggiunge: «Insieme ad Amd e Spectro Cloud, stiamo fornendo una soluzione di inferenza chiavi in mano e convalidata che combina i sistemi AI ottimizzati di Supermicro, gli acceleratori Amd Instinct e il software di inferenza integrato in una piattaforma che i clienti possono implementare e utilizzare con fiducia».