[ad_1]
Kong ha recentemente presentato una raccolta di sei plug-in AI open source per il suo Kong Gateway 3.6, che offrono integrazione con più LLM e migliorano significativamente l’accessibilità della tecnologia AI per gli sviluppatori e i team della piattaforma.
Secondo Kong, l’obiettivo di questa versione è migliorare la produttività degli sviluppatori semplificando il processo di integrazione degli LLM in vari prodotti. Garantisce un ambiente sicuro, conforme e controllabile per le richieste di intelligenza artificiale all’interno delle organizzazioni.
“La giornata di oggi segna una pietra miliare significativa nel nostro viaggio verso la democratizzazione dell’intelligenza artificiale per gli sviluppatori e le imprese di tutto il mondo. Rendendo open source questa suite di funzionalità IA innovative, inclusi i plug-in AI senza codice, stiamo rimuovendo gli ostacoli all’adozione dell’IA e consentendo agli sviluppatori di sfruttare più LLM senza sforzo e di distribuire più rapidamente applicazioni basate sull’intelligenza artificiale. Allo stesso tempo, stiamo fornendo governance e visibilità a tutto il traffico AI generato da un’organizzazione”, ha affermato Marco Palladino, CTO e co-fondatore di Kong Inc.
L’introduzione di funzionalità AI da parte di Kong nel suo Kong Gateway tramite il plug-in “ai-proxy” consente l’incorporazione di più LLM, come quelli offerti da OpenAI, Azure AI e altri, fornendo un’interfaccia unificata che consente agli sviluppatori di passare da un modello all’altro senza alterare il loro codice applicativo. Semplifica inoltre la gestione delle credenziali AI centralizzandole all’interno del Kong Gateway. Secondo Kong, questo approccio migliora la sicurezza allontanando la gestione delle credenziali dalle applicazioni, consentendo una rotazione e aggiornamenti più semplici delle credenziali.
Il plug-in “ai-proxy” estende le sue funzionalità al regno dell’analisi consentendo la raccolta di metriche AI dettagliate di livello 7, che includono il monitoraggio dei conteggi dei token di richiesta e risposta e i dati di utilizzo tra diversi provider e modelli LLM. Con il supporto per l’integrazione con piattaforme di analisi come Datadog e New Relic, insieme ai plug-in di registrazione nativi di Kong Gateway, gli sviluppatori ottengono preziose informazioni sui modelli di utilizzo delle loro integrazioni AI.
Inoltre, l’introduzione di plug-in di integrazione AI senza codice, principalmente “ai-request-transformer” e “ai-response-transformer”, consente agli utenti di inserire funzionalità AI direttamente nelle richieste e risposte API, abilitando funzionalità come API in tempo reale traduzione delle risposte per iniziative di internazionalizzazione più ampie senza la necessità di codifica.
Kong ha anche introdotto plugin specializzati nella creazione, decorazione e gestione dei prompt dell’intelligenza artificiale. Il plug-in “ai-prompt-template” consente la gestione centralizzata dei modelli di prompt, consentendo aggiornamenti rapidi e conformità con i modelli approvati senza la necessità di modificare il codice dell’applicazione. I plugin “ai-prompt-decorator” e “ai-prompt-guard” forniscono meccanismi per garantire che i prompt dell’intelligenza artificiale siano coerenti con le policy organizzative e protetti da contenuti non autorizzati o sensibili.
[ad_2]
Source link
