L'intelligenza artificiale ai margini della rete raramente significa solo inferenza.che sono tutti eseguiti contemporaneamenteQuesti carichi di lavoro multifunzionali richiedono un coordinamento stretto e un'elevata certezza, e i progettisti hanno trovato difficile soddisfare questi requisiti utilizzando l'hardware AI tradizionale.
Due fattori rendono questo problema ancora più complesso. In primo luogo, i modelli di IA si stanno sviluppando a un ritmo sorprendente, spingendo i progettisti ad adottare piattaforme che supportano aggiornamenti di algoritmi rapidi.molti sistemi edge sono stati utilizzati sul posto per dieci anni o piùIn secondo luogo, il percorso da modelli ben formati alla distribuzione e all'implementazione del sistema è ancora frammentato.Gli scienziati dei dati utilizzano PyTorch e TensorFlow, mentre i team incorporati utilizzano catene di attrezzature completamente diverse, il che crea attriti durante il processo di consegna e rallenta la velocità di produzione.
Per affrontare queste sfide, le piattaforme devono essere in grado di combinare l'elaborazione AI ad alto throughput con un comportamento deterministico, I/O flessibile e adattabilità a lungo termine,tutti i quali devono essere raggiunti entro il range di consumo di potenza tipico di una distribuzione a bordo limitato.
Questo articolo si concentra sugli scenari di applicazione e sui requisiti correlati che sfidano i progettisti ad esplorare nuove architetture di AI di punta.ha introdotto i dispositivi e gli strumenti software di Altera Field Programmable Gate Array (FPGA) che supportano l'AI edge, e ha dimostrato come utilizzarli per soddisfare i diversi requisiti di prestazioni e potenza di queste applicazioni.
L'evoluzione dell'intelligenza artificiale di punta richiede innovazione architettonica
I sistemi edge adottano sempre più diverse tecnologie di IA, tra cui l'apprendimento automatico classico (ML) per il rilevamento delle anomalie, le reti neurali convoluzionali (CNN) per la percezione,e convertitori per modelli linguistici di grandi dimensioni (LLM)Questi algoritmi computerizzati spesso coesistono con funzioni non-AI impegnative come l'elaborazione del segnale, la comunicazione di rete e il controllo in tempo reale.
I sistemi autonomi sono un buon esempio. In genere devono acquisire dati da più modalità di sensori come video, audio, radar, LiDAR e feedback movimento / posizione,Pre-elaborazione di questi flussi di dati con elevato throughput, analizzare i risultati utilizzando IA complessa e quindi gestire cicli di controllo ad alta precisione, che richiedono tutti una determinazione affidabile.
Ci sono molti esempi simili nell'automazione industriale, nell'imaging medico, nella difesa e nelle applicazioni di telecomunicazione.Una sfida comune che devono affrontare è che le architetture tradizionali sono difficili da adattare a carichi di lavoro costantemente convergenti.
Perché FPGA è particolarmente adatto per l'IA edge
Al contrario, questi requisiti sono pienamente compatibili con le funzionalità di FPGA.con il suo comportamento di cronometraggio incorporato al tempo di progettazione piuttosto che fluttuare durante l'esecuzione. Questa architettura può ottenere determinismo a bassa latenza, che è cruciale per l'AI di bordo. La logica flessibile può anche utilizzare potenti I/O: gli FPGA in genere forniscono abbondanti I/O ad alta velocità,che possono essere collegati a vari sensori e attuatori per ottenere un accoppiamento stretto con l'elaborazione dell'IA.
L'FPGA include anche una memoria interna distribuita, che consente di accedere ai dati dalla logica che opera su di essa.Questo riduce il collo di bottiglia che si verifica quando più fasi di elaborazione devono competere per accedere al bus di memoria condiviso, che è una limitazione comune nelle architetture basate su processori.
Molte FPGA integrano anche hardware specializzato di elaborazione del segnale digitale (DSP).questi circuiti migliorati forniscono prestazioni più elevate ed una migliore efficienza energetica per i carichi di lavoro di elaborazione del segnaleAlcune FPGA integrano anche sistemi di processori cablati che possono eseguire stack software standard (compreso Linux), consentendo lo sviluppo di software tradizionali per compiti come la rete,gestione dei dispositivi, e interfaccia utente.
In breve, un singolo FPGA può integrare funzioni che altrimenti potrebbero richiedere chip I/O separati, acceleratori AI, DSP e processori di piano di controllo.ridurre l' area della scheda di circuito, riducono il consumo di energia, mantenendo al contempo la bassa latenza e la certezza richieste per le applicazioni di AI edge.
Come aprire nuove possibilità con l'aggiunta di blocchi tensori AI
L'hardware tradizionale FPGA DSP è già molto adatto per molti carichi di lavoro edge, ma l'inferenza AI spesso si basa su operazioni di moltiplicazione dense ma di bassa precisione.I dispositivi Agilex 3 e Agilex 5 di Altera utilizzano DSP avanzati con blocchi tensori AIQuesto è hardware specializzato per la moltiplicazione di matrice di matrice e matrice vettoriale, che appare ripetutamente nei grafici di calcolo dell'IA.
Il nucleo di questo metodo è il prodotto scalare e il motore di aggiunta/accumulatore (Figura 1).il motore di punteggio con cavo rigido utilizza input a 8 bit e pesi a 8 bit preloaded per eseguire un prodotto a punti a 10 elementiPer espandere la gamma dinamica,il percorso dei dati può anche utilizzare un "indice comune" condiviso per la scalazione a virgola galleggiante dei blocchi per far fronte a scenari tipici in cui l'inferenza AI richiede in genere un'alta gamma dinamica ma una bassa precisione.