Varför snackar alla om edge AI?

Det finns ett växande behov av att accelerera edge AI beräkningar när allt fler applikationer kräver både låg fördröjning och mycket datorkraft. Edge AI innebär kort att man implementerar AI-algoritmer på edge computing-enheter för att göra förutsägelser eller beslut i realtid.

Marknaden för AI – och även edge AI – förväntas närmast explodera inom en nära framtid. Och låt oss bara titta på Nvidia, som för närvarande dominerar utrymmet.

Under det andra kvartalet i år vände halvledarindustrin kurs och såg en försäljningsökning efter att ha fått gå igenom minskningar under fem kvartal i rad, rapporterar analysföretaget Omdia.

Denna vändning dominerades av Nvidia. Halvledarförsäljningen för hela industrin ökade med 4,6 miljarder dollar jämfört med föregående kvartal, där Nvidia stod för 2,5 miljarder dollar av denna tillväxt. Nvidia tog också ett jätte kliv i världsrankingen tack vare den senaste tidens kraftiga ökning av efterfrågan på generativ AI.

Nästan en tredjedel av halvledarintäkterna för industrin – 31 procent under 2Q23 – kommer från databearbetningsindustrin, som såg en tillväxt på 15 procent kvartal över kvartal, ledd av introduktionen av AI-chips på servermarknaden. Den näst största marknaden, wireless, som drivs av smartphones, såg en nedgång på 3 procent kvartal över kvartal på grund av sektorns ihållande låga efterfrågan. Med en ökning på 3,2 procent växer halvledarmarknaden för fordon fortfarande.

Sett till intäkter var Nvidia det nionde största halvledarföretaget för ett år sedan; i slutet av Q2-23 är sitter företaget på tredje plats. Det är helt klart att Nvidia hade störst inverkan på den växande marknaden, och att AI spelade en enorm roll i detta.

Under Evertiq Expo Göteborg 2023 kommer Patrik Björklund från Tritech Solutions att ställa sig på scenen för att prata om Edge AI processorer, hårdvara och mjukvara.

Patrik menar att det finns ett stort urval av olika teknikalternativ, från GPU:er och FPGA:er till applikationsspecifika processorer med integrerade NPU:e att tillgå i sitt utvecklingsarbete – och detta från en ständigt växande skara av tillverkare.

– Allt eftersom mjukvaruekosystemet har utvecklats till opensource-ramverk och till och med förtränade modeller och branschspecifika applikationsprogrampaket från ledande halvledarleverantörer, liksom färdiga hårdvarumoduler och system, har den dominerande trenden inom området blivit att accelerera sin produktutveckling med hjälp av ”hyllfärdiga” hårdvaru- och mjukvarukomponenter, säger Patrik Björklund.

Inom vilken bransch tror du att vi kommer se nästa kraftiga intåg av AI?

– Det är nästan enklare att fråga var vi inte kommer att se ett intåg av AI. Det är svårt att peka ut en bransch som inte berörs av den här utvecklingen. Samtidigt finns det stora skillnader mellan olika branscher. Vissa har betydligt högre regulatoriska trösklar och introduktionen blir därför svårare. Bilbranschen har drivit på den teknologiska utvecklingen men där finns det regulatoriska hinder för att deploya lösningarna. Samtidigt har den utvecklingen smittat av sig på andra sektorer med lägre regulatoriska krav, säger Patrik till Evertiq.

Hur ser det egentligen ut i verkligheten, är hypen kring AI faktiskt förankrat i någon realitet?

– Det finns helt klart och utan tvivel substans i det här. Men samtidigt uppstår det bubblor där man kanske överdriver vad något är värt. Det kommer att dyka upp mängder med bolag inom olika områden och sektorer, samtidigt kommer det inte att finnas plats för alla dessa. Men det är också så det brukar se ut vid paradigmskiften. Men kort så tycker jag att saker och ting rör sig väldigt fort inom området och det leder faktiskt till praktiska tillämpningar, så visst är det riktigt.

Patrik fortsätter och säger att det självklart kommer att finnas bolag som pratar stort och levererar lite, men generellt sätt finns det något väldigt omvälvande i det här och det är bara att titta på bilindustrin som exempel.

– Men med det sagt tror jag det kommer att gå snabbare i branscher där man kan avgränsa saker och ting. Det vill säga där det finns mindre tekniska och regulatoriska hinder.

Vad ser du som de största hindren för introduktionen av AI?

– Helt klart regulatoriska. Lagar och ansvarsfrågor kan hindra exempelvis autonoma system på bilvägarna liksom lagstiftning kring dataintegritetsskydd kan vara hinder i andra applikationer. Tekniskt är vi längre fram än på den legala biten. Samtidigt finns det andra aspekter. För ungefär 10 år sen var det väldigt komplicerat att utveckla programvara för de här systemen, idag så finns det så mycket verktygskedjor som tillåter att ”vanliga” programmerare kan lösa dessa uppgifter. Idag är det snarare en brist på data scientists som är ett hinder i min mening. Människorna som ska implementera systemen i en form av kontext, säger Patrik.

Samtidigt ska man inse att även om dataintegritetsskydd, och krav som GDPR, kan ses som ett hinder för vissa applikationer, är det faktiskt i vissa sammanhang det som driver på edge-AI-trenden. Problemet kan i en edge-applikation lättare avgränsas, det vill säga din data når aldrig en molnserver utan stannar i edge-enheten och systemägaren kan därmed kontrollera att viss data garanterat raderas. 

Om man pratar om mer fysiska hinder så är exempelvis kostnader och effektförbrukning två som dyker upp, i alla fall på embedded-sidan. Samtidigt är detta problem som den tekniken kommer att lösa själv, över tid. Och det går, enligt Patrik, snabbare än man tror.

”Edge AI processorer, hårdvara och mjukvara,” mer specifikt, vad är det du kommer gå igenom på scenen?

– Dels kommer jag prata lite allmänt om AI, hårdvara, mjukvara och trender. Men jag kommer också att grotta ner mig i Edge och just då på Embedded-sidan och vad som finns tillgängligt   i form av processorplattformar och hyllprodukter som kort och system och hur man kan arbeta med dessa för att snabba på sin utveckling.