Edge-AI i bärbara enheter: En ny generation patientcentrerad vård

Av Wojciech Bober, teknisk produktchef, Nordic Semiconductor

Lokala data

En avgörande fördel med att hålla hanteringen lokal är att inferenstiden blir deterministisk. Resultaten fördröjs inte för att en mobilmast är överbelastad eller att en patient har gått in i ett rum utan täckning. Problem uppstår inte heller om en molnleverantör utsätts för en DDoS-attack som stör dess tjänster. För en enhet som är avsedd att upptäcka ett anfall eller en arytmi och initiera åtgärder är denna förutsägbarhet lika viktig som den rena hastigheten. 

Batteritiden förbättras också. Betydande energibesparingar uppnås genom att man slipper överföra data via mobilnätet (4G/5G), eftersom radioförbindelser kan vara flera storleksordningar dyrare per mW/bit jämfört med lokal inferens som utförs av specialiserad hårdvara. Dessa besparingar kommer bara att fortsätta öka i takt med att applikationerna blir mer avancerade och datakrävande. 

En annan fördel är att känsliga medicinska uppgifter inte sprids från enheten i obearbetad form. Istället för att data strömmas från accelerometrar, EKG eller kontinuerliga glukosmätningar möjliggör edge-baserad inferens att endast den slutsats som dras kommer att överföras. På så vis blir det betydligt enklare att hantera frågor och bestämmelser kring integritet och säkerhet, till exempel avseende dataminimeringsprinciper i GDPR. 

Kisel av hög kvalitet

Inget av detta skulle vara möjligt utan betydande framsteg på hårdvarusidan. Processnoder med låg strömförbrukning (22 nm) har sänkt energikostnaden för beräkningarna, samtidigt som snabbare processorkärnor utför uppgifter på kortare tid, vilket i sig också sparar energi. Integrerad hårdvaruacceleration och neurala bearbetningsenheter (NPU:er), till exempel de som finns i Nordics nRF54L-serie, har tagit detta ännu ett steg längre genom att avlasta allmänna processorer från resurskrävande arbetsuppgifter och samtidigt leverera inferenshastigheter som är flera storleksordningar högre. För utvecklare innebär detta utrymme att köra mer krävande modeller för maskininlärning (ML) i komplexa applikationer. Ljudklassificering, bildigenkänning, detektering av biometriska mönster och gestavkänning – allt detta går plötsligt att genomföra utan att enhetens energiförbrukning slår i taket.

Den växande betydelsen av gestavkänning

Gest- och rörelseavkänning har snabbt blivit ett av de mest dynamiska utvecklingsområdena inom AI-baserade bärbara hälsovårdsprodukter. Detta beror delvis på hur väl den underliggande datatypen passar specialiserade, ultrakompakta maskininlärningsmodeller, som till exempel Nordics Neuton-modeller. Detta nyskapande sätt att leverera för fullt uppkopplade djupa neurala nätverk är särskilt väl lämpat för klassificeringsproblem baserade på egenskaper som härleds från en insignal, till exempel från accelerometrar och gyroskopiska sensorer. Dessa genererar tidsseriedataflöden som kombineras för att beräkna exakt orientering och rörelse. Vid en jämförelse av en standarduppgift inom gestigenkänning använde Neuton-modellerna 43 % mindre icke-flyktigt minne och kördes ungefär 33 gånger snabbare än en motsvarande TensorFlow Lite-modell på samma chip, samtidigt som de uppnådde något högre noggrannhet. Det är just sådana här siffror som gör att gestigenkänning är genomförbart på enheter med mycket begränsade resurser när det gäller strömförbrukning och minne. 

Beröringsfri interaktion är ett sådant exempel. I kliniska miljöer innebär varje beröring risk för kontaminering eller spridning av patogener. Gränssnitt som styrs genom rörelser istället för fysisk beröring bidrar i stor grad till att förebygga smittspridning i strängt kontrollerade miljöer. Redan idag använder kirurger geststyrda PACS-system (system för bildarkivering och kommunikation) för att på ett säkert sätt hämta, zooma, panorera och granska anatomiska bilder direkt i operationssalar utan att bryta aseptiken. Även om dagens system bygger på datorseende snarare än gestigenkänning via bärbara enheter kan deras noggrannhet endast förbättras genom att lägga till data från en tröghetsmätningsenhet (IMU) – accelerometer, gyroskop och magnetometer – och de levererar ett övertygande bevis på att kontaktlös aseptisk kontroll är möjlig. 

Patienter med nedsatt finmotorik eller rörlighet kan använda denna teknik på liknande sätt. Huvudrörelser, små arm- eller fingerrörelser och till och med ögonrörelser kan nu omvandlas till exakta kommandon, vilket förbättrar tillgängligheten och överbryggar kommunikationsbarriärer. Lösningar som Cato gör det redan möjligt för användare att interagera med hjälpmedel, smarta hem-enheter, telefoner och surfplattor genom den här typen av AI-detekterade gester. De utgör ett alternativ till blickstyrningsteknik som visserligen är en oerhört kraftfull och användbar teknik, men som står inför en rad utmaningar när det gäller implementering och tillämpning. 

Tillämpningen av denna typ av detektering kan nå ända till identifiering av exakta muskelrörelser, vilket är avgörande inom området för geststyrda proteser. Genom att kombinera tekniken med myoelektrisk mönsterigenkänning (där sensorer används för att registrera de elektriska signaler som avges vid muskelsammandragningar) kan moderna proteser tolka avsikten bakom dessa kvarvarande muskelsignaler och omvandla dem till handrörelser som att greppa, peka, vrida och gestikulera. Kroppsdelskontrollerna tränas upp och anpassas efter användarnas unika uttryck, som sedan kan detekteras direkt i enheten med hjälp av edge-AI.

Passiv övervakning, diagnos och behandling av Parkinsons sjukdom

Parkinsons sjukdom (PD) är ett av de tydligaste exemplen på att passiv rörelsedetektering med hjälp av bärbara enheter har en väsentlig fördel jämfört med punktvisa undersökningar på kliniken. De typiska symtomen – vilotremor, gångförlamning och rörelsefördröjning – varierar under dagen och kan ofta se annorlunda ut vid ett läkarbesök. Bärbara enheter som kontinuerligt övervakar och kartlägger rörelser ger vårdpersonal en betydligt mer heltäckande bild, vilket bidrar till en mer välgrundad UPDRS-poäng (Unified Parkinson’s Disease Rating Scale). 

Dessa fördelar sträcker sig till och med till att underlätta diagnosen av Parkinsons sjukdom. Läkare måste ofta skilja på Parkinsons sjukdom i ett tidigt skede och essentiell tremor, en annan rörelsestörning som ytligt sett kan se likartad ut, men som kräver en helt annan behandlingsstrategi. En studie från 2023 som publicerades i Journal of Neurology visade att data om gångmönster och hållningsförändringar från bärbara tröghetssensorer, i kombination med maskininlärning, kunde skilja mellan de två tillstånden med en noggrannhet på upp till 84 %. 

Väsentlig förändring

Edge-AI med extremt låg strömförbrukning följer en utveckling som är välbekant för alla som har följt utvecklingen av Bluetooth Low Energy och IoT med låg strömförbrukning under det senaste decenniet. Funktioner som inledningsvis var specialiserade och alltför kostsamma har snabbt blivit tillgängliga och allmänt utbredda, till den grad att de numera ses som en självklar del av varje designverktygslåda. Moderna, AI-baserade SoC:er har förenklat hårdvarukonstruktionen, små och extremt effektiva modeller som Neuton har gjort det praktiskt möjligt att utföra meningsfulla inferenser även på äldre hårdvara, och en alltmer utvecklad uppsättning utvecklingsverktyg – inklusive plattformar som inte kräver kodning – har avsevärt sänkt kunskapskravet.

Rollen hos edge-AI vid utvecklingen av bärbara hälsovårdsprodukter förändrar nivån på den vård, övervakning och behandling som finns tillgänglig, vilket har en betydande inverkan på livskvaliteten och behandlingsresultatet för patienterna.