Danske forskere opfinder helt ny måde at komprimere data på
Et nyt projekt skal gøre det muligt at læse data direkte fra komprimeret IoT-data. Projektet ledes af forskere fra Aarhus Universitet, støttes af Danmarks Frie Forskningsfond og udføres i samarbejde med blandt andet MIT og Boston University.
Den nye opfindelse kan potentielt afhjælpe det stadigt stigende pres på kommunikation og infrastruktur til datalagring. Foto: Arkiv..
Forskergruppen Network Computing, Communications and Storage ved Aarhus Universitet har udviklet en helt ny måde at komprimere data på. Den nye komprimeringsteknik giver mulighed for at udføre dataanalyse direkte på komprimerede filer, og det kan have stor betydning for den såkaldte data-tsunami, som Internet of Things (IoT)-enheder medfører.
Komprimering i realtid
Komprimeringsteknikken gør det muligt at komprimere IoT-data (typisk data i tidsserier) i realtid, inden data sendes i skyen. Herefter kan typisk dataanalyse udføres direkte på de komprimerede data. Der er således ikke behov for at dekomprimere alle eller store fraktioner af data for at udføre analysen.
”Hvis du i dag skal bruge 1 byte data fra en 100 MB komprimeret fil, er du som regel nødt til at dekomprimere en stor del af filen for at få adgang til data. Vores teknologi giver hurtig adgang til de komprimerede data. Det betyder, at du kan få adgang til 1 byte data ved at dekomprimere mindre end 100 bytes, hvilket er flere størrelsesordener lavere end andre moderne teknologier. Det kan få kæmpe betydning for datatilgængelighed, databehandlings-hastighed og skylagrings-infrastrukturen”, siger lektor Qi Zhang fra Aarhus Universitet.
Med en bevilling på knap tre millioner kroner skal metoden nu videreudvikles og danne ramme for en end-to-end-løsning, der kan hjælpe med at nedskalere de eksponentielt stigende datamængder fra IoT-enheder. Qi Zhang leder projektet, som udføres i samarbejde med Institut for Datalogi, Aarhus Universitet og eksperter fra Massachusetts Institute of Technology (MIT), Boston University, Terma samt Energinet.
Dyb indvirkning på digitaliseringen
Den nye opfindelse kan potentielt afhjælpe det stadigt stigende pres på kommunikation og infrastruktur til datalagring, og forskergruppen mener, at projektets resultater vil tjene som et fundament for udviklingen af bæredygtige IoT-løsninger og få en dyb indvirkning på digitaliseringen:
”I dag streames IoT-data konstant til skyen, og som en konsekvens af de enorme mængder af IoT-enheder, der implementeres globalt, forventes en eksponentiel datavækst. For at imødekomme hurtig dataindsamling og -analyse foretrækker man ofte i dag at lagre data ukomprimeret. Ulempen ved det er, at det bruger meget lagerplads. Men hvis man lagrer data i komprimeret form, tager det tid at dekomprimere data, før man kan få adgang til dem og analysere dem. Dette projekt har derfor potentiale til ikke blot at reducere datalagringsplads, men også at fremskynde dataanalyse,” siger Qi Zhang.
Projektet, der hedder Analytics Straight on Compressed IoT Data (Light-IoT), er støttet af Danmarks Frie Forskningsfond med 2,9 millioner kroner.
- KCP
