Flyt dig rundt på stadion – foran tv'et

Vil du se din favoritkamp, som målscoreren på banen oplever den, eller som dommeren ser den? Eller måske hellere i helt din egen vinkel og afstand?

Det er snart muligt med en ny teknologi, der kaldes "Free-viewpoint Immersive Networked Experience", forkortet FINE. Det lyder som en fantasi, men er et særdeles konkret EU-projekt med deltagelse af it-virksomheder og universiteter i Spanien, Sverige, Tyskland og Belgien. Hensigten er at give dig som tv-seer en endnu større oplevelse og mulighed for selv at styre billedet, så du så at sige føler dig omgivet af begivenhederne.

Det vil i praksis sige, at du via den nye teknologi vil kunne placere dit eget virtuelle kamera under tv-transmission af alle actionprægede begivenheder (dvs. sport og live-dokumentar fra ind- eller udland), og vende og dreje billedet helt vilkårligt efter eget ønske. Magien, der vil gøre det muligt, er specialudviklet software og snedige algoritmer, som er i stand til at kombinere billederne fra mange kameraer og på basis heraf beregne helt nye, virtuelle billeder i realtid.

Komplekse beregninger

Folkene bag projektet valgte i første omgang at tage udgangspunkt i større fodboldstævner med stort seertal, fordi sådanne kampe næsten til overflod er dækket af professionelle kameraer, der fra forskellige vinkler hele tiden følger og registrerer spillernes og boldens placering på banen.

Men de tekniske udfordringer var alligevel kolossale – når der er to hold på hver 11 spillere foruden dommere og linjevogtere osv., der er mere eller mindre ens klædt og løber rundt på et større område udendørs under uforudsigelige og skiftende lysforhold. De kommer ofte i vejen for hinanden og for kameraerne.

FINE-teknikerne stod over for en række problemer, der skulle løses. I filmindustrien bærer skuespillerne særlige dragter, når deres bevægelser skal registreres, for at skuespillernes bevægelser skal kunne gendannes som en virtuel figur i realtid. Men i en fodboldkamp findes den slags markører ikke, så computerprogrammet skulle altså i praksis kunne "tracke" personer uden faste referencepunkter.

Computerne skulle også kunne skabe fotorealistiske 3D-opbygninger af virtuelle kameravinkler på baggrund af mange højkvalitetsvideosignaler. Eller sagt på en anden måde: De skulle kunne "digte" en ny virkelighed på baggrund af billeder, som ser virkeligheden fra andre vinkler. Og det skal gå lynhurtigt, så seeren oplever det som ægte live-tv, selv om det i praksis er fodboldspillere og bevægelser, softwaren og algoritmerne skaber, som var det et computerspil. Endelig skulle disse virtuelle scenarier kobles sammen med ægte kamerabilleder og transmitteres gnidningsløst til seerne.

Kræver op til 36 kameraer

Det blev hurtigt klart, at det kræver mindst 24 – og snarere 36 kameraer – ved professionel broadcast-kvalitet at følge enhver af en fodboldkamps 22 spillere samt dommere og linjevogtere på en måde, så computerne kan beregne virtuelle synsvinkler i realtid. Derfor indbefatter systemet også to specielle kamerabokse, Tracab, der i forvejen er bygget til at tracke objekter for senere digital bearbejdelse. Det er en sammenbygning af otte kameraer, der er placeret på et solidt stativ midt for banen med fire-otte meters indbyrdes afstand. Billederne overlapper en smule, så kameraerne leverer et stereobillede af hele banen foruden samtlige spilleres og boldens position. Derudover er det nødvendigt med andre kameragrupper rundt om hele banen.

Alle billeddata sendes via internettet til en supercomputer med tilstrækkelig datakraft til at kunne kombinere billedstrømmen fra alle disse kameraer og beregne billedet fra et virtuelt kamera, der filmer i en vilkårlig retning i realtime.

FINE-systemet skal kunne behandle datamængder på flere hundrede megabit pr. sekund. Personer i sport bevæger sig naturligt nok en del, så billederne opdateres adskillige gange i sekundet. Baggrunden er dog som oftest mere stillestående og behøver derfor ikke samme opløsning og opdateringsfrekvens.
Selv om sammenligningen med computerspil er fristende, er det endnu ikke muligt med de eksisterende algoritmer og computerkræfter at lave en realisme på niveau med for eksempel de mest avancerede pc-fodboldspil, hvor du kan betragte kampen i 3D fra alle vinkler.

Men projektfolkene er optimistiske og har vendt sig mod de nyeste parallelle supercomputere, der er på størrelse med en skrivebordscomputer, men som alligevel yder 3,7 tera-flops. Der skal blot udvikles nye algoritmer, der egner sig til parallel computerberegning, og dermed er der en yderligere udfordring, som skal løses inden 2013, hvor teknologien efter projektplanerne skal være færdigudviklet.

Svensk opfindelse tracker spillerne

Multikameraet er grundstammen i FINE-projektet. Bag kameraet, Tracab, står et svensk firma, som har gjort sig selv til internationalt førende inden for digitale billeddata i realtid. Ved hjælp af en særlig, overlappende sammenbygning af otte professionelle broadcast-kameraer og patenteret software til digital billedbehandling er Tracab Image Tracking-systemet i stand til at opfange alle bevægelser inden for et givet areal som eksempelvis en boldbane og omsætte denne information til 3D-data. Disse data kan anvendes i live-video, efterproduktion, stævnekommentarer eller analyse på tv, mobiltelefoner, computere eller printere.

Sådan skabes billedtricket

Et stort antal tv-kameraer dækker fodboldkampen fra forskellige vinkler.

Computersoftwaren tracker og beregner spillernes udseende ved hjælp af kamerabillederne.

Det samme angreb set fra to positioner. Det ene billede er kunstigt skabt. Computerne har ved at sammenligne flere forskellige kameravinkler skabt et billede fra en vinkel, hvor der ikke står noget kamera.

Softwaren tracker en live-spiller og omsætter ham til en virtuel figur, som herefter kan vendes og drejes.