S3D & WibbleWobble

För den nyfikna spelaren
En populärvetenskaplig beskrivning av tekniken, hur den är uppbyggd och hur den fungerar. Om du inte är intresserad behöver du inte läsa det - det är torrt material.

Hur ett spel ritar 3D
Det vanliga sättet att producera en 3D-bild i ett spel är att rendera scenen två gånger - separat för vänster och höger öga, genom att virtuellt flytta kameran i förhållande till scenens centrum. Detta är resurskrävande och kräver inbyggt stöd från spelmotorn. Långt ifrån alla spel kan göra detta. WibbleWobble erbjuder två olika vägar, och skillnaden mellan dem är fundamental - den bestämmer både bildkvaliteten och uppsättningen av bildartefakter.

Väg ett: ReShade Client - syntetisera stereo från en platt bildruta
Spelet renderar en enda vanlig vy. SuperDepth3D ReShade-effekten tar den bildrutan tillsammans med scenens djupbuffert och rekonstruerar en andra vy från den genom att flytta pixlar enligt djupet. Spelmotorn vet inget om stereo. Detta är billigt prestandamässigt och fungerar med nästan alla DX11/DX12-spel. Avvägningen är artefakterna som är inneboende i själva metoden. De beskrivs nedan, i avsnitten "Nackdelar".

Väg två: OpenVR Client - äkta 3D-rendering
WibbleWobble registrerar sig själv i SteamVR som ett virtuellt VR-headset. Ett VR-kompatibelt spel, eller ett med en VR-mod, renderar scenen två gånger från två kameror separerade av pupillavståndet, precis som ett riktigt headset gör. IPD, upplösning per öga och brännvidd ställs in i VR Config. Här syntetiserar WibbleWobble ingenting: den tar det färdiga stereoparet och matar ut det till skärmen bildruta för bildruta, och synkroniserar slutarglasögonen. Detta kostar mer i prestanda, men 3D-geometrin är absolut korrekt. Inga hål längs konturer, ingen "kartong"-effekt; varje öga får sina egna reflektioner och högdagrar. I huvudsak är detta ett sätt att spela VR-spel på en vanlig skärm med 3D-glasögon men utan headset.

Reprojektion - mekanismen för utvidgning av synfältet
Reprojektion fungerar i båda lägena, inklusive monokulärt. En högpresterande shader tar spelbildrutan och mappar den på geometrin i din arbetsyta: på en enda skärm, eller fyra skärmar, eller en krökt skärm. Genom huvudspårning (OpenTrack) flyttas bilden för att följa ditt huvud, och skärmarna börjar fungera som ett fönster in i en virtuell värld - "VR-fisktank"-effekten. Syftet med reprojektion är att få rätt världsskala och rätt synfält (FOV) för användning med flera skärmar. Reprojektion kan stängas av helt (Client Config -> Reprojection: Disabled) och du kan bara använda stereoutgången, BFI och uppskalaren - det vanliga scenariot för en enda bildskärm.
* Det måste sägas att projektets författare var alltför optimistisk om idén att "expandera världen" över flera paneler. Även kraftfulla grafikkort har inte tillräckligt med prestanda för detta. Du har tur om hastigheten räcker för en enda 4K-skärm. Det kommer inte att fungera med flera skärmar...

FOV (Field of View): betraktningsvinkeln. Den bestämmer vilken sektor av världen den virtuella kameran fångar i bildrutan. Den mäts i grader, separat för vertikal och horisontell. En liten FOV (40-50°) ser ut som ett teleobjektiv: en smal sektor med stora objekt. En stor FOV (100-120°) är vidvinkel, som en actionkamera. Du ser mycket åt sidorna, men kanterna är sträckta och objekt verkar längre bort och mindre. Detta är en nyckelparameter i WibbleWobble. Programmet måste känna till vinkeln med vilken spelet ritade bildrutan för att kunna projicera den korrekt på din fysiska skärm. Det är därför Game Config har två fält, FOV Vertical och FOV Horizontal, med ett krav: värdet måste matcha det som är inställt i själva spelet. Ändra ett värde och det andra räknas om automatiskt för att matcha fönstrets bildförhållande.

Om FOV är:
för stor ser världen ut som en leksak och objektens skala förvrängs
för låg verkar världen gigantisk och allting tornar upp sig över dig
i 3D bryts djupet tillsammans med skalan, och ansträngning för ögonen uppstår

Huvudspårning som ett "fönster in i världen"
Med OpenTrack-metoden spårar applikationshanteraren huvudets position och flyttar projektionen så att skärmen renderar ett virtuellt fönster in i 3D-scenen. Detta skapar en parallaxeffekt. När du rör på huvudet flyttas bilden något, som om du verkligen tittade genom ett fönster.

Bildruta-för-bildruta stereoutgång
Applikationen tar emot bildrutor från spelet med en variabel hastighet när de blir klara, "hur de än kommer." Klienten justerar sedan bildhastigheten för uppspelning vid 60 Hz. Källan till stereoparet kan vara SuperDepth3D, en VR-mod eller färdigt 3D-innehåll. WibbleWobble accepterar det i side-by-side- eller schackbrädeformat (Client Config -> Source Format) och avkodar det i FrameBufferDecode. Renderaren konverterar det sedan till en 120 Hz bildruta-för-bildruta-ström medan den synkroniserar slutarglasögonen. Följande sändare stöds: NVIDIA 3D Vision, Open3DOLED, DLP-projektorer, 3D Ready och en hemmagjord Arduino/VESA IR-sändare.

Bekämpa rörelseoskärpa och överhörning
Rörelseoskärpa är oskärpa som produceras av bildskärmen. Moderna LCD- och OLED-paneler håller en pixel tänd under hela bildrutans varaktighet - sample-and-hold-läget. Medan pixeln förblir tänd och fixerad på en position, fortsätter ögonen instinktivt att följa det rörliga objektet. Som ett resultat "smetas" bilden ut på själva näthinnan, även om varje enskild bildruta på skärmen är perfekt skarp. Ju längre en pixel förblir tänd, desto starkare blir smeten. Defekten döljer fina detaljer och försämrar dessutom bilden i 3D-läge.

För att minska pixelns tända tid tillhandahåller WibbleWobble två verktyg:
Black Frame Insertion - infoga en svart bildruta mellan de användbara (Black Frame Insertion Interval-parametern i Client Config).
CRT Beam Simulator av Blur Busters - en shader som imiterar svepet av en CRT:s elektronstråle: den släcker bilden rad för rad snarare än som en hel bildruta. Det ger ett bättre resultat men är krävande för bildskärmen: den behöver gamma 2.2 eller 2.4, ABL/APL avaktiverat och OLED i SDR-läge. På FALD- och MiniLED-paneler fungerar det dåligt på grund av bakgrundsbelysningens tröghet.

Dessa två lägen får inte vara aktiverade samtidigt. När du använder CRT Sim måste Black Frame Insertion Interval-parametern i Client Config vara noll. Det är värt att betona separat att spelet kan köras med en lägre hastighet än vad skärmen matar ut bildrutor, och programmet fyller i de saknade bildrutorna upp till skärmens hastighet. Men detta är inte generering av nya mellanliggande bilder - det är en upprepning av färdiga. Med andra ord finns det ingen av den jämnhet som en omsamplingsmetod ger.

Överhörning är effekten där bilden avsedd för ena ögat delvis når det andra ögat. Som ett resultat ser betraktaren dubbla konturer eller halvgenomskinliga "spöken" bredvid objekt. Detta försämrar kvaliteten på 3D-bilden och minskar djupkänslan. För att bekämpa detta är stöd för Black Frame Insertion och Blur Busters CRT-beam-simulatorn inbyggt. För omfattande överhörningsundertryckning används ett smart läge: spelbilden ritas vid 60 Hz, glasögonen får synk vid 120 Hz, och utmatning till skärmen körs vid 240 Hz med bildruterepetition.

För alla sina förtjänster har denna metod begränsningar som bör nämnas separat. De härrör inte från någon ofullkomlighet i programmet utan från den valda arbetsprincipen. Den andra stereovyn renderas inte från scenmodellen utan rekonstrueras från en redan färdig bildruta och en djupkarta. Om det inte finns någon data om vad som är dolt bakom förgrundsobjekt i källbildrutan, finns det ingenstans att återhämta det från.

Hål vid objektkanter - disocclusion
Detta är metodens huvudsakliga defekt. När programmet flyttar synvinkeln för det andra ögat eller för en huvudvridning, bör en del av bakgrunden som var dold av en förgrundsobjekts kant i källbildrutan bli synlig. Men ingen renderade de pixlarna - de finns fysiskt inte. Programmet har inget att fylla luckan med, så det antingen sträcker ut kantpixlarna, vilket producerar en "gummiliknande" smetig halo längs konturerna, eller ersätter med en "trolig" men vanligtvis felaktig lapp. Ju starkare synvinkelförskjutning, desto bredare halobanden. Detta är inte en implementeringsbugg utan en begränsning av själva metoden: du kan inte extrahera från en enda bild vad som är dolt bakom objekt och inte synligt i den.

Huvudrörelse förstärker förvrängningarna
I vanlig stereo är avståndet mellan synvinklarna litet och konstant - lika med avståndet mellan pupillerna. Men med ett "fönster in i världen" färdas huvudet tiotals centimeter i olika riktningar, så den relativa synvinkelförskjutningen är många gånger större än den naturliga, och hålen och smeten växer sig större. Det fungerar så här: sitt stilla så finns det nästan inga artefakter, men 3D-effekten är också svag; rör dig mycket så finns effekten, men allt längs objektens kanter är smetigt och flytande.

Grafiken förlitar sig på djupkartan
Programmet behöver korrekt information om avståndet till varje punkt i scenen. Spelet tillhandahåller inte alltid det, eller allt av det. Transparenta ytor - vatten, glas, rök, eld, lövverk - har vanligtvis inget detaljerat djup, eller så skapar motorn det inte alls. Som ett resultat hamnar objekt på fel avstånd: vatten fastnar på fel ställe, rök dubblas, partiklar hänger i luften på olika ställen. Dessutom matar inte varje spel ut en kompatibel djupbuffert alls - i vissa är den inverterad, i andra är den skyddad och kan inte läsas.

Reflektioner och högdagrar bryts mest
Speglar, vatten, våt asfalt och metall definieras av djupet på sin egen yta, inte av bilden som reflekteras i dem. När synvinkeln flyttas driver reflektionen iväg till ingen vet vart. Om en högdager är "målad" på ytan, beter den sig inte som den borde i den verkliga världen. Det är just det mest slående glansiga innehållet som ser platt och felaktigt ut i stereo.

Gränssnitt, sikte och HUD
Tvådimensionella element ovanpå bildrutan - hälsomätare, menyer, siktet - ritas på noll djup, så efter bearbetning hamnar de på fel stereoavstånd. Gränssnittet sticker antingen in i skärmen eller dinglar framför scenen. Siktet är en huvudvärk i sig; dess djupläge måste nästan alltid justeras för hand.

En bildruta för båda ögonen
Båda ögonen ser samma bild, bara förskjuten. Med ärlig stereorendering får varje öga sina egna korrekta högdagrar, skuggor och refraktioner; här kommer det inte att hända. På grund av detta framstår objekt som platta lager utskurna ur plywood och arrangerade efter djup, snarare än som volymetriska kroppar. På engelska kallas denna effekt "cardboard cutout"-effekten.

Per-spel-inställning
Synfältet, djupintervallet och konvergensen ställs in för hand för varje spel separat. En miss ger antingen ansträngning för ögonen från överdriven konvergens, eller fel skala, där världen ser ut som en leksak eller gigantisk, eller till och med inverterat djup helt och hållet. Detta är en "justera och lista ut det"-lösning, inte en "installera och spela"-lösning.

Latens och ojämna bildrutor
Spelet renderar bildrutor ojämnt, och klienten anpassar dem till skärmens stabila fps genom att upprepa färdiga bildrutor. Upprepningen i sig introducerar ingen distorsion, men latensen mellan åtgärd och bild ackumuleras: bildruteinfångning, bearbetning, utmatning. För huvudspårning, känns varje sådan latens som en "flytning" av scenen. Game Config har en Frame Capture Delay-parameter för detta, för att ställa in infångningsögonblicket.

Kvarvarande överhörning och höga skärmkrav
Mjukvarutekniker - svart bildruteinsättning och 60/120/240-läget - undertrycker spökbilder, men tar inte bort det helt, eftersom överhörning bestäms av många faktorer: fysiken hos bildskärmspanelen och glasögonen själva. Det beror på pixelns svarstid, växlingshastighet, kontrasten hos glasögonens linser och skärmens vertikala ritningshastighet. Dessutom kräver det mest aggressiva läget en snabb 240 Hz-panel med kort pixelpersistens, vilket inte alla användare har. Till skillnad från NVIDIA 3D Vision återger ReShade inte en färdig volym utan syntetiserar den från en platt bildruta. Det är därför hål längs konturer, felaktiga reflektioner och flytande kanter är stabila artefakter av metoden, inte en tillfällig brist.

Stereo-geometrin här är ärlig, och inga av bildsyntesartefakterna - disocclusion, "kartong," trasiga reflektioner - finns här. Men denna metod har sin egen kostnad också, och det är en annan.

Spelet måste stödja VR
Detta är den huvudsakliga begränsningen. Metoden fungerar inte med ett godtyckligt spel: den kräver antingen inbyggt VR-stöd eller en VR-mod. Om ingen färdig mod finns, kommer OpenVR-vägen inte att fungera, och endast ReShade med alla dess artefakter återstår. Med andra ord, den breda kompatibiliteten för vilken den första vägen finns är helt förlorad här.

Dubbel belastning på grafikkortet
Scenen renderas verkligen två gånger, från två kameror. Det finns ingen av besparingen som reprojektion av en enda vy ger: prestandan sjunker precis som i verklig VR. Detta kompenseras delvis av Resolution-inställningen i VR Config - upplösning per öga kan sänkas, och WibbleWobble kommer att skala upp bilden till skärmens upplösning.

Komplex installation
SteamVR måste installeras. Drivrutinen registreras via Install.bat med administratörsrättigheter, varefter två rader måste läggas till manuellt i filen config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" och "activateMultipleDrivers": "true". Slutför sedan Room Setup i STANDING ONLY-läge. Ett fel vid något steg och istället för stereo får du en svart skärm utan ett tydligt meddelande om orsaken.

Begränsningar hos OpenVR självt
Vissa inställningar kan inte ändras i farten. Om du ändrar upplösningen eller utmatningshastigheten, krävs en omstart av SteamVR. Detta är en plattformsbegränsning, inte en programbegränsning, men det saktar märkbart ner inställningen av spel.

Renderingsoptimering bryter vissa spel
VR Config har en Optimise Single Eye-parameter som tillåter rendering av endast ett öga eller båda vid halv FOV. Projektets författare varnar direkt: "Both"-läget är det mest problematiska - vinjettering och ögdesynkronisering är möjliga, och bilden kan "flytta sig." I vissa spel måste optimeringen stängas av helt.

Kamp om fönsterfokus
Vissa spel lämnar inte över fokus till WibbleWobble-gränssnittet: SHIFT + END-tangentkombinationen fungerar inte, eller så ritas gränssnittet men kan inte styras. Du måste växla manuellt via ALT + TAB. Ett separat problem: WibbleWobble-fönstret får inte stängas - programmet återhämtar sig inte efteråt, och spelet måste startas om.

Återcentrering vid varje start
Spårning måste centreras manuellt (SHIFT + .) varje gång vid start, placerad exakt i mitten av arbetsytan framför skärmarna. Om huvudet inte var där under centreringen, börjar reprojektionen bete sig konstigt och skalan "driver." Enligt författarens egen bekännelse kräver det övning att träffa rätt position. Detta kan senare åtgärdas genom att använda mer intelligent spårningsprogramvara.

Egenheter hos enskilda applikationer
Vissa program fungerar bara med vissa märken av headset. För dem har VR Config en Headset Identification-parameter som får WibbleWobble att presentera sig som en annan enhet - Vive, till exempel - utan vilken huvudspårning inte fungerar i DEOVR. Med andra ord, kompatibilitet vilar på ställen på sådana lösningar.

Gemensam grund med den första vägen
Allt som rör hårdvaran gäller för båda metoderna: kvarvarande överhörning, kravet på en snabb panel, behovet av exakt glasögonsynkronisering. Stereoutgång, sändare, BFI och CRT Sim fungerar på samma sätt oavsett var stereoparet kom ifrån.