english homepage
UAUIM→Cercetare→UAUIM-FFCSU-2023→OutsideVR
Departamentul pentru managementul cercetării

OutsideVR

Dezvoltarea infrastructurii de cercetare-inovare și creșterea vizibilității rezultatelor cercetării din UAUIM prin noile media de realitate virtuală destinate scalării experienței virtuale individuale

Proiect finanțat UAUIM-FFCSU2023-004

Domeniul vizat: Realitate virtuală, inteligență artificială, fabricație aditivă, tehnologii noi și digitalizare.

Durata proiectului: 5 luni

Scopul proiectului

Proiectul dezvoltă infrastructura de cercetare-inovare a UAUIM prin implementarea noilor media de realitate virtuală destinate scalării experienței virtuale individuale. Include o instalație imersivă de expunere a mediului VR în lumea fizică și un hub VR pentru metaverse, ambele având rolul de a crește vizibilitatea cercetării UAUIM la nivel național și internațional și de a contribui la specializarea resursei umane în noile media.

Echipa proiectului

Director proiect: conf. dr. arh. Andreea Iosif

Echipa implementare

Invitați

Obiectivele proiectului

O1. Dezvoltarea unei tehnologii inovatoare de vizualizare ce se concretizează într-o instalație imersivă de expunere prin video mapping a conținutului virtual în lumea fizică

O2. Realizarea de conținut new-media relevant pentru o expunere-pilot a infrastructurii propuse prin proiect, cu rolul de a ilustra potentialul creator dezvoltat de UAUIM in relatie cu tehnologia

O3. Dezvoltarea unui instrument de accesibilizare internațională a cercetării prin proiect și și creației artistice din UAUIM prin intermediul unui hub VR pentru metaverse destinat interacțiunii online a invitaților UAUIM ca speakeri sau participanți la evenimentele expuse prin proiect

O4. Creșterea vizibilității în plan intern a cercetării prin proiect și creației artistice din UAUIM prin prezența la minim un festival new-media de anvergură în 2023, facilitând diseminarea rezultatelor catre publicul larg intr-un format fizic usor accesibil

O5. Creșterea calității resursei umane prin consolidarea unei echipe mixte de cercetare cu noi abilități și cunoștințe în ceea ce privește utilizarea noilor tehnologii digitale în cercetarea de arhitectură si design

Obiectivele proiectului au fost îndeplinite integral și pe alocuri depășite. Concentrându-ne pe găsirea unor soluții de scalabilitate a experiențelor de realitate virtuală care sunt, prin natura lor, individuale și greu de împărtășit, am explorat două direcții de interes:

1. Virtual-Cave – o tehnologie imersivă mixtă, de video mapping corelat cu realitatea virtuală, prin care conținutul virtual poate fi expus în lumea fizică, iar participanții pasivi, care sunt vizitatorii cave-ului, pot fi conduși prin lumea virtuală de purtătorul headsetului de VR, aidoma unui tur ghidat. Acest punct răspunde obiectivului O1.

Subiectul ales pentru expunere a fost o creație artistică în VR destinată a ilustra potențialul creator dezvoltat de UAUIM în relație cu tehnologia si răspunde obiectivului O2.

Produsul final, numit Opus ab aethere, a fost prezentat în premieră la festivalul RADAR 2023, răspunzând astfel obiectivului O4.

2. Metaverse – componenta online a proiectului, care vine ca răspuns la obiectivul O3. Aici am dezvoltat un hub VR care, pe viitor, va putea facilita organizarea de evenimente online cu suport VR și conectivitate multiplayer, cum ar fi interacțiunea online a invitaților UAUIM ca speakeri sau participanți la evenimentele expuse în spațiul virtual.

Complexitatea mare a proiectului a implicat interacțiuni frecvente și schimb de experiență între membrii echipei de proiect, precum și colaborarea cu alți colegi și studenți care și-au dezvoltat abilități de cercetare în @MAC, ori cu experți din afara UAUIM, toate acestea conlucrând la îndeplinirea obiectivului O5.

Activitățile proiectului

A1. Realizarea instalației imersive pentru proiecție prin video mapping panoramic a conținutului VR. Această activitate contribuie în mod direct la atingerea obiectivului O1, a fost în sarcina lui Dan Adrian Ionescu și a evoluat astfel:

La început s-au documentat tipurile existente de virtual-cave si s-a elaborat un proiect, ținând cont de cerințele proxime și de constrângerile specifice. A reieșit că urma să avem nevoie de un “cub” cu dimensiuni minime de 4x4x3m, ușor de montat și demontat, cu o anvelopantă albă, omogenă, care permite proiecția panoramică; am stabilit să facem proiecția pe numai 270 grade, pentru ca instalația să aibă o zonă deschisă pentru expunere către public si să includă minim 5 locuri de stat pentru observatori.

Selecțiuni de la testele pentru videomapping:

Propunerea inițială pentru instalație:

A2. Realizarea software-ului pentru instalația imersivă Activitatea contribuie la atingerea obiectivului O1 și a fost în sarcina lui Ionuț Anton și Claudiu Tudoran, cărora li s-a alăturat ca intern Adriana Stancu. A început, ca și precedenta, cu o etapă de documentare. Apoi am trasat sarcinile de proiect împreună cu colegii implicați în implementare, anume:

După primele probe tehnice am observat experimental următoarele aspecte negative:

Echipa de implementare-software a rezolvat toate aceste probleme, astfel:

computer emițător / computer receptor

A3. Realizarea conținutului new-media care face subiectul expunerii-pilot. Activitatea a contribuit la atingerea obiectivului O2 si a fost în sarcina lui Claudiu Tudoran și Silvia Ionescu, cărora li s-au alăturat toți membri invitați în proiect (Roland Vasiliu, Andreea băjenaru și Adriana Stancu). A3 s-a desfășurat concomitent cu dezvoltarea suportului tehnic al instalației. Membrii echipei responsabili cu conținutul artistic au cercetat și dezvoltat conceptul spațiului de expunere virtuală și al exponatelor, apoi au realizat designul experienței în mediul virtual, interacțiunile și transferul conținutului artistic 3D dinspre programul de pictura Open Brush către motorul grafic (Unreal, apoi Unity). S-au curatoriat lucrările studenților de anul 1 Design care urmau să intre în expunerea pilot și care fuseseră selectate în prealabil de către îndrumătorul de atelier, dsg. Roland Vasiliu. Totodată, el ne-a pus la dispoziție și o creație de autor cu o profundă componentă artistică – Tree of Life, care a constituit nucleul expunerii-pilot.

Puteți urmări o filmare stereo 360 din interiorul lucrării:

A4. Dezvoltarea unui hub VR și încărcarea lui pe una din platformele existente in metaverse. Activitatea a contribuit la atingerea obiectivului O3 si a implicat pe Ionuț Anton, Claudiu Tudoran (și Adriana Stancu). A4 a presupus documentarea asupra platformelor existente si testarea lor. In urma acestui demers s-au identificat două platforme viabile, VRChat și Spatial. Acestea oferă gratuit funcționalitatea de VR, accesul remote și suport pentru chat-multiplayer, iar lumile pot fi personalizate cu scenele și modelele 3D create de noi. În continuare, membrii echipei de implementare responsabili de hub au definitivat brieful tehnic, au elaborat designul spatiului, s-au ocupat de partea de programare și testare. În prezent hub-ul este funcțional, generic și scalabil, are conținut specific al UAUIM, iar pe viitor ar putea găzdui și alte conferințe/expoziții ulterioare.

A5. Participarea la un festival new-media de anvergură națională sau internațională Activitatea a contribuit la atingerea obiectivelor O4 si O5 și i-a implicat pe toți membrii echipei de proiect, inclusiv invitații. Asigurarea prezenței la festival s-a făcut prin câștigarea selecției organizate pentru festivalul RADAR 2023. Lista câstigătorilor poate fi consultată la finele acestei pagini:

https://www.far.community/open_calls/open_call.php?id=63e20e0e6365626e29000356

În perioada premergătoare festivalului toată echipa a făcut teste la fața locului, a contribuit la asigurarea deplasării și montării instalatiei, a făcut curatoriere, iar membrii invitați ai proiectului au asigurat câte un demo-live de 90 min/zi pentru prezentarea metodelor utilizate la atelierul de Design Anul 1 FAI la realizarea picturii VR. Filmul de pregatire a sesiunilor de live-performance poate fi urmărit mai jos:

RADAR, echipa

A6. Activitatea de management, de evaluare și monitorizare a implementării proiectului. Managementul de proiect a fost făcut de Andreea Iosif și a contribuit la atingerea obiectivelor O1, O2, O3, O4 si O5. S-a desfășurat pe întreaga durată a proiectului, organizându-se întâlniri de lucru ale echipei, coordonarea activităților, s-a urmărit atingerea obiectivelor și rezultatelor, în timpul și bugetul alocat. Calendarul desfășurării activităților a fost următorul:

Rezultate/indicatori

R1-A1, A2, A3, A5 – O instalație imersivă de expunere prin video mapping a conținutului virtual în lumea fizică. Instalația a fost rezultatul activităților A1 și A2. Poate fi asamblată în cursul evenimentelor cu prezență fizică pentru a facilita vizualizarea experiențelor virtuale individuale de către grupuri intregi de vizitatori, fiind primul instrument de scalabilitate propus de proiect. A avut lansarea în cursul activității A5, unde am prezentat conținutul-pilot dezvoltat la A3.

Instalația a început a fi folosită la evenimente publice precum Conferinta 20 ani FAI, vizita televizată a olimpicilor din Alexandria

ori cea a studenților greci ERASMUS+:

Instalația va putea fi utilizată pentru orice viitoare expunere cu componentă VR, inclusiv la susținerea de diplome. Sunt acțiuni care depășesc sarcinile asumate prin proiect, dar care contribuie la O4 [Creșterea vizibilității cercetării prin proiect și creației artistice din UAUIM].

Trebuie subliniat aici faptul că instalația realizată prin proiectul OutsideVR este o soluție de IT, nu un bun material, iar numele Opus ab aethere reflectă această realitate. Este scalabilă, putând fi extinsă atât cât permite numărul de plăci grafice și cel de videoproiectoare disponibile. În prezent putem face o demonstrație cu 4 proiectoare, care acoperă prin videomapping o suprafață de 4x12mp; dar fiecare nou proiector adăugat ar putea extinde suprafata cu încă 12 mp, limita fiind dată de numărul de ieșiri ale plăcilor grafice disponibile. Plăcile de care dispunem în prezent, în număr de 3 și având 4 ieșiri fiecare, permit utilizarea a până la 12 videoproiectoare (și respectiv maparea pe o suprafață de 144mp!). Ele provin de la laboratorul didactic al SFA și sunt instalate pe PC-urile din dotarea acelui laborator.

Pentru ca instalația să poată fi testată și expusă, am folosit inițial o încăpere de la subsol care ne-a fost golită și zugrăvită prin bunăvoința Administrației. Ulterior am realizat propriul nostru suport fizic care rămâne în uzul UAUIM, fără însă a-i aparține. El a fost făcut in afara proiectului OutsideVR, cu un colectiv extins de studenți și colegi voluntari, folosind materiale reciclate, și include bunuri proprii ale coechipierilor ori ale SFA. Astfel, suportul fizic este compus din:

Motivul pentru care am ales această soluție de autofinanțare a fost faptul că OutsideVR nu a avut buget prevăzut pentru achiziții, iar organizatorii RADAR, care ne oferiseră rider tehnic pentru participare, ne-au anunțat ulterior că suportul pentru proiecție va rămâne la ei. Considerând că pentru scopul proiectului OutsideVR este imperios necesar să avem la dispoziție o suprafață de expunere adecvată, am optat pentru soluția de a o realiza prin forțe proprii. La solicitarea decanatului FAI și prin bunăvoința directorului CED am primit aprobarea de a o monta în Sala Rectorilor, unde se află în prezent împreună cu toată partea de hardware și software a instalației. Astfel, Opus ab aethere poate fi expusă la toate evenimentele de imagine ale UAUIM.

Opus ab aethere, in prezent instalată in Sala Rectorilor

Construcția instalației s-a făcut in cadrul workshopului “Realizarea unui virtual-cave pentru videomapping” condus de Dan Adrian Ionescu și Andreea Iosif, la care au participat studenți voluntari de la cursurile SFA-25 Fabricație Digitală și SFA-50 Estetica Lemnului. Selecțiuni din timpul executării instalației pot fi urmărite mai jos:

R2-A3, A4 – Un hub VR în metaverse. Hub-ul va facilita interacțiunea online a invitaților UAUIM ca speakeri sau participanți la evenimentele expuse (în principal conferințe și expoziții), fiind al doilea instrument propus de proiect pentru scalarea experiențelor virtuale individuale. Este rezultatul direct al activității A4 și a fost configurat inițial pe baza conținutului dezvoltat la A3, pe platforma VRChat. Totuși, testele au dovedit că accesul la această platformă este extrem de greoi pentru persoanele care nu au deja conturile și programele de vizualizare necesare. Am optat atunci pentru o a doua platformă, spatial.io, care este mult mai ușor de accesat, dar care are dezavantajul că permite uploadarea unui conținut mai restrâns și mult mai drastic optimizat față de VRChat. Aici nu am putut încărca lucrarea folosită pentru expunerea-pilot a instalației, în schimb am încărcat un spațiu familiar și drag comunitătii Mincu, pe care vă invităm să îl vizitați aici:

https://www.spatial.io/s/Space_06-657bef12e261e653df9e1c85?share=5840062282155516737

Din acest hub se pot deschide, pe viitor, alte spații conforme anumitor evenimente punctuale. Expozițiile subiacente si proiectele de arhitectură sau design cu componentă VR vor putea beneficia de acces permanent prin portaluri deschise din hub. În funcție de echipamentele de care dispun, participanții vor putea vizita hub-ul în VR sau de pe desktop. Ei au facilităti multiplayer precum personalizarea avatarului și posibilitatea de comunicare prin microfon / chat, iar cel care va prelua custodia hub-ului va putea să îl încarce cu conținut vizual specific evenimentului. Este de notat însă că sarcina custodiei trebuie preluată pe fisa postului unui angajat UAUIM, lucru pe care echipa OutsideVR nu și l-a asumat prin proiect.

R3-A1, A2, A3, A5 – O participare la un festival new-media de anvergură națională Participarea la RADAR, secțiunea Radar Community, a fost câștigată de echipa @MAC independent de participarea la FFCSU, noi fiind una dintre cele șase echipe câștigătoare la această secțiune. Succesul expunerii de care ne-am bucurat acolo este rezultatul conjugat al activităților A1-A2-A3 și s-a concretizat in A5, unde prezența Atelierului Experimental Mac Popescu pe scena publică new-media românească a asigurat diseminarea rezultatelor cercetării prin proiect și creației artistice din UAUIM catre publicul larg, intr-un format fizic usor accesibil.

RADAR, publicul

R4-A6 – Un raport final de cercetare al proiectului Prezentul raport tehnic detaliază cuantificarea rezultatelor și gradul de atingere a indicatorilor asumați, urmând a fi completat cu raportul financiar. El va fi publicat pe pagina proiectului până la data de 18 dec 2023.

R5-A1, A2, A3, A4, A5 – Un set de cunoștințe și abilități noi ale echipei de proiect în ceea ce privește utilizarea new-media în cercetarea de arhitectură și design. În urma interacțiunii și colaborării dintre membrii echipei ne-am imbunătățit cunoștințele de software (Open Brush, Unity, Unreal Engine, Resolume Arena, NDI Tools) am dobândit forțat câteva noțiuni de retelistică și hardware indispensabile (grație lipsei unui tehnician IT in echipă), am înțeles interacțiunea dintre două tehnologii avansate ca VR si videomapping, am sondat reacția privitorilor (atât cei de specialitate cât și cei din publicul larg) și am determinat impactul anumitor elemente tehnice asupra experienței imersive subiective. Toate acestea necesită diseminare și vor face subiectul unor articole științifice viitoare. Cât despre internii @MAC, Adriana Stancu și Andreea Băjenaru, ele au dobândit cunoștințe pe care curricula actuală nu le-o poate oferi, dar de care e foarte probabil să aibă nevoie în viitorul profesional apropiat. Iar ceea ce nu pot omite aici, deși iese din cadrul proiectului, este legătura profundă care s-a cimentat între toti cei care au participat la realizarea suportului fizic pentru Opus – colegi, prieteni, studenți.

Este vorba de oameni de excepție care au înțeles să lucreze mult peste program, finanțare și bun simț, pentru a duce la perfecțiune opera din neant (Opus ab aethere): Andreea Ivanciof și Mihai Chisărău de la SFA, Adonis Lemnaru și Liviu Iancu de la BPA, ori absolvenții Vlad Ciobanu și Valentin Alexandrescu, care au îndrumat studenții voluntari de la workshop.

O mențiune specială se cuvine membrilor invitați în proiect, anume:

Artistul vizual Roland Vasiliu, lector la departamentul PID, a fost cooptat pentru marea sa disponibilitate de a crea artă în VR, precum și pentru faptul că, în calitate de conducător al atelierului de anul 1 Design, își inițiază studenții în pictura virtuală, îndrumându-i să creeze lucrările care au fost expuse in expunerea-pilot de la RADAR, ca sateliți ai propriei sale lucrări, Tree of Life. Roland a acceptat să doneze conținut grafic pentru Opus ab aethere fără a putea fi plătit din proiect pentru drepturi de autor (și imposibil de angajat la plata cu ora, din motive legale). Din considerente morale, se impune ca Roland Vasiliu să fie creditat în orice context în care se face referire la expunerea-pilot a proiectului OutsideVR.

Studentele Adriana Stancu (Arhitectura anul 6) si Andreea Băjenaru (Design anul 3) au fost invitate să ni se alăture în urma unei selecții pentru internship organizată de Atelier Experimental Mac Popescu în cursul lunii septembrie: https://www.uauim.ro/anunturi/internship-mac/

Andreea a contribuit la dezvoltarea de conținut grafic și la crearea identității vizuale a proiectului, iar Adriana, care s-a format deja, autodidact, ca game-developer, a asigurat partea de programare a instalației sub îndrumarea colegului nostru Ionuț Anton.

Potentialul de creștere a proiectului / echipelor în anii următori

Prin Opus ab aehere, proiectul OutsideVR a împins nevoia de cercetare în direcția coroborării dintre videomapping și VR, cu deschideri către toate tipurile de realități mixte. Se simte în continuare nevoia de a adăuga componentei imersive a acestor experiențe și o componentă de interactivitate, pe care tehnologia actuală o permite. Citirea directă a gesturilor de către senzori, împreună cu interpretarea lor de către inteligența artificială, poate împinge Opus ab aethere dincolo de frontierele atinse azi, fapt pentru care proiectele @MAC vor continua și pe viitor cercetarea în această direcție.

La antipod, experimentarea metaversului ca alternativă la VR s-a dovedit oarecum sterilă din cauza limitărilor interactivității online care – așa cum am simțit cu toții în pandemie – este doar un paliativ pentru lipsa interacțiunii umane directe. Această direcție nu va fi continuată în proiectele viitoare ale @MAC.

Concluzie

Experiența acumulată în cadrul acestui proiect ne permite să deschidem noi direcții de cercetare, dezvoltare și inovare. OutsideVR dovedește că uneltele digitale pot susține proiectarea de arhitectură și design, precum și creația artistică din UAUIM, oferindu-ne șansa de a înțelege noile posibilități în raport cu valorile universale ale profesiilor de arhitect și designer. Totodată, OutsideVR susține conceperea și implementarea altor metode și tehnici didactice care să încurajeze experimentul, cercetarea și non-convenționalul, cu accent pe inovație.