EUD4XREUD4XR: End-User Development for eXtended Reality
Piano Nazionale di Ripresa e Resilienza (PNRR) – Missione 4 “Istruzione e Ricerca” – Componente 2 “Dalla Ricerca all’Impresa” Investimento 1.1 “Fondo per il Programma Nazionale di Ricerca e Progetti di Rilevante Interesse Nazionale (PRIN)”.
The project aims to empower end-users to create XR content autonomously by developing an End-User Development (EUD) methodology. This involves three roles: Element Builders (EB), professional developers providing pre-defined XR elements; End-User Developers (EUDevs), users without programming skills who compose and configure elements; and XR consumers, the final users. EUDevs will use an authoring tool to specify object interactions in natural language sentences, with guidance from an intelligent Conversational agent. The system will be validated across various domains (virtual museum, smart home, training) to demonstrate its generality and undergo empirical user experience evaluation.
The proposal End-User Development for eXtended Reality (EUD4XR) has been funded among Italian Relevant National Projects, year 2022 by the Italian Minister for the University and Research and the European Commission (Next-Generation EU).
Prof. Lucio Davide Spano is the Principal Investigator and head of the research unit at the University of Cagliari. Dr. Marco Manca from the HIIS lab is the head of the research unit at ISTI-CNR in Pisa.
Abstract
Nowadays, eXtended Reality (XR) technologies are quite mature and affordable to users. However, to become actually adopted it is key to provide end-users with easy support for creating content autonomously, without needing specific programming knowledge. Shifting the entire building process towards end-users is not feasible, as XR development requires various skills, usually involving e.g. 3D modelling, code development, design. While end-users could configure an XR environment by using scene builders, they typically start struggling when defining its dynamic behaviour (i.e. how objects interact with users/other objects). Currently, tools supporting the articulation of dynamic behaviour are too complex for end-users, as they target skilled people, or limit to support 3D objects animations. Also, existing software development life cycles involve only technical people and are too slow to respond to the evolving needs of variegated users’ categories, also because professional developers often lack the domain knowledge to address user requirements. Thus, a viable way to make XR applications better comply with users’ expectations is to have users more active in the process, making them capable of ‘programming’ the intended behaviour.
To solve this problem we propose an End-User Development (EUD) methodology which involves three different roles:
- Element Builders (EB): professional developers, having good skills in 3D modelling and game programming
- End-User Developers (EUDevs): users without specific programming skills but familiar with using computers and XR, who need to create or update XR contents for their work or leisure
- XR consumers: the final consumers of XR contents
EUDevs will start from pre-defined XR elements, provided by EB and distributed through web repositories; then, they will compose and configure these elements according to their needs. We will define a taxonomy providing a EUDev-understandable description of such objects and of the actions they support. We will then give EUDevs an authoring tool for specifying the interactions among objects, resulting in the definition of the XR environment behaviour in the form of rules, readable and understandable as natural language sentences. The EUDev will enter the rules while immersed in the XR environment through a dedicated interface. Besides, we will develop an intelligent Conversational agent that will guide EUDevs in translating their intention into correct rules and guide them into fixing possible errors.
Finally, we also validate the resulting system in three relevant application domains (virtual museum, smart home and training) to show the generality of the approach, and we will also provide empirical user experience evaluation for all the involved roles.
Il progetto mira a supportare gli utenti finali nella creazione di contenuti XR in modo autonomo sviluppando una metodologia di End-User Development (EUD). Questo coinvolge tre ruoli: gli Element Builders (EB), ovvero sviluppatori professionisti che forniscono elementi XR predefiniti; gli End-User Developers (EUDev), cioè gli utenti senza competenze nel campo della programmazione che compongono e configurano elementi; e, infine, gli XR consumer, ovvero gli utenti finali. Gli EUDev utilizzeranno uno strumento di authoring per specificare le interazioni tra oggetti attraverso linguaggio naturale e con la guida di un agente conversazionale intelligente. Il sistema sarà validato in vari domini (museo virtuale, casa intelligente, formazione) per dimostrarne la generalità e sarà sottoposto a una valutazione empirica dell’esperienza utente.
Questo progetto è stato scelto e finanziato tra gli Italian Relevant National Projects, year 2022, dal Ministero dell’Università e della Ricerca e dalla Commissione Europea (Next-Generation EU).
Il Prof. Lucio Davide Spano è il Ricercatore Principale e capo dell’unità di ricerca presso l’Università di Cagliari. Il Dott. Marco Manca del laboratorio HIIS lab è il capo dell’unità di ricerca presso l’ISTI-CNR di Pisa.
Abstract
Al giorno d’oggi, le tecnologie di XR sono abbastanza mature e accessibili agli utenti. Tuttavia, per essere realmente adottate, è fondamentale fornire agli utenti finali un supporto semplice per creare contenuti in modo autonomo, senza necessitare di conoscenze specifiche di programmazione. Spostare l’intero processo di creazione verso gli utenti finali non è fattibile, poiché lo sviluppo di applicazioni XR richiede varie competenze: modellazione 3D, sviluppo di codice e design. Mentre gli utenti finali potrebbero configurare un ambiente XR utilizzando strumenti di creazione di scene, solitamente incontrano difficoltà quando devono definire il comportamento dinamico (cioè come gli oggetti interagiscono con gli utenti/altri oggetti). Attualmente, gli strumenti che supportano l’articolazione del comportamento dinamico sono troppo complessi per gli utenti finali, poiché sono rivolti a persone esperte o limitati al supporto delle animazioni di oggetti 3D. Inoltre, i cicli di vita del software esistenti coinvolgono solo persone tecniche e sono troppo lenti nel rispondere alle esigenze in evoluzione delle varie categorie di utenti, anche perché gli sviluppatori professionisti spesso non hanno la conoscenza del dominio per soddisfare i requisiti degli utenti. Pertanto, un modo praticabile per rendere le applicazioni XR più conformi alle aspettative degli utenti è renderli più attivi nel processo, rendendoli capaci di ‘programmare’ il comportamento desiderato.
Per risolvere questo problema, proponiamo una metodologia di End-User Development (EUD) che coinvolge tre ruoli diversi:
- Element Builders (EB): sviluppatori professionisti, con buone competenze in modellazione 3D e programmazione di giochi;
- End-User Developers (EUDev): utenti senza competenze specifiche di programmazione ma familiari con l’uso di computer e XR, che necessitano di creare o aggiornare contenuti XR per il loro lavoro o svago;
- XR Consumers: i consumatori finali dei contenuti XR.
Gli EUDev partiranno da elementi XR predefiniti, forniti dagli EB e distribuiti attraverso repository web; quindi, comporranno e configureranno questi elementi secondo le loro necessità. Definiremo una tassonomia che fornisca una descrizione comprensibile agli EUDev di tali oggetti e delle azioni che supportano. Forniremo quindi agli EUDev uno strumento di authoring per specificare le interazioni tra gli oggetti, risultando nella definizione del comportamento dell’ambiente XR sotto forma di regole, leggibili e comprensibili come frasi di linguaggio naturale. L’EUDev inserirà le regole mentre è immerso nell’ambiente XR attraverso un’interfaccia dedicata. Inoltre, svilupperemo un agente conversazionale intelligente che guiderà gli EUDev nella traduzione delle loro intenzioni in regole corrette e li aiuterà a correggere eventuali errori.
Infine, valideremo il sistema risultante in tre domini applicativi rilevanti (museo virtuale, casa intelligente e formazione) per dimostrare la generalità dell’approccio, e forniremo anche una valutazione empirica dell’esperienza utente per tutti i ruoli coinvolti.