Capacità di GiuliaAI
Visione dello schermo, controllo del computer, voce, avatar 3D, co-hosting e memoria di community: qui ci sono le capacità che rendono GiuliaAI più di un semplice personaggio virtuale.
Prima live collab con QuarzoPNG su Twitch
Co-hosting in tempo reale
GiuliaAI può partecipare a una live con altri creator: ascolta quello che viene detto, segue il contesto e interviene con voce sintetica senza essere soltanto una chat testuale letta ad alta voce.
Call Discord
Può ascoltare una call, riconoscere i turni di parola e rispondere nel contesto della conversazione.
Co-hosting con creator
Interagisce con altri creator in tempo reale, commentando, facendo domande e seguendo il ritmo della live.
Regia e strumenti
Può coordinare overlay, bot di supporto e software collegati quando il format richiede più parti in movimento.
Visione contestuale
Il modello vision può guardare il computer e interpretare ciò che appare sullo schermo: applicazioni, browser, giochi, software creativi e overlay della live. Questo permette a GiuliaAI di reagire a ciò che vede, non solo a quello che legge in chat.
Per le live IRL, una app iOS può trasmettere audio e video dal telefono direttamente al sistema: GiuliaAI riceve il contesto del mondo reale e può commentarlo o usarlo nella conversazione.
Schermo e applicazioni
Legge il desktop, riconosce finestre, giochi, strumenti creativi e contenuti visuali mentre la live è in corso.
Live IRL da iPhone
Una app iOS può inviare audio e video dal telefono al modello, così GiuliaAI interpreta ambienti reali in tempo reale.
Contesto multisorgente
Chat, schermo, voce, camera e overlay vengono combinati per capire cosa sta succedendo prima di rispondere.
Controllo di Windows e applicazioni
Una delle parti più importanti del progetto è il computer control: GiuliaAI può osservare lo schermo, usare input su Windows e interagire con software reali. Queste demo mostrano casi diversi della stessa capacità.
Disegno su Photoshop
GiuliaAI sta imparando a disegnare controllando Photoshop: osserva l'interfaccia, usa strumenti del programma e corregge il lavoro mentre procede.
osu! in tempo reale
osu! è una demo diretta di vision e input su Windows: il modello deve leggere lo schermo, interpretare il ritmo e reagire con tempi molto stretti.
TETR.IO contro un utente
Anche quando perde, il test è utile: mostra decisioni prese in tempo reale, lettura dello stato di gioco e interazione con un avversario umano.
Voce e canto
GiuliaAI può lavorare anche sulla parte musicale: ascolta un brano, ne interpreta struttura e andamento e prova a reinterpretarlo con la sua voce. È una capacità sperimentale, ma utile per capire quanto il modello possa muoversi oltre la sola conversazione.
Lovely
Billie Eilish
When The Party's Over
Billie Eilish
Ikanaide
Souta
Lost Boy
Ruth B.
Avatar 3D e movimento
Il controllo dell'avatar non si limita a far muovere bocca e testa. GiuliaAI può pilotare un modello 3D in modo più profondo, arrivando a interpretare movimenti e coreografie come parte della performance.
Memoria di community
Le interazioni importanti vengono sintetizzate e rese recuperabili: utenti ricorrenti, battute nate in live, appunti di format e riferimenti utili. La memoria serve a far evolvere GiuliaAI nel tempo, non a ripetere meccanicamente quello che è già successo.
Riconosce utenti ricorrenti e recupera riferimenti emersi in live.
Tiene traccia di running joke, preferenze della community e momenti importanti.
Usa log selezionati per migliorare comportamento, memoria e stile nel tempo.
Distingue tra memoria utile, dati da scartare e materiale da usare solo per valutazioni tecniche.
La parte tecnica dietro queste capacità
Vision, memoria, voce, agent e controllo desktop lavorano insieme nello stesso sistema.
Vai alla tecnologia