Proiectare interactivă digitală bazată pe inteligență artificială și comunicare publică a frolicilor de cinci ani ai lui Hua Tuo
Feb 26, 2025
3. Captarea mișcării bazată pe algoritmi de inteligență artificială
Pentru a activa funcționalitatea interactivă a dispozitivului de exerciții de cinci ani în fața unei camere foto, miezul constă în stabilirea unei conexiuni între reprezentările virtuale și cele reale. Participantul există în lumea reală, dar trebuie să fie reconstruit mai întâi în lumea virtuală. Apoi, personajul virtual este asortat cu imaginea reconstruită a participantului, permițând diverse caracteristici interactive. Pentru a obține interacțiuni extrem de sincronizate, trebuie abordate două provocări tehnice majore:Estimarea pozei umaneşiRetargeting de mișcare umană. Metodele tradiționale de reconstrucție umană se bazează adesea pe echipamente costisitoare de captare a mișcării, dar acest studiu folosește avantajele inteligenței artificiale pentru a realiza reconstrucția umană la un cost mai mic.
Noua cistanie pe bază de plante TCM pentru culturism
Scopul principal al tehnologiei de estimare a pozelor umane este de a detecta pozițiile umane și punctele de la tastatură din fluxurile video. Această tehnologie poate fi aplicată la două caracteristici cheie ale proiectării dispozitivului:
Fluxurile video în timp real sunt capturate prin intermediul unei camere foto, iar modelul detectează punctele de tastatură umane, pregătindu-se pentru operațiuni ulterioare.
Pentru a îndeplini cerințele mișcărilor de cinci ani ale exercițiilor, videoclipuri ale acestor exerciții sunt preîncărcate în model, care detectează punctele de tastatură pentru fiecare mișcare și generează secvențe scheletice ale personajelor de exerciții de cinci animale, pregătind pentru transferul reprezentărilor utilizatorului.
Noua cistanie pe bază de plante TCM pentru construirea corpului
Următoarea secțiune oferă o explicație detaliată a procesului de implementare tehnică.
Noua cistanie pe bază de plante TCM pentru construirea corpului
3.1 Extracția scheletului
Acest studiu utilizeazăDeschideinstrument [13] pentru a realiza capturarea și înregistrarea în timp real 2D. Openpose este utilizat în principal pentru estimarea pozelor 2D în timp real în timp real. Prin detectarea și asocierea punctelor tastaturii (cum ar fi pozițiile articulare) ale fiecărei persoane dintr -o imagine, permite recunoașterea pozei, deși nu oferă informații de suprafață 3D sau segmentare detaliată a părților corpului. Această metodă introduce conceptul dePart Affinity Fields (PAFS), care, prin rețele neuronale convoluționale (CNN), prezice simultan hărți de încredere pentru părțile corpului și câmpurile de afinitate între părți. Punctele de tastatură sunt analizate folosind un proces lacom de inferență, oferind performanțe puternice în timp real.
Cu modelul Openpose pre-instruit pregătit, acest studiu alimentează datele fluxului video (folosind videoclipuri demonstrative de către campionul național Cao Jin) în model pentru inferență, extragând date scheletice pentru a obține secvențe scheletice (a se vedea figura 4).
Fig.4 Rezultatele detectării punctelor tastaturii corpului uman
3.2 Estimarea densă a poziției umane
Extragerea scheletului 2D oferă un suport limitat pentru sarcinile ulterioare de retargeting în mișcare și se aplică numai mapăriei simple de caractere pe scheletele 2D. Pentru a răspunde nevoilor reprezentărilor de caracter mai complexe, trebuie extrasă și structura de suprafață 3D a corpului uman.Denspoză[14] își propune să obțină o estimare densă a poziției umane densă prin cartografierea tuturor pixelilor umani într -o imagine la punctele lor corespunzătoare pe o suprafață umană 3D. Această metodă nu numai că detectează punctele tastaturii, dar oferă și parametrizare detaliată a suprafeței pentru fiecare parte a corpului, ieșind coordonate UV și măști de segmentare a părții corpului.
Denspose-rcnnSistemul utilizează o rețea neuronală convoluțională (CNN) care combinăDenseregMetoda cu arhitectura Mask-RCNN. Utilizează o cascadă de generare de propuneri de regiune și colectare de caracteristici, apoi folosește o rețea complet convoluțională pentru predicții dense. Aceasta generează etichete discrete și coordonate continue de suprafață, prezicând relația de corespondență densă a suprafeței umane prin antrenament.
Deoarece denspoza oferă informații bogate de suprafață a corpului, este potrivit pentru aplicațiile care necesită forme și apariții umane detaliate, cum ar fi modelarea 3D, Realitatea virtuală (VR) și realitatea augmentată (AR). În cele din urmă, denspoza este capabilă să genereze date detaliate care includ informații de suprafață umane și secvențe de mișcare, susținând transferul reprezentărilor de caractere mai complexe (a se vedea figura 5).
Fig.5 Imaginea video a lui Hua Tuo Tuo, imaginea video și graficul de comparație cu poze dense
3.3 Retargeting pentru mișcare umană
Indiferent dacă permite unui personaj virtual să imite mișcările în timp real ale unui utilizator sau să animăm fotografia unui utilizator pentru a efectua exerciții de cinci animale, totul se bazează peRetargeting de mișcare umanătehnologie. Această tehnologie redirecționează o secvență de mișcare sursă către o nouă secvență de mișcare. Există diverse abordări pentru realizarea acestui lucru și, pe baza cerințelor dispozitivului interactiv, acest studiu adoptă două tehnici aplicabile.
Pentru extrasSecvență de schelet, procesarea simplă bazată pe schelet este suficientă pentru a -l transfera într -o nouă formă. De exemplu, prin proiectarea unui model de „figură de stick”, putem mări punctele de tastatură ale capului și adăuga culori diferite în părțile corpului, generând astfel o nouă reprezentare.Tabelul 3ilustrează efectele retargeting-ului de mișcare folosind videoclipul cu cinci ani.
Tab.3 Rezultate care conțin imagine și imagine a punctului cheie din videoclipuri retargeted
Pentru scenarii mai complexe de retargeting în mișcare, pot fi introduse modele de difuzie pentru a ajuta la atingerea obiectivului.MaganimatFramework [15] permite generarea de animații video care respectă o secvență de mișcare dată, menținând în același timp consistența temporală și fidelitatea imaginii de referință. Acest model încorporează imaginea de referință într -un codificator de aspect pentru a genera o încorporare a aspectului, în timp ce secvența de poză țintă (de exemplu, denspoză) este introdusă într -o rețea de control a pozelor (ControlNet) pentru a extrage condițiile de mișcare. Pe baza acestor două semnale, modelul antrenează un model de difuzie video care animă identitatea de referință în funcție de poza dată.
Folosind această caracteristică, dispozitivul nostru interactiv poate lua secvența de mișcare a utilizatorului ca secvență de poză țintă și imaginea personajelor cu cinci ani-animale ca imagine de referință. Acest lucru permite mișcărilor libere ale utilizatorului în fața camerei să conducă mișcarea sincronizată a personajului de exerciții de cinci ani, creând o experiență interactivă (veziFigura 6).
Fig.6 Generarea efectelor ecranului
4. „Mutați -vă, rămâneți sănătos și bucurați -vă” Proiectarea dispozitivelor interactive publice
4.1 Caracteristici funcționale
Dispozitivul interactiv „Mutați -vă, rămâneți sănătos și bucurați -vă” de camere și tehnologie de inteligență artificială pentru a permite participanților să îndeplinească o serie de sarcini în fața dispozitivului. Aceste mișcări sunt apoi înregistrate în timp real și potrivite cu imagini cu personaje virtuale, oferind o experiență interactivă imersivă. Scenariile de aplicație ale dispozitivului interactiv sunt prezentate înFigura 7.
Caracteristica 1: Utilizatorii pot alege dintr -o varietate de reprezentări ale personajelor virtuale bazate pe preferințe personale, inclusiv personaje pline de viață Kung Fu, personaje bloc în stil unic și figuri simplificate de stick. Prin aceste efecte vizuale, utilizatorii se bucură de o experiență interactivă bogată. Aceste personaje nu numai că imită mișcările utilizatorilor, dar și răspund la ele.
Caracteristică 2: Utilizatorii pot face fotografii cu corp complet în fața camerei pentru a îmbunătăți experiența efectuării exercițiilor cu cinci animale. Sistemul introduce imaginea utilizatorului în clipurile video de exerciții de cinci ani, permițând utilizatorilor să se imagineze ca maeștri ai exercițiilor de cinci animale ale lui Hua Tuo, executând diverse mișcări profesionale cu precizie.
Fig.7 Scenarii de aplicare WildFit
4.2 Setări parametri
Dispozitivul este numit„Mutați -vă, rămâneți sănătos și bucurați -vă”Pentru a stabili o legătură între animale, natură și fitness. Scopul este de a face designul o punte între aceste trei elemente. Pe baza acestui concept, dispozitivul este o instalare interactivă a ecranului destinată a fi plasată pe peluze în aer liber sau în parcuri de distracții. Este echipat cu diverși parametri, așa cum se arată înTabelul 4.
Tabelul 4: „Mutați -vă, rămâneți sănătos și bucurați -vă” Configurația parametrilor
| Parametru | Detalii |
|---|---|
| Dimensiunea ecranului | 2,5m × 1,5m |
| Rezoluţie | 1920 pixeli × 1080 pixeli |
| Butoane interactive | Butonul de pornire; Urmărirea mișcării și butonul indicator de feedback; Buton de ieșire |
| Sensibilitatea la atingere | Timp de răspuns de 10ms, rata de cadru 30FPS; Sprijină gesturile mâinilor, postura corpului și senzorile fizice |
| Interacțiune de feedback | Prompturi vocale; sau feedback vizual (de exemplu, indicatori care prezintă o postură corporală nealiniată sau gesturi de mișcare incomplete) |
| Durabilitate | Rating impermeabil IP65; cochilie din aliaj de aluminiu
|
Fig.8 Demonstrația conceptului de design wildfit
4.3.2 Evaluare fizică: conținut și metode
Pentru a evalua în continuare impactul dispozitivului fizic după aplicarea acestuia, sunt propuse următoarele metode de evaluare:
1) indicatori de sănătate fizică
Scop: Comparați indicatorii de sănătate fizică ai participanților înainte și după implicarea în programul de fitness (de exemplu, greutate, procentul de grăsime corporală, ritmul cardiac, tensiunea arterială) pentru a evalua impactul programului de fitness asupra sănătății fizice.
Metodă: Analiza regresiei liniare
Regresia liniară este utilizată pentru a analiza schimbările la indicatorii de sănătate fizică ai participanților înainte și după programul de fitness. Formula este următoarea:
Y=β₀ + β₁x + ε
Y: Variabilă dependentă (de exemplu, schimbarea greutății).
X: Variabilă independentă.
β₀şiβ₁: Coeficienți de regresie.
ε: Eroare aleatorie.
2) indicatori de sănătate psihologică
Scop: Cercetați indicatorii de sănătate psihologică ai participanților după ce au participat la programul de fitness (de exemplu, starea emoțională, nivelul de stres, fericirea) pentru a evalua impactul său asupra bunăstării mentale.
Metodă: Analiza regresiei logistice
Regresia logistică este utilizată pentru a evalua impactul programului asupra indicatorilor de sănătate psihologică (de exemplu, fericire). Formula este următoarea:
P (y =1)=1 / (1 + e^-(β₀ + β₁x))
Y: Variabilă binară (de exemplu, indiferent dacă participantul se simte fericit).
X: Variabilă independentă.
β₀şiβ₁: Coeficienți de regresie.
Pentru dispozitivul „Mutați -vă, rămâneți sănătos și bucurați -vă”, variabilele independente sunt detaliate înTabelul 5.
3) Sondaj de implicare și satisfacție
Scop: Cercetați implicarea și satisfacția participanților cu programul de fitness.
Metodă: Proiectarea și distribuirea unui chestionar de sondaj pentru a colecta feedback-ul utilizatorilor cu privire la capacitatea de utilizare, plăcerea și practicitatea dispozitivului, precum și satisfacția generală cu dispozitivul interactiv cu exerciții de cinci ani.
Participanții vor evalua aceste aspecte, iar scorurile și sugestiile de feedback vor fi utilizate pentru a evalua eficacitatea dispozitivului.
