AI & Interaction Research Series

인간 신체 데이터와 가상 공간의 상호작용 연구

Overview

최신 AI 및 컴퓨터 비전 기술을 활용해 인간의 신체 데이터(얼굴, 손)를 추출하고, 이를 가상 오브젝트 및 웹 3D 환경과 연결하여 온·오프라인 스페이스 인터랙션의 가능성을 검증한 실험 기록입니다.

PROJECT 01. 신체 데이터 기반 오프라인 인터랙션 연구

[Part 1] 실시간 페이셜 트래킹 프로토타입: 'What your color?'

목적: 사용자의 무의식적인 행동(눈 깜빡임)을 트리거로 삼아 가상 오브젝트의 시각적 형태를 실시간으로 변형시키는 비전 인터랙션 검증.

프로세스: 에어리어 진입 감지 ➔ ARKit 기반 페이셜 데이터 수집 ➔ 가상 오브젝트 색상 및 텍스트 실시간 매핑.

기술 스택: Blender (헤드 모델링 및 52개 ARKit 표준 블렌드셰이프 정의), Unreal Engine & Live Link Face (데이터 동기화 및 애니메이션 블루프린트 로직 설계).