Face recognition
CATEGORI Ar Project
YEAR 2024
PROJECT
NAME
AI & Interaction Research Series
인간 신체 데이터와 가상 공간의 상호작용 연구
Overview
최신 AI 및 컴퓨터 비전 기술을 활용해 인간의 신체 데이터(얼굴, 손)를 추출하고, 이를 가상 오브젝트 및 웹 3D 환경과 연결하여 온·오프라인 스페이스 인터랙션의 가능성을 검증한 실험 기록입니다.
PROJECT 01. 신체 데이터 기반 오프라인 인터랙션 연구
[Part 1] 실시간 페이셜 트래킹 프로토타입: 'What your color?'
목적: 사용자의 무의식적인 행동(눈 깜빡임)을 트리거로 삼아 가상 오브젝트의 시각적 형태를 실시간으로 변형시키는 비전 인터랙션 검증.
프로세스: 에어리어 진입 감지 ➔ ARKit 기반 페이셜 데이터 수집 ➔ 가상 오브젝트 색상 및 텍스트 실시간 매핑.
기술 스택: Blender (헤드 모델링 및 52개 ARKit 표준 블렌드셰이프 정의), Unreal Engine & Live Link Face (데이터 동기화 및 애니메이션 블루프린트 로직 설계).
[Part 2] 터치리스 제스처 트래킹 프로토타입
목적: 오프라인 리테일 공간 내 비접촉식 인터페이스 구현을 위해 웹캠 환경에서 경량화된 핸드 트래킹 파이프라인 검증.
구현 내용: Python 환경에서 OpenCV로 입력 영상을 처리하고 MediaPipe Hands를 연동하여 21개의 손가락 관절 랜드마크 좌표 추출. 특정 제스처에 따라 가상 그래픽 요소가 반응하는 매핑 로직 구현.
💡 브랜드 경험 확장성 (Part 1 & 2)
고객이 아이웨어를 착용하거나 거울을 바라볼 때 시선·표정을 감지하여 쇼룸 조명과 미디어 아트를 동적으로 변화시키는 '고객 맞춤형 몰입 경험'이나, 매장 내 키오스크에서 손짓만으로 가상 피팅을 제어하는 '터치리스 쇼룸 가이드'로 확장 가능.