AI & Interaction Research Series

인간 신체 데이터와 가상 공간의 상호작용 연구

Overview

최신 AI 및 컴퓨터 비전 기술을 활용해 인간의 신체 데이터(얼굴, 손)를 추출하고, 이를 가상 오브젝트 및 웹 3D 환경과 연결하여 온·오프라인 스페이스 인터랙션의 가능성을 검증한 실험 기록입니다.

PROJECT 01. 신체 데이터 기반 오프라인 인터랙션 연구

[Part 2] 터치리스 제스처 트래킹 프로토타입

목적: 오프라인 리테일 공간 내 비접촉식 인터페이스 구현을 위해 웹캠 환경에서 경량화된 핸드 트래킹 파이프라인 검증.

구현 내용: Python 환경에서 OpenCV로 입력 영상을 처리하고 MediaPipe Hands를 연동하여 21개의 손가락 관절 랜드마크 좌표 추출. 특정 제스처에 따라 가상 그래픽 요소가 반응하는 매핑 로직 구현.

💡 브랜드 경험 확장성 (Part 1 & 2)

고객이 제품을 착용하거나 거울을 바라볼 때 시선·표정을 감지하여 쇼룸 조명과 미디어 아트를 동적으로 변화시키는 '고객 맞춤형 몰입 경험'이나, 매장 내 키오스크에서 손짓만으로 가상 피팅을 제어하는 '터치리스 쇼룸 가이드'로 확장 가능.