One post tagged with "Virtual reality"

논문 정보​

• 제목: Real-time Semantic Full-Body Haptic Feedback Converted from Sound for Virtual Reality Gameplay
• 저자: Gyeore Yun, Seungmoon Choi (Pohang University of Science and Technology, POSTECH)
• 학회/저널: CHI Conference on Human Factors in Computing Systems (CHI '25)
• 발행일: 2025-04-26
• DOI: 10.1145/3706598.3713355
• 주요 연구 내용: VR FPS 게임의 사운드 스트림을 실시간으로 캡처하여 Long-Short-Term Memory (LSTM) 모델로 총성, 피격, 폭발 등 의미론적 이벤트로 분류한다. 이후 분류된 이벤트에 맞춰 미리 디자인된 전신 햅틱 패턴을 생성하여 햅틱 슈트를 통해 사용자에게 전달하는 시스템을 제안함.
• 주요 결과 및 결론: 사용자 연구를 통해 제안된 의미론적 사운드-햅틱 변환 시스템이 기존의 단순 신호 처리 기반 변환 방식(NS-ALL)이나 의미는 맞지만 패턴이 무작위인 방식(S-RAND)에 비해 일치성, 방해 요소, 선호도 측면에서 월등히 높은 사용자 경험 점수를 기록함. 이는 사운드의 의미를 정확히 분류하고 그에 맞는 햅틱 패턴을 제공하는 것이 몰입감 향상에 중요함을 시사함.
• 기여점: 게임 프로그램과 독립적으로 작동하면서 실시간으로 사운드의 의미를 파악하여 전신 햅틱 피드백을 자동으로 생성하는 시스템을 개발함. 또한, 사용자 연구를 통해 의미론적 변환과 적절한 햅틱 패턴 디자인이 VR 게임 경험을 크게 향상시킬 수 있음을 실험적으로 증명함.