Skip to main content

Real-time Semantic Full-Body Haptic Feedback Converted from Sound for Virtual Reality Gameplay

· 5 min read
Gyeore Yun
POSTECH 연구원
Seungmoon Choi
POSTECH 교수

논문 정보​

  • 제목: Real-time Semantic Full-Body Haptic Feedback Converted from Sound for Virtual Reality Gameplay
  • 저자: Gyeore Yun, Seungmoon Choi (Pohang University of Science and Technology, POSTECH)
  • 학회/저널: CHI Conference on Human Factors in Computing Systems (CHI '25)
  • 발행일: 2025-04-26
  • DOI: 10.1145/3706598.3713355
  • 주요 연구 내용: VR FPS 게임의 사운드 스트림을 실시간으로 캡처하여 Long-Short-Term Memory (LSTM) 모델로 총성, 피격, 폭발 등 의미론적 이벤트로 분류한다. 이후 분류된 이벤트에 맞춰 미리 디자인된 전신 햅틱 패턴을 생성하여 햅틱 슈트를 통해 사용자에게 전달하는 시스템을 제안함.
  • 주요 결과 및 결론: 사용자 연구를 통해 제안된 의미론적 사운드-햅틱 변환 시스템이 기존의 단순 신호 처리 기반 변환 방식(NS-ALL)이나 의미는 맞지만 패턴이 무작위인 방식(S-RAND)에 비해 일치성, 방해 요소, 선호도 측면에서 월등히 높은 사용자 경험 점수를 기록함. 이는 사운드의 의미를 정확히 분류하고 그에 맞는 햅틱 패턴을 제공하는 것이 몰입감 향상에 중요함을 시사함.
  • 기여점: 게임 프로그램과 독립적으로 작동하면서 실시간으로 사운드의 의미를 파악하여 전신 햅틱 피드백을 자동으로 생성하는 시스템을 개발함. 또한, 사용자 연구를 통해 의미론적 변환과 적절한 햅틱 패턴 디자인이 VR 게임 경험을 크게 향상시킬 수 있음을 실험적으로 증명함.

요약​

초록​

본 논문은 사운드의 의미론적 분류, 사운드-햅틱 변환, 그리고 전신 햅틱 효과를 특징으로 하는 다중감각 가상현실(VR) 시스템을 제시한다. 이 시스템은 Long-Short-Term Memory (LSTM) 모델을 사용하여 총성, 폭발, 피격과 같은 핵심 게임 이벤트를 사운드로부터 감지한다. 감지된 이벤트는 햅틱 슈트를 통해 전신 햅틱 패턴으로 변환되어 사용자에게 현실감 있고 몰입감 높은 경험을 제공한다. 시스템은 낮은 지연 시간으로 작동하여 사운드와 햅틱 피드백 간의 원활한 동기화를 보장하며, 사용자 연구를 통해 기존 방식보다 사용자 경험이 크게 향상됨을 입증했다.

서론​

VR 게임의 즐거움을 유도하기 위해서는 즉각적인 피드백이 필수적이며, 햅틱 피드백은 게임 내 이벤트와 동기화된 자연스러운 물리적 피드백을 제공하여 몰입감을 높일 수 있다. 하지만 기존의 햅틱 효과 제작은 전문가가 수동으로 설계해야 해 비효율적이다. 이에 대한 해결책으로 게임 사운드에서 실시간으로 햅틱 효과를 자동 생성하는 방식이 주목받고 있다. 그러나 단순한 사운드 신호 변환은 신체의 여러 부위에 상황에 맞는 햅틱 피드백을 전달해야 하는 햅틱 슈트에는 부적합하다. 따라서 본 연구에서는 게임 내 사운드 이벤트의 의미를 이해하고, 적절한 전신 햅틱 효과를 실시간으로 제공하는 사운드-햅틱 변환 시스템을 제안한다.

모델 아키텍처 / 방법론​

Figure 3 시스템은 사운드 분류, 햅틱 패턴 생성, 햅틱 렌더링의 세 가지 모듈이 병렬로 실행되는 구조를 가진다. 논문의 Figure 3에서 제시된 이 구조는 각 모듈의 실행 시간과 관계없이 일관된 햅틱 업데이트 속도를 보장한다. Figure 8

  • 핵심 구조/방법:
    1. 사운드 분류 모듈: 오디오 스트림에서 TW=50T_W=50 ms 길이의 사운드 세그먼트를 TC=17T_C=17 ms 주기로 캡처한다. 캡처된 스테레오 사운드는 FFT(고속 푸리에 변환)를 통해 2204차원의 주파수 영역 벡터로 변환되어 LSTM 모델의 입력으로 사용된다. 모델은 사운드를 총성(GUN), 피격(HIT), 폭발(EXP), 재장전(RLD), 그리고 햅틱 피드백이 불필요한 나머지(NONE)의 5개 클래스로 분류한다.
    2. 햅틱 패턴 생성 모듈: 분류된 사운드 클래스에 따라 미리 설계된 시공간적 햅틱 패턴을 생성한다. 햅틱 전문가 인터뷰를 바탕으로 각 이벤트에 맞는 패턴을 디자인했으며(논문의 Figure 8 참조), 이는 16개 액추에이터(조끼 14개, 컨트롤러 1개, 팔뚝 밴드 1개)의 시간에 따른 강도 계수로 표현된다.
      • GUN/RLD: 총기 반동을 모방하기 위해 손에서 팔로 진동이 이동하는 팬텀 센세이션(phantom sensation) 효과를 0.25초 동안 생성한다.
      • HIT: 총알이 몸을 관통하는 느낌을 주기 위해 가슴에서 등 쪽으로 이동하는 팬텀 센세이션을 0.35초 동안 생성한다.
      • EXP: 폭발의 충격을 표현하기 위해 0.7초 동안 몸통 전체의 액추에이터를 일정한 강도로 작동시킨다.
      • NONE: 게임플레이에 중요한 발소리 같은 주변음을 전달하기 위해 조끼에 약한 강도의 진동을 지속적으로 제공한다.
    3. 햅틱 렌더링 모듈: 원본 사운드 신호를 1옥타브 낮추고 250Hz 저역 통과 필터를 적용하여 '기본 햅틱 신호'를 생성한다. 이 신호를 햅틱 패턴 생성 모듈에서 받은 각 액추에이터의 강도 계수와 곱하여 최종 아날로그 햅틱 신호를 만들어 액추에이터로 전송한다.

실험 결과​

Figure 7 Figure 10

  • 주요 데이터셋: 4개의 인기 FPS 게임 플레이 영상에서 총 19,132개의 사운드 샘플을 추출하고 5개 클래스로 레이블링하여 데이터셋을 구축했다.
  • 핵심 성능 지표:
    • 지연 시간: 시스템의 평균 사운드-햅틱 변환 지연 시간은 59.4ms로 측정되었다. 이는 일반적인 다중감각 동기화 인지 임계값(25-75ms) 내에 있어 실시간 경험에 충분한 수준이다.
    • 분류 정확도: 새로운 테스트 영상 3개에 대한 평가 결과, HIT와 EXP 클래스는 100%의 탐지율을 보였으나, GUN과 RLD는 주변 소음이나 데이터셋의 불균형으로 인해 상대적으로 낮은 정확도를 보였다(논문의 Figure 7 참조).
  • 비교 결과 (사용자 연구):
    • 24명의 참가자를 대상으로 제안 시스템(S-CORR), 의미 분류 없이 모든 소리를 햅틱으로 변환하는 방식(NS-ALL), 의미는 분류하지만 햅틱 패턴을 무작위로 제공하는 방식(S-RAND)을 비교했다.
    • S-CORR은 다른 두 조건에 비해 적절성, 일치성, 방해 정도, 몰입감, 선호도 등 모든 평가 항목에서 통계적으로 유의미하게 높은 점수를 받았다(논문의 Figure 10 참조). 이는 사용자가 사운드의 의미와 일치하는 잘 디자인된 햅틱 피드백을 경험할 때 가장 긍정적인 반응을 보인다는 것을 의미한다.

결론​

본 연구는 VR 게임 사운드를 실시간으로 의미에 따라 분류하고, 그에 맞는 전신 햅틱 피드백을 생성하는 시스템을 성공적으로 개발하고 그 효과를 입증했다. 이 시스템은 기존의 단순 변환 방식보다 월등히 향상된 사용자 경험을 제공함을 보여주었다. 향후 과제로는 더 다양한 게임에 적용할 수 있도록 사운드 분류기의 성능을 개선하고, 더 정교한 전신 햅틱 패턴을 디자인하며, 실제 VR 게임 플레이 환경에서 장기적인 사용자 평가를 진행하는 것이 있다.