본문으로 건너뛰기

A Survey on Web Testing: On the Rise of AI and Applications in Industry

· 약 5분
Iva Kertusha
University of Oslo 연구원
Gebremariam Assres
연구원
Onur Duman
연구원
Andrea Arcuri
연구원

논문 정보​

  • 제목: A Survey on Web Testing: On the Rise of AI and Applications in Industry
  • 저자: Iva Kertusha (Kristiania University of Applied Sciences), Gebremariam Assres (Kristiania University of Applied Sciences), Onur Duman (Glasgow Caledonian University), Andrea Arcuri (Kristiania University of Applied Sciences)
  • 학회/저널: Journal of Systems and Software (제출)
  • 발행일: 2025-08-12 (arXiv v2 기준)
  • DOI: 제공되지 않음
  • 주요 연구 내용: 2014년부터 2025년까지 발표된 웹 테스팅 관련 연구 논문 259편을 체계적으로 분석함. 14개의 연구 질문을 통해 웹 테스팅 분야의 주요 동향, 인구 통계, 기여, 도구, 과제 및 혁신을 식별하며, 특히 인공지능(AI) 기술의 부상과 산업계와의 협력 수준에 중점을 둠.
  • 주요 결과 및 결론: 웹 테스팅 연구는 지난 10년간 매우 활발했으며, ICST가 주요 학회로 나타남. 연구 대다수는 블랙박스 테스팅 자동화 기술에 초점을 맞추고 있으며, Selenium이 가장 널리 사용되는 도구임. 산업 시스템을 활용하는 긍정적인 추세가 관찰되지만, 많은 도구가 오픈소스로 제공되지 않고 있으며 인간 대상 연구는 상대적으로 제한적임.
  • 기여점: 기존 서베이 논문들보다 더 광범위한 259개의 논문을 분석하여 지난 10년간의 웹 테스팅 연구에 대한 심층적인 개요를 제공함. 특히 AI 기술의 역할과 산업 적용 현황을 상세히 분석하여 현재 연구의 강점과 약점, 그리고 미래 연구 방향에 대한 통찰을 제시함.

요약​

초록​

본 논문은 2014년부터 2025년까지의 웹 테스팅 방법론, 도구, 동향에 초점을 맞춘 체계적인 문헌 연구를 제시한다. 259개의 연구 논문을 분석하여 이 분야의 핵심 동향, 인구 통계, 기여, 도구, 과제 및 혁신을 식별한다. 연구 결과에 따르면 웹 테스팅 연구는 매우 활발했으며, ICST가 선도적인 연구 발표의 장이었다. 대부분의 연구는 새로운 기술에 중점을 두며, 블랙박스 테스팅의 자동화를 강조한다. Selenium이 가장 널리 사용되는 도구이며, 산업계 채택 및 인간 대상 연구는 비교적 제한적이다. 이 연구는 웹 테스팅 연구의 동향, 발전, 과제, 자동화된 테스팅 방법의 진화, 테스트 케이스 생성에서 인공지능의 역할 및 현재 연구의 격차에 대한 상세한 개요를 제공한다.

서론​

웹 애플리케이션의 프론트엔드는 사용자 경험을 좌우하는 핵심 요소로, 그 중요성이 날로 커지고 있다. 따라서 기능성, 사용성, 반응성을 검증하는 프론트엔드 테스팅은 필수적이다. 하지만 현대 웹 애플리케이션의 동적이고 복잡한 특성으로 인해 테스팅은 여러 도전에 직면해 있다. 이 연구는 지난 10년간(2014-2025) 발표된 259개의 논문을 분석하여 웹 테스팅 분야의 주요 동향, 발전, 그리고 남아있는 과제들을 종합적으로 파악하는 것을 목표로 한다.

배경​

  • 웹 애플리케이션: 초기의 정적 HTML 페이지에서 CSS, JavaScript, 서버 기술이 결합된 오늘날의 복잡하고 동적인 '지능형 웹(Web 4.0)'으로 진화했다.
  • JavaScript와 비동기성: JavaScript는 동적 웹을 만드는 핵심 기술이지만, 동적 타이핑과 비동기 이벤트 처리 같은 특성은 테스트를 어렵게 만드는 주요 원인이 된다.
  • 웹 테스팅: 소프트웨어 개발 비용의 약 50%를 차지할 정도로 중요한 단계이다. 수동 테스팅은 비용이 많이 들고 오류 발생 가능성이 높아, Selenium과 같은 도구를 사용한 자동화된 테스팅이 필수적이다. 연구는 단순히 테스트를 실행하는 것을 넘어, 테스트 케이스 자체를 자동으로 생성하는 방향으로 발전해왔다. 테스트 접근법은 시스템 내부 구조를 모르는 상태에서 테스트하는 블랙박스와 내부 코드를 보며 테스트하는 화이트박스로 나뉜다.

모델 아키텍처 / 방법론​

이 논문은 특정 모델을 제안하는 것이 아닌, 서베이 연구이므로 연구 방법론을 중심으로 설명한다. Figure 1

  • 핵심 구조/방법: 14개의 연구 질문(RQ)을 설정하여 웹 테스팅 분야의 다양한 측면을 체계적으로 분석했다. 분석 과정은 논문의 Figure 1에 잘 나타나 있다.
  • 주요 구성 요소:
    1. 데이터베이스 검색: IEEE, ACM 등 7개의 주요 학술 데이터베이스에서 키워드 검색을 통해 초기 논문 625편을 수집했다.
    2. 논문 필터링: 출판 연도, 언어, 연구 주제 관련성 등의 기준에 따라 논문을 필터링하여 145편을 선별했다.
    3. 스노우볼링: 선정된 논문의 참고문헌을 추적하는 전방/후방 스노우볼링을 통해 90편의 논문을 추가했다.
    4. 최신 논문 추가: 2024년과 2025년에 발표된 최신 논문을 추가하여 최종 259편의 논문을 분석 대상으로 확정했다.

실험 결과​

Figure 2 Figure 3

  • 주요 데이터셋: 분석 대상은 2014년부터 2025년 5월까지 출판된 259개의 웹 테스팅 관련 연구 논문이다.
  • 핵심 성능 지표: 14개 연구 질문에 대한 정량적, 정성적 분석 결과를 제시한다.
    • 연구 동향 (RQ1, RQ3): 웹 테스팅 연구는 연간 15~31편의 논문이 꾸준히 발표될 정도로 활발한 분야이다(Figure 2). 가장 많이 연구된 주제는 자동 테스트 생성(124편)이며, 테스트 유지보수(52편)가 그 뒤를 이었다.
    • 기여 형태 (RQ4): 대부분의 연구(201편)는 **새로운 도구나 기술(NTOT)**을 제안하고, 저자들이 직접 수행한 알고리즘 실험(AE)(181편)으로 검증하는 형태였다. 반면, 실제 사용자를 대상으로 하는 인간 대상 실험(HE)(30편)이나 산업체 경험 보고서(ER)(9편)는 매우 드물었다.
    • 테스팅 도구 (RQ7, RQ8, RQ12): 연구에서 제안된 도구 중 **36.3%**만이 오픈소스로 공개되었다. 대부분의 도구는 첫 논문 발표 이후 유지보수가 중단되는 경향을 보였으며, TESTAR가 예외적인 성공 사례로 언급된다. GUI 테스팅 라이브러리로는 Selenium이 압도적으로 많이 사용되었다.
    • AI 기술 활용 (RQ13): 전체 논문 중 81편(약 31.3%)이 AI 또는 탐색 기반 소프트웨어 테스팅(SBST) 기술을 사용했다. 논문의 Figure 3에서 볼 수 있듯이, 2016년 이후 AI 기술의 활용이 급격히 증가하는 추세를 보였다. 특히 강화 학습, 컴퓨터 비전, 유전 알고리즘 등이 주로 사용되었다.
    • 산업 협력 (RQ14): 전체 연구의 17.8%(46편)가 산업계와의 협력을 포함하고 있었다. 이는 산업체 시스템을 대상으로 한 실험, 경험 보고서 등을 포함하며, 학계의 연구가 실제 산업 현장에 적용될 가능성이 커지고 있음을 보여주는 긍정적인 신호이다.

결론​

웹 테스팅은 지난 10년간 활발하게 연구되어 온 성숙한 분야이다. 자동 테스트 생성과 블랙박스 테스팅이 주된 연구 주제였으며, AI 기술의 도입과 산업계 협력이라는 긍정적인 변화가 관찰된다. 하지만 여전히 해결해야 할 과제들이 남아있다. 연구된 도구들의 오픈소스 공개 비율이 낮고 장기적인 유지보수가 부족하며, Selenium 외의 최신 라이브러리에 대한 연구나 화이트박스 테스팅, 인간 대상 연구가 부족하다. 향후 연구는 이러한 격차를 해소하여 학문적 성과가 산업 현장에 더 효과적으로 이전될 수 있도록 노력해야 한다.