Beyond the Hype: A Comprehensive Review of Current Trends in Generative Al Research, Teaching Practices, and Tools

논문 정보

• 제목: Beyond the Hype: A Comprehensive Review of Current Trends in Generative Al Research, Teaching Practices, and Tools
• 저자: James Prather (Abilene Christian University), Juho Leinonen (Aalto University), Natalie Kiesler (Nuremberg Tech), 외 다수
• 학회/저널: 2024 Working Group Reports on Innovation and Technology in Computer Science Education (ITICSE-WGR 2024)
• 발행일: 2024-07-08
• DOI: 10.1145/3689187.3709614
• 주요 연구 내용: 컴퓨팅 교육 분야에서 생성형 AI(GenAI)의 현재 동향을 파악하기 위해 세 가지 접근법을 사용함. 첫째, 71편의 관련 연구에 대한 체계적 문헌 고찰(SLR)을 수행함. 둘째, 교육자(N=76)와 산업계 개발자(N=39)를 대상으로 설문조사를 실시함. 마지막으로 GenAI 도구 개발자, 연구자, 사용자 등 17명의 교육자와 심층 인터뷰를 진행하여 데이터를 삼각 측량 방식으로 분석함.
• 주요 결과 및 결론: 문헌 고찰 결과, 교육적 가드레일이 포함된 맞춤형 GenAI 도구를 사용할 때 긍정적인 결과가 더 많이 나타남. 설문 및 인터뷰 결과, 대다수 교육자(77%)는 GenAI로 인해 필요한 프로그래밍 역량이 변화했다고 인식하지만, 실제 교육과정을 수정한 비율은 36%에 그침. 역량의 중심이 코드 작성에서 코드 읽기, 테스트, 문제 분해 등 고차원적 기술로 이동하고 있으며, 평가 방식도 감독 있는 시험이나 구술시험으로 바뀌는 추세임.
• 기여점: 본 연구는 문헌, 교육자, 산업계 개발자의 관점을 통합하여 컴퓨팅 교육에서 GenAI의 현주소를 포괄적으로 제시함. GenAI 통합의 실제 동향, 교육 방식의 변화, 역량 요구사항의 전환, 그리고 형평성 문제와 같은 주요 과제를 명확히 규명하고, 교육자들이 GenAI를 효과적으로 도입하기 위한 구체적인 권장 사항을 제공함.

요약

초록

생성형 AI(GenAI)가 빠르게 발전함에 따라 컴퓨팅 교육 분야의 관련 연구 문헌도 급증하고 있다. 초기 반응은 공황과 유토피아적 낙관론 사이에서 엇갈렸으나, 이제는 GenAI가 입문 프로그래밍 과제 대부분을 해결할 수 있으며 교육과정 전반에 영향을 미치고 있다는 것이 명확해졌다. GenAI 도구는 코드 작성 및 설명, 오류 메시지 개선, 교육 자료 생성, 학생 피드백 제공 등 기존 조교의 역할을 일부 수행할 수 있다. 본 보고서는 체계적 문헌 고찰, 교육자 및 산업 전문가 대상 설문조사, 그리고 GenAI를 활용하는 교육자 및 연구자들과의 인터뷰를 통해 컴퓨팅 교육 현장의 GenAI 활용 실태와 인식을 종합적으로 요약하고 설명한다.

서론

GenAI의 발전은 컴퓨팅 교육에 거대한 변화를 가져오고 있다. 초기 연구들은 GenAI의 교육적 기회와 위협을 탐색하는 데 중점을 두었으나, 이제 논의는 실질적인 도입 문제로 전환되었다. GenAI의 완전한 금지는 비현실적이며, 산업계 개발자들도 GenAI를 적극적으로 활용하고 있어 학생들에게 관련 기술을 교육할 필요성이 커지고 있다. 이 연구는 두 가지 핵심 사용 사례를 구분한다: (1) 학생들에게 GenAI 도구를 사용해 코드를 작성하는 방법을 가르치는 것, (2) 강사가 도움 봇, 코드 피드백, 과제 생성 등을 통해 교육을 지원하기 위해 GenAI 도구를 사용하는 것. 본 연구의 목표는 교육자들이 GenAI를 어떻게 그리고 왜 교육에 통합하는지, 그리고 GenAI의 등장으로 소프트웨어 개발에 필요한 역량이 어떻게 변화하고 있는지를 파악하는 것이다.

배경

GenAI가 등장하며 컴퓨팅 교육계는 초기의 혼란을 지나 실용적인 통합 방법을 모색하는 단계에 접어들었다. 많은 교육자들이 GenAI를 교육 기술 발전의 자연스러운 과정으로 보고 있으며, 미래에 필요한 프로그래밍 역량이 어떻게 변할지에 대한 논의가 활발하다. 학생들의 GenAI 사용을 막기보다는 사려 깊은 통합과 교육적 지원(scaffolding)이 나아가야 할 방향으로 제시되고 있다. 이러한 배경 속에서, 본 연구는 실제 교육 현장에서 이루어지는 구체적인 교육 방법, 도구, 그리고 교육적 개입에 대한 실증적 데이터를 수집하고 분석하고자 체계적 문헌 고찰을 수행했다.

모델 아키텍처 / 방법론

이 연구는 특정 모델 아키텍처를 제안하는 대신, 혼합 연구 방법(mixed-methods)을 통해 GenAI 동향을 분석했다.

• 핵심 구조/방법: 연구 방법론은 세 가지 주요 데이터 소스를 활용한 삼각 측량(triangulation)에 기반한다.
  1. 체계적 문헌 고찰 (Systematic Literature Review, SLR): 5개의 학술 데이터베이스에서 GenAI와 컴퓨팅 교육 관련 논문을 검색하여 최종 71편을 선정하고, GenAI의 교육적 활용 방식, 동기, 결과 등을 분석했다.
  2. 설문조사 (Surveys): 컴퓨팅 교육자(N=76)와 산업계 소프트웨어 개발자(N=39)를 대상으로 두 개의 별도 설문조사를 실시했다. 이를 통해 GenAI 사용 정책, 교육 방식, 동기, 그리고 역량 변화에 대한 인식을 양적 및 질적으로 조사했다.
  3. 인터뷰 (Interviews): GenAI 도구 개발자, GenAI 연구자, GenAI 활용 교육자 등 3개 그룹에 속한 17명과 반구조화 인터뷰를 진행하여 심층적인 관점과 경험을 수집했다.
• 주요 구성 요소: 각 방법론은 상호 보완적으로 설계되었다. SLR은 연구 동향을, 설문조사는 광범위한 인식을, 인터뷰는 구체적인 사례와 깊이 있는 통찰을 제공한다. 수집된 정성적 데이터는 주제 분석(thematic analysis)을 통해 분석되었고, 정량적 데이터는 기술 통계를 통해 요약되었다.
• 수식: 본 논문은 방법론적 고찰을 다루므로 특정 수학적 모델이나 수식은 포함되지 않는다.

실험 결과

• 주요 데이터셋: 연구에 사용된 데이터는 (1) 2024년 5월까지 출판된 71편의 학술 논문, (2) 76명의 교육자와 39명의 개발자로부터 수집된 설문 응답, (3) 17명의 전문가로부터 얻은 인터뷰 녹취록이다.
• 핵심 성능 지표 (주요 발견점):
  • 문헌 분석 결과: 일반적인 GenAI 도구(예: ChatGPT)를 별도 지침 없이 사용할 때보다, 교육적 가드레일(pedagogical guardrails)이 적용된 맞춤형 도구를 사용할 때 긍정적 연구 결과가 더 많았다 (73% vs 55%). 특히 코드 이해(80%)나 학습 자료 생성(86%)과 같은 과제에서 긍정적 결과가 두드러졌다.
  • 교육자 및 개발자 관점: 교육자의 77%가 GenAI로 인해 필요한 역량이 변했다고 답했지만, 단 36%만이 교육과정에 GenAI를 적극적으로 통합했다. 역량의 변화는 '코드 작성' 능력의 중요성은 감소하고 '코드 읽기', '테스트', '문제 분해', '프롬프트 엔지니어링' 능력의 중요성이 증가하는 방향으로 나타났다. 개발자의 79.5%가 업무에 GenAI를 사용하며, 81%가 생산성 향상을 경험했다고 응답했다.
  • 평가 방식의 변화: GenAI를 활용한 과제 부정행위를 방지하기 위해, 평가 방식이 감독이 있는 시험(proctored exams), 구술시험, 그리고 최종 결과물보다는 개발 과정을 평가하는 방식으로 변화하고 있다.
  • 형평성 문제: 유료 GenAI 도구에 대한 접근성 차이가 학생들 간의 학업 격차를 심화시킬 수 있다는 우려가 제기되었다. 논문의 Figure 6에서 볼 수 있듯이, 교육자들은 주로 무료로 사용할 수 있는 도구를 선호하는 것으로 나타났다.
• 비교 결과: 논문의 Figure 8은 개발자의 실제 GenAI 사용 현황과 교육자들의 예상을 비교한다. 교육자들은 개발자들이 아이디어 구상이나 디버깅에 GenAI를 사용할 것이라고 과대평가하는 경향이 있었고, 코드 수정 작업에서의 활용은 과소평가했다. 이는 교육계와 산업계 간의 인식 차이를 보여준다.

결론

이 연구는 GenAI가 컴퓨팅 교육에 미치는 영향을 다각적으로 분석했다. 결론적으로, GenAI는 이미 교육 현장과 산업계에 깊숙이 자리 잡고 있으며, 교육자들은 이에 맞춰 교육 방식과 평가를 조정하고 있다. 프로그래밍에 필요한 핵심 역량은 단순한 코드 작성에서 비판적 사고, 코드 검증, 고차원적 문제 해결 능력으로 이동하고 있다. 이 연구는 교육자들에게 (1) 일반적인 GenAI 도구를 사용할 경우 명확한 사용 지침을 제공하거나, (2) 교육적 목적에 맞게 설계된 맞춤형 도구를 활용할 것을 권장한다. 또한, 모든 학생에게 공평한 학습 기회를 제공하기 위한 형평성 문제 해결과 교육자 대상의 전문성 개발 프로그램이 시급한 과제임을 강조한다.