연구 결과, 대학생들은 ChatGPT에 의존하면서도 답변을 거의 검증하지 않는 것으로 나타나

그라나다 대학교(University of Granada)의 한 연구는 교육학과 정보과학 전공 졸업반 학부생 50명을 표본으로 삼아 이들이 ChatGPT를 어떻게 사용하는지 조사했습니다. 연구진은 think-aloud 기법을 활용한 포커스 그룹, 반구조화 인터뷰, 리커트 척도 설문지를 결합한 뒤, 정량적 결과와 정성적 결과를 서로 대조하여 일관성을 확인했습니다. 이 연구의 목표는 ChatGPT 사용이 정보 리터러시(information literacy), 즉 정보를 찾고 평가하고 효과적으로 활용하는 일련의 능력과 어떻게 관련되는지 이해하는 것이었습니다.

또 다른 연구는 중국 남서부 지역 대학생 880명을 대상으로 설문조사를 실시했습니다. 대상에는 학부생, 석사과정생, 박사과정생이 모두 포함되었으며 평균 연령은 20.8세, 남성 비율은 48.52%였습니다. 이 연구는 설문 기반 요인들 간의 관계를 검증하는 통계적 방법인 구조방정식모형(structural equation modeling)과, 모델의 예측에 어떤 요인이 가장 큰 영향을 미쳤는지 보여주도록 설계된 설명 가능한 머신러닝(explainable machine learning) 기법을 결합했습니다. 한편 Cornell University의 Center for Teaching Innovation은 자체 연구를 수행하기보다는, 생성형 AI가 수업에 미치는 영향에 관해 새롭게 나오는 연구들을 종합하여 소속 교수진에게 지침을 제공하고 있습니다.

그라나다 연구에서 학생들은 주로 정보를 찾는 데 ChatGPT를 사용한다고 답했지만, 자신의 질문이나 실제로 알아야 할 것이 무엇인지 명확히 정의하지 않은 채 사용하는 경우가 많았습니다. 학생들은 텍스트를 처리하는 데는 이 도구가 유용하다고 느꼈습니다. 문단을 요약하고, 핵심어를 뽑아내고, 자료를 범주별로 정리하고, 아이디어 간 연결을 짓는 데 도움이 되었다는 것입니다. 어려움을 겪은 부분은 참고문헌이었습니다. 학생들은 이 도구가 인용을 다루는 방식이 혼란스럽고 부정확하다고 설명했으며, 이를 잘 사용하는 법에 대한 교육이 더 필요하고, 교수진 스스로도 이 기술에 더 익숙해지기를 바란다고 말했습니다.

중국 대상 설문조사에서도 학생들을 AI 도구로 끌어당기는 요인과 주저하게 만드는 요인이 뒤섞여 나타났습니다. 유용성에 대한 인식과 개인적 관심은 도입을 강하게 촉진한 반면, 윤리, 정확성, 학문적 정직성과 관련된 위험 인식은 도입을 상당히 저해했습니다. 연구진은 이를 '편익-위험 균형(benefit-risk balance)'이라고 표현합니다. 학생들이 이 도구가 자신에게 줄 수 있는 이점과, 그 결과물을 신뢰할 수 있는지 또는 사용이 부정행위로 이어지는지에 대한 우려를 저울질한다는 뜻입니다.

Cornell이 정리한 폭넓은 연구 결과는 ChatGPT 및 유사한 대규모 언어 모델(large language model)이 실제로 작동하는 방식과 관련된 패턴을 함께 보여줍니다. 이러한 시스템은 방대한 양의 텍스트로 훈련되며, 사실을 이해해서가 아니라 다음에 나올 가능성이 가장 높은 단어를 예측하는 방식으로 응답을 생성합니다. 이 때문에 거짓 정보를 마치 사실인 것처럼 말할 수 있는데, 연구자들은 이러한 실패를 '환각(hallucination)'이라고 부릅니다. Cornell의 자료는 ChatGPT가 질문에 답하고 개념을 설명할 수는 있지만, 사람처럼 자신이 생성하는 내용에 대한 지식이나 이해를 갖고 있지는 않다고 지적합니다.

Cornell이 정리한 외부 연구들은 생성형 AI가 수업에 미치는 영향에 대해 진정으로 엇갈린 결과를 보여줍니다. 일부 연구는 학생들이 AI 도구를 사용했을 때 학습 성과가 향상되었다고 보고했으며, 특히 수학이나 컴퓨터 과학 수업에서 그러했습니다. 하지만 인용된 두 연구에 따르면 이러한 성과 향상은 지속적이라기보다 일시적인 경우가 많았습니다. 글쓰기에 관한 다른 연구는 더 우려스러운 것으로 묘사되었습니다. 한 연구에서는 글쓰기 과제에 생성형 AI를 사용한 학생들이 사용하지 않은 학생들에 비해 뇌 활동이 더 적었고, 결과물의 글이 더 획일적이었으며, 나중에 자신이 쓴 글을 기억해내는 능력도 더 떨어졌다는 결과가 나왔습니다.

동시에 Cornell은 일부 연구가 생성형 AI가 학습을 저해하기보다 뒷받침할 수 있는 방식에 주목하기 시작했다고 언급합니다. 예를 들어 학생들이 능동적으로 연습하도록 돕거나, 실행 가능한 피드백을 제공하거나, 자신의 학습 과정을 돌아보도록 유도하는 방식입니다. 일부 AI 도구는 이러한 접근을 바탕으로 전용 '학습 모드(study mode)'를 도입하기도 했습니다. Cornell은 이를 아직 결론이 나지 않은 진행 중인 질문으로 규정하며, 이 문제를 이미 정해진 것으로 취급하지 않고 새로운 연구가 나올 때마다 교수진에게 제공하는 조언에 계속 반영해 나가겠다고 밝혔습니다.

어느 자료도 생성형 AI가 전반적으로 학습에 미치는 영향을 확정지었다고 주장하지 않습니다. 그라나다 연구진은 학생들이 AI 도구에 대한 더 체계적인 교육을 원하고, 교수진이 이 기술에 더 익숙해지기를 바란다고 결론지으며, 현재의 사용을 노골적으로 해롭다기보다는 아직 미성숙한 단계로 규정합니다. 중국 연구팀은 자신들의 결과를, 조사 대상 학생들 사이에서 도입을 촉진하거나 주저하게 만드는 요인에 대한 한 단면일 뿐 결과에 대한 판정은 아니라고 설명합니다.

Cornell 자체의 입장은 명시적으로 잠정적입니다. 생성형 AI가 학습에 미치는 영향에 관한 연구는 아직 초기 단계이며 매달 새로운 결과가 나오고 있고, 참고한 연구 중 일부는 아직 완전히 확정되지 않은 최근의 preprint(사전 출판본)나 working paper(작업 논문)라고 밝히고 있습니다. 대규모 언어 모델이 언어를 의식적으로 처리하는지 무의식적으로 처리하는지에 관한 네 번째 연구 흐름은, 이러한 시스템이 인간의 글쓰기와 유사한 텍스트를 생성할 때 실제로 계산상 무엇을 하고 있는지에 대한 별개의 질문을 제기합니다. 다만 이 연구는 수업 내 사용 문제를 직접적으로 다루지는 않습니다.