정보통신정책연구원은 생성형 AI의 기술 진화 및 연구 동향을 언어 모델을 중심으로 분석한 보고서를 발표하였다.
- 생성형 AI는 유래없는 연구 발전 속도와 파급력으로 인간 세상에 큰 영향을 미치고 있음. 2017년 트랜스포머 알고리즘은 시퀀스 모델링을 혁신적으로 변화시켜 기존 언어 AI 연구의 방향을 바꿔놓았음. 특히, 2020년에 발표된 GPT-3는 초거대 규모의 학습된 언어 모델로, 별도의 튜닝 없이 다양한 자연어 문제에 높은 수준의 해결 능력을 보였음. 이후, 2022년에 출시된 ChatGPT는 GPT-3를 미세 튜닝하여 사용자의 명령형 프롬프트에 적절한 응답을 생성하는 채팅형 인터페이스를 제공하고 있음. ChatGPT는 그 편의성과 유용함으로 인해 역사상 가장 빠르게 성장중이다. 생성형 언어 모델은 교육과 학습 도구, 컨텐츠 창작 지원, 아이디어 도출, 지식과 정보의 접근성 등 사회적으로 긍정적인 영향을 미치고 있으며, 기존 산업도 향상된 자연어 인터페이스를 적용하여 빠르게 변화하고 있음.
- 본 원고는 생성형 언어 모델의 기술을 소개하고 그 파급력, 후속 연구 및 관련 오픈소스, 그리고 생성형 언어 모델을 적용하기 위한 엔지니어링의 발전 내용에 대해 살펴보고자 함.