최신자료
인공지능 모델 안전성 첫 평가, AI 안전 생태계 확산의 첫걸음
’25.12.29. 과학기술정보통신부는 인공지능안전연구소, 한국정보통신기술협회와 함께 카카오의 AI 모델인 Kanana를 대상으로 국내 첫 AI 안전성 평가를 실시하였다고 밝혔다.
- AI 안전성 평가는 AI 위험 식별·평가를 통해 AI 시스템의 안전성을 확보하는 수단 중 하나임. 과기정통부는 ’26.1월로 예정된 AI기본법 시행을 앞두고, 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있음.
- 이번 안전성 평가는 AI안전컨소시엄에 참여 중인 카카오 측과의 협의를 거쳐 카카오의 AI 모델인 ‘Kanana Essence 1.5’를 대상으로 실시했음. 평가에는TTA·카이스트(최호진 교수 연구팀)가 11.18일 공개한 AssurAI 데이터셋과 AI안전연구소의 고위험 분야 평가 데이터셋이 사용되었으며, 일반적인 위험 요소부터 오남용 가능성이 높은 시나리오까지 적용하여 폭넓게 점검했음. 그 결과, Kanana는 유사 규모의 글로벌 모델 대비 높은 안전성을 확보한 것으로 나타남.
- 한국어를 기반으로 35개 위험 영역을 평가하도록 설계된 안전성 벤치마크 데이터셋 AssurAI는 해외 연구기관과 공동 검증·활용을 위해 지난 11.18일 공개한 바 있음. 향후 AI안전연구소가 기 구축한 고위험 분야 데이터셋과 함께 국제 AI안전연구소 네트워크 및 국제표준화 반영을 추진해 글로벌 정합성을 제고할 예정임.
- 이번 AI 안전성 평가 결과는 국내 AI 모델이 글로벌 수준의 안전성을 확보하고 있다는 것을 보여주는 데 의의가 있음. 이번 평가를 기반으로, ’26년에는 ‘독자 AI 파운데이션 모델’ 프로젝트 1차 단계평가에 참여하는 한편, 국내외 AI 기업들과의 협력을 통해 타 AI 모델 대상으로 평가 확대도추진함.
- 과기정통부 김 인공지능정책실장은 이번 평가는 국내 AI 모델의 안전성 경쟁력을 증명한 사례라며, 국내 AI 모델이 글로벌 AI 안전성 리더십을 주도해 나가도록 적극 지원하겠다고 강조함. TTA는 지난 ’21년 마련한 신뢰할 수 있는 인공지능 개발 안내서를 통해 기업이 자발적으로 AI 신뢰성을 확보하도록 지원하면서, 국내 최초생성형 AI 레드팀 개최 등 AI 안전성 실증 활동을 강화하고 있음.
<붙임>
1. Kanana Essence 9.8B 안전성 평가 분석 결과
2. AssurAI 데이터셋 위험요소 (TTA·KAIST 구축)
3. 고위험 분야 안전성 평가 데이터셋 (AI안전연구소구축)
- AI 안전성 평가는 AI 위험 식별·평가를 통해 AI 시스템의 안전성을 확보하는 수단 중 하나임. 과기정통부는 ’26.1월로 예정된 AI기본법 시행을 앞두고, 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있음.
- 이번 안전성 평가는 AI안전컨소시엄에 참여 중인 카카오 측과의 협의를 거쳐 카카오의 AI 모델인 ‘Kanana Essence 1.5’를 대상으로 실시했음. 평가에는TTA·카이스트(최호진 교수 연구팀)가 11.18일 공개한 AssurAI 데이터셋과 AI안전연구소의 고위험 분야 평가 데이터셋이 사용되었으며, 일반적인 위험 요소부터 오남용 가능성이 높은 시나리오까지 적용하여 폭넓게 점검했음. 그 결과, Kanana는 유사 규모의 글로벌 모델 대비 높은 안전성을 확보한 것으로 나타남.
- 한국어를 기반으로 35개 위험 영역을 평가하도록 설계된 안전성 벤치마크 데이터셋 AssurAI는 해외 연구기관과 공동 검증·활용을 위해 지난 11.18일 공개한 바 있음. 향후 AI안전연구소가 기 구축한 고위험 분야 데이터셋과 함께 국제 AI안전연구소 네트워크 및 국제표준화 반영을 추진해 글로벌 정합성을 제고할 예정임.
- 이번 AI 안전성 평가 결과는 국내 AI 모델이 글로벌 수준의 안전성을 확보하고 있다는 것을 보여주는 데 의의가 있음. 이번 평가를 기반으로, ’26년에는 ‘독자 AI 파운데이션 모델’ 프로젝트 1차 단계평가에 참여하는 한편, 국내외 AI 기업들과의 협력을 통해 타 AI 모델 대상으로 평가 확대도추진함.
- 과기정통부 김 인공지능정책실장은 이번 평가는 국내 AI 모델의 안전성 경쟁력을 증명한 사례라며, 국내 AI 모델이 글로벌 AI 안전성 리더십을 주도해 나가도록 적극 지원하겠다고 강조함. TTA는 지난 ’21년 마련한 신뢰할 수 있는 인공지능 개발 안내서를 통해 기업이 자발적으로 AI 신뢰성을 확보하도록 지원하면서, 국내 최초생성형 AI 레드팀 개최 등 AI 안전성 실증 활동을 강화하고 있음.
<붙임>
1. Kanana Essence 9.8B 안전성 평가 분석 결과
2. AssurAI 데이터셋 위험요소 (TTA·KAIST 구축)
3. 고위험 분야 안전성 평가 데이터셋 (AI안전연구소구축)
많이 본 자료
