정부가 '독자 AI 파운데이션 모델(독파모)'의 평가제도 보완을 검토한다. 2차 평가 결과에 대한 이의신청은 관련 절차에 따라 처리하고, 3차 평가에서는 최근 글로벌 AI 기술 변화를 반영해 평가 방식을 재논의할 방침이다.
◇ 벤치마크 1위→최종 탈락…16점차가 4점으로
27일 업계에 따르면 모티프테크놀로지스는 이날 독파모 2차 단계 선정 결과에 대해 과학기술정보통신부에 공식 이의신청을 제기했다. 모티프는 업체별 세부 평가점수와 평가 기준, 평가 내용을 공개하고 벤치마크 배점 산정 방식과 전문가 평가, 사용자 평가의 구체적인 판단 근거를 설명해달라고 요구했다.
모티프 측에 따르면, 자체 개발한 '모티프 3'는 글로벌 AI 모델 평가기관 아티피셜 어낼리시스의 지능지수(AAII)에서 47점을 기록해 독파모 참여 모델 가운데 가장 높은 점수를 받았다. 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점을 기록했다. 그러나 최종 평가에서는 LG AI연구원, SK텔레콤, 업스테이지가 3차 단계에 진출했고 모티프는 가장 낮은 점수로 탈락했다.
모티프가 문제를 제기한 부분 중 하나는 벤치마크 점수의 평가 반영 방식이다. 모티프 측에 따르면 2차 평가는 100점 만점에 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크 40점 가운데 AAII에는 25점이 배정됐다.
이에 따라 AAII에서 모티프의 47점과 LG AI연구원의 31점 사이에 벌어진 16점의 격차는 25점 만점으로 환산하면 4점 차이가 된다. 모티프는 이 같은 배점 방식이 벤치마크에서 나타난 모델 간 성능 차이를 충분히 반영하지 못한다고 주장했다.
과기정통부는 모델 성능뿐 아니라 실제 활용 가능성도 평가 대상이라는 입장이다.
김경만 과기정통부 인공지능정책실장은 이날 기자들과 만나 “1차 평가 이후 모델의 독자성을 강화하고 단순히 만드는 데 그치지 않고 실제 어떻게 쓰이는지가 중요하다는 지적이 많았다"며 “독자 AI 사업의 목적에는 성능 목표뿐만 아니라 서비스 목표도 분명히 포함돼 있다"고 말했다.
이어 “전문가 평가에서 활용성 배점을 10점에서 15점으로 상향하고 실사용자 평가 25점을 반영한 것은 독파모 사업 취지를 살리기 위한 것"이라고 설명했다.
◇ 정부 “참여사 합의"…평가기준 놓고 이견
평가기준 마련 과정에서 이뤄진 참여사 의견수렴의 성격을 두고 과기정통부와 모티프 측은 입장 차이를 보였다.
김 실장은 “해당 기준은 정부가 일방적으로 바꾼 게 아니라 참여 기업과의 합의를 거쳐 이미 공시를 마쳤던 사안"이라고 밝혔다.
모티프 측은 평가 항목과 세부 배점표를 사전에 전달받고 의견을 제출하는 절차를 거쳤다고 설명했다. 다만 제출한 의견이 반영되지 않은 만큼 이를 참여사와의 '합의'로 보기는 어렵다는 입장이다.
모티프 관계자는 에너지경제신문과의 통화에서 “의견을 제출했지만 반영되지는 않았다"며 “상호 합의라고 표현하기에는 어폐가 있다"고 말했다.
과기정통부는 개별 기업에는 1위 점수와 평균 수치를 포함한 상세 결과를 전달했다고 설명했다. 전체 평가 결과의 공개 범위는 공정성과 AI 생태계에 미칠 영향 등을 고려해 내부 검토 후 결정할 방침이다.
모티프의 이의신청은 규정에 따라 15일 이내 처리될 예정이다. 과기정통부는 평가 절차와 형식상 부당함이 있었는지를 중심으로 검토할 계획이다.
모티프는 이번 이의신청이 자사를 다시 선정해달라는 요구는 아니라고 밝혔다. 이의신청 결과와 관계없이 독파모 3차 단계에는 참여하지 않을 예정이다.
모티프 측은 이번 이의제기 이후 추가 대응은 검토하지 않고 있다. 모티프 관계자는 “정부가 상세 평가 결과를 공개하지 않는다면 더 이상 할 수 있는 것은 없다"며 “이번 이의제기가 저희가 할 수 있는 최선이자 마지막"이라고 말했다.
◇ 배경훈 “평가방식 재검토"…3차는 '무빙 타깃'
정부는 3차 평가에서 최근 글로벌 AI 기술 변화를 반영한 평가 방식을 논의할 방침이다.
배경훈 부총리 겸 과기정통부 장관은 이날 서울 중구 프레지던트호텔에서 열린 제2차 '과학기술·인공지능 미래전략회의'에서 독파모 2차 평가 결과에 대해 “글로벌 수준에 비춰볼 때 여전히 아쉬운 부분이 있다"고 말했다.
배 부총리는 “1년 반 전 수립된 평가나 경쟁 방식이 3~6개월 단위로 급변하는 AI 트렌드에 여전히 유효한지 근본적인 고민이 필요한 시점"이라며 “누구나 인정할 수 있는 세계적인 수준의 모델을 만들기 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다"고 밝혔다.
3차 평가에는 최근 글로벌 AI 개발 흐름도 반영될 예정이다. 김 실장은 “2차 평가를 진행하는 사이 AI 에이전트, 고난도 추론, 코딩 등 글로벌 AI 개발 트렌드가 급격하게 전환됐다"며 “3차에서는 참여 기업과 함께 개발 방향과 평가 방식을 논의해 무빙 타깃(Moving Target·변화에 맞춰 목표를 조정하는 방식)을 설정할 것"이라고 말했다.
과기정통부는 모티프의 이의신청에 대한 구체적인 입장을 밝히지 않았다. 과기정통부 관계자는 에너지경제신문과의 통화에서 “이의신청 기간이 오늘까지인 것으로 알고 있다"며 “현재 상황에서는 말씀드릴 수 있는 내용이 별로 없다"고 말했다.
