Ministerio de Ciencia y TIC anuncia resultados de segunda fase de evaluación del Proyecto de Modelo de Fundación de IA Independiente
La estructura competitiva final del Proyecto de Modelo de Fundación de Inteligencia Artificial (IA) Independiente se ha reducido a una contienda de tres empresas: Upstage, SK Telecom (SKT) y LG AI Research. Motif Technologies, que se había unido al proyecto mediante una convocatoria adicional, no superó el umbral de la segunda fase de evaluación.
El 18 de agosto, el Ministerio de Ciencia y Tecnologías de la Información y Comunicación (MINITIC) y la Institución de Promoción de la Industria de Tecnologías de la Información y Comunicación (NIPA) hicieron públicos los resultados de la segunda fase de evaluación del Proyecto de Modelo de IA Independiente. Según los resultados, Motif, que se había incorporado mediante convocatoria adicional, quedó eliminada, mientras que Upstage, SKT y LG AI Research avanzaron a la siguiente etapa.
Según el MINITIC, esta segunda fase de evaluación se llevó a cabo mediante la suma de tres componentes: △evaluación de referencia (40 puntos) △evaluación de expertos (35 puntos) △evaluación de usuarios (25 puntos).
La evaluación de referencia consistió en 25 puntos del "Índice de Inteligencia" (AAII) de Artificial Analysis (AA) y 15 puntos de evaluación de referencia de la NIA. El AAII se evaluó utilizando nueve evaluaciones de referencia de alto nivel que incluyen áreas de △agentes △codificación △general △ciencia. La evaluación de referencia de la NIA se realizó enfocándose en los campos de △matemáticas △conocimiento △comprensión de textos largos △seguimiento de instrucciones △idioma coreano △estabilidad △confiabilidad.
En la evaluación de referencia, la puntuación promedio de los cuatro equipos finalistas fue de 22,5 puntos. La diferencia de puntuación entre el primero y el cuarto lugar fue de 4,0 puntos.
La evaluación de expertos fue realizada por un comité de expertos conformado por especialistas externos en IA. Durante aproximadamente una semana, basándose en documentos de evaluación presentados por los equipos finalistas, se realizó una evaluación profunda de △estrategia de desarrollo y tecnología (10 puntos) △resultados y planes de desarrollo (10 puntos) △efectos secundarios y planes de contribución (15 puntos). El comité de expertos contó con la participación de 10 especialistas con experiencia en los campos de algoritmos de IA, servicios y datos, sin conflictos de interés.
En la evaluación de expertos, la puntuación promedio de los cuatro equipos finalistas fue de 28,8 puntos. La diferencia de puntuación entre el primero y el cuarto lugar fue de 2,4 puntos.
La evaluación de usuarios, introducida por primera vez en esta fase de evaluación, se compuso de evaluación de usuarios especializados en IA (15 puntos) y evaluación del público general (10 puntos). En la evaluación de usuarios especializados en IA participaron 49 personas, incluyendo directores ejecutivos de startups de IA, y en la evaluación del público general participaron 185 ciudadanos. Se diseñó para evaluar integralmente no solo el desempeño del modelo de IA, sino también la usabilidad y utilidad que experimentan usuarios diversos al utilizar directamente el modelo.
En la evaluación de usuarios, la puntuación promedio de los cuatro equipos finalistas fue de 17,6 puntos. La diferencia de puntuación entre el primero y el cuarto lugar fue de 5,0 puntos, mostrando una brecha mayor que en la evaluación de referencia y la evaluación de expertos.
Por su parte, el MINITIC tiene previsto ampliar el apoyo de unidades de procesamiento gráfico (GPU) B200 de alto rendimiento a los equipos finalistas que avanzan a la siguiente etapa del Proyecto de Modelo de IA Independiente.
El MINITIC señaló que "reconoce profundamente la necesidad de modelos de IA independientes de primera categoría y está en conversaciones con instituciones relacionadas sobre nuevos sistemas de apoyo que superen las formas convencionales", agregando que "planea anunciar contenidos específicos posteriormente".
* Este artículo ha sido traducido por IA.