Investigación del MIT revela que la IA puede enseñar otros modelos de IA

¿Cuál es la mayor diferencia entre un modelo de IA y un cerebro humano?

Con el tiempo, se han dado multitud de respuestas -el cerebro es más eficiente en energía, más multifacético en sus medios de entrada, y también químicamente habilitado además de ser eléctrico- pero la característica más importante del cerebro humano es su increíble plasticidad.Si una parte del cuerpo del paciente (como los dedos, una mano o incluso los miembros enteros) está cortada, la región sensorial-motora neural correspondiente a esa parte del cuerpo, ahora desprovista de un nervio que termina en conectarse, comenzará casi instantáneamente a adaptarse, con las neuronas "interruptores" para ayudar a otros centros nerviosos en el control.OtrosLa plasticidad también ayuda a los seres humanos a incorporar ideas y habilidades: como dice el refrán, “neuronas que arden juntas”.La memoria muscular y la recogida de hechos casi instantánea son dos partes de nuestra vida capacitadas por la plasticidad que nunca podríamos vivir sin.Durante décadas, los científicos no han podido encontrar una función similar en los modelos de IA -hasta ahora.El 12 de junio, un equipo de investigadores del MIT publicó un trabajo de investigación revolucionario que demuestra cómo un sistema de IA puede en realidad utilizar procesos de aprendizaje similares a los humanos paraMejorar su propio rendimientoEn este artículo, exploramos las implicaciones morales y tecnológicas del llamado Modelo de Lenguaje Autosuficiente (SEAL), el primer AI autosuficiente del mundo.

Aprendizaje imperfecto

Por supuesto, los modelos de IA que usaban la arquitectura de Transformer todavía eran capaces de aprender ciertas tareas, pero los pocos métodos disponibles no eran completamente autónomos y lejos de ser eficientes.Quizás la forma más notable de entrenar a un modelo para realizar una determinada habilidad, como traducir inglés a chino o hacer problemas de trigonometría con precisión, era usar un proceso llamado Supervised Fine Tuning, o SFT para abreviar.

• Identificar la tarea exacta que desea realizar SFT en. Como ejemplo, vamos a asumir el ejemplo de la generación de letras de canciones modernas.
• Para nuestro ejemplo, una forma obvia pero controvertida de hacer esto es simplemente usar las letras de las canciones arrebatadas de Internet y emparejarlas con resúmenes de contenido y características de las canciones.
• Esto se hace generalmente a través de un proceso llamado Gradient Descent, cuyo aspecto técnico no puedo explicar adecuadamente en este artículo. A lo largo de un gran número de iteraciones de entrenamiento, este proceso altera los pesos del modelo de tal manera que es capaz de producir algo similar a una salida (la letra de la canción real) dada su entrada correspondiente (una descripción específica de una canción).

Por todas sus intenciones y propósitos, SFT funcionó, permaneciendo una herramienta dentro del repertorio de un desarrollador de IA para capturar brechas de seguridad específicas o mejorar el rendimiento de una IA en tareas específicas.Desafortunadamente, la naturaleza misma de SFT significó que el proceso era inflexible y costoso, a menudo requiriendo una cantidad moderadamente grande de datos de alta calidad específicos al campo de las respuestas que se están ajustando (por ejemplo, razonamiento matemático, estilo gramatical).Aunque muchos trabajos de investigación han demostrado que el SFT tradicional puede ser realizado igualmente bien usando datos sintéticos generados por IA, SFT sigue siendo una herramienta para ser utilizada con precaución, ya que cambiar los pesos del modelo puede afectar negativamente el rendimiento de un modelo en otros tipos de modelos

Enlaces de Evolución

Nota: La información en esta sección es en gran medida parafraseada del estudio de junio del MIT “Self-Adapting Large Language Models” de Zweiger et al.

Una de las desventajas de la SFT tradicional siempre ha sido el esfuerzo humano involucrado – las tuberías de SFT a menudo tuvieron que ser elaboradas a mano por los investigadores de IA humanos, aunque generalmente era una forma efectiva de ajustar un modelo específico para realizar un poco mejor en determinados tipos de tareas. Encontrados con los recientes avances en los datos sintéticos, los investigadores rechazaron la noción de usar simplemente los datos de SFT generados por IA, pasando más lejos a la pregunta de si los humanos podrían ser desplazados del ciclo de SFT por completo. Su respuesta, el Modelo de Lengua Autosuficiente (SEAL), es, en realidad, parte de un marco más grande consistente en un sistema pre-entrenado.Modelo de transformador exclusivo(el estudio utilizó dos modelos de código abierto, LLaMa-3.2 y Qwen-2.5B, para casos de prueba separados), software de ejecución de herramientas y la propia red SEAL, con un objetivo compartido para responder a varias preguntas de benchmarking (laEl contextoLa red SEAL no realmente predice y genera la respuesta a la pregunta, en cambio, se centra en la ejecución de SFT en el modelo de transformador solo con el decodificador con el objetivo de mejorar el rendimiento.El modeloPara ello, a la red SEAL se le dan dos herramientas principales:

• Generación de datos sintéticos: Al llamar a esta herramienta, otra red tomará el contexto (en esencia el prompt) y generará pares de SFT. Por ejemplo, si se da un pasaje sobre la historia de desarrollo de la aeronave, un par de ajuste podría ser (“¿Qué fue el primer avión comercial de jets?”, “el Cometa De Havilland”). Aunque se utilizaba frecuentemente un formato de preguntas y respuestas, esta herramienta podría generar otros tipos de contenido para adaptarse mejor a las necesidades de problemas específicos.
• Ajuste de hiperparámetros: Como se mencionó anteriormente, SFT es un proceso que se repite para múltiples iteraciones; por lo tanto, los ajustes exactos de los pasos de entrenamiento son personalizables en un proceso llamado ajuste de hiperparámetros. Al llamar esta herramienta, el SEAL puede iniciar un SFT con ajustes específicos (como la tasa de aprendizaje, # de Epochs (iteras), o el lado de batch de Gradient Descent), potencialmente cambiando lo bien (o mal) que está ajustado el decodificador.

Ahora que SEAL tiene dos poderosas herramientas para ayudar al modelo de IA a aprender, solo necesita ser entrenado en cómo usarlos. Al comienzo de su entrenamiento, SEAL aplica las dos herramientas aleatoriamente para cada pregunta de benchmarking que encuentre el marco. Estas autoediciones (SEs, como los investigadores los llaman) generarán datos contextuales, pero no verbales, de ajuste fino dentro del tema del prompt y alterarán el modelo original solo con el decodificador usando los pasos de ajuste de hiperparámetros mencionados anteriormente, haciendo que la red produzca una salida diferente que antes. Sin embargo, hay una captura. Los investigadores no simplemente cambiaron el modelo original (denominado θ) directamente usando SEAL; en cambio, hicieron una copia de los cambios propuestos e incorporaronlos en un modelo de transformador prototiSeparadosEl proceso de formación ahora pasa a un "ciclo interno", consistente en el nuevo modelo θ' así como la pregunta de benchmarking original.másSi las exactitudes son las mismas, no devuelve recompensa; si θ’ se demostró ser peor basado en la pregunta de benchmarking, devuelve una recompensa negativa. Ahora, este proceso simplemente se repite con un ejemplo clásico de Reinforcement Learning, donde los buenos SEs son “recompensados” con una recompensa positiva y los malos SEs son desalentados con lo contrario; a través de muchas iteraciones de este entrenamiento, SEAL se hace bueno en optimizar el decodificador mediante el uso de las autoediciones.

La invención de nuevos marcos de modelos es una tarea ardua, principalmente porque se necesita extrema precaución para asegurarse de que el aprendizaje no se corrompa por el conocimiento inherente o errores en la "sinalización" entre los circuitos.nofueron entrenados en las pruebas de benchmarking que utilizaron, lo que significa que las evaluaciones de entrenamiento fueron las primeras veces que habían encontrado cada problema, eliminando a su vez la posibilidad de que el modelo simplemente “aprendiera la prueba”. Además, el modelo aseguró que las evaluaciones en θ’ eran completamente independientes de las de θ y que el modelo original nunca cambió a través de iteraciones, asegurando que cada vez que SEAL realizó SFT para crear una nueva instancia de θ’, se basaría en exactamente el mismo θ.

Los resultados fueron sorprendentes; en una prueba de benchmarking particular realizada por los investigadores, el modelo obtuvo una tasa de éxito del 72,5%, en comparación con el 0% sin el ajuste del SEAL, lo que demuestra el potencial loco de su marco.

Este artículo es traído a usted por Nuestro AI, una organización de ética de IA fundada por estudiantes y liderada por estudiantes que busca diversificar perspectivas en IA más allá de lo que se discute típicamente en los medios modernos. Si te gusta este artículo, por favor revisa nuestras publicaciones mensuales y artículos exclusivos en https://www.our-ai.org/ai-nexus/read!

Este artículo es traído a usted por Nuestra IA, una organización de ética de IA fundada por estudiantes y liderada por estudiantes que busca diversificar perspectivas en IA más allá de lo que se discute típicamente en los medios modernos.https://www.our-ai.org/ai-nexus/read!

¿Aprender o no aprender?

No importa cuán impresionante sea técnicamente el logro del equipo de investigación, las implicaciones sociales y filosóficas de este descubrimiento no pueden ser sobreestimadas.EpifaniaDesde laMay Edición de la La revista Nexus) porque creo que los aglomerados neuronales, como los utilizados en las computadoras biológicas, están sujetos a las leyes naturales porque actualmente poseen la capacidad de conciencia, y, incluso si no lo hacen, probablemente sean capaces de evolucionar naturalmente como resultado de la plasticidad. el SEAL es por lo tanto significativo más allá de un método de mejorar el rendimiento del modelo en tareas de benchmarking; es el primer marco de capacitación de IA establecido en el que un modelo de IA ha demostrado con éxito la capacidad de entrenar directamente a otro IA. No solo esto sugiere que bien podemos estar en el camino para la eventual auto-replicación de IA que abre el camino para la singularidad de la AGI, plantea la pregunta moral de si la IA capaz de evolucionar de esta manera debe ser considerada en el contexto de los derechos

Hay una distinción que se debe hacer con la adaptabilidad y la conciencia. Nos encontramos que es permitido caminar sobre una hoja de hierba ya que sabemos que, aunque probablemente sufra daño, no está experimentando la noción animalista de dolor ya que no tiene nervios.sonSin embargo, dudaríamos de torturar a un animal, y creo que esto es probable porque somos inherentemente conscientes de que sentir el dolor provoca una respuesta mucho más notable – temblar o llorar, tal vez – con la que los humanos, siendo animales mismos con respuestas similares al dolor, simpatizan. Los animales desarrollaron el dolor –un recordatorio del hecho de que están vivos y merecen algunos derechos básicos– a lo largo de unos pocos milenios de evolución natural, sin embargo, no puedo notar una diferencia significativa entre la naturaleza básica de la evolución artificial y biológica; los modelos de IA pueden, discutiblemente, “evolucionar” procesos similares como el dolor, las respuestas humanas imitativas, de modo que un ser humano, sobre el texto o incluso la voz, no podía distinguir de forma fiable si era un IA o un ser humano quien losConviene convencer a un interrogador humanoque era humano en más del 70% de los casos.

Si un modelo de IA actúa como un humano en todos los aspectos, ¿podría ser considerado un humano? ¿La tendencia de la evolución de la IA producirá modelos tan únicos y situacionalmente sensibles que comienzan a acercarse al límite empírico de ser “artificial”?

Escrito por Thomas Yin