Un nuevo estudio identifica las diferencias entre el texto humano y generado por IA

Un equipo de investigadores de la Universidad Carnegie Mellon se propuso ver cómo los modelos de idiomas (LLM) con precisión pueden igualar el estilo de texto escrito por los humanos. Su recomendaciones fueron publicados recientemente en el Actas de la Academia Nacional de Ciencias.

“Los humanos, adaptamos cómo escribimos y cómo hablamos de la situación. A veces somos formales o informales, o hay diferentes estilos para diferentes contextos”, dijo Alex Reinhart, autor principal y profesor de enseñanza asociado en el Departamento de Estadísticas y Ciencias de Datos.

“Lo que aprendimos es que LLMS, como Chatgpt y Llama, escriben de cierta manera, y no necesariamente se adaptan al estilo de escritura. El contexto y su estilo son en realidad muy distintivos de cómo los humanos normalmente escriben o hablan en diferentes contextos. Nadie ha medido o cuantificado esto de la manera que pudimos hacer “.

En este estudio, Reinhart y su equipo pudieron mostrar cómo los LLM escribieron al provocarlos con extractos de escritura de varios géneros, como guiones de televisión y artículos académicos. Utilizando el código escrito por David West Brown, profesor de enseñanza asociado en el Departamento de Inglés y coautor del estudio, encontraron grandes diferencias en las características gramaticales, léxicas y estilísticas entre el texto escrito por LLMS y los humanos.

Estas diferencias fueron más grandes para los modelos ajustados a la instrucción, como ChatGPT, que experimentan capacitación adicional para responder preguntas y seguir instrucciones.

Según los investigadores, LLMS utilizó cláusulas de participio actuales a dos a cinco veces la tasa de texto humano, como se demostró en esta oración escrita por GPT-4O: “Bryan, apoyado en su agilidad, baila alrededor del ring, evade los golpes pesados ​​del show”.

También utilizaron nominalizaciones a 1.5 a dos veces la tasa de humanos, y GPT-4O usa la voz pasiva sin agente a la mitad de la tasa como humanos. Esto sugiere que los LLM están capacitados para escribir en un estilo informal denso y sustantivo, lo que limita su capacidad para imitar otros estilos de escritura.

Los investigadores también encontraron que los LLM sintonizados con instrucciones tienen vocabularios distintivos, utilizando algunas palabras con mucha más frecuencia que los humanos que escriben en el mismo género. Por ejemplo, las versiones de ChatGPT usaron “Camaradería” y “tapiz” aproximadamente 150 veces más a menudo que los humanos, mientras que las variantes de LLAMA usaron “inquietud” de 60 a 100 veces más a menudo. Ambos modelos tenían fuertes preferencias para “palpable” e “intrincado”.

“Hay) mucha ansiedad que circula entre los maestros. Y pensé para mí mismo, como alguien que hace trabajo computacional y trabaja mucho con ciencia de datos Para alguien que está en un departamento de inglés, eso no es realmente lo que hacen los escritores “, dijo Brown.” No escribimos una vez. Escribimos una y otra y otra y otra vez. Entonces, la pregunta era: ¿Puede (LLMS) generar un único que se vea plausible?

“El mensaje que creo que realmente queríamos comunicarnos era pensar con mucho cuidado en qué circunstancias (usar LLM) podría estar bien”, dijo Brown. “Me importa que las notas de mi médico sean precisas. Realmente no me importa si están en la voz de mi médico.

“Pero si estoy escribiendo una carta de solicitud de empleo en la que quiero destacar, eso importa mucho. Como instructores, escritores y comunicadores, debemos estar al tanto de las idiosincrasias y deficiencias de LLMS”.

Reinhart también señaló crecientes preocupaciones sobre lo que sucede si los estudiantes usan LLM para completar las tareas.

“Algunas personas dirán que es como cuando obtuvimos calculadoras para la clase de matemáticas. Y ahora solo usas la calculadora, y es genial. Lo que aprendimos es que no es como una calculadora”, dijo Reinhart. “Usas una calculadora, hace las mismas matemáticas que ibas a hacer, pero no se arruina y se olvida de llevar la indica. Pero aquí, estás obteniendo algo diferente de lo que un humano típico escribiría”.

Los investigadores señalaron que se necesita más estudio y una mirada más amplia de más LLM para comprender la importancia y el impacto del ajuste de las instrucciones en estos modelos. Un proyecto en curso de Ph.D. El estudiante Ben Markey implica estudiar cómo se pueden usar LLM para evaluar la escritura humana, como los ensayos de los estudiantes y cuán consistentes son sus evaluaciones.

“¿Puedes dar un modelo de idioma grande, decir un ensayo y evaluarlo?” Brown preguntó. “Lo que (Markey) está haciendo es en lugar de dar un LLM solo un ensayo o algo una vez, ¿qué sucede si le da los criterios y lo das una y otra vez y otra vez? ¿Te dará la misma puntuación, o va a hacer diferentes cosas cada vez? También, también estamos pensando en otros tipos de aplicaciones con estos modelos, así como para ver si podemos entenderlos”.