A pesar de su lanzamiento a fines de 2022, la popularidad de ChatGPT realmente despegó este año. Esto significa que el mes de julio marca el final del primer semestre escolar con un alto uso del chatbot: la comunidad académica pasó el período asombrada por las posibilidades de la inteligencia artificial (IA). Sin embargo, luego de seis meses, profesores y estudiantes también se encontraron con una importante limitación de la herramienta y descubrieron que no sirve para corregir e identificar posibles plagios en trabajos académicos.
Uno de los casos que llamó la atención sobre la situación aquí en Brasil lo contó la usuaria @carollingian, en Twitter. En su perfil, dijo que la junta asesora prohibió a su tío el TCC por contener extractos supuestamente plagiados de otros autores. El veredicto lo habría dado ChatGPT, luego de analizar la obra y afirmar que el contenido fue producción suya – afirma que el texto fue realizado íntegramente por un humano.
«Mi tío está terminando su graduación y escribió el TCC, se lo envió al profesor del banco y la respuesta fue: ‘ChatGPT te dijo que este texto era de su autoría. Escríbelo con tus propias palabras’. Ahora, mi tío tiene que hacer es una reunión con la junta evaluadora para probar algo que no es de su responsabilidad”, explicó el usuario en la publicación, que fue desmentida por el autor.
En varios otros informes en la red, los estudiantes también afirman que se les devolvió el trabajo por «acusación» de plagio después de haber sido analizado por ChatGPT. Con el cierre de notas en el semestre, se abrió la carrera para justificar no solo las actividades, sino también su autoría.
¿ChatGPT detecta plagio?
Intentar comprobar si hay plagio a través de ChatGPT es un camino al error. La IA detrás de ChatGPT fue desarrollada para producir, a partir de modelos probabilísticos, contenido con una estructura similar a la que puede hacer un humano. Para ello, el modelo de lenguaje amplio (LLM) se alimenta de datos de varias bases de datos disponibles en internet.
Aunque esto puede dar la idea de que sería posible reconocer el plagio (como si el sistema buscara bloques de palabras como lo hace el buscador de Google), la lógica computacional de ChatGPT no se limita a mostrar un agregado de textos existentes.
El chatbot AI genera textos a partir de un sofisticado algoritmo de predicción de palabras, es decir, a partir de la información proporcionada por el usuario, el chatbot genera oraciones utilizando datos para completar un texto con la secuencia de palabras más probable. Esta es también la razón por la que ChatGPT no es una herramienta adecuada para buscar información en Internet.
Además, con una base de datos limitada hasta 2021, ChatGPT no tiene una memoria reciente bien desarrollada y se confunde con la generación de textos y la información que almacena. Al final, la herramienta intentará generar un texto coherente, aunque incorrecto: la ciencia aún está tratando de lidiar con el hecho de que los LLM son aún peores con el concepto de «no».
«Fracasan porque no hay forma de saber si el texto fue escrito por un humano o por una máquina, ya que el modelo de lenguaje ChatGPT reproduce muy bien el texto creado por humanos», explica el profesor Fernando Osório, profesor de la Universidad de São Paulo. (USP) en San Carlos. «No existe un criterio preciso y exacto que diferencie un texto generado por ChatGPT o un humano. Si a una persona se le da la misma información, y ChatGPT tiene acceso a esta misma información en el entrenamiento, el texto de salida será igual de bueno, se haga por un humano o una máquina».
Algunas otras herramientas, como ZeroGPT, aparecen como un intento de averiguar si el trabajo se realizó con la herramienta OpenAI; la compañía incluso ofrece una función de verificación también. Pero están lejos de ser resultados satisfactorios.
Un estudio realizado por la Universidad de Ciencias Aplicadas (HTW Berlín) confirmó lo que los profesores se dieron cuenta este semestre. A partir de una selección de textos, los científicos descubrieron que las herramientas antiplagio como ZeroGPT no pueden detectar los textos generados por ChatGPT que han sido ligeramente modificados por humanos.
Solo el 42% de los textos que contenían partes escritas por ChatGPT fueron «etiquetados» por la función; el resto salió ileso, incluso si se trataba de producciones con grandes volúmenes de contenido generado por IA. Es decir, solo cambie la salida de algunas palabras del chatbot para obtener luz verde.
debate académico
La ineficiencia del chatbot tuvo repercusiones entre profesores e instituciones. “ChatGPT no tiene historial de lo que generó y puede mostrar muchos falsos positivos. No se puede usar, entonces estamos en el limbo, porque las otras herramientas tienen bajo rendimiento”, dice el profesor Diogo Cortiz, de la Pontificia Universidad Católica de São Paulo ( PUC) -SP). El falso positivo es lo que ha ocurrido en los casos que se han hecho virales en Twitter.
Gustavo Rigueira, profesor de la red pública estatal de São Paulo, dice que se ha acercado a sus propios alumnos cuando cree que se hizo algún trabajo con la ayuda de la IA, pero que no confía plenamente en el recurso.
«Cuando sospecho del texto, termino haciéndolo (usando IA) e investigo un poco más sobre el software antiplagio. En un caso específico, confronté al estudiante y él asumió que había usado ChatGPT, pero esta falla (del herramienta) ocurrió en otra ocasión», dice Rigueira.
Para Felipe Campelo, que está haciendo una pasantía docente en la Facultad de Psicología de la USP, la experiencia como estudiante y frente al aula en el último semestre mostró cuán inevitable será aprender más sobre las propiedades de ChatGPT a partir de ahora. en.
Según el estudiante de maestría, la herramienta trajo una experiencia diferente al recibir trabajos y que es necesario comprender mejor la herramienta para usarla.
“Recientemente salió a la luz (el uso de ChatGPT por parte de los estudiantes), así que todavía estoy trabajando en ello, buscando conocimiento porque sé poco sobre el chatbot. Pero ya me estoy dando cuenta de que esto dará forma a cómo será mi vida. trabajo en el futuro», dice el maestro.
Cortiz corrobora que la herramienta no debe ser ignorada y que las instituciones deben determinar cómo deben usarse, la idea es no caer más en «bromas».
“Las instituciones necesitan crear lineamientos para el uso de ChatGPT. No se puede ignorar. Se debe especificar dónde se puede usar, porque está ahí. Se puede revisar y generar contenido. la máquina y ponerla en funcionamiento».