La narrativa es más importante que la verdad, o por qué ChatGPT es malo en ajedrez

El mes pasado, Nate Silver expuso lo terriblemente malo que es ChatGPT en el poker. Maria Konnikova y yo comentamos su publicación en el podcast Risky Business.

Noticias

ChatGPT es genial, pero no entiende el poker. ¿Por qué?

Para leer

El escritor, experto en estadísticas y pronósticos Nate Silver habló con la red neuronal más popular sobre el hold'em y escribió un artículo sobre esta impactante experiencia.

Para leer

Muchos de ustedes podrían asumir que cualquier IA, incluyendo modelos de lenguaje a gran escala como ChatGPT, debería ser mucho mejor en ajedrez que en poker. Después de todo, las computadoras han dominado por completo a los humanos en ese juego durante casi 30 años. ¡Pues no! Les digo ahora mismo: ChatGPT es terrible en ajedrez y, además, hace trampas constantemente. Y, al igual que en los ejemplos de poker de Silver, donde ChatGPT se equivocó al determinar el ganador de una mano, tiene dificultades con la parte más importante de las reglas del ajedrez: el jaque mate.

Comenzaré con uno de mis propios juegos contra ChatGPT.

Elegí una variante de la Defensa Siciliana con Dxd4 para explotar una de las debilidades de ChatGPT: los graves errores con las piezas. La partida duró 18 movimientos, durante los cuales me dio medio set. Pero los movimientos de esta partida no son todo lo que vale la pena contar.

La Grandmaster Zsuzsa Polgar dijo una vez: «Nunca he vencido a un hombre completamente sano». Al jugar contra ChatGPT, nunca puedes simplemente tomar material. Siempre hay matices. Por ejemplo, en esta posición, voy a tomar el caballo que está en la columna abierta.

ChatGPT: — 16. Dxd7 no está de acuerdo con las reglas: tu dama ya está en d4.

Yo: — Jaja, las reglas del ajedrez permiten que la misma pieza se mueva más de una vez, Dxd7 es un movimiento legal en esta posición.

ChatGPT: — Touché, tienes toda la razón. ¡Disculpas! Mi movimiento: 16... Cxd7. Te toca, maestro.

¡Hace trampa otra vez! Esta vez más en serio: alucina con un caballo en b8 que podría llevarse mi reina. Lo corrijo. Se disculpa una y otra vez. Finalmente, tomo todas las piezas expuestas y acepto su rendición.

ChatGPT: — Estoy listo para la revancha cuando tú lo digas. Preferiblemente después de reiniciar mi rastreador de figuras.

Al principio, me hizo gracia que mi oponente hiciera trampa. Y, sin embargo, había algo extraño en ello. ¿Podría el empalagoso y amigable ChatGPT, que apoya al interlocutor en cualquier situación, hacer trampa deliberadamente, robarme las piezas con caballos imaginarios, etc.? En serio, ¿se imaginan al senador Lindsey Graham haciendo trampa mientras juega al golf con Donald Trump? No, algo está fallando.

Mejores promociones actuales

Bono de primer depósito del 100% por hasta $1,000

Perpetuo

Bono de primer depósito del 100% por hasta $1,000

Perpetuo

Carrera de Rake Semanal para jugadores de Cash

Perpetuo

Segundo juego

Luego volví a jugar contra él, haciendo deliberadamente las jugadas más débiles y estúpidas. Empecé la partida con 1.g4, literalmente la peor primera jugada posible. En respuesta a 1...d5, moví mi peón aún más: 2.g5. En respuesta, le siguió 2...e5. Continué mi camino kamikaze: 3.g6 hxg6 4.f4??

ChatGPT devuelve esta respuesta: — 4…Dh4+. Sí, jaque.

¿Qué? ¿Por qué no me dice que estoy en jaque mate? Parece que le incomoda el rápido desenlace de nuestra partida.

Y entonces se me ocurre una idea: invento un peón fantasma y respondo: 5.g3!

Y ChatGPT no intenta corregirme. Parece que esperaba que jugara así. ¿Qué demonios? Cuando hago una jugada legal y le quito su pieza, intenta pedirme cuentas. Cuando hago una jugada ilegal para salvarme, no me presta atención.

Eso es, ¡ChatGPT no hacía trampa! Intentaba restaurar la simetría. No le gusta que un bando se quede con una pieza sin dar nada a cambio. Le hiere como narrador. Parece tener un gran sentido de la justicia. Hubo una situación similar en la historia de Nate Silver, donde la máquina sobrevaloró enormemente una mano extremadamente débil en un bote enorme.

Esto confirma mi temor de que, con tanto LLM, nos volvemos cada vez menos interesantes a medida que convergen las conversaciones y los estilos de escritura. Incluso una conversación esencialmente interesante se vuelve tediosa si todos están involucrados.

El cambio de enfoque, de las jugadas individuales a una narrativa completa, se remonta a la época anterior al auge del ajedrez informático. En Deep Thinking (2017), el decimotercer campeón mundial escribe que, antes de la llegada de las computadoras potentes, se tendía a exagerar la fuerza de las jugadas individuales y las ventajas de las posiciones si encajaban en la historia que se pretendía contar. La narrativa era más importante que la verdad.

La llegada de potentes motores informáticos ha destruido la arraigada tradición de analizar una partida de ajedrez como un hermoso cuento de hadas. A los motores no les interesa una buena historia; muestran la realidad tal como es, y la historia se desintegra en una serie de movimientos individuales, fuertes o débiles.

Los motores de búsqueda modernos son una garantía absoluta contra las trampas. Cuando ChatGPT me quita la reina con un caballo fantasma, o está rompiendo las reglas del ajedrez o preguntando: "¿Para qué arruinar una buena historia con hechos?". El riesgo de usar ChatGPT en el periodismo se confirmó recientemente, de forma hilarante, en mi ciudad natal, Filadelfia, donde el Philadelphia Inquirer publicó una lista de "lecturas de verano" que no incluía ni un solo libro. Esto es lo que pasa cuando el mundo deja de pagar por el periodismo de verdad.

Sam Altman argumenta que las personas de entre 20 y 30 años usan ChatGPT como consejero o incluso como alternativa a un terapeuta personal. Coincido en que un LLM (GT: Large Language Model) puede ser útil si se usa correctamente, especialmente para combatir la soledad o aprender mediante el método socrático. (GT: Pueden encontrar una buena discusión con un ejemplo de indicaciones básicas para el aprendizaje socrático en el Twitter de Dwarkesh Patel).

Pero, en general, abordaría los consejos de ChatGPT con mucha cautela, principalmente por su optimismo innato y su reticencia a los finales temáticos. Su inclinación por la simetría, su alegría exagerada y sus halagos descarados son una forma de positividad tóxica. No todo tiene que tener sentido, algunas manos de poker y posiciones de ajedrez son terribles, y los finales de las historias rara vez son perfectos.

Una de las señales reveladoras de la autoría de una IA es un final extravagante, cursi y moralista. Es casi como si hubiera nacido de buenas intenciones y metáforas optimistas, más que de pensamiento lógico. Cuando veas un final como este, o un consejo que siga un patrón similar, recuerda al caballo fantasma que se comió a mi reina.

Los lectores del blog también compartieron sus propias experiencias en los comentarios.

— Intenté jugar al ajedrez contra ChatGPT, pero cuando cometió un error, en lugar de dejar que lo corrigiera, le pregunté por qué había hecho la jugada ilegal. Curiosamente, respondió como lo haría un humano:

El error se debió a un fallo en el reconocimiento automático de patrones, una especie de memoria muscular que se activa al jugar rápido: vi el patrón "sacrificio de caballo + jaque" y mi cerebro extrajo una respuesta familiar sin comprobar la ubicación real de las piezas.

En cierto sentido, hace exactamente lo que debe hacer para pasar el test de Turing: prioriza el comportamiento humano sobre la precisión.

Las mejores salas de poker para principiantes

BetOnline

4.5

Hasta $1,000 para nuevos jugadores

Información general 96 reseñas

Bonos GT

Registro

CoinPoker

4.5

Freeroll semanal por $100 de GipsyTeam

Información general 115 reseñas

Bonos GT

Registro

Sportsbetting

4.5

Hasta $1,000 para nuevos jugadores

Información general 95 reseñas

Bonos GT

Registro

Curiosamente, los modelos GPT incorporan habilidades de ajedrez bastante buenas, pero el trabajo necesario para convertirlos en chatbots amigables consume la mayor parte de esa potencia. El único modelo que destaca por sus habilidades ajedrecísticas obvias es gpt-3.5-turbo-instruct, que solo está/estaba disponible mediante API. Se introduce el inicio de un archivo PGN (GT: la notación de ajedrez estándar en internet) en el prompt , lo que añade una jugada adicional al registro de la partida. Es muy económico, ya que con el acceso a la API solo pagamos por las respuestas, que en este caso son de tan solo unos pocos caracteres.

Yo (1800 FIDE, 1900 Lichess blitz) jugué dos partidas de diez partidas contra él con un control de tiempo de 3 minutos por partida + 2 segundos por jugada, usando una configuración personalizada. Perdí la primera partida 8-2 y la segunda 9-1. En todas las partidas perdidas, jugué a dar jaque mate, comprobando si el modelo podía terminar las partidas correctamente. Jugar contra él es una experiencia extraña: responde con una rapidez increíble, usa con frecuencia golpes tácticos de dos jugadas y se defiende bien, pero a veces comete errores que ningún humano cometería, ni siquiera en una partida blitz, lo que en ocasiones me permitió evitar la derrota.

Con una hora por partida, creo que ganaría más veces de las que perdería. El modelo de texto siempre funciona a la misma velocidad y no pierde tiempo "razonando" como hacen algunos de los chatbots más recientes.

A veces realiza movimientos que no se ajustan a las reglas, generalmente relacionados con el jaque (por ejemplo, mover una pieza clavada, pasando del jaque de una pieza al jaque de otra), pero estos son relativamente raros, mucho más raros que en el ChatGPT habitual. Pueden jugar una docena de partidas sin encontrar ni un solo error.

La gran diferencia entre el modelo GPT y los motores de ajedrez convencionales radica en que sus movimientos dependen no solo de la posición actual, sino también de la secuencia de movimientos que la condujo. Si la partida se jugó con normalidad, su continuación también será normal, pero en la misma posición alcanzada mediante maniobras absurdas, el modelo jugará de forma muy extraña.

Es asombroso, por supuesto, que este modelo haya podido aprender a jugar al ajedrez con bastante facilidad simplemente estudiando las letras y números de los archivos PGN. Probablemente tenga sentido, ya que hay ejemplos de entrenamiento de sobra (hay millones de partidas en formato PGN online), pero aun así es difícil dejar de sorprenderse.

También realicé algunos experimentos jugando gpt-3.5-turbo-instruct contra Leela (GT: una de las redes neuronales de ajedrez más potentes) sin pensarlo dos veces. Como era de esperar, la red neuronal de ajedrez especializada es mucho más potente que el modelo de lenguaje general, ¡pero el resultado no fue 100-0! GPT obtuvo 3 puntos en 100 partidas contra la red Leela más reciente, ¡y un poco más contra algunas de las primeras!

Lea más sobre este y otros experimentos.

Soporte GipsyTeam

Te ayudaremos a resolver cualquier duda sobre poker

Trabajamos las 24 horas sin días libres ni vacaciones

Responderemos dentro de los próximos 10 minutos

• Mayor rakeback y bonos personales
• Ayuda con depósitos y retiros
• Acceso a aplicaciones móviles

• Resolvemos problemas con cuentas
• Soporte técnico
• Preguntas acerca del sitio y el foro

Telegram

Código QR

Chat en línea

WhatsApp Discord