I O palpite da próxima palavra
O ChatGPT e outros programas de inteligência artificial respondem quase tudo. O que acontece lá dentro?
Complete esta frase: “Os pescadores voltaram para casa guiados pela luz do...”. Pensou em “farol”?
Um chat de inteligência artificial, como o ChatGPT, faz essa brincadeira. Por trás dele há um programa que escreve as respostas, o modelo de IA. Ele lê o começo de um texto e dá um palpite sobre a próxima palavra. No desenho, a caixa preta é um modelo pequeno, não o do ChatGPT. A frase entra, e sai “sol”. Não é “farol”, mas faz sentido.
Para um modelo de IA, a conversa inteira num chat é um único texto. A sua pergunta é o começo. A resposta é o que vem depois. Por isso, para ele, responder é continuar o texto.
Ele dá um palpite sobre a próxima palavra e cola essa palavra no fim. Depois dá outro palpite, cola de novo, e assim por diante, até a resposta acabar. A frase do desenho cresce desse jeito, uma palavra de cada vez.
O modelo de IA do desenho funciona de verdade, num computador de mesa comum. Ele continua a mesma frase doze vezes em menos de um segundo, mais depressa do que você lê. Os doze textos saem diferentes, porque a cada vez o palpite pode cair em outra palavra provável.
E ninguém precisa mandar parar. Um dos palpites possíveis é uma marca que não aparece na tela e significa “fim”. Quando ela sai, a resposta termina.12
Um modelo de IA é um monte de números. O do desenho tem quase seiscentos milhões.
Os números dão nota a cada palavra que pode vir depois. Depois de “luz do”, “sol” ganha nota alta e “geladeira”, nota baixa. O palpite sai das notas altas. O modelo calcula as notas na hora, sem guardar nenhuma.
Os números vêm de um treino: o modelo lia textos e tentava adivinhar cada palavra. A cada erro, os números mudavam um pouquinho.32
Um modelo de IA que escreve texto tem um nome técnico: modelo de linguagem. Existem pequenos, como o do desenho, e grandes.
O desenho encolhe o pequeno até virar um quadradinho. Um dos grandes ocupa 294 quadradinhos iguais a ele. É um modelo mais antigo, da empresa que depois criou o ChatGPT. Os quadradinhos servem só para medir. O grande é um modelo único, que dá nota às palavras como o pequeno, com muito mais números.4
Continuar texto parece pouca coisa. Mas um modelo de IA grande o bastante faz tarefas para as quais ninguém o preparou. E faz isso só continuando texto. Traduzir é uma delas. Escreva “casa, house” numa linha, “cachorro, dog” na outra e, na terceira, só “farol”. O modelo completa com a tradução que falta, porque para ele é só mais um texto a continuar. Num chat, o pedido “traduza farol” também é um texto que ele continua.4
De onde veio em 2020, a OpenAI, a empresa do ChatGPT, apresentou o GPT-3, o modelo grande do desenho. Ele só continuava texto e, mesmo assim, traduzia. Alguém escrevia dois ou três pares do inglês para o francês, como “sea otter”, a lontra-marinha, seguido de “loutre de mer”. No fim vinha “cheese”, queijo, sem a tradução. O GPT-3 completava com ela.4
II Pedaços de palavra
Você escreve uma frase num chat. O que a inteligência artificial lê, de fato?
O que você escreve num chat vai para o programa que responde, o modelo de IA. Ele corta o texto em pedaços de palavra. Às vezes o pedaço é uma palavra inteira, como “mar”. Às vezes é só uma parte, como “far”, de “farol”. O corte não segue as sílabas.
No desenho, “O farol ilumina o mar” vira sete pedaços. Cada um tem um número numa lista pronta. O que o modelo lê, de fato, são esses números.5
Imagine uma caixa de carimbos, com lugar limitado, para escrever qualquer texto. As palavras mais comuns ganham carimbo próprio. As outras você monta juntando carimbos menores.
A lista de pedaços de palavra de um modelo de IA nasce assim. Numa montanha de textos, o que mais se repete entra inteiro, até a lista encher. “Mar” entrou, e “farol” não. Na montanha do ChatGPT há mais inglês do que português. Por isso “lighthouse”, farol em inglês, entrou inteira.
Cada modelo de IA tem a sua lista de pedaços. Ela pode mudar de uma versão para outra.
O desenho passa a mesma frase por três listas. A do ChatGPT corta em sete pedaços. A anterior do ChatGPT, com metade do tamanho, corta em oito, porque parte “ilumina” em três. A lista só de português é a menor das três, mas saiu de textos em português. Por isso tem inteiras as nossas palavras comuns e corta em sete.5
Um texto em português vira mais pedaços de palavra do que o mesmo texto em inglês. A gente contou os pedaços da Declaração Universal dos Direitos Humanos nas duas línguas, na lista do ChatGPT. Em português, saiu cerca de um sexto a mais. São os blocos vermelhos do desenho.
É o mesmo motivo que partiu “farol” em dois. A lista saiu de mais textos em inglês. E isso pesa, porque tudo num modelo de IA se mede em pedaços.5
Quem já mandou telegrama lembra que se pagava por palavra. Com um modelo de IA, empresas e programadores pagam por pedaço. Quem só conversa num chat paga assinatura, ou nada.
O desenho mostra Dom Casmurro em pedaços. Em português, cada palavra dá, em média, um pedaço e meio. Em inglês, um pouco menos. Por isso, quem paga por pedaço paga mais. E, como o modelo lê um número limitado de pedaços de uma vez, em português cabe menos texto.6
A lista de pedaços de palavra vai de letras soltas a palavras inteiras. Por isso um modelo de IA consegue escrever qualquer palavra, até um nome que ele nunca leu. É a caixa de carimbos de novo. O que não tem carimbo próprio se monta com os menores.7
De onde veio em 2015, um tradutor automático travava em palavras raras ou que nunca tinha visto, como nomes próprios. A saída veio de um jeito de compactar arquivos, que dá um código curto ao que mais se repete. Daí nasceu uma lista que vai de letras soltas a palavras inteiras, em que qualquer palavra, mesmo nova, se escreve juntando pedaços. As listas de hoje vêm daí.7
III As chances
Depois de “guiados pela luz do”, uma inteligência artificial escreveu “sol”, e não “farol”. Por quê?
Pegue a frase “Os pescadores voltaram para casa guiados pela luz do”. Num chat de inteligência artificial, quem continua essa frase é um programa, o modelo de IA. Ele escreve um pedaço de palavra de cada vez, uma palavra inteira ou só parte de uma.
Antes de escrever, o modelo calcula a chance de cada pedaço possível vir em seguida. No desenho, essas chances são mil bolinhas numa urna. Cada bolinha vale uma chance em mil.3
Depois de “luz do”, as bolinhas se juntam em grupos, um para cada pedaço. Cada grupo leva o nome do seu pedaço. “Sol” fica com 489 das mil, quase a metade. “Dia” fica com um quarto. O resto ganha migalhas.
No pé da urna fica um montinho. Nele estão todos os outros pedaços que o modelo pode escrever, dividindo umas poucas bolinhas.3
Lendo “pescadores”, você talvez tenha pensado em “farol”. O modelo de IA também lê a frase inteira. Mesmo assim, “farol” fica com menos de uma bolinha em mil. A casa tracejada do desenho, a de “farol”, fica vazia.
O modelo calcula pelo que costuma vir depois de frases parecidas, nos muitos textos que leu antes. E nesses textos, depois de “luz do”, “sol” vem muito mais vezes. O que você tinha em mente fica fora da conta.3
Depois de “luz do”, também pode vir “céu”. O modelo de IA o escreve em dois pedaços, “cé” e “u”. O corte não segue as sílabas.
O “cé” tem 47 das mil bolinhas. A chance da palavra inteira é a do primeiro pedaço vezes a do segundo. Como o “u” é quase certo, “céu” fica com quase as mesmas 47.
“Farol” também sai em dois pedaços, mas cada um disputa com muitos outros. Por isso fica com menos ainda.3
Mude a frase, e as chances mudam. Com “O navio seguiu a luz do farol até chegar ao”, as bolinhas se espalham. “Mar” fica na frente, com só 143 das mil. “Porto” e “ponto” vêm logo atrás. Nenhum pedaço é o favorito, como “sol” era na frase dos pescadores.
O modelo de IA usa a frase inteira na conta. As palavras do fim, como “chegar ao”, costumam pesar mais. Mas o começo também conta.3
Quem convive há anos com alguém termina as frases dessa pessoa. Muito antes dos chats, um matemático mediu isso com um jogo. Mostrava a pessoas o começo de um texto e pedia a letra seguinte. Elas acertavam bem mais do que no chute.
A gente adivinha pelo que conhece da pessoa e da língua. Um modelo de IA calcula as chances pelo que costuma vir depois, nos textos que leu.8
De onde veio em 1951, um matemático de uma companhia telefônica quis medir quanto de um texto em inglês dá para adivinhar. Pediu a pessoas que adivinhassem a letra seguinte, e elas acertavam bem mais do que no acaso. A ideia de prever o próximo pedaço vem daí.8
IV O sorteio
Depois de “guiados pela luz do”, a palavra mais provável para uma inteligência artificial é “sol”. Ela sai sempre?
Numa rifa, quem compra mais bilhetes tem mais chance, mas nem sempre ganha. Num chat, cada resposta sai de um modelo de IA. Ele escolhe assim cada pedaço de palavra, que às vezes é a palavra inteira.
Primeiro, ele calcula a chance de cada pedaço. No desenho, essa conta vira uma urna de mil bolinhas, repartidas em grupos, um para cada pedaço. Quem tem mais chance tem mais bolinhas. Em oito sorteios, “sol” saiu quatro vezes, e “dia”, três.
Na rifa, além da urna, há um caderno com quantos bilhetes cada um comprou. Num modelo de IA, o caderno é a conta das chances, e nele “sol” tem quase metade. O caderno não muda.
Um botão decide o jeito de sortear. No meio, a urna segue o caderno à risca. Baixo, dá mais chance ao favorito, e “sol” sai quase sempre. Alto, dá mais chance aos azarões. Esse botão se chama temperatura, um ajuste que todo chat usa.3
Pense na água no fogo. Quanto mais quente, mais ela se agita. O botão do sorteio se chama temperatura por isso: mais calor, mais agitação.
A gente sorteou doze textos em cada uma de três posições do botão. Com ele baixo, onze começam com “sol”, quase iguais. Perto do meio, variam e fazem sentido. Alto demais, o texto desanda e mistura línguas, como em “céu miner ao alerocleo”. Foi o modelo que escreveu assim.3
Além do botão, o sorteio de um modelo de IA costuma ter um corte. Antes de cada sorteio, o corte tira da urna os pedaços muito raros.
Sem ele, com o botão no meio, quase uma vez em cada dez sairia uma palavra estranha.39
Com o botão baixo, “sol” fica com quase todas as bolinhas da urna. Parece certeza. Mas a conta do modelo de IA não mudou, e nela “sol” continua com quase a metade. O botão mexeu só na urna.
Quem regula o botão e o corte é quem põe o modelo para funcionar, como a empresa do chat. Esses ajustes mexem só no jeito de sortear. Na tela do chat, você não vê nenhum deles.2
Pegar sempre o pedaço mais provável parece o jeito mais seguro de um modelo de IA escrever. Só que aí o texto anda em círculo. Repete a mesma frase, como disco arranhado. Sortear entre todos, com o botão alto, faz o texto desandar.
O texto que se lê bem sai do meio-termo, com o botão moderado e o corte dos raros. Mas o sorteio não confere se o texto diz a verdade. A palavra mais provável pode estar errada.9
De onde veio em 2019, pesquisadores mostraram o que dá errado nas duas pontas. Quando sai sempre o pedaço mais provável, que é o botão no zero, o texto entra em círculo e repete dentro de si a mesma frase. Quando o sorteio vale entre todos os pedaços, sem corte e com a temperatura alta, o texto desanda. O corte dos pedaços raros nasceu para ficar no meio.9