Por dentro do modelo

Num chat como o ChatGPT, quem escreve as respostas é um programa, o modelo de IA. Por dentro, ele é um monte de números. O do desenho tem quase seiscentos milhões. Parece muito, mas é um modelo pequeno, não o do ChatGPT.

Os números vêm de um treino: o modelo lia textos e tentava adivinhar palavras. Os erros corrigiam os números aos poucos. Depois, não mudam mais, nem enquanto você conversa. Ele relê a conversa inteira a cada resposta.1

I.1

O texto entra no modelo de IA cortado em pedaços de palavra. “Farol” vira “far” e “ol”. Os números, todos do treino, fazem três trabalhos, um em cada monte do desenho.

O menor dá a cada pedaço uma fileira de números, um endereço num mapa de sentidos. O do meio faz a atenção, que liga os pedaços. O maior, quase metade, cuida de cada pedaço em separado. Nele ficam padrões, como o que costuma vir depois de certos trechos.2

I.2

Abra um quadrado do monte dos endereços. Lá dentro, cada pedaço de palavra tem a sua fileira de números, o seu endereço. A de “far”, o começo de “farol”, tem 1.024 números, e o desenho escreve os 16 primeiros.

São números pequenos, com vírgula. Os maiores que zero estão em vermelho, e os menores, em preto. As outras fileiras, desenhadas pequenas, são os outros pedaços de “O farol ilumina o mar”. Todas têm o mesmo tanto de números.1

I.3

O desenho mostra os números de uma parte do monte da atenção. Cada coluna junta os de valor parecido. As colunas formam um sino. Quase todos são miúdos e ficam perto de zero, na faixa marcada. Nenhum deles, sozinho, significa “farol”.

É como uma foto ampliada no celular: nenhum quadradinho sozinho é um rosto. Também não há resposta pronta guardada. A resposta é calculada na hora, com todos os números juntos.1

I.4

Há modelos de IA com muito mais números. A DeepSeek, uma empresa chinesa que faz modelos assim, lançou em 2024 um modelo com 671 bilhões. No desenho, ele é o campo de quadradinhos cinza. O pequeno, o dos seiscentos milhões, virou o retângulo vermelho do canto, mais de mil vezes menor.

O cálculo é o mesmo nos dois. O que muda é quantos números entram nele.3

I.5

A localização que você manda pelo WhatsApp vira um alfinete no mapa. O alfinete vem de dois números, a latitude e a longitude. Lugares vizinhos têm números parecidos.

As respostas de um chat saem de um modelo de IA. Nele, cada pedaço de palavra ganha um endereço assim. O de “far”, o primeiro pedaço de “farol”, tem 1.024 números. O desenho os resume em dois, como no alfinete, e “far” vira um ponto. Nesse mapa, sentidos parecidos ficam perto.1

II.1

A equipe deste site também calculou endereços de frases inteiras, num modelo de IA pequeno feito para isso.

“O farol ilumina o mar” e “A luz do farol clareia as ondas” quase não repetem palavras, mas ficam perto. A linha grossa mede a semelhança. O mesmo sentido vale um. Nada a ver vale zero, ou um pouco menos que zero. Entre as duas do farol, 0,76. Entre a primeira e “O banco aumentou a taxa de juros”, 0,06.4

II.2

“Banco” aparece em três frases do desenho. A frase dos juros e “Sentei no banco da praça para descansar” não têm relação nenhuma. A linha entre elas é tracejada, e o número do desenho fica um pouco menor que zero.

Já “Minha conta no banco está sem saldo” fala do mesmo banco dos juros. Entre as duas, 0,32. É menos que nas frases do farol, mas há parentesco. Vale mais o sentido da frase inteira que a palavra repetida.4

II.3

Com palavras soltas, o mapa forma bairros. Das 26 palavras do desenho, as do mar ficam num canto, com “farol” entre elas. Pessoas, bichos, frutas e tecnologia têm cada um o seu bairro.

Como cada endereço é uma fileira de números, dá para somar e subtrair endereços, número a número. Pegue o de “rei”, tire o de “homem” e some o de “mulher”. O ponto onde você chega cai perto de “rainha”. A segunda mais perto é “princesa”.4

II.4

No bicho de sombra, as mãos viram cachorro e passarinho. Agora ponha uma mão perto da lâmpada e a outra lá atrás. Na parede, as duas sombras se encostam, mas as mãos estão longe.

O mapa do desenho é uma sombra assim. Cada endereço tem muitos números, e o desenho mostra só dois. Fica de fora a maior parte do que separa as palavras. Por isso, palavras vizinhas no desenho podem estar longe de verdade.4

II.5

Para cada pedaço de palavra, um modelo de IA guarda um só endereço, que não muda. O de “banco” é igual na frase dos juros e na da praça.

Ao ler uma frase, o modelo faz uma cópia desse endereço e a ajusta pelas palavras em volta. Perto de “juros”, a cópia anda para o lado do dinheiro. Perto de “praça”, para o lado do descanso. Lida a frase, a cópia ajustada é descartada. A frase continua na conversa.

De onde veio em 2013, pesquisadores do Google mostraram que endereços aprendidos só de ler texto, pela companhia que cada palavra costuma ter, fazem a soma rei menos homem mais mulher cair perto de rainha. É o ditado “diga-me com quem andas”, aplicado às palavras. Ninguém ensinou ao programa o que é um rei.5

II.6

A pergunta vem da escola: a quem se refere o pronome? Leia “A luz do farol chegou ao barco porque ela era muito forte”. Você vê na hora que “ela” é a luz.

Para o programa que responde num chat, o modelo de IA, “ela” começa como um pronome qualquer. O modelo do desenho lê a frase em pedaços, e quase todos são palavras inteiras. E põe ainda duas marcas, uma no início e outra no fim.

III.1

Para ligar “ela” ao resto da frase, um modelo de IA faz um cálculo. Esse cálculo se chama atenção. Ele compara “ela” com cada pedaço. Depois reparte entre eles a atenção de “ela”, como quem divide um bolo. Quem importa mais leva a fatia maior.

No desenho, os 14 fios que saem de “ela” ainda estão iguais, como antes do cálculo. Depois dele, cada fio fica com a grossura da fatia do seu pedaço.

III.2

A equipe deste site mediu a atenção num modelo de IA em português. Ele não escreve respostas: serve para classificar e comparar textos. Nesse modelo, cada pedaço olha a frase inteira.

Nele, é como se 144 pessoas repartissem o mesmo bolo, cada uma do seu jeito. Cada jeito se chama cabeça. Na cabeça do desenho, a que mais liga “ela” a “luz”, quase dois terços vão para “luz”. Em 17 cabeças, “luz” leva a maior fatia.6

III.3

Toque em “média das 144”. Na média, a maior fatia vai para a marca de início, e a de “luz” afina. Muitas cabeças cuidam de outras coisas. Toda cabeça reparte o bolo inteiro. A que não tem o que ligar larga quase tudo na marca.

A média foi feita para o desenho. Já o modelo de IA usa as cabeças lado a lado, sem média. Assim, a ligação de “ela” com “luz” não se perde.67811

III.4

Num modelo de IA pequeno, de chat, a atenção se repete em 28 camadas, uma em cima da outra.

Nele, o cálculo é o mesmo do modelo em português. Mas cada pedaço olha a si mesmo e só os que vieram antes. Na grade, cada fileira é um pedaço, e cada quadradinho aceso é um pedaço que ele olha. O modelo é feito para adivinhar a próxima palavra. Olhar os pedaços seguintes seria espiar a resposta.911

III.5

Num chat, o modelo de IA escreve palavra por palavra. As chances da próxima saem do último pedaço, o único que olha todos. Na grade, ele é a fileira mais comprida. Em “guiados pela luz do”, as chances saem de “do”, e “sol” leva quase metade.

Volte à pergunta do começo: quem é “ela”? Você vê de uma vez que é a luz. O modelo chega lá por cálculo, nas cabeças em que “luz” leva a fatia maior.9

De onde veio em 2014, os tradutores automáticos espremiam a frase inteira numa fileira só de números e se perdiam nas frases longas. Três pesquisadores deixaram o tradutor olhar de volta, a cada palavra que escrevia, para as palavras da frase original, umas mais que outras. Em 2017, pesquisadores do Google fizeram desse cálculo a peça central dos modelos de IA de hoje.1011

III.6

Imagine estudar com vários livros abertos na mesa. O que está em cima, você vê de uma vez. O resto fica na estante.

Num chat, o modelo de IA também só lê o que está na mesa. Ele vem de fábrica com o que tirou de muitos textos. Mas não tem estante: o texto que fica fora da mesa, para ele, não existe. No desenho, cada bloco é um capítulo de Dom Casmurro, e o contorno preto, a mesa.12

IV.1

O tamanho da mesa se mede em pedaços de palavra. Palavra muito usada costuma ser um pedaço só. Palavra menos comum costuma ser cortada em partes. E o tamanho da mesa muda de um modelo de IA para outro.

Em 2020, a OpenAI, empresa que depois criou o ChatGPT, tinha um modelo com mesa pequena. Cabiam pouco mais de dois mil pedaços. De Dom Casmurro, cabiam o primeiro capítulo inteiro e boa parte do segundo.1312

IV.2

Seis anos depois, a mesa cresceu quase quinhentas vezes. Em modelos do Google e da Anthropic, duas empresas que fazem modelos de IA, cabe um milhão de pedaços.1415

Quantos Dom Casmurros cabem nessa mesa depende do tamanho dos pedaços. O livro foi cortado de dois jeitos. Em pedaços maiores, ele vira menos pedaços, e cabem uns dez. Em pedaços menores, na mesma mesa, cabem quase sete.12

IV.3

Para um modelo de IA, a conversa inteira num chat é um único texto. Cada pergunta, cada arquivo que você manda e cada resposta vão para a mesa. Faça de conta que o livro é a conversa, na mesa de 2020. A conversa cresce e empurra o primeiro capítulo para fora.

Daí em diante, o modelo responde sem esse capítulo. Nada da conversa fica guardado dentro do modelo. O capítulo só volta se você o mandar de novo.12

IV.4

Pense numa mesa de estudo, com tudo aberto. Num chat, quem lê de uma vez o que está na mesa é um modelo de IA. Em 2023, pesquisadores da Universidade Stanford testaram se ele usa bem tudo isso.

Para cada pergunta, puseram na mesa 20 textos, em fila. Só um tinha a resposta, o vermelho do desenho. Depois mudaram esse texto de lugar, do primeiro ao último. Se bastasse estar na mesa, o lugar não faria diferença.16

V.1

Quem ouve uma lista comprida de recados guarda melhor o primeiro e o último. No teste, o modelo de IA fez algo parecido, sem precisar guardar nada: os textos estavam todos na mesa.

Com a resposta no primeiro texto, ele acertou três de cada quatro perguntas. No décimo, bem no meio, pouco mais da metade. As colunas do desenho fazem um U. O começo vai bem, o fim um pouco menos, e o meio pior que os dois.16

V.2

Os pesquisadores também fizeram as perguntas sem texto nenhum na mesa. Só com o que tirou do treino, o modelo de IA acertou 56 de cada 100. É a linha que atravessa as colunas.

Com a resposta no meio da mesa, ele acertou um pouco menos que sem texto nenhum. Essa diferença aparece em contorno vermelho. Com a resposta no começo ou no fim, o acerto passou da linha. Mandar o texto ajudou nas pontas e falhou no meio.16

V.3

Dois anos depois, outro teste fez perguntas a 13 modelos de IA. Os textos das perguntas eram cada vez mais longos. A resposta estava no texto, mas com outras palavras, como na interpretação de texto da escola. Para achá-la, era preciso ligar sentidos.

Cada linha do desenho é um modelo. Ela parte do acerto dele num texto curto. No texto mais longo, onze dos treze perderam mais da metade desse acerto.17

V.4

Um texto que cabe inteiro na mesa de um modelo de IA ainda pode ser mal aproveitado. No primeiro teste, o pior foi o meio. No segundo, quanto mais longo o texto, menor o acerto. Num texto comprido mandado a um chat, qualquer parte pode ser mal lida. E o meio corre mais risco.

De onde veio em 2023, os modelos de IA tinham acabado de ganhar mesas grandes, e pouco se sabia se usavam bem o que cabia nelas. O teste desta parte foi a resposta e deu nome ao efeito, perdido no meio. Os próprios autores lembram que gente também guarda melhor o começo e o fim de uma lista.16

V.5