Tamanho, custo e onde roda

Pense na mesa onde você trabalha. O que está em uso fica em cima, e o resto vai para a gaveta. No computador é igual. A gaveta guarda fotos e arquivos. A mesa guarda só o que está em uso.

Um modelo de IA, o programa que escreve as respostas, é um arquivo cheio de números. Ele só funciona se couber inteiro na mesa. A mesa do desenho tem 160 quadrados. Um modelo pequeno ocupa cinco.1

De onde veioa mesa do desenho é a memória de trabalho de um Mac mini comum, de 16 GB, em 160 quadrados de 100 MB. O modelo pequeno é o Qwen3-0.6B: 596 milhões de números, os pesos, em 489 MB, quase cinco quadrados. O 0.6B do nome quer dizer 0,6 bilhão de pesos.1

Num chat como o ChatGPT, o que você escreve viaja pela internet até os computadores de uma empresa. Com um modelo de IA pequeno, não precisa ser assim. Ele trabalha no seu próprio computador, sem internet, e alguns cabem até no celular. O que você escreve fica em casa.

E ele é rápido. Uma página inteira fica pronta em cinco ou seis segundos, mais depressa do que você consegue ler.2

Imagine pedir uma informação na rua e o sujeito apontar, todo seguro, para o lado errado. Um modelo de IA pequeno faz igual. A gente perguntou a um deles o que é um farol. A resposta veio na hora: “uma mação de madeira”, que serve “para alugar ou reconhecer um fornecedor”. A palavra “mação” nem existe.

Em outro teste, disse que a capital de Pernambuco é Brasília, sem nenhum sinal de dúvida. Os grandes erram menos, mas também erram assim.3

Por que o modelo pequeno erra tanto? Antes de ser usado, um modelo de IA lê uma montanha de textos: é o treino. O que leu fica guardado nos números dele. O pequeno tem menos números, e por isso guarda menos. Quando a pergunta pede o que ele não guardou, completa com texto que soa certo. É o campo tracejado do desenho, em volta do modelo.

Em troca, ele cabe em pouco espaço e funciona no celular ou no notebook.

De onde veioem 2023, a Microsoft mostrou que dado bom compensa parte do tamanho: um modelo pequeno, treinado com textos escolhidos “com qualidade de livro didático”, escreveu programas de computador melhor do que o tamanho fazia esperar. Um modelo assim se chama modelo pequeno, em inglês small language model. Não há uma linha oficial entre pequeno e grande.6

O bloco preto do desenho é outro modelo pequeno, da Microsoft, quase quatro vezes maior que o dos cinco quadrados. Ainda assim funciona num celular, sem internet. Nos testes que ela mesma publicou, ele chegou perto de modelos bem maiores. A pergunta do farol, a gente não fez a ele.

Já um dos grandes, da empresa do ChatGPT, não cabe no computador do desenho: precisa de 22 computadores iguais. No desenho, cada computador virou um bloquinho.45

Guardar um número com menos casas é arredondar. R$ 9,87 vira R$ 10 e perde os centavos. Por dentro, um modelo de IA, o programa que escreve as respostas, é só números. Guardando cada um com menos casas, o arquivo do modelo encolhe.

No desenho, os números de valor parecido ficam no mesmo monte. Com menos casas, só alguns valores podem ficar, os degraus marcados. Cada número vai ao degrau mais perto. No computador, cada casa dessas se chama bit.7

De onde veioas casas do computador são bits, sinais de 0 ou 1. O arquivo do treino usa 16 bits por número, e cada bit a mais dobra os valores possíveis: 2 bits dão 4 degraus, e 4 bits dão 16. Levar cada número ao degrau mais perto é a quantização, em inglês quantization. Em 2022, dois trabalhos mostraram que modelos do tamanho do GPT-3 aguentavam 8 bits por número, e até 3 ou 4, quase sem perda. O que precisava de várias placas de vídeo, as peças que fazem as contas dos modelos, passou a caber em uma.117

O mesmo modelo de IA costuma sair em vários arquivos, do mais preciso ao mais arredondado. São os sete blocos do desenho. O maior é o do treino, a fase em que o modelo leu muitos textos e foi ajustando os números. Ele guarda cada número com dezesseis casas. Os outros têm menos, de oito até duas.

O menor ocupa um quarto do maior. Só parte dos números dele coube em duas casas, e o resto ficou com mais.8

Para ver o que se perde, a gente fez um teste com três desses arquivos. O de seis casas, o de quatro e o de duas. Cada um recebeu o começo de uma frase para completar: “Os pescadores voltaram para casa guiados pela luz do...”.

Os dois maiores escreveram frases que se leem. O menor escreveu “ventinho e do que se se se se se se se”. Foi ele mesmo que escreveu assim. Arredondado demais, perdeu o fio.9

A perda tem medida. A gente dá ao modelo um texto que já existe, a Declaração Universal dos Direitos Humanos. E pede que ele adivinhe cada palavra antes de ler. Quanto mais ele hesita entre palavras possíveis, maior a dúvida.

Nem o arquivo do treino acerta de primeira: ele hesita entre umas seis palavras. O de quatro casas hesita só um pouco mais. O de duas, entre umas 44. Por isso é comum parar em quatro casas.9

Dá para ir mais longe: cada número do modelo só pode valer menos um, zero ou um. São as três agulhas do desenho. Isso só dá certo se o modelo for treinado assim desde o começo.

Num estudo de 2024, um modelo de uns três bilhões de números foi treinado desse jeito. A dúvida dele ficou igual à de um modelo comum do mesmo tamanho. E cada número ocupa menos espaço do que ocuparia com duas casas.710

Imagine colar um contrato de vinte páginas num chat como o ChatGPT e pedir um resumo. O modelo de IA, o programa que escreve as respostas, primeiro lê. A cada palavra, ele faz uma conta que olha tudo o que veio antes, e anota o resultado numa ficha. São os blocos finos do desenho.

Depois ele escreve. A cada palavra da resposta, consulta as fichas em vez de reler o contrato inteiro. Essa pilha de fichas se chama cache.12

O modelo anota uma ficha por palavra lida. A pilha cresce com o texto: o dobro de texto, o dobro de pilha. Ela ocupa espaço no computador em que o modelo trabalha. No chat, é o computador da empresa, não o seu.

A gente mediu num computador comum, com um modelo pequeno, o bloco vermelho do desenho. A pilha é o preto. Com o contrato de vinte páginas, ela fica quase quatro vezes maior que o modelo.13

Imagine um banco que põe no aplicativo dele um modelo de IA de outra empresa. Cada contrato vai pela internet até ela. O banco paga pelo tamanho do texto: o contrato que entra, o resumo que sai. Num chat como o ChatGPT, você não paga por texto.

Na Anthropic, que faz modelos de IA, o mais caro cobra uns 8 centavos de dólar por isso. Quase tudo é pela leitura do contrato. O mais barato cobra menos de meio centavo.14

Vem outra pergunta do banco, “e as multas?”. As fichas duram uma resposta só. Então o modelo relê o contrato, e o banco paga de novo quase os 8 centavos.

Há uma saída: o banco pede a quem fez o modelo que guarde a pilha por cinco minutos. Guardar encarece um pouco a primeira leitura. Com as fichas prontas, a segunda pergunta sai por uns 2 centavos. Ler ficou quase de graça, e o que se paga é a resposta.14

O desconto só vale enquanto o começo é idêntico. Mude uma vírgula na primeira página do contrato e as fichas dali em diante não servem mais. Cada ficha leva em conta tudo o que veio antes, e isso mudou.

É como trocar um número no meio de uma soma longa: tudo o que vem depois precisa ser refeito. Tudo depois da vírgula é lido e anotado de novo, a preço cheio.14

Pense numa repartição onde todo pedido passa por todos os funcionários. O modelo de IA que escreve as respostas faz igual. Ele é um arquivo de números. Cada palavra que lê ou escreve passa por todos esses números.

Há outro jeito: uma triagem manda cada pedido só a alguns setores. Os números do modelo se dividem em blocos, e uma pequena parte dele escolhe alguns para cada palavra. Cada bloco se chama especialista.15

De onde veioem 2017, pesquisadores do Google queriam um modelo muito maior sem que cada palavra custasse mais contas: puseram nele uma camada com milhares de especialistas e uma parte pequena que escolhe poucos, o roteador. O modelo inteiro se chama mistura de especialistas, em inglês mixture of experts.15

Quanto se poupa? Para cada palavra, só alguns especialistas acendem, os quadradinhos vermelhos do desenho. Uma parte do modelo fica fora dos blocos e trabalha em toda palavra.

Somando tudo, cada palavra passa por pouco mais de um em cada dez números do modelo. O resto fica parado, à espera de outra palavra.16

Cada palavra custa só as contas da parte acesa. Por isso um modelo grande desse tipo responde depressa: faz as contas de um modelo quase dez vezes menor.

Só que a parte acesa não é sempre a mesma. No desenho, a frase passa palavra por palavra, e a cada palavra acende um conjunto diferente de especialistas. Quem escolhe, a cada vez, é o modelo.

O modelo responde rápido, mas não fica menor. Dentro do computador, o que está em uso fica num espaço limitado, como uma mesa de trabalho. Todos os especialistas precisam estar nessa mesa, porque a próxima palavra pode chamar qualquer um deles.

O desenho mostra essa mesa em outra escala, para o modelo caber. O arquivo original desse modelo ocupa a mesa de quase quatro computadores comuns.17

O modelo escolhe os especialistas palavra por palavra, e não pelo assunto do texto. Não há um especialista em medicina e outro em direito. Os autores de um desses modelos foram ver: os mesmos especialistas trabalharam em textos de biologia e de filosofia.

Uma empresa chinesa fez um modelo assim, com 671 bilhões de números. Qualquer pessoa pode baixar o arquivo dele. Mas um arquivo desse tamanho não cabe num computador comum.1819

Um modelo de IA, o programa que escreve as respostas num chat como o ChatGPT, é um arquivo de números. Algumas empresas publicam esse arquivo. Qualquer pessoa baixa, roda no próprio computador, examina por dentro e pode até treinar mais, para uma tarefa sua. São os modelos abertos.

Outras empresas guardam o arquivo. O modelo delas só se usa pela internet. A pergunta entra, a resposta sai, e o seu texto passa pelos computadores da empresa. São os modelos fechados.

Examinar o arquivo é olhar uma lista: o nome e o tamanho de cada tabela. Nada diz o que cada número significa.

O arquivo pode mandar o que você escreve para fora? Não, são só números. Quem pode é o aplicativo que usa o modelo. Desligue a internet e peça um resumo. Ele sai igual, porque o modelo trabalha no seu computador. Mas o teste não mostra o que o aplicativo faz quando a internet volta. Prefira um muito usado.20

Um aplicativo é feito de instruções que alguém escreveu. Quando elas são publicadas para qualquer pessoa ler e mudar, ele é de código aberto. Num modelo de IA, código aberto pede mais que o arquivo de números. Pede também quais textos o modelo leu no treino, quando ajustou os números. E pede a receita do treino. São as duas pilhas tracejadas do desenho, e costumam faltar.

Com o arquivo você usa o modelo sem saber com que textos foi treinado.21

Em 2025, a OpenAI, a empresa do ChatGPT, publicou dois modelos abertos grandes. Não são o ChatGPT, que continua só pela internet. Os dois já vêm encolhidos, para ocupar menos espaço. O maior, o bloco grande do desenho, precisa de um computador de empresa, dos que atendem pedidos pela internet.

O menor, segundo a OpenAI, funciona num computador comum, como o do desenho. Ele quase enche a mesa do computador, o espaço para o que está em uso, mas cabe.22

De onde veioos dois são misturas de especialistas, guardados com cerca de 4 bits por número. O gpt-oss-120b pede uma placa de vídeo de 80 GB, a de um servidor. O gpt-oss-20b, segundo a OpenAI, roda com 16 GB de memória, a do Mac mini do desenho.22

Imagine um laudo médico que você precisa resumir sem mostrar a ninguém. Num chat como o ChatGPT, o texto viaja pela internet até os computadores de uma empresa. Um modelo de IA, o programa que escreve as respostas, é um arquivo. Alguns podem ser baixados para o seu computador, e aí o trabalho todo é feito ali mesmo.

No desenho, o cabo da internet está cortado. O texto não sai da máquina. Um modelo usado assim se chama modelo local.

Para um modelo de IA, ler é mais rápido que escrever. O que você manda entra de uma vez, os quadradinhos cinza do desenho. A resposta sai uma palavra por vez, cada uma esperando a anterior.

Num teste com um modelo pequeno e um pedido curto, ler foi três vezes mais rápido. Com outro pedido, o número muda. Resumir é o caso bom: o texto longo entra de uma vez, e só o resumo sai palavra por palavra.2

Um aplicativo gratuito, o Ollama, faz o modelo trabalhar no seu computador. Digite a linha do desenho, e ele baixa e abre um modelo pequeno. Outra linha abre um bem maior, que cabe num computador comum.

Esse maior é da OpenAI, a empresa do ChatGPT. Não é o ChatGPT, que só existe pela internet. Nos testes dela, vai bem em matemática e em escrever programas de computador. Em conhecimento geral, fica atrás dos grandes. Por isso, confira o resumo dele.2223

De onde veioa linha do modelo pequeno é ollama run qwen3:0.6b. A do gpt-oss-20b é ollama run gpt-oss:20b. A janela é o terminal. O gpt-oss-20b não foi rodado nem cronometrado aqui. O outro aplicativo do mesmo tipo, com o código publicado, é o llama.cpp.23

Texto que não pode sair de casa fica no seu computador. O mesmo vale para tarefa simples e para quando falta internet. Problema difícil e conhecimento amplo vão para um modelo grande, pela internet. O laudo fica em casa, com esse modelo maior.

O computador tem um espaço limitado para o que está em uso, como uma mesa de trabalho. Feche os outros aplicativos, porque esse modelo ocupa quase a mesa inteira e sobra pouco para o resto.22