IA de Alta Performance
Série sobre o lado de runtime e silício da IA: tokens, GPU, latência, quantização, cache e o custo de servir modelos.
18 episódios no blog · 2 h 45 min de leitura · último em
Episódio 1: Um Token Não e Grátis - A Fisica Que a IA First Não Te Contou
Por que gerar texto custa mais que ler o prompt: compute-bound, memory-bound e a conta de banda que define o teto de tokens por segundo da GPU.
Episódio 2: Um Enter Não é Um Request - A Viagem de Um Token do Teclado à GPU
A viagem de um token do Enter à GPU em seis etapas, do tokenizer ao sampling, e por que o custo de uma resposta cresce com os tokens gerados.
Episódio 3: Gerar Texto é o Pior Trabalho Que Já Deram Pra Uma GPU
Prefill e decode usam a GPU de formas opostas: por que o decode deixa a placa ociosa, o que o MFU revela e qual alavanca acelera cada fase.
Episódio 4: Você Não Tem SLA de IA - Você Tem Esperança
TTFT, TPOT, ITL e tokens por segundo: o vocabulário para medir latência de LLM e escrever um SLA de IA com percentil, carga e tamanho de saída.
Episódio 5: O Vilão da Sua Conta de GPU Não é o Modelo
O KV cache, não o modelo, decide quantos usuários cabem na GPU: a conta de memória por token e as alavancas para atender mais gente na mesma placa.
Episódio 6: Você Não Precisa de Python Pra Servir IA
Como servir modelos de IA em .NET com ONNX Runtime, LLamaSharp e Microsoft.Extensions.AI, e quando o sidecar de Python custa mais do que entrega.
Episódio 7: Um Modelo 4x Menor Não é 4x Pior
Quantização de LLM: por que INT8 e Q4 perdem tão pouco, onde fica o degrau abaixo do Q4 e como medir a perda na sua tarefa antes de trocar o modelo.
Episódio 8: Throughput, Latência e Custo - Escolha Dois
Throughput, latência e custo na inferência de LLM: como o tamanho do lote e a folga de hardware formam um trilema, e o que empurra a fronteira.
Episódio 9: Sua GPU Passa 70 Por Cento do Tempo Parada - A Conta Que Ninguém Faz
Custo por token é custo da hora dividido por tokens da hora: as duas ociosidades da GPU, o MFU e a métrica que mostra o desperdício que a fatura esconde.
Episódio 10: Nem Toda IA Precisa de Data Center
Um modelo de 3B em 4 bits gera 50 tokens por segundo num notebook. Quando a IA local ganha da nuvem, onde ela quebra e por que o desenho certo é híbrido.
Episódio 11: Responder a Mesma Pergunta Duas Vezes é Rasgar Dinheiro
Cache exato, de prefixo e semântico têm riscos opostos. Qual ligar primeiro num LLM, como evitar acerto falso e vazamento de dado, e a métrica que falta.
Episódio 12: O Lote Que Nunca Fecha - O Truque Que Faz Uma GPU Atender 10x Mais Gente
Como o continuous batching admite requisições entre um passo e outro do decode e faz a mesma GPU atender de 10 a 20 vezes mais gente, e o preço disso.
Episódio 13: A Ideia de 60 Anos Que Domou a Memória da GPU
O PagedAttention do vLLM levou a paginação dos sistemas operacionais ao KV cache e cortou o desperdício de memória da GPU de até 80% para menos de 4%.
Episódio 14: O Modelo Burro Que Acelera o Inteligente
Speculative decoding: um modelo pequeno rascunha, o grande confere, e a mesma resposta sai de 2 a 3 vezes mais rápido. Quando compensa e o que medir.
Episódio 15: Seu Cliente Lê Mais Devagar do Que o Modelo Escreve
Cliente lento prende KV cache e derruba a capacidade da GPU. Como backpressure, cancelamento propagado e SSE no ASP.NET Core protegem o streaming de tokens.
Episódio 16: O Painel Diz 100% e Isso Não Quer Dizer Nada
GPU em 100% de utilização só diz que algum kernel rodava. Como medir saturação, achar o joelho da curva e planejar capacidade de inferência antes de comprar.
Episódio 17: A Metade Esquecida do RAG
Busca vetorial aproximada erra por configuração. Recall do índice, HNSW, quantização de vetores e filtro por metadado: o que medir na busca do seu RAG.
Episódio 18: Todo Mundo Mede o LLM e Ninguem Mede o Embedding
O embedding é latência na consulta e throughput na ingestão. Padding, cache por hash, dimensão do vetor e lote por tokens para cortar custo e p99 no RAG.