Caiu ou Não?Pesquisar serviço
PT
Agentes e APIs

Prompt caching no GPT-6: como reduzir custo e corrigir cache miss

Cache de prompt não é cache de resposta. Aprenda a confirmar tokens reutilizados, calcular quando a gravação compensa e localizar mudanças que quebram o prefixo.

Computador exibindo métricas de tokens gravados e reutilizados no cache de prompts da OpenAI

Resposta rápida

Para aproveitar o prompt caching no GPT-6, coloque instruções, definições de ferramentas e material de referência que se repetem no início do contexto. Acrescente a conversa e os dados variáveis depois. Em requisições seguintes, preserve exatamente esse prefixo e confirme a reutilização em usage.input_tokens_details.cached_tokens; não presuma que um prompt parecido produziu cache hit.

No GPT-5.6 e em modelos posteriores, incluindo a família GPT-6, o prefixo precisa ter ao menos 1.024 tokens visíveis para ser elegível. A gravação custa 1,25× a tarifa normal de entrada e uma leitura custa 0,1×. A primeira chamada pode ficar mais cara; o ganho aparece quando o mesmo prefixo é reutilizado dentro da janela de cache.

O que mudou no cache do GPT-6

A OpenAI anunciou em 22 de setembro de 2026 um sistema de prompt caching aprimorado para a família GPT-6. O cache continua habilitado por padrão nos modelos compatíveis, mas agora há painel de desempenho, diagnóstico de falhas, pontos de interrupção explícitos e prewarm para preparar um prefixo antes da primeira interação do usuário.

Os descontos se aplicam a prefixos compartilhados elegíveis reutilizados na janela de 30 minutos. A OpenAI informa desconto de até 90% nos tokens de entrada em cache. Isso não reduz automaticamente tokens de saída, chamadas de ferramentas ou outras cobranças da aplicação; a economia real depende de quanto do input é idêntico e de quantas vezes ele é reaproveitado.

Cache de prompt não é cache de resposta

O mecanismo reutiliza o estado computado para o início invariável do prompt. A documentação explica que o cache guarda tensores de chave e valor, não uma resposta pronta. O modelo ainda processa o conteúdo novo e gera outra saída, portanto duas chamadas com o mesmo prefixo podem produzir respostas diferentes.

Ele também não substitui banco de dados, memória de longo prazo nem histórico da aplicação. Se uma informação precisa sobreviver à expiração do cache, continuar disponível após uma falha ou ser auditável, persista-a no sistema adequado e envie somente o contexto necessário ao modelo.

Como saber se houve cache hit

Registre usage.input_tokens, usage.input_tokens_details.cached_tokens e usage.input_tokens_details.cache_write_tokens em cada resposta. cached_tokens mostra a parte lida do cache; cache_write_tokens mostra a parte gravada. Calcule a taxa de reutilização dividindo tokens em cache pelos tokens de entrada e acompanhe o resultado por modelo, agente, rota e versão do prompt.

Uma média geral pode esconder uma regressão. Compare também latência, custo efetivo e volume de chamadas. Se cached_tokens cair depois de uma mudança de código, abra o Prompt Caching Dashboard e use o diagnóstico comparando a requisição atual com uma resposta recente conhecida.

  • Escolha uma rota com prompts longos e repetidos, como um agente com as mesmas ferramentas.
  • Registre modelo, versão do prompt, tokens de entrada, cache write, cache read, latência e custo.
  • Execute a mesma estrutura com dados variáveis apenas no final.
  • Compare a primeira gravação com as leituras seguintes dentro de 30 minutos.
  • Crie um alerta para quedas súbitas em cached_tokens sem mudança esperada de tráfego.

Quando o custo da gravação compensa

Para GPT-5.6 e posteriores, escrever um prefixo custa 1,25× e relê-lo custa 0,1× da entrada comum. A própria documentação resume o caso simples: uma gravação seguida de uma reutilização integral custa 1,35×, enquanto processar o mesmo prefixo duas vezes sem cache custaria 2×. Quanto mais leituras ocorrerem, maior tende a ser a economia.

O cálculo muda quando parte do prefixo falha, a janela expira ou o tráfego não volta. Não aumente um prompt apenas para alcançar 1.024 tokens. Texto sem função eleva custo, latência e risco de instruções conflitantes. Use cache para contexto que já é necessário e será realmente repetido.

Como organizar o prompt para reutilizar mais

O cache procura um prefixo idêntico. Coloque no início as instruções estáveis, políticas, exemplos e documentos compartilhados. Datas, identificadores do usuário, resultados de busca, estado atual e a pergunta nova devem entrar depois do trecho reutilizável. Em conversas, acrescente mensagens em vez de reescrever turnos antigos.

No modo implícito, a OpenAI escolhe pontos de cache adequados para a maioria dos fluxos. Use um ponto explícito quando você precisa encerrar a gravação logo após um bloco estável e deixar o sufixo mutável fora dela. O modo explícito evita pagar cache write por conteúdo que dificilmente será reutilizado, mas exige medição e uma estrutura consistente.

  • Mova instruções e referências compartilhadas para o começo do input.
  • Retire timestamps e dados do usuário do prefixo estável.
  • Mantenha a ordem dos blocos e o conteúdo serializado de forma determinística.
  • Coloque o ponto explícito depois do último bloco realmente reutilizável, se necessário.
  • Meça novamente cache write, cache read e custo antes de ampliar a mudança.

Ferramentas são uma causa comum de cache miss

Adicionar, remover, reordenar ou alterar descrição e schema de uma ferramenta muda o prefixo. Se uma chamada não precisa usar ferramentas, mantenha a lista estável e defina tool_choice como none. Quando apenas algumas ferramentas devem ficar disponíveis, use allowed_tools em vez de reconstruir a lista completa a cada turno.

A mesma lógica vale para text.format, schemas de saída, service tier, verbosity e configurações que afetam o contexto. No GPT-6, a OpenAI também permite ajustar esforço de raciocínio entre respostas com configuration_update sem reescrever o prefixo; siga a documentação de compatibilidade antes de adotar isso em produção.

Como diagnosticar um cache miss

Salve o id de uma resposta de referência e envie-o como comparison_response_id em prompt_cache_options na requisição seguinte. O diagnóstico pode apontar causas como tools_changed, prompt_cache_key_changed, service_tier_changed, text_format_changed, reasoning_effort_changed, verbosity_changed ou context_compacted, além de estimar os tokens afetados.

Use a comparação para localizar a primeira divergência, não para mascará-la com uma chave nova. Em GPT-5.6 e posteriores, prompt_cache_key é opcional e serve para separar contabilização entre clientes, usuários ou workspaces; ele não é necessário para otimizar o roteamento do cache nesses modelos.

  • Escolha uma resposta recente que teve o cache hit esperado e salve seu id.
  • Compare a chamada que falhou usando comparison_response_id.
  • Leia reason e cache_missed_tokens no resultado do diagnóstico.
  • Corrija somente a configuração ou o trecho que deveria permanecer estável.
  • Repita o teste mantendo a resposta de referência como linha de base.

Prewarm reduz espera, mas não é gratuito

Prewarm prepara um contexto conhecido sem gerar saída. Ele pode ajudar quando a aplicação carrega as mesmas instruções, ferramentas ou documentos antes de um atendimento, mas os tokens gravados continuam cobrados na tarifa de cache write. A chamada real precisa usar o mesmo prefixo e chegar enquanto a entrada ainda estiver elegível.

Não faça prewarm de toda combinação possível. Priorize contextos previsíveis, com reutilização próxima e impacto real no tempo até o primeiro token. Compare o custo das gravações que nunca foram lidas com a redução de latência percebida pelo usuário.

Retenção, isolamento e limites

No GPT-5.6 e em modelos posteriores, prompt_cache_options.ttl aceita 30m, que também é o padrão. Um prefixo permanece elegível por pelo menos 30 minutos após a gravação ou reutilização mais recente, embora possa ser retido por mais tempo. Trate 30 minutos como a janela operacional garantida, não como armazenamento permanente.

Caches não são compartilhados entre organizações nem entre regiões de processamento. Carga, roteamento e capacidade da máquina também influenciam a reutilização. A página de status informa a saúde agregada da API, mas não confirma que seu prefixo é elegível ou idêntico. Para privacidade e retenção, confira a política da organização e o modelo usado antes de alterar qualquer configuração.

Próxima ação útil

Este guia foi verificado em 27 de setembro de 2026. Abra o Prompt Caching Dashboard, selecione o endpoint com maior volume de tokens não armazenados e compare dez chamadas reais. Depois, fixe instruções e ferramentas no início, mova conteúdo variável para o fim e use o diagnóstico em qualquer chamada que continuar sem reutilização.

Faça a mudança em uma rota por vez e compare custo total, latência e qualidade da resposta. Um cache hit alto não compensa um prompt desatualizado, excessivo ou inseguro; a meta é reutilizar somente contexto necessário e estável.

Faça o próximo teste

Fontes consultadas

Os links abaixo servem para conferir conceitos, orientações oficiais e o critério editorial usado neste conteúdo.

Outros guias ligados ao mesmo tipo de problema.