Quais parâmetros (temperature, top_p, etc.) devo ajustar?

Viewed 2

O que significam os parâmetros avançados (temperature, top_p, frequency_penalty)?

1 Answers

Parâmetros de inferência controlam como o modelo gera — não o que sabe:

Parâmetro Range Para que serve Quando mexer
temperature 0.0-2.0 Criatividade / aleatoriedade ↓ factual, ↑ criativo
top_p 0.0-1.0 Diversidade de palavras ↓ estável, ↑ variado
max_tokens 100-8000+ Tamanho máximo resposta ↓ controle custo, ↑ longas
frequency_penalty 0.0-1.0 Evita repetir palavras ↑ 0.2-0.4 se repete
presence_penalty 0.0-1.0 Incentiva novos tópicos ↑ brainstorm
stop lista Sequências que param geração JSON, listas
seed inteiro Reprodutibilidade Testes, QA

Regra de bolso: comece com temperature=0.3, top_p=0.9, max_tokens ajustado. Mexa um parâmetro por vez, em incrementos de 0.1-0.2.

Não combine temperature alta com top_p alto simultaneamente — gera resultados incoerentes.

📖 Documentação completa na Wiki: