Vi o termo 'chunking' no contexto de RAG. O que significa?
1 Answers
Chunking é a divisão de documentos em pedaços menores (chunks) antes de indexar para busca.
Por que importa:
- O modelo não pode ler um documento de 500 páginas inteiro toda vez (caro, lento)
- A busca vetorial funciona em chunks, não em documentos inteiros
- Qualidade do chunking = qualidade das respostas
Como a Cortex faz:
- Extrai texto do documento
- Quebra em pedaços de 300-500 tokens (cerca de 1-2 parágrafos)
- Respeita limites de seção (H1, H2) quando possível
- Cria overlap entre chunks (50 tokens) para preservar contexto
- Gera embedding (vetor) de cada chunk
Como escrever documentos que chunkam bem:
- Use títulos Markdown (H1, H2, H3)
- Parágrafos auto-contidos (não assuma contexto do anterior)
- Evite referências cruzadas ("como dito acima") — chunks podem vir isolados
- Tabelas bem formatadas (linha/coluna clara)
📖 Documentação completa na Wiki:
Related