Testador de chunks

Um trecho é um pequeno trecho — geralmente algumas centenas de elementos técnicos agrupados sob o título mais próximo — que um sistema de recuperação armazena e pesquisa em vez da página inteira. Quando alguém faz uma pergunta a um mecanismo de respostas com IA, ele recupera e cita os trechos individuais mais correspondentes, não a URL completa. Se um trecho não fizer sentido sozinho, é menos provável que seja recuperado ou citado, mesmo que a página ao redor seja excelente.

Não existe um número geral, pois cada sistema de recuperação divide o conteúdo de forma diferente. Esta ferramenta usa por padrão uma meta de 300 elementos técnicos com 15% de sobreposição, um ponto intermediário comum, e permite ajustar a meta de 100 a 800 elementos técnicos. Ela sinaliza um trecho como “longo demais” quando ultrapassa 1,3× a meta, pois nesse caso um recuperador provavelmente o truncará. O número de elementos técnicos é uma estimativa de caracteres/4, não uma contagem de um tokenizador verdadeiro. <!--There is no universal number because every retrieval system chunks differently. This tool defaults to a 300-token target with 15% overlap, which is a common middle ground, and lets you slide the target from 100 to 800 tokens. It flags a chunk as "too long" once it passes 1.3× your target, since a retriever is then likely to truncate it. The token figure is a chars/4 estimate, not a real tokenizer count.-->

A ferramenta sinaliza trechos cuja primeira frase começa com uma palavra dependente de contexto — um pronome ou uma continuação isolada como “isto”, “ele”, “eles”, “porém” ou “portanto”. Essas palavras remetem a um texto que pode estar em outro trecho, de modo que o trecho perde o sentido quando é recuperado fora da página. A correção é iniciar a seção com uma frase temática autossuficiente que nomeie seu assunto.

Não. Ele modela uma estratégia comum de divisão sensível à estrutura — agrupa blocos sob o título mais próximo, acomoda-os em janelas de tamanho definido por tokens com sobreposição e nunca separa um título do primeiro parágrafo. O objetivo é revelar trechos que seriam mal recuperados em quase qualquer sistema, não reproduzir exatamente um fornecedor. Trate os limites dos chunks como representativos, não idênticos aos de um mecanismo específico.

Não. No modo de colagem, a extração e a divisão em chunks ocorrem inteiramente no navegador, e nada é enviado. Apenas o modo opcional “Buscar uma URL” chama um endpoint do servidor, que busca a página pública indicada, não o texto colado. Nada é armazenado em nenhum dos modos.