Comparativo: Wiki vs Web Search (Query Practice)
Contexto: Fase 3 — Query Practice. Testamos 3 perguntas respondendo primeiro via wiki (camada 2) e depois via web search/raw sources. Objetivo: entender quando cada abordagem é superior e onde há gaps no vault.
Teste 1: “Como OKF se relaciona com LLM Wiki?”
| Aspecto | Wiki | Web Search |
|---|---|---|
| Velocidade | ~30s (3 páginas) | ~3 min (8+ artigos) |
| Fontes consultadas | concepts/okf.md, concepts/llm-wiki.md, concepts/RAG-vs-fine-tuning.md | Google Cloud blog, OKF GitHub spec, Techstrong, decode, typescript.news |
| Qualidade resposta | Excelente — já tinha contexto sintetizado com seção de conflito | Excelente — fonte primária (Google Cloud) com contexto do “porquê” |
| Gap identificado | Nenhum relevante | Wiki já capturou a essência; traria pouco adicional |
Veredito: Wiki vence — resposta mais rápida, já sintetizada, e já continha contradições entre fontes. OKF é um tópico maduro no vault (várias fontes já ingeridas).
Teste 2: “RAG vs GraphRAG vs LLM Wiki — qual usar?”
| Aspecto | Wiki | Web Search |
|---|---|---|
| Velocidade | ~30s (2 páginas) | ~4 min (6 artigos + 1 PDF) |
| Fontes consultadas | comparisons/llm-wiki-vs-memory.md, comparisons/LightRAG-vs-HippoRAG.md | Medium, arXiv (LightRAG paper), Microsoft GraphRAG blog, Neo4j, InfraNodus |
| Qualidade resposta | Boa — framework conceitual com trade-offs | Excelente — dados quantitativos (custos: 40K RAG MVP vs 2K LLM Wiki; benchmarks) |
| Gap identificado | Falta dados quantitativos de custo, benchmarks numéricos, estudos acadêmicos (arXiv) | — |
Veredito: Empate com vantagem para web — wiki tem a estrutura conceitual correta, mas faltam números concretos e fontes acadêmicas (especialmente o paper do LightRAG no arXiv que compara abordagens). O gap principal são dados quantitativos.
Teste 3: “Que projetos de LLM Wiki existem?”
| Aspecto | Wiki | Web Search |
|---|---|---|
| Velocidade | ~30s (34 entidades) | ~5 min (muitos links) |
| Fontes consultadas | 34 páginas de entidades em wiki/entities/ | GitHub search, web articles, YouTube |
| Qualidade resposta | Boa — 34 entidades catalogadas, maioria com descrição detalhada | Boa — descobriu 5 implementações não catalogadas |
| Implementações perdidas | llmwiki (Rust), Pratiyush/llm-wiki, Eva-brain, robust-llm-wiki, andmattia/llmwiki | — |
| Gap identificado | ~5 novas implementações descobertas na web não estão no vault | — |
Veredito: Web vence — apesar do vault ter 34 entidades, a web revelou implementações novas que não estavam no raw/ nem no wiki. Gap: catalogação desatualizada (vault parou no tempo).
Síntese Comparativa (confidence: medium)
| Critério | Wiki | Web | Melhor |
|---|---|---|---|
| Velocidade | ~30s por pergunta | ~3-5 min | Wiki |
| Profundidade tópicos maduros | Excelente | Boa | Wiki |
| Novidades/atualizações | Não captura | Excelente | Web |
| Dados quantitativos | Fraco | Forte (artigos, papers) | Web |
| Fontes acadêmicas | Limitado ao ingerido | Ilimitado | Web |
| Contradições | Já surfacadas | Precisa cruzar manualmente | Wiki |
| Custo/API | Zero | Depende de APIs | Wiki |
Implicações (confidence: high)
- Wiki é superior para tópicos maduros (3+ fontes, lifecycle l2+). A velocidade compensa — desde que o vault esteja atualizado.
- Web é indispensável para novidades e dados quantitativos. Mesmo com 34 entidades, 5 projetos ficaram de fora.
- O workflow híbrido ideal: wiki primeiro (resposta rápida), web search em paralelo para preencher gaps, depois ingest dos novos achados no raw/ e atualização das páginas.
- Gap mais crítico: a falta de benchmarks numéricos e dados de custo no vault. Toda página de comparação deveria ter uma seção de dados quantitativos.
Recomendações (confidence: medium)
- Ingerir as 5 implementações novas no raw/ e criar entradas no wiki
- Adicionar dados numéricos de custo às páginas de comparação (RAG vs GraphRAG vs LLM Wiki)
- Criar um processo de “refresh periódico” — web search semestral para capturar novidades
- Para queries futuras: sempre rodar wiki + web em paralelo, depois sintetizar
Ver também
- Quality comparison with advanced LLM Wiki implementations
- Qual modelo LLM é ideal para ingest na wiki
Sources
Baseado em testes práticos de query contra o vault (camada 2 wiki) e web search. Os temas comparados são ancorados nas fontes capturadas acima; tempos de resposta, avaliações qualitativas e gaps são observações deste teste, não medições universais de desempenho.