LLM Wiki — Synaptic Lattice

autoresearch

Properties1
tagsagentic, research, llm-wiki

Leitura de 3 min

Autoresearch (padrão de loop autônomo)

Definition

Autoresearch é o padrão de dar a um agente de IA um objetivo, uma métrica mecânica e um loop de iteração autônoma: o agente modifica → verifica → mantém ou descarta → repete, sem o humano no meio de cada passo. Popularizado por Andrej Karpathy (março 2026), que o demonstrou treinando um LLM de forma autônoma durante a noite. A fórmula resumida por implementações posteriores: “constraint + goal + mechanical metric + autonomous iteration = compounding gains”.

Key Points

  • Origem (karpathy/autoresearch): um agente roda experimentos de treino de LLM (nanochat, GPU única) sozinho: modifica código, treina ~5 min, checa a métrica, keep-or-discard, repete. O humano programa a “organização” via program.md — markdown com contexto e instruções — em vez de tocar nos arquivos .py diretamente.
  • Generalização (uditgoenka/autoresearch): transforma o loop em skill reutilizável para Claude Code, OpenCode e Codex. V2.2 tem “Autonomous Orchestrator”: você digita uma meta em linguagem simples, o agente classifica a meta, deriva um predicado de sucesso, confirma uma vez e itera entre subcomandos até terminar. 14 comandos, 9 safety hooks.
  • Ecossistema (webfuse-com/awesome-autoresearch): curadoria de descendentes do padrão: loops genéricos, ports para plataformas, adaptações por domínio, avaliações e writeups.
  • Shopify Liquid PR demonstration: In March 2026, Tobi Lütke used the autoresearch loop (via Pi extension) to reduce Liquid templating engine parse-plus-render time by 53%, but noted the result was likely overfit to the benchmark; the PR remains unmerged. ^[/raw/external/www-techtimes-com-karpathys-autoresearch-loop-spreading-fast-62640071.md] — dated 2026-08-30, TechTimes reports the 53% claim is spreading but still unmerged and flagged as overfit, tempering hype with overfit caveat.
  • Essência: o humano decide o quê e a métrica; o agente decide o como e itera. É “delegar o trabalho de tentativa e erro”.
  • Direção via markdown: o controle do “laboratório” vive em arquivos markdown legíveis (program.md, metas), não em código — o mesmo raciocínio de dirigir um vault via AGENTS.md.

Aplicação ao Synaptic Lattice

O vault já pratica um primo do autoresearch:

  • O loop ingest → lint é o “modificar → medir”: wikilint é a métrica mecânica que decide manter ou corrigir.
  • AGENTS.md é o “program.md” — a organização é dirigida por markdown, não por script.
  • A skill uditgoenka/autoresearch roda no OpenCode e pode automatizar tarefas repetitivas de nível vault (ex.: corrigir N páginas até lint OK, atualizar frontmatter em lote).

Park et al. Shopify case shows metric + iteration without human-in-loop can compound but also overfit — same risk for vault lint loops if metric is gamed.

Implications: Use autoresearch para lotes mecânicos (lint fix, frontmatter batch) com métrica verificável (wikilint: OK), mas mantenha revisão humana para conhecimento (Guardrail 10) — 53% overfit lembra que otimizar métrica ≠ generalizar.

  • agent-loop — o loop de feedback que o autoresearch torna autônomo
  • llm-wiki — o padrão do qual este vault deriva (dirigir conhecimento via markdown)
  • andrej-karpathy — origem do padrão (março 2026)
  • ralph-loop — autonomous coding loop kindred to autoresearch

Implications

Para este vault, o autoresearch é uma métrica do que automatizar: se um trabalho tem objetivo + métrica mecânica + iteração, ele pode virar loop autônomo. O limite é a decisão de “o que é conhecimento” — que fica no humano (Guardrail 10). Automação do mecânico; decisão do semântico. Overfit do Shopify reforça: benchmark interno precisa de validação externa.

Open Questions

  • A skill uditgoenka roda bem em OpenCode para tarefas de vault (lint-fix em lote)?
  • O padrão escala para ingest de fontes, ou só para tarefas de código?
  • Como evitar overfit de métrica em loops autoresearch (ex.: wikilint passa mas conhecimento degrada)?

Sources

  • raw/external/github-com-autoresearch-177ec91f.md
  • raw/external/github-com-autoresearch-110ad643.md
  • raw/external/github-com-awesome-autoresearch-240f5f7f.md
  • raw/articles/karpathy-autoresearch-loop.md
  • raw/external/www-techtimes-com-karpathys-autoresearch-loop-spreading-fast-62640071.md

Visão de gráfico

Backlinks