Guia de triagem editorial
Você vai julgar itens coletados pelo Firewatch como se fosse o leitor final. Suas notas formam o gabarito que mede e ajusta a triagem automática.
Para que serve
Seu julgamento vira a resposta certa contra a qual comparamos o sistema. O Firewatch coleta centenas de itens por dia e um modelo decide sozinho o que descartar e o que resumir. Sem um gabarito humano, não sabemos quanto material bom ele joga fora nem quanto lixo deixa passar.
- Você não está escolhendo conteúdo para clientes. Está criando uma régua.
- Por isso o julgamento é às cegas: você não vê o que o sistema decidiu sobre o item.
- Consistência vale mais que velocidade. Dois itens parecidos devem receber a mesma nota.
Os perfis
Cada item é julgado duas vezes, uma por perfil. O mesmo item pode ser ótimo para um e inútil para o outro.
| Perfil | Quem é | O que procura | O que não serve |
|---|---|---|---|
| Gestor de PME | Dono ou gestor de pequena empresa que posta no LinkedIn e no X | IA aplicada a negócios, fintech, ferramentas, regulação e mercado explicados de forma prática | Detalhe técnico, artigo acadêmico, changelog |
| Desenvolvedor | Pessoa técnica que cria conteúdo sobre IA | Lançamentos de modelos e ferramentas, versões relevantes, pesquisa com resultado claro, detalhe técnico | Promoção, fofoca de mercado sem substância técnica |
Na dúvida, pergunte: essa pessoa usaria isso como assunto de um post ou vídeo nesta semana?
O que avaliar em cada item
- Tema: o item é sobre IA ou tecnologia? Sim ou Não. Tecnologia sem IA conta como Sim.
- Nota para Gestor de PME: utilidade de 0 a 3.
- Nota para Desenvolvedor: utilidade de 0 a 3.
- Motivo: obrigatório quando as duas notas ficam em 0 ou 1.
| Motivo | Quando usar |
|---|---|
| Fora do tema | Não é sobre IA nem tecnologia (esporte, entretenimento, política sem tecnologia) |
| Promoção | Oferta, desconto, publicidade de produto |
| Raso | O tema serve, mas o conteúdo não tem fato, número ou novidade |
| Repetido | Mesmo fato de outro item que você já avaliou no lote |
| Velho | Notícia antiga, sem gancho atual |
| Outro | Nenhum dos anteriores; explique na observação |
Link quebrado, paywall ou página sem texto não recebem nota: use o botão Não consegui abrir.
Escala de utilidade
A nota mede se o perfil usaria o item, não se o assunto é importante para o mundo.
| Nota | Nome | O perfil… | Teste rápido |
|---|---|---|---|
| 3 | Pauta | usaria como assunto principal de um post ou vídeo nesta semana | Dá para escrever o título do post agora |
| 2 | Apoio | usaria como dado, exemplo ou nota curta dentro de outro conteúdo | Serve, mas não sustenta um conteúdo sozinho |
| 1 | Marginal | só usaria se faltasse assunto | “Interessante, mas e daí?” |
| 0 | Descarte | não usaria | Você passaria reto no feed |
Entre duas notas, escolha a menor. Nota 3 é rara: espere algo como 1 em cada 10 itens.
Casos difíceis
Os exemplos abaixo são itens reais do acervo. As notas são referência de calibração; a primeira sessão com o dono do produto pode ajustá-las.
| Situação | Exemplo real | Gestor | Dev | Regra |
|---|---|---|---|---|
| Lançamento de modelo no Hugging Face | Qwen-Image-2.1 | 0 | 2 | Julgue pelo perfil. Modelo novo de laboratório conhecido interessa ao Dev, mesmo sem notícia em volta |
| Nova versão de ferramenta | vllm v0.29.0 | 0 | 1 a 2 | Dev: 2 se a versão traz mudança visível; 1 se é só correção |
| Artigo acadêmico (arXiv) | Benchmark de busca em prontuários | 0 | 1 a 2 | Gestor quase sempre 0. Dev: 2 só se o resultado cabe numa frase |
| Regulação, justiça ou governo e IA | STF descobre manipulação processual por IA | 3 | 1 | Fato novo com impacto em empresas vale 3 para o Gestor |
| Negócio e dinheiro em IA | Anthropic fecha contrato de US$11,6 bi com a Akamai | 2 | 2 | Número grande e nome conhecido sustentam pelo menos 2 |
| Tecnologia sem IA | MediaTek em metade dos celulares no Brasil | 1 | 1 | Tema Sim; a nota depende do gancho para o perfil |
| Promoção | Galaxy S26 Ultra com cupom | 0 | 0 | Motivo Promoção, sempre |
| Termo solto do Google Trends | “white sox” | 0 | 0 | Motivo Fora do tema quando não há tecnologia |
| Opinião, evento ou convite | Encontro presencial sobre agentes em São Francisco | 0 | 1 | Evento local só vale se o conteúdo do evento for a notícia |
Regras gerais
- Idioma não é motivo de descarte. Julgue o conteúdo de itens em inglês ou espanhol como se estivessem em português.
- Mesmo fato em várias fontes: dê a nota normal ao primeiro que aparecer no lote e o motivo Repetido aos seguintes.
- Não conseguiu abrir ou ler: use Não consegui abrir e siga. Não julgue pelo título.
- Ficou em dúvida: dê a nota que parecer mais certa e escreva a dúvida na observação. Não pare o lote.
Como trabalhar
Você recebe lotes de cerca de 50 itens. Parte deles foi aceita pelo sistema e parte descartada, embaralhados: você não sabe qual é qual.
- Calibração: julgue os 20 primeiros itens do primeiro lote e revise-os com o dono do produto antes de seguir.
- Para cada item: abra o original e leia o título e os primeiros parágrafos. Limite de 2 minutos por item.
- Responda tema, as duas notas e, se couber, o motivo. Uma linha de observação quando algo não for óbvio.
- Não consulte resumos do Firewatch nem as notas de outra pessoa enquanto julga.
- Entregue o lote quando terminar. Depois da entrega as notas não mudam; se mudou de ideia sobre um critério, anote e avise.
Ritmo esperado: cerca de 1,5 minuto por item, um lote de 50 em pouco mais de uma hora. Faça pausas entre lotes: cansaço piora a consistência.
Cerca de 10% dos itens reaparecem em outro lote, sem aviso. Isso mede a consistência do julgamento, não é erro: avalie de novo normalmente.
Na tela de julgamento
Abra o link pessoal que você recebeu. Ele guarda seu acesso neste navegador; depois disso, basta entrar em /julgar. Use Sair em computador compartilhado e não repasse seu link.
- Meus lotes mostra seus lotes e o progresso de cada um. Você pode parar e continuar depois de onde parou.
- Salvar e próximo grava o item e avança. Anterior volta para revisar um item já julgado.
- Não consegui abrir grava o item sem notas.
- Com todos os itens julgados, a tela oferece Entregar lote. Ela pede um segundo toque para confirmar.
Atalhos de teclado
| Tecla | O que faz |
|---|---|
| S / N | Tema: Sim ou Não |
| 0 a 3 | Nota do perfil em destaque; a tela passa sozinha para o próximo perfil |
| O | Abre o original em outra aba |
| Enter | Salvar e próximo |
| ← | Item anterior |