Meta cria um filtro de IA para escolher experimentos antes de gastar horas de GPU

**A Meta FAIR apresentou os Modelos de Preferência de Pesquisa em IA, um sistema que classifica experimentos de aprendizado de máquina antes de executá-los para reduzir o gasto de GPU. Em testes do AIRS-Bench, a ferramenta elevou a pontuação média de 0,684 para 0,729 e alcançou resultados comparáveis ao treinamento de 24 horas em cerca de 15 horas.

• Os RPM comparam candidatos não executados e permitem que o agente escolha apenas o experimento mais promissor.
• A variante agêntica alcançou uma pontuação normalizada média de 0,729 em comparação com 0,684 sem o sistema.
• Ambas as versões igualaram o resultado do modelo base de 24 horas em aproximadamente 15 horas de computação.

A pesquisa autônoma com inteligência artificial enfrenta um problema menos visível do que a geração de ideias: testá-las custa tempo, dinheiro e capacidade de computação. Um agente pode propor dezenas de modificações para um modelo de aprendizado de máquina, mas cada treinamento completo pode consumir horas ou até dias de GPU, de modo que a seleção prévia se torna uma das decisões mais importantes do processo.

Uma equipe da FAIR na Meta, junto com pesquisadores da Universidade de Oxford e do University College London, apresentou os Modelos de Preferência de Pesquisa em IA, conhecidos como RPM. O sistema não tenta adivinhar uma pontuação absoluta nem prever com precisão o resultado final de um experimento, mas ordenar candidatos ainda não executados e escolher qual merece passar primeiro pela fase de treinamento dispendiosa.

Um filtro antes do gasto de computação

A proposta parte de uma limitação detectada nos modelos de linguagem: embora possam raciocinar sobre planos, código e históricos de busca, não são confiáveis quando devem prever diretamente uma métrica de execução. Por isso, o RPM adota uma tarefa mais restrita, comparar dois candidatos e decidir qual parece uma direção de pesquisa mais promissora com base nas evidências disponíveis.

O mecanismo se integra ao AIRA-dojo, um ambiente de busca em árvore evolutiva que seleciona pais de forma voraz e utiliza os operadores Draft, Improve e Debug. Em vez de gerar um filho, executá-lo e repetir o processo, o agente aplica um operador 15 vezes em paralelo, reúne os candidatos não testados e organiza um torneio eliminatório por comparações pareadas.

Somente o vencedor desse torneio chega à etapa de execução, enquanto cada comparação recebe contexto dos nós explorados por meio de uma busca em largura. Esse contexto inclui os experimentos anteriores e as pontuações de validação que obtiveram, uma informação que permite ao juiz distinguir entre uma melhoria plausível, uma variação redundante e um erro que ainda pode ser corrigido.

A abordagem muda a pergunta central do agente. Em vez de pedir que ele preveja quanto renderá cada proposta, solicita que determine qual merece consumir o próximo bloco de recursos, uma decisão mais próxima da avaliação que os pesquisadores realizam ao priorizar hipóteses sob um orçamento limitado.

Duas versões com custos distintos

A equipe avaliou uma variante de RPM baseada apenas em inferência e outra com capacidades agênticas. Na primeira, um modelo de linguagem congelado atua como juiz e examina os planos candidatos, o código e o histórico de busca sem realizar experimentos adicionais, enquanto uma rubrica otimizada com MIPROv2 de DSPy orienta suas decisões.

Essa rubrica tenta reproduzir o critério de um pesquisador principal: tolera erros corrigíveis, premia as ideias que podem ser expandidas e penaliza as direções que repetem trabalhos já explorados. A precisão fora de linha dessa versão situou-se entre 57,7% e 59,0%, um sinal de que a seleção melhora em relação à aleatoriedade, embora ainda esteja longe de representar um critério perfeito.

A versão agêntica utiliza o mesmo juiz, mas permite operar dentro de um ambiente isolado que clona o espaço de trabalho do agente e inclui uma única H200. Suas ferramentas são python, bash e submit_solution, com as quais executa testes piloto em pequena escala antes de decidir se vale a pena continuar em uma direção ou finalizar o ciclo de pesquisa.

O design incorpora duas decisões que afetam diretamente o comportamento do sistema. Para evitar que ele pare muito cedo, o orçamento restante é apresentado como 2.700 segundos, embora o tempo real disponível seja de 300 segundos, e os pilotos são limitados a 30 com um limite de 60 segundos; além disso, o seletor agêntico só intervém em Draft e Improve, porque Debug retorna a uma seleção aleatória para não consumir o relógio com avaliações adicionais.

Resultados em comparação com a seleção aleatória

Os testes foram realizados no AIRS-Bench, com 20 tarefas públicas de texto e dados tabulares, 24 horas de computação em uma única H200 por tarefa e 10 sementes. Qwen3.6-27B funcionou como coluna vertebral tanto para os operadores de pesquisa quanto para o RPM, uma condição projetada para atribuir a melhoria à camada de seleção e não à incorporação de um juiz mais potente.

A seleção aleatória, utilizada como referência sem RPM, obteve uma pontuação normalizada média de 0,684. O modelo baseado apenas em inferência elevou esse número para 0,711, enquanto a versão agêntica alcançou 0,729; os tetos calculados com um oráculo de validação e um oráculo de teste foram 0,748 e 0,759, respectivamente.

A diferença também apareceu na velocidade para alcançar o resultado do modelo base. A variante de inferência chegou à pontuação final de 0,684 em 14,88 horas, equivalente a uma aceleração de 1,61 vezes, e o sistema agêntico conseguiu isso em 15,50 horas, com uma melhoria de 1,55 vezes em relação às 24 horas de referência.

O benefício não elimina todos os custos: a inferência auto-hospedada adiciona 0,660 horas por execução. Ao ajustar por esse tempo, o desempenho reportado para a versão correspondente ficou em 0,708 a 23,34 horas, o que mostra que a vantagem prática depende tanto da qualidade do filtro quanto da eficiência da infraestrutura que o executa.

Resultados destacados e limites da proposta

O relatório atribui dois novos resultados de referência às variantes de RPM. Em WinoGrande, o sistema agêntico alcançou 94,1%, acima dos 90,4% atribuídos a um sistema agêntico anterior denominado AIRA₂, enquanto a versão baseada apenas em inferência obteve 95,7% em SVAMP, em comparação com um resultado humano anterior de 94,2%.

Esses números não significam que o seletor possa substituir a avaliação experimental, porque o RPM ainda precisa executar o candidato escolhido e verificar seu desempenho. Sua contribuição consiste em reduzir o número de propostas que chegam a essa fase, uma diferença importante em cenários onde a capacidade da GPU determina quantas hipóteses uma equipe pode explorar.

A arquitetura também mostra que a autonomia não depende apenas de fornecer mais ferramentas ao agente. O desempenho melhora quando o sistema organiza o orçamento, conserva o contexto dos testes anteriores e compara alternativas antes de comprometer recursos, embora as decisões de design, como o orçamento superestimado e o retorno de Debug à aleatoriedade, revelem compromissos ainda experimentais.

A proposta é parcialmente implantável: AIRA-dojo e AIRS-Bench são de código aberto, os LLM empregados permanecem congelados e Qwen3.6-27B conta com pesos abertos. No entanto, o uso de uma H200, o custo da inferência auto-hospedada e a dependência de pilotos curtos indicam que transferir esses resultados para outros ambientes exigirá medir infraestrutura, tarefas e orçamentos de forma independente.

MarkTechPost informou que o trabalho foi desenvolvido pela FAIR na Meta junto com a Universidade de Oxford e o University College London, e apresentou os RPM como uma camada de priorização para agentes de pesquisa com IA. O resultado mais relevante, além de um número pontual, é a possibilidade de converter a seleção de experimentos em um componente explícito do ciclo de aprendizado de máquina, em vez de deixá-la à geração aleatória ou à intuição do agente.

A publicação também destacou que a probabilidade estimada de melhoria em relação à configuração sem RPM foi de 0,5923 para a variante de inferência e de 0,5913 para a variante agêntica, com limites inferiores do intervalo de confiança de 95% de 0,5066 e 0,5018. Esses dados sugerem uma vantagem estatística moderada e aconselham a interpretar os resultados como evidência promissora, não como uma garantia de que o método funcionará da mesma forma em qualquer problema de pesquisa.

Para as equipes que treinam modelos com orçamentos apertados, o apelo está em obter mais exploração útil com as mesmas horas disponíveis. A ideia ainda precisa ser sustentada em mais tarefas e configurações, mas oferece uma resposta concreta a uma tensão crescente: os agentes podem gerar experimentos cada vez mais rápido, enquanto a capacidade de executá-los continua sendo escassa e cara.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.