QA de IA SR - RHA1848

O que esperamos dessa pessoa

• Garantir qualidade das soluções de IA antes e após o deploy

• Reduzir erros e inconsistências dos agentes

• Aumentar confiabilidade das respostas

• Apoiar evolução contínua dos modelos

Buscamos um profissional que:

• Questione e valide o comportamento dos agentes

• Tenha olhar crítico sobre respostas de IA

• Garanta qualidade real das soluções entregue

Mentalidade (ESSENCIAL)

• Perfil crítico e detalhista

• Capacidade de questionar resultados

• Foco em qualidade e confiabilidade

• Organização e clareza na comunicação

• Mentalidade de melhoria contínua

QA de IA (AI Quality & Evaluation Engineer)

Sobre a vaga

Buscamos um profissional focado em qualidade de soluções de Inteligência Artificial, responsável por

validar, testar e garantir a consistência de agentes de IA em produção.

Essa posição é voltada para alguém com perfil analítico e crítico, capaz de avaliar não apenas aspectos

técnicos, mas também a qualidade semântica das respostas dos modelos.

Importante: buscamos profissionais com experiência prática em testes de sistemas ou validação de

soluções digitais. Perfis sem capacidade analítica ou foco em qualidade não serão considerados.

Responsabilidades

• Testar agentes de IA em diferentes cenários reais

• Validar qualidade, consistência e coerência das respostas

• Identificar falhas, alucinações e comportamentos inconsistentes

• Criar cenários de teste e casos de uso reais

• Definir critérios de qualidade para respostas dos modelos

• Apoiar na evolução contínua das soluções com feedback estruturado

• Trabalhar em conjunto com AI Engineers para ajustes e melhorias

• Garantir confiabilidade das soluções em ambiente de produção

Stack Esperada / Tecnologias

IA / LLMs

• Conhecimento em funcionamento de LLMs

• Noções de prompt engineering

• Familiaridade com agentes de IA

Testes / Qualidade

• Criação de casos de teste

• Testes funcionais e exploratórios

• Validação de fluxos e comportamento

Ferramentas (diferencial)

• Ferramentas de LLM evaluation

• Ferramentas de acompanhamento (Jira, etc.)

• Experiência com testes de sistemas ou validação de aplicações

• Forte capacidade analítica e senso crítico

• Capacidade de identificar inconsistências e falhas

• Organização para estruturar cenários de teste

• Atenção a detalhes

Diferenciais

• Experiência com avaliação de modelos de IA

• Experiência com produtos digitais ou sistemas em produção

• Conhecimento em dados ou análise

• Experiência com automação de testes