[Job-29222] Tester/QA e Curadoria de IA Senior, Brazil

Estamos buscando uma pessoa engenheira de Qualidade & Curadoria de IA para garantir que as soluções de Inteligência Artificial Generativa desenvolvidas pela organização sejam confiáveis, seguras, precisas e alinhadas aos valores do negócio.
Você atuará como responsável pela qualidade e da confiança nas soluções de GenAI — avaliando respostas de modelos, identificando alucinações, monitorando comportamentos em produção, curando bases de conhecimento e garantindo que os princípios de IA Responsável sejam respeitados em cada entrega.
Este é um perfil que equilibra visão técnica, senso crítico apurado e proximidade com o negócio — capaz de transitar entre logs de modelo, feedbacks de usuários e conversas com stakeholders sobre risco e conformidade.

Experiência com testes, avaliação ou garantia de qualidade em sistemas de software ou dados;
Familiaridade com conceitos de IA Generativa, LLMs e RAG — não precisa ter desenvolvido, mas precisa entender profundamente como funcionam;
Capacidade analítica para interpretar logs, métricas e padrões de comportamento de sistemas de IA;
Conhecimento de Python para automação de avaliações e análise de dados de qualidade;
Habilidade de comunicação clara para reportar problemas e recomendar melhorias a perfis técnicos e não-técnicos;
Organização e disciplina para documentar processos, incidentes e decisões de forma consistente;
Conhecimento de princípios de IA Responsável, ética em IA e LGPD/GDPR.

Experiência com ferramentas de avaliação de LLMs como Azure AI Evaluation, Promptflow Evaluators, RAGAS ou TruLens;
Conhecimento de Azure AI Foundry e seus recursos de monitoramento e avaliação;
Familiaridade com Azure AI Search e estratégias de indexação para RAG;
Experiência com Microsoft Copilot Studio do ponto de vista de testes e validação;
Noções de Prompt Engineering para diagnóstico e ajuste fino de comportamentos dos modelos;
Experiência com Power BI ou ferramentas similares para criação de dashboards de monitoramento;
Conhecimento do framework RAI da Microsoft e das diretrizes de uso responsável do Azure OpenAI;
Experiência prévia em setores regulados (financeiro, saúde, jurídico).

Avaliação & Testes de Qualidade de IA
Definir e executar frameworks de avaliação de modelos generativos, cobrindo dimensões como relevância, fidelidade, completude, coerência e ausência de alucinações;
Construir e manter suítes de testes automatizados e manuais para validação de respostas dos Copilots e assistentes em diferentes cenários e edge cases;
Realizar avaliações comparativas (A/B testing) entre versões de prompts, modelos e configurações de RAG para orientar decisões de melhoria;
Validar a qualidade das respostas geradas contra as fontes de verdade (documentos, dados estruturados, políticas internas) antes e após atualizações;
Identificar padrões de falha, respostas inadequadas e comportamentos inesperados, documentando e reportando ao time de desenvolvimento.

Curadoria de Bases de Conhecimento
Ser responsável pela curadoria contínua das Knowledge Bases que alimentam as soluções de RAG, garantindo que os documentos indexados sejam relevantes, atualizados e bem estruturados;
Definir e aplicar critérios de inclusão, exclusão, atualização e versionamento de documentos nas bases de conhecimento;
Identificar gaps de conhecimento — situações em que o modelo não encontra informação suficiente para responder com precisão — e acionar os times responsáveis para preenchê-los;
Monitorar a qualidade dos chunks e índices de busca vetorial no Azure AI Search, propondo ajustes de estratégia de indexação quando necessário;
Trabalhar com áreas de negócio para garantir que o conteúdo das bases reflita as políticas, processos e informações oficiais da organização.

Melhoria Contínua & Feedback Loop
Estruturar e operar o ciclo de feedback das soluções de IA — coletando avaliações de usuários, analisando conversas e traduzindo insights em melhorias concretas para o time de desenvolvimento;
Priorizar e comunicar ao time de GenAI os ajustes de prompt, configuração de RAG e curadoria de conteúdo identificados nas avaliações;
Colaborar com o(a) Engenheiro(a) de GenAI para validar se as correções implementadas realmente resolveram os problemas identificados;
Propor e implementar melhorias nos processos de avaliação e curadoria, tornando-os mais ágeis e escaláveis à medida que o portfólio de use cases cresce.

Interface com Negócio & Usuários
Atuar como ponte entre os usuários finais das soluções de IA e o time técnico, garantindo que a voz do usuário seja considerada nas evoluções;
Conduzir sessões de validação e homologação de novas versões das soluções com as áreas de negócio antes dos lançamentos;
Apoiar a criação de guias de uso, tutoriais e boas práticas para os usuários das soluções de Copilot;
Participar do processo de descoberta e refinamento de novos use cases, trazendo a perspectiva de qualidade e viabilidade desde o início.

#LI-BA1