Sobre a vaga
**Quem é o candidato que buscamos:**
Buscamos uma pessoa engenheira de dados sênior que construa a fundação de dados para os casos de uso de Inteligência Artificial da Rock Encantech. Ela será responsável por levar soluções de IA do protótipo à produção com qualidade, governança e custo controlado, conectando a plataforma de dados existente a aplicações de LLM, recomendação e personalização para o varejo. A entrega de valor esperada é acelerar a capacidade da Rock de oferecer produtos com IA para varejistas, sem depender de esforços isolados e difíceis de sustentar. O perfil ideal tem profundidade técnica em engenharia de dados, experiência prática com pipelines para IA e maturidade para tomar decisões de arquitetura, documentar e elevar o nível técnico do time.
**Principais atividades:**
- Projetar, construir e manter pipelines de dados em batch e streaming que alimentam modelos e aplicações de IA, usando Databricks (Spark, Delta Lake) e serviços AWS (S3, Glue, EMR Serverless)
- Construir pipelines de ingestão, limpeza, chunking e geração de embeddings para aplicações de RAG, incluindo gestão de índices vetoriais (Databricks Vector Search ou similares)
- Estruturar e manter feature stores e datasets curados para modelos de recomendação, propensão e personalização no contexto de varejo e fidelidade
- Implantar práticas de MLOps e LLMOps: versionamento de dados e modelos, rastreabilidade com MLflow, monitoramento de qualidade, drift e custo em produção
- Garantir governança dos dados usados por IA no Unity Catalog, com controle de acesso, linhagem, anonimização de dados pessoais e conformidade com LGPD
- Otimizar performance e custo de pipelines e workloads de IA (clusters, jobs, inferência, uso de tokens), em linha com as metas de FinOps da plataforma
- Atuar junto ao Data Product Manager, Analytics e squads de produto para transformar casos de uso de IA em soluções escaláveis e mensuráveis
- Definir padrões técnicos, revisar código e conduzir decisões de arquitetura de dados para IA, documentando trade-offs
- Implementar testes, validações de qualidade de dados e avaliações (evals) para saídas de modelos e aplicações com LLM
- Apoiar o desenvolvimento técnico de engenheiros plenos e juniores por meio de pareamento, revisão de código e compartilhamento de conhecimento
**Observações:**
**Perfil acadêmico e habilidades**
- Formação superior em Ciência da Computação, Engenharia, Sistemas de Informação, Matemática, Estatística ou áreas correlatas
- Experiência sólida como Engenheiro(a) de Dados, com atuação em nível sênior em ambientes de produção
- Domínio de Python e SQL para processamento de dados em larga escala
- Experiência avançada com Apache Spark e Delta Lake, preferencialmente em Databricks
- Experiência com serviços de dados da AWS (S3, Glue, EMR, Athena, IAM)
- Experiência prática na construção de pipelines para aplicações de IA ou ML em produção
- Conhecimento de arquitetura lakehouse, modelagem de dados (incluindo star schema) e camadas medallion
- Experiência com orquestração de pipelines (Databricks Workflows, Airflow ou similares) e CI/CD com Git
- Conhecimento de conceitos de LLMs, embeddings, bancos vetoriais e RAG
- Boas práticas de qualidade de dados, observabilidade, segurança e privacidade (LGPD)
**Qualificações desejáveis**
- Experiência com Databricks Mosaic AI, Vector Search, Model Serving e Unity Catalog
- Experiência com MLflow, feature stores e monitoramento de modelos em produção
- Vivência com frameworks de aplicações LLM (LangChain, LlamaIndex, DSPy ou similares) e APIs de modelos de linguagem
- Experiência com avaliação de aplicações de LLM (evals, LLM-as-judge, métricas de RAG)
- Conhecimento de sistemas de recomendação e modelos de propensão aplicados a varejo
- Experiência com otimização de custo de workloads de dados e IA em cloud
- Experiência com Delta Sharing ou compartilhamento de dados com parceiros externos
- Conhecimento de Infraestrutura como Código (Terraform)
- Certificações Databricks (Data Engineer Professional, ML Associate) ou AWS
- Inglês intermediário a avançado para leitura de documentação e papers técnicos
**Observações**
A pessoa atuará na squad Plataforma de Dados da tribo Shared Services e será uma referência técnica em dados para IA na Rock. Buscamos alguém que goste de levar coisas para produção, não apenas de prototipar. Sugestão de etapa no processo: desafio técnico ou conversa de system design sobre um pipeline de RAG ou recomendação, avaliando decisões de arquitetura, governança e custo.