Ref. AO5648
Estamos à procura de um Data Engineer – Azure para se juntar à nossa equipa.
Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, envia-nos a tua candidatura! Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!
Competências técnicas:
– Desenvolvedor Databricks e PySpark no ecossistema Databricks: Proficiência na criação, gestão e otimização de Workspaces e Notebooks do Databricks
– Experiência com o Databricks Unity Catalog para governação de dados, controlo de acesso e gestão de metadados
– Conhecimento dos fluxos de trabalho do Databricks (Jobs, orquestração)
– Computação distribuída (PySpark): Sólida experiência prática na utilização do PySpark (DataFrames, conjuntos de dados e RDDs do Spark) para o processamento de dados em grande escala
– Conhecimento aprofundado da arquitetura do Spark: controladores, executores, trabalhadores, partições, gestão de memória e operações de shuffle
– Capacidade de ajustar e otimizar aplicações do Spark (gestão de assimetria de dados, junções de difusão, estratégias de cache e ajuste de memória)
– Linguagens e Armazenamento de Dados Python: Familiaridade com bibliotecas de análise de dados (por exemplo, Pandas, NumPy) e scripts de automatização da biblioteca padrão. SQL: Competências em SQL de nível avançado (JOINs complexos, funções de janela, CTEs, agregações e ajuste de consultas)
– Experiência com Spark SQL para transformação e análise de dados
– Arquitetura de dados e engenharia de pipelines Pipelines de dados e ETL/ELT: conceção, construção e manutenção de pipelines de dados em lote de grande volume e de streaming em tempo real (Structured Streaming)
– Implementação da arquitetura Medallion (camadas Bronze, Prata e Ouro) utilizando o Delta Lake
– Padrões de carregamento incremental de dados (Captura de Alterações de Dados – CDC, MERGE INTO, Auto Loader)
– Conceitos de armazenamento de dados: Conhecimento de técnicas de modelação de dados (modelação dimensional, esquemas em estrela/floco de neve, Data Vault)
– Infraestrutura na nuvem, CI/CD e DevOps (Desejável / Preferencial) Fornecedores de serviços na nuvem: Experiência prática com o Azure, integração com o Databricks (por exemplo, AWS S3, Azure ADLS Gen2, Snowflake)
– Práticas de DevOps e Engenharia de Software: Controlo de versões utilizando o Git (GitHub, Azure DevOps ou GitLab)
– Experiência com pipelines de CI/CD para a implementação de código do Databricks (utilizando Databricks Asset Bundles, Terraform ou APIs REST)
– Testes automatizados para tarefas do PySpark (pytest) e ferramentas de validação de dados (por exemplo, Great Expectations)
Competências pessoais:
– Boas capacidades de comunicação e relacionamento interpessoal
– Proativo
– Espírito de equipa
Ficaste interessado/a nesta oportunidade?
Preenche o formulário.
Partilha esta oportunidade:
