Vou criar validações de dados e verificações de qualidade usando pyspark, snowflake e aws

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês

26 pedidos finalizados

Engenharia de dados, análise de dados, desenvolvimento web, automação, desenvolvimento de IA

Tenho 11 anos de experiência ampla em Programação de Análise de Dados, Automação, Framework de Qualidade de Dados, REST APIs, Data Warehousing, Engenharia de Nuvem e Desenvolvimento Web. Tenho expert...

Nível 1

Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.

Sobre este Serviço

Dados ruins levam a decisões ruins. Eu te ajudo a detectar, validar e corrigir problemas de dados construindo estruturas de validação de dados escaláveis e prontas para produção usando ferramentas modernas de engenharia de dados.

O que eu vou fazer

  • Validação de dados e verificações de qualidade
  • Reconciliação de dados entre origem e destino
  • Contagem de linhas, validação de esquema e tipos de dados
  • Verificações de null, duplicados e anomalias
  • Validações de regras de negócio
  • Pipeline de validação automatizado
  • Relatórios detalhados de validação e logs

Pilha de tecnologia

  • PySpark validação de dados em grande escala
  • Python regras personalizadas e automação
  • Snowflake validação a nível de warehouse
  • SQL reconciliação e verificações analíticas
  • AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager

Especialidade:

Automações

Big data

etl

Normalização

SQL

NoSQL

Tecnologia:

Amazon Redshift

Apache Cassandra

Python

SQL

Snowflake

Outros serviços de Engenharia de Dados que eu ofereço