Vou criar validações de dados e verificações de qualidade usando pyspark, snowflake e aws

Algumas informações foram traduzidas automaticamente.
Sumit

Índia

Eu falo Inglês

26 pedidos finalizados

Engenharia de dados, análise de dados, desenvolvimento web, automação, desenvolvimento de IA

Tenho 11 anos de experiência ampla em Programação de Análise de Dados, Automação, Framework de Qualidade de Dados, REST APIs, Data Warehousing, Engenharia de Nuvem e Desenvolvimento Web. Tenho expert...
Saiba mais

Nível 1

Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.

Sobre este Serviço

Dados ruins levam a decisões ruins. Eu te ajudo a detectar, validar e corrigir problemas de dados construindo estruturas de validação de dados escaláveis e prontas para produção usando ferramentas modernas de engenharia de dados.

O que eu vou fazer

  • Validação de dados e verificações de qualidade
  • Reconciliação de dados entre origem e destino
  • Contagem de linhas, validação de esquema e tipos de dados
  • Verificações de null, duplicados e anomalias
  • Validações de regras de negócio
  • Pipeline de validação automatizado
  • Relatórios detalhados de validação e logs

️ Pilha de tecnologia

  • PySpark validação de dados em grande escala
  • Python regras personalizadas e automação
  • Snowflake validação a nível de warehouse
  • SQL reconciliação e verificações analíticas
  • AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager
Saiba mais
build data validation and quality checks using pyspark snowflake and aws
Tela Inteira
build data validation and quality checks using pyspark snowflake and aws

Especialidade:

Automações

•

Big data

•

etl

•

Normalização

•

SQL

•

NoSQL

Tecnologia:

Amazon Redshift

•

Apache Cassandra

•

Python

•

SQL

•

Snowflake

+ 1

Outros serviços de Engenharia de Dados que eu ofereço

Tags relacionadas