Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Eu vou construir pipelines de dados AWS usando glue, pyspark, s3 e redshift
Engenheiro de Dados AWS sênior criando plataformas de dados escaláveis e prontas para IA
Sou um Engenheiro de Dados Sênior na AWS com mais de 8 anos de experiência construindo plataformas de dados confiáveis e prontas para produção. Ajudo equipes a projetar, auditar e otimizar pipelines d...
Sobre este Serviço
Vou criar pipelines de dados confiáveis na AWS para análises, relatórios, dashboards e casos de uso de data warehouse.
Este serviço é ideal se você tem dados vindo de arquivos, bancos de dados, APIs, aplicações, S3 ou bancos de dados existentes e quer processá-los usando serviços da AWS como Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA ou ferramentas relacionadas.
Posso ajudar com:
- Design e implementação de pipelines ETL/ELT na AWS
- Ingestão de dados de arquivos, APIs, bancos de dados ou armazenamento na nuvem
- Estrutura de data lake no S3
- Workflows com Glue, EMR, PySpark, Redshift e Athena
- Limpeza, transformação e carregamento de dados
- Verificações de qualidade de dados e validações
- Logging, pontos de auditoria e monitoramento básico
- Correções e melhorias nos pipelines
- Recomendações de custo, desempenho e escalabilidade
- Documentação e notas de entrega
Casos de uso comuns:
- Construir um novo pipeline de dados na AWS
- Migrar de On-Prem para AWS
- Mover dados para S3 ou Redshift
- Preparar dados para BI/relatórios
- Melhorar um processo ETL existente
- Criar conjuntos de dados prontos para análise
- Revisar a qualidade, custo ou escalabilidade do pipeline
Por favor, envie uma mensagem antes de fazer o pedido para que possamos confirmar sua fonte de dados, configuração na AWS, saída esperada, requisitos de acesso e o pacote adequado.
Destination Platform:
Amazon Redshift
•
PostgreSQL
•
Amazon S3
•
Outros
Ferramentas e plataformas:
AWS Glue DataBrew
•
Outros
Meu portfólio
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
Com quais serviços da AWS você trabalha?
Eu trabalho com Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA, IAM, CloudWatch e serviços relacionados de dados da AWS.
Você consegue construir um pipeline completo de ETL na AWS?
Sim. Posso criar pipelines de ETL/ELT na AWS para arquivos, APIs, bancos de dados ou armazenamento na nuvem e preparar os dados para análises, relatórios, Athena, Redshift ou dashboards.
Preciso fornecer acesso à AWS?
Para trabalhos de implementação, pode ser necessário acesso limitado à AWS. Se preferir, podemos revisar requisitos, capturas de tela, dados de exemplo ou arquitetura antes de compartilhar o acesso.
Você consegue melhorar um pipeline existente na AWS?
Sim. Posso revisar, corrigir, melhorar ou otimizar pipelines existentes na AWS, incluindo lógica de ETL, jobs Spark, estrutura do S3, uso de Redshift/Athena, verificações de qualidade e problemas de desempenho.
Você consegue migrar dados de bancos de dados ou fontes locais para a AWS?
Sim. Posso ajudar a migrar dados de bancos de dados locais, arquivos ou outras fontes para a AWS usando serviços como S3, AWS Glue, DMS, EMR/PySpark, Redshift e Athena, dependendo da sua fonte, volume e caso de uso.
Você fornece verificações de qualidade de dados?
Sim. Os pacotes padrão e premium podem incluir verificações básicas de qualidade de dados, regras de validação, verificações de duplicidade, verificações de esquema e pontos de logging.
Você pode trabalhar com grandes conjuntos de dados?
Sim. Posso criar pipelines escaláveis usando S3, Glue, EMR/PySpark, particionamento, Parquet, Athena e Redshift, dependendo do volume de dados e necessidades de processamento. Tenho experiência com petabytes de dados.
Você fornecerá documentação?
Sim. A entrega inclui documentação ou notas de entrega com base no pacote escolhido, incluindo fluxo do pipeline, etapas de configuração, suposições e instruções de uso.
Devo enviar uma mensagem antes de fazer o pedido?
Sim, por favor envie uma mensagem antes de fazer o pedido para que possamos confirmar sua fonte de dados, configuração na AWS, saída esperada, requisitos de acesso, cronograma e o melhor pacote.
