Vou construir pipelines de dados ETL em python e automatizar seus fluxos de trabalho de dados
Engenheiro de Dados Sênior e Desenvolvedor Fullstack
Sobre este Serviço
Precisa de um pipeline ETL confiável ou fluxo de trabalho de dados?
Vou criar um pipeline de dados em Python limpo e escalável para extrair, transformar e carregar seus dados.
### O que posso fazer
- pipelines ETL / ELT em Python
- Integração com API, CSV, JSON e banco de dados
- Limpeza e transformação de dados
- Desenvolvimento de SQL e banco de dados
- Fluxos de trabalho com Apache Airflow / NiFi
- Integração com data warehouse
- Automação e tratamento de erros
### Tecnologias
- Python
- SQL
- Airflow
- NiFi
- Spark
- AWS
- Snowflake
- BigQuery
- PostgreSQL
- MySQL
- dbt
- Airbyte
Com mais de 10 anos de experiência em engenharia de dados, foco em soluções confiáveis, fáceis de manter e escaláveis.
Por favor, envie uma mensagem antes de fazer o pedido para discutir suas necessidades.
Perguntas frequentes
Tradução automática
Com quais fontes de dados você pode trabalhar?
Posso trabalhar com APIs, CSV, JSON, Excel, bancos de dados SQL, bancos NoSQL e outras fontes de dados estruturados.
Você consegue conectar minha API a um banco de dados?
Sim. Posso criar um pipeline em Python que extrai dados da sua API, transforma, valida e carrega no seu banco de dados.
Você pode automatizar o pipeline?
Sim. Posso usar ferramentas como Apache Airflow para agendar e automatizar fluxos de trabalho de dados recorrentes.
Você pode trabalhar com data warehouses na nuvem?
Sim. Tenho experiência com AWS Redshift, BigQuery, Snowflake, ClickHouse e outras plataformas modernas de dados.
Você pode trabalhar com grandes conjuntos de dados?
Sim. Tenho experiência em projetar soluções de dados para ambientes de grande escala, incluindo uma solução de data warehousing que processa aproximadamente 100TB de dados por dia.
Você fornece documentação?
Sim. A documentação pode ser incluída dependendo do pacote escolhido.
Devo entrar em contato com você antes de fazer o pedido?
Sim. Por favor, envie suas fontes de dados, banco de dados/plataforma de destino, fluxo de trabalho esperado e qualquer código ou documentação existente para que eu possa recomendar o pacote adequado.
