Eu vou construir, consertar ou otimizar sua pipeline de dados ETL em Python
Engenheiro de Dados Sênior e Engenheiro de Produtos de IA
Sobre este Serviço
Precisa que uma pipeline de dados seja construída, consertada ou melhorada?
Sou um Engenheiro de Dados Sênior com experiência na entrega de sistemas de dados em produção em bancos, construção e startups, incluindo trabalho de transformação de dados na integração UBSCredit Suisse.
Posso ajudar você a:
Construir pipelines ETL/ELT a partir de APIs, bancos de dados ou arquivos
Depurar e melhorar pipelines existentes de Python, SQL ou PySpark
Integrar APIs com bancos de dados, data lakes ou armazéns de dados
Construir workflows no Databricks, Azure Data Factory ou Airflow
Adicionar validações, checagens de qualidade de dados e testes
Melhorar processamento de dados lento ou caro
Documentar sua pipeline para facilitar a manutenção
Trabalho com Python, SQL, Databricks, PySpark, Delta Lake, Azure Data Factory, Airflow, PostgreSQL, SQL Server e plataformas de dados Azure.
Cada projeto é diferente, então para qualquer coisa além de uma pequena correção, envie uma mensagem antes de fazer o pedido. Vou ajudar a definir o escopo e recomendar a solução mais simples.
Meu portfólio
Perguntas frequentes
Tradução automática
O que você precisa de mim antes de começar?
Uma descrição do problema, suas fontes de dados atuais e destino, e qualquer código relevante, esquemas ou documentação da API. Para projetos maiores, envie uma mensagem antes de fazer o pedido para que possamos concordar o escopo.
Você consegue consertar uma pipeline existente ao invés de construir uma nova?
Sim. Posso solucionar problemas de pipelines de Python, SQL, PySpark, Databricks, Azure Data Factory e relacionados, identificar a causa do problema e implementar uma correção.
Com quais fontes de dados você trabalha?
Posso trabalhar com APIs REST, bancos de dados SQL, PostgreSQL, SQL Server, arquivos como CSV/JSON/Parquet, data lakes e outras fontes comuns. Envie uma mensagem se você tiver um sistema menos comum.
Você consegue otimizar uma pipeline lenta ou cara?
Sim. Posso revisar a arquitetura e o código, identificar gargalos e melhorar áreas como transformações, processamento Spark, layout de dados, paralelismo e computação desnecessária.
Você consegue trabalhar com Databricks e Azure?
Sim. Engenharia de dados com Databricks e Azure são áreas centrais da minha experiência profissional, incluindo PySpark, Delta Lake, Azure Data Factory, ADLS e plataformas baseadas em SQL.
Devo entrar em contato com você antes de fazer o pedido?
Para o pacote Basic, uma tarefa pequena bem definida pode ser encomendada diretamente. Para Standard, Premium ou qualquer projeto cujo escopo seja incerto, envie uma mensagem primeiro.
