Vou construir pipelines de ETL com python, sql, spark, azure e palantir foundry
Engenheiro de dados, Palantir Foundry, Spark, Azure e Python
Sobre este Serviço
Eu projeto, construo e melhoro pipelines de dados confiáveis para análises, relatórios e casos de uso operacional.
Posso ajudar com:
Desenvolvimento de pipelines ETL e ELT
Transformações em Python, SQL, Spark e PySpark
Fluxos de trabalho de dados no Azure e Databricks
Pipelines Palantir Foundry, modelagem de dados e trabalho com ontologia
Ingestão de dados via API e arquivos
Validação, transformação e verificações de qualidade de dados
Depuração de pipelines e otimização de desempenho
Documentação técnica e código fonte de fácil manutenção
Conjuntos de dados prontos para Power BI e camadas de relatório
Antes de fazer o pedido, compartilhe o objetivo de negócio, sistemas de origem e destino, esquema ou dados de exemplo, volume e frequência esperados, transformações necessárias, restrições da plataforma e expectativas de entrega. Eu revisarei o escopo e recomendarei o pacote adequado.
O acesso a sistemas privados deve ser fornecido por meio de métodos seguros e aprovados.
Ferramentas e plataformas:
Fábrica de dados do Azure
•
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Você trabalha com grandes conjuntos de dados?
Sim. Posso criar transformações Spark e PySpark para grandes conjuntos de dados. Compartilhe, por favor, o volume aproximado, frequência, ambiente e requisitos de desempenho para que eu possa confirmar o escopo.
Você consegue automatizar o processo de ETL?
Sim. Posso automatizar fluxos de ETL ou ELT agendados usando a plataforma acordada, incluindo Azure Data Factory, Databricks ou Palantir Foundry, quando for o caso.
Este serviço inclui fluxos de trabalho de machine learning?
Posso preparar e automatizar o pipeline de dados em torno de um fluxo de ML. Desenvolvimento de modelos ou MLOps devem ser revisados e planejados separadamente, com base nos dados, plataforma e necessidades de implantação.
Você pode preparar dados para Power BI ou relatórios?
Sim. Posso criar conjuntos de dados validados e prontos para relatórios, além de camadas de transformação para Power BI. O desenvolvimento de dashboards pode ser incluído quando estiver no escopo.

