Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir pipelines de big data e processar conjuntos de dados usando pyspark e sql
Engenheiro de IA, Dados e Web3
Sou um engenheiro de ML e Dados com mestrado em Dados e Inteligência pela Université Claude Bernard Lyon 1. Minha especialidade é conectar a pesquisa avançada em IA com softwares escaláveis e prontos ...
Sobre este Serviço
Está tendo dificuldades com conjuntos de dados massivos ou tempos de processamento lentos?
Sou um Engenheiro de Dados especializado em processamento de Big Data em grande escala, ETL e análise. Construo pipelines de dados altamente otimizados para ingerir, limpar e transformar gigabytes de dados de forma eficiente usando PySpark e Python. Seja para agregações complexas, mapeamento geoespacial ou visualizações limpas, entrego código pronto para produção.
Meus Serviços Principais:
- Pipelines de Big Data: Fluxos de trabalho ETL de alto desempenho usando Apache Spark, PySpark e Python.
- Transformações Avançadas: Consultas Spark SQL otimizadas, funções de janela complexas, UDFs e junções em grande escala.
- Integração de Dados: Limpeza e formatação de dados estruturados/semi-estruturados para análises posteriores.
- Dados Geoespaciais: Processamento de dados baseados em localização e séries temporais.
- Insights Visuais: Transformando big data em visualizações acionáveis usando Pandas e Matplotlib.
Pilha Tecnológica: Python | Apache Spark | PySpark | Spark SQL | Pandas | Matplotlib
Por que me escolher?
Escrevo código limpo, escalável e totalmente documentado, garantindo que suas operações de dados sejam precisas e otimizadas computacionalmente.
Por favor, envie uma mensagem antes de fazer seu pedido para discutir seu conjunto de dados!
_s7yyko.jpg)
Ferramentas e plataformas:
Outros
Perguntas frequentes
Tradução automática
Meus dados estão seguros e confidenciais?
Com certeza. Para garantir total privacidade, não preciso de acesso às suas informações sensíveis. Você pode simplesmente fornecer um conjunto de dados anonimizado ou fictício. Eu construirei e testarei o pipeline usando esses dados e entregarei o código final para você rodar com segurança nos seus dados reais.
Seu código pode rodar em plataformas de nuvem como Databricks, AWS ou GCP?
Sim. Sou especializado em escrever pipelines de PySpark robustos e padrão. Como o código é altamente portátil, você pode executar facilmente os scripts que entrego localmente, no Databricks ou enviá-los para seus próprios clusters de Spark gerenciados na nuvem, como AWS EMR ou Google Cloud Dataproc.
Você consegue lidar com conjuntos de dados de vários gigabytes ou terabytes?
Sim! É exatamente para isso que o Apache Spark foi criado. Escrevo pipelines de dados otimizados e distribuídos, especialmente projetados para processar conjuntos de dados massivos que são grandes demais para workflows padrão de Pandas.
O que exatamente vou receber na entrega?
Você receberá código totalmente comentado, pronto para produção (como scripts .py ou Jupyter Notebooks), além de documentação clara explicando como rodar o pipeline e agendar o trabalho.
