Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir uma pipeline de big data dockerizada usando spark e hadoop
DOTNET, C sharp, pipelines de ETL
Mais de 4 anos de experiência em fintech com .NET / C# (mais de 6 anos no total). Eu crio e mantenho sistemas críticos para a infraestrutura de bancos de investimento.
Posso te ajudar com:
✅ APIs RE...
Sobre este Serviço
Vou configurar um pipeline de Big Data totalmente Dockerizado usando Apache Spark e Hadoop, pronto para processamento de dados em tempo real ou workflows de ETL em batch - ideal para implantação local ou na nuvem.
O que está incluído (com base no seu pacote selecionado):
- Configuração do Docker Compose para Spark + Hadoop
- Exemplo de job Spark pré-configurado
- Saída integrada no HDFS
- Código limpo, modular, com comentários
- Instruções passo a passo para uso local ou na nuvem
Casos de uso:
- Ingestão e transformação de dados de sensores IoT
- Análise de transações financeiras
- Processamento em batch de grandes conjuntos de dados CSV/JSON
- Pipeline de séries temporais para HDFS para armazenamento de longo prazo
- Enriquecimento opcional com IA GPT usando API da OpenAI para resumir ou marcar
Ideal para engenheiros, startups ou equipes que precisam de uma solução rápida para infraestrutura de dados escalável.
Precisa de extras como uma API REST, integração com OpenAI, monitoramento (Grafana/Prometheus) ou implantação na AWS EC2? É só pedir!
Por favor, note:
- Os entregáveis dependem do pacote escolhido
- Ofertas personalizadas estão disponíveis - é só me enviar uma mensagem!
- Inclui 2 mensagens de acompanhamento para esclarecimentos após a entrega
- Você é responsável por testar/rodar em seu próprio ambiente
- Uso da OpenAI requer sua própria chave de API
Ferramentas e plataformas:
Kafka Connect
•
Apache NiFi
•
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Isso vai funcionar na minha máquina local?
Sim! Forneço uma configuração Docker Compose que roda em qualquer sistema com Docker e mais de 4GB de RAM.
Posso implantar isso na nuvem?
Com certeza — vou te orientar nos passos básicos de implantação em serviços como AWS EC2. Me diga sua plataforma de preferência.
Inclui um job Spark real?
Sim, você receberá um job de exemplo funcional que lê e escreve no HDFS, fácil de expandir para suas necessidades.
E se eu precisar de integração com Kafka ou Flink também?
Isso está disponível como um extra personalizado ou serviço adicional. Fique à vontade para me enviar uma mensagem para definir os detalhes!
O código-fonte está incluído?
Sim, o código fonte está totalmente incluso e bem comentado para facilitar a personalização.
Você pode adicionar integração com GPT ou OpenAI a essa pipeline?
Sim! Ofereço integração com OpenAI GPT para processar ou enriquecer seus dados no Spark. É só escolher o extra do serviço ou me enviar uma mensagem para uma configuração personalizada.
