eu vou construir pipelines de ETL com python, airflow, kafka e postgresql

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Inglês

2 pedidos finalizados

web scraping, desenvolvedor Python, desenvolvedor web

Sou um freelancer profissional e dedicado, com paixão por oferecer serviços de alta qualidade aos meus clientes. Tenho um histórico sólido de entregar projetos no prazo e dentro do orçamento, e estou ...
Sobre este Serviço
Seu dados estão espalhados por APIs, arquivos e bancos de dados? Eu entrego pipelines ETL automatizados que coletam, limpam e carregam seus dados para que estejam sempre prontos para usar. Meu experiência: - pipeline Kafka processando 8 GB de mídia por minuto com 35% de latência menor - cluster Celery + Redis lidando com 1.000+ tarefas por minuto - pipeline de crawling diário armazenando 500.000+ vagas de emprego - formação em Engenharia de Software com especialização em Data Science (ETL, data mining) O que eu posso construir: - pipelines ETL / ELT a partir de APIs, CSV, Excel, sites ou bancos de dados - jobs agendados com Apache Airflow, Celery ou cron - streaming em tempo real com Kafka ou RabbitMQ - Carregamento em PostgreSQL, MySQL, Elasticsearch ou AWS (S3, RDS, DynamoDB) - limpeza, transformação e validação de dados Ferramentas: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS Você recebe código limpo e documentado que é seu. Me mande suas fontes de dados e metas, e eu sugiro a pipeline mais simples que funcione.

Destination Platform:

PostgreSQL

•

mySQL

•

Amazon S3

Ferramentas e plataformas:

Kafka Connect