eu vou construir pipelines de ETL com python, airflow, kafka e postgresql
web scraping, desenvolvedor Python, desenvolvedor web
Sobre este Serviço
Destination Platform:
PostgreSQL
•
mySQL
•
Amazon S3
Ferramentas e plataformas:
Kafka Connect
Perguntas frequentes
Tradução automática
Você consegue fazer a implantação do pipeline?
Sim. Posso implantar no seu servidor ou na AWS (EC2, Lambda, S3) e configurar agendamento.
Você trabalha com meu banco de dados existente?
Sim. Trabalho com PostgreSQL, MySQL, SQLite e Elasticsearch, e serviços da AWS como RDS e DynamoDB.
Vou receber o código-fonte?
Sim. Você recebe o código-fonte completo com instruções de configuração e documentação.
Você pode construir pipelines de streaming em tempo real?
Sim. Já construí pipelines Kafka lidando com 8 GB de dados por minuto, além de RabbitMQ e filas de tarefas Celery.
Quais fontes de dados você consegue conectar?
APIs REST, arquivos CSV e Excel, sites (via scraping), bancos de dados e armazenamento em nuvem como S3.
O que você precisa de mim para começar?
Suas fontes de dados, o destino, com que frequência os dados devem ser atualizados e quaisquer detalhes de acesso para ambientes de teste.

