Ver categorias
Explorar
Fiverr Pro
Português
$
USD
vou construir pipelines automatizadas de ETL em Python a partir de APIs REST para o BigQuery
Engenheiro(a) de Dados Python para pipelines ETL no BigQuery e integrações de API
Eu monto pipelines de dados automatizados que substituem exports manuais e relatórios em planilhas. Sou engenheiro de dados em Python com mais de 3 anos de experiência em produção, movendo dados de AP...
Sobre este Serviço
Seu dados ficam presos em APIs, bancos de dados e planilhas que alguém exporta manualmente toda semana? Eu substituo isso por um pipeline Python automatizado que carrega tudo no BigQuery de forma confiável.
Sou engenheiro de dados Python com mais de 3 anos de experiência. No meu cargo atual eu monto e sigo pipelines de produção que puxam dados de várias APIs de plataformas para um data warehouse no BigQuery.
O que eu gero
- ETL em Python a partir de REST APIs, PostgreSQL/MySQL, CSV/Excel ou Google Sheets para BigQuery
- Carregamento incremental com merges baseados em chave para evitar linhas duplicadas ao reexecutar
- Retries, tratamento de rate limit, logging e validação de dados
- Agendado com Cloud Scheduler e Cloud Run, ou cron no seu servidor, embalado em Docker
- Tabelas de relatório SQL limpas para Looker Studio ou qualquer ferramenta de BI
Como funciona
- Você compartilha a documentação da API ou dados de exemplo e concede acesso através de sua própria conta de serviço
- EuCONFIRMO campos, agenda e empacoto antes de começar
- Você recebe o código, um guia de configuração e um pipeline rodando no seu projeto
Não incluído: licenças de conectores pagas, acesso à API que você não tem, ou monitoramento contínuo (veja extras).
Manda uma mensagem com a sua fonte e destino e eu recomendo o pacote certo.
Destination Platform:
Google BigQuery
•
PostgreSQL
•
mySQL
Ferramentas e plataformas:
Outros
Perguntas frequentes
Tradução automática
O que você precisa de mim para começar?
Documentos da API ou arquivos de amostra, os campos que você precisa e o seu projeto BigQuery. Por favor, conceda acesso através de uma conta de serviço ou OAuth na sua conta com as permissões mínimas necessárias. Nunca me mande a senha da sua conta principal.
Você trabalha com bancos de dados além do BigQuery?
Sim. Eu também gero dados no PostgreSQL e MySQL, e automatizei migrações Oracle PL/SQL para PostgreSQL com Python.
O pipeline vai continuar rodando após a entrega?
Fluxos Standard e Premium são agendados, seguros para reexecutar e registram cada execução; o Premium também envia alertas de falha. Se a API de origem mudar depois, atualizações estão disponíveis por meio do extra de suporte de 30 dias ou uma oferta personalizada.
Quais fontes de dados você pode conectar?
Qualquer API REST ou GraphQL com documentação e credenciais, PostgreSQL, MySQL, CSV/Excel, Google Sheets e Cloud Storage. Se a sua origem não tiver API oficial, me avise primeiro e eu confirmo se é viável.
Preciso de minha própria conta Google Cloud?
Sim. o pipeline roda no seu projeto GCP, então você possui o código, os dados e a cobrança. Vou te orientar em qualquer configuração necessária.
Quanto vai custar o BigQuery para mim?
Depende do volume de dados, armazenamento, consultas e frequência de atualização. Eu particiono e agrupo (cluster) tabelas e desenho consultas para manter os custos sob controle. A cobrança fica na sua própria conta do Google Cloud.
Com que frequência os dados podem ser atualizados?
Por hora, diário ou em um cronograma personalizado, limitado pelos limites de taxa da API de origem. Streaming em tempo real é uma cotação personalizada.
Quanta dados históricos você pode carregar?
Tanto quanto a API de origem permitir. Premium inclui backfill de 12 meses, e o extra de Histórico adiciona até 24 meses a mais.
