Vou construir uma pipeline de scraping web em python ou automação com IA
Engenheiro de automação com IA e backend, Python FastAPI RAG
Sobre este Serviço
Eu crio pipelines de dados que continuam funcionando após a entrega, não scripts que quebram em uma semana.
O que eu faço:
- Coletar dados de negócios, produtos e contatos de sites e APIs (Google Places, diretórios públicos, sites personalizados)
- Limpar corretamente: números de telefone para E.164, eliminar duplicatas com correspondência fuzzy, verificar emails (MX/SMTP), descartar registros inválidos
- Armazenar em um banco de dados real (PostgreSQL/Supabase) com execuções agendadas ou sob demanda
- Camada opcional de IA: classificar e qualificar cada registro com um LLM mais uma justificativa de uma linha, ou extrair dados estruturados de textos confusos e PDFs
Uso APIs oficiais quando disponíveis e só recorro ao scraping bruto quando não há API, e te digo qual é qual, ao invés de entregar algo que morre na próxima mudança de layout.
Trabalho recente: um motor de leads em grade que cobre quase toda a cidade, ao invés dos 60 resultados truncados que a maioria dos scrapers perde silenciosamente.
Pilha: Python, httpx, BeautifulSoup, Playwright, Pandas, PostgreSQL, APIs de IA.
Me envie suas sites e campos alvo antes de fazer o pedido, assim posso confirmar se é possível e fazer uma cotação precisa.
Tecnologia:
scrapy
•
selenium
•
Beautiful Soup
•
dramaturgo
•
Pandas
Técnica:
Automatizado

