Vou construir uma pipeline de scraping web em python ou automação com IA

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Hindi, Gujarati, Inglês

Engenheiro de automação com IA e backend, Python FastAPI RAG

Construo sistemas de backend e IA que entregam para usuários reais, não apenas demos que caem com 10 pessoas usando. IA & automação: chatbots RAG que respondem com suas próprias dados com citações, e...
Sobre este Serviço

Eu crio pipelines de dados que continuam funcionando após a entrega, não scripts que quebram em uma semana.


O que eu faço:

- Coletar dados de negócios, produtos e contatos de sites e APIs (Google Places, diretórios públicos, sites personalizados)

- Limpar corretamente: números de telefone para E.164, eliminar duplicatas com correspondência fuzzy, verificar emails (MX/SMTP), descartar registros inválidos

- Armazenar em um banco de dados real (PostgreSQL/Supabase) com execuções agendadas ou sob demanda

- Camada opcional de IA: classificar e qualificar cada registro com um LLM mais uma justificativa de uma linha, ou extrair dados estruturados de textos confusos e PDFs


Uso APIs oficiais quando disponíveis e só recorro ao scraping bruto quando não há API, e te digo qual é qual, ao invés de entregar algo que morre na próxima mudança de layout.


Trabalho recente: um motor de leads em grade que cobre quase toda a cidade, ao invés dos 60 resultados truncados que a maioria dos scrapers perde silenciosamente.


Pilha: Python, httpx, BeautifulSoup, Playwright, Pandas, PostgreSQL, APIs de IA.


Me envie suas sites e campos alvo antes de fazer o pedido, assim posso confirmar se é possível e fazer uma cotação precisa.

Tecnologia:

scrapy

selenium

Beautiful Soup

dramaturgo

Pandas

Tipo de informação:

Pesquisa de concorrentes

Técnica:

Automatizado