Vou fazer web scraping e extração de dados de sites com muito javascript

Eu faço scraping de páginas públicas, aquelas que qualquer um pode abrir sem precisar de conta. Sem contornar paywall e sem logins, a menos que você seja o proprietário da conta e autorize por escrito. Eu leio a fonte e seus termos antes de citar, e já recusei trabalhos por esse motivo.

Se um site bloquear ativamente o acesso automatizado, eu te aviso antes de você fazer o pedido e proponho uma alternativa: uma API oficial, uma exportação de dados, uma fonte de dados licenciada ou um site diferente com os mesmos dados. Não tento contornar as medidas de segurança de um site.

CSV por padrão, porque abre em qualquer lugar. Excel, JSON, uma Google Sheet ou uma escrita direta em PostgreSQL, MySQL ou BigQuery, mediante solicitação. Os nomes das colunas e os tipos de dados são combinados antes de eu começar, assim você não precisa renomear cabeçalhos após a entrega.

Sim. Título, preço, desconto, SKU, variantes, estoque, vendedor, avaliações e texto de review. Já extraí milhões de listagens de marketplaces como TikTok Shop, Kaufland, bol.com, La Redoute e B&Q. Catálogos de lojas são cotados pelo número de produtos, não pela loja.

Sim, embora uma construção recorrente seja mais adequada para o meu gig de scraper do que para este aqui. Este gig te entrega um conjunto de dados. Se você quiser o mesmo pull diário ou semanal, chegando automaticamente em algum lugar, me envie uma mensagem e eu te passo o link certo.

Para um pull único, não faz diferença, você já tem o arquivo. Para qualquer coisa recorrente, eu escrevo seletores que resistem a mudanças de layout e adiciono uma verificação que alerta quando um campo começa a ficar vazio. Quebra silenciosa é a falha contra a qual vale a pena se proteger.

Confortavelmente seis dígitos. O único trabalho foi mais de 600.000 imóveis de um sistema de registros de um condado: raspados, estruturados e filtrados para o subconjunto que o cliente realmente precisava. Acima de aproximadamente 50.000 registros, eu cotizo como uma oferta personalizada.

Dois dias para uma fonte simples de tamanho Basic. Cinco dias quando há paginação e limpeza em vários milhares de registros. Sete dias para um site com muito JavaScript ou protegido em volume. Eu te dou a data antes de você fazer o pedido e não faço cotação otimista.

Este gig entrega os dados, além de uma nota de como foram coletados para que o pull possa ser repetido. Se você quiser o scraper em si, com o código fonte que você possui e pode rodar novamente, esse é o gig de build. Me avise antes de pedir e eu te direciono para ele.

Sim, como um complemento. E-mail de negócios, telefone, site e nomes dos decisores, onde estiverem disponíveis publicamente. A cobertura varia bastante por setor, e eu te digo o que é realista antes de você fazer o pedido, ao invés de depois. Diga quais campos importam e eu incluo no preço.