Vou construir um inventário de conteúdo de site com URLs e metadados
Coleta e processamento de dados web
Sobre este Serviço
Vou transformar uma lista fornecida pelo comprador de URLs de sites acessíveis publicamente em um inventário de conteúdo organizado.
Sua entrega pode incluir o URL da página, status HTTP, título, meta descrição, URL canônica e sinais de duplicidade de título ou descrição. Organizo e verifico o inventário antes da entrega em CSV, Excel XLSX ou JSON.
Para pedidos de várias páginas, por favor, forneça os URLs exatos das páginas públicas em um arquivo; a descoberta de páginas de todo o site a partir de uma homepage não está incluída.
Trabalho apenas com fontes públicas, fornecidas pelo cliente, licenciadas ou de outra forma autorizadas. Páginas protegidas por login, senhas, bypass de CAPTCHA, sistemas privados e coleta de dados pessoais proibida não estão incluídas.
Envie alguns URLs representativos antes de fazer o pedido, caso não tenha certeza se a fonte é compatível.
Tecnologia:
Python
•
Excel
•
scrapy
•
Beautiful Soup
•
Pandas
Técnica:
Automatizado
Meu portfólio
Perguntas frequentes
Tradução automática
Você consegue descobrir todas as páginas a partir de uma homepage?
Não neste pacote. Para trabalhos com várias páginas, por favor, forneça os URLs exatos das páginas públicas em um arquivo. Posso processar uma homepage fornecida como um inventário de uma página.
Quais campos o inventário pode incluir?
Campos típicos são URL da página, status HTTP, título, meta descrição, URL canônica e sinais de duplicidade de título ou descrição.
Você processa páginas privadas ou protegidas por login?
Não. Trabalho apenas com páginas acessíveis publicamente, fornecidas pelo cliente, licenciadas ou de outra forma autorizadas, e não contorno controles de acesso.
Quais formatos você pode entregar?
Posso entregar em CSV, Excel XLSX ou JSON. CSV costuma ser a escolha mais simples para um inventário de conteúdo.
E se alguns URLs fornecidos falharem?
URLs públicos que falharem ou estiverem indisponíveis são mantidos com seu status, sempre que possível, para que o inventário mostre claramente o que foi acessível e o que não foi.
