Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou configurar um pipeline de análise de eventos auto-hospedado com carga de dados brutos no bigquery
Engenheiro de Dados e de Análise
Sou Engenheiro de Dados / Engenheiro de Análise com ampla experiência em construir sistemas de análise, pipelines ETL / ELT, Data Warehouses, relatórios de BI para análise de produto, marketing e jogo...
Sobre este Serviço
Se você quer ter controle total sobre seus dados de análise sem depender completamente de plataformas de rastreamento de terceiros, posso montar um pipeline de eventos auto-hospedado para você.
Este projeto é feito para equipes que desejam uma base de análise limpa e prática:
- rastreamento de eventos personalizado
- propriedade dos eventos brutos
- armazenamento portátil
- consultas prontas para BigQuery
- suporte para web, backend, app ou jogos
O que entregarei
- implantação de uma API de ingestão de eventos
- coleta de eventos via chave de API
- buffer de eventos usando NATS JetStream
- armazenamento de eventos brutos como arquivos Parquet particionados no Google Cloud Storage
- configuração de tabela externa no BigQuery para consultar os dados brutos
- configuração para seu setup inicial de produtor de eventos
- versão open source do Metabase (opcional)
Casos de uso típicos
- análise de produto para web/app, extensões de navegador
- sistema personalizado de rastreamento de eventos backend
- fundação de eventos brutos antes de dashboards ou BI
- análise de jogos
Nota importante sobre o escopo
Este projeto configura a infraestrutura de ingestão de eventos e análise bruta.
Não inclui:
- um dashboard de análise completo
- implementação avançada de BI
- uma interface completa de análise de produto
Requisitos do projeto
- subdomínio
- projeto GCP, VM que ajudarei a configurar
Destination Platform:
Google BigQuery
•
Google Cloud Storage
Ferramentas e plataformas:
Outros
Perguntas frequentes
Tradução automática
O que é DataQuery (oferta atual do projeto)?
DataQueryEvent é um pipeline auto-hospedado de rastreamento de eventos no app, ingestão e armazenamento bruto para análise de produto, aplicação e jogos. É um projeto open source desenvolvido e mantido por mim.
DataQuery é uma plataforma de análise SaaS?
Não. DataQuery é um pipeline de análise auto-hospedado implantado na sua infraestrutura.
Quem hospeda o sistema?
Você que sim. A configuração padrão suporta o uso da sua própria VM e serviços do Google Cloud onde necessário.
O que acontece à medida que o volume de eventos cresce?
A configuração padrão começa simples, geralmente em uma VM, e pode ser escalada posteriormente conforme seu tráfego aumenta. VMs na nuvem são fáceis de escalar, normalmente o desempenho de computação pode ser aumentado apenas ajustando configurações na interface.
Onde os dados brutos são armazenados?
Eventos brutos são escritos no armazenamento blob em formato Parquet (Google Cloud Storage por padrão).
Que tipos de produtos podem usar isso?
Web apps, sites, apps móveis, extensões Chrome, jogos e serviços backend.
Eu sou o proprietário dos dados?
Sim. O sistema foi projetado em torno da propriedade e portabilidade dos dados brutos.
Você pode ajudar a definir o esquema de eventos?
Sim. Posso ajudar a estruturar nomes de eventos, parâmetros e limites de produtores.
Isso inclui dashboards?
Não, este projeto foca na ingestão e infraestrutura de análise bruta, mas posso implantar uma versão open source do Metabase para suas necessidades de BI. Desenvolvimento de dashboards pode ser adicionado separadamente.
