Vou configurar uma pilha de dados moderna aproveitando dbt, metabase, postgresql e airbyte

Algumas informações foram traduzidas automaticamente.
4,3
4,3

Quênia

Eu falo Inglês

56 pedidos finalizados

Desenvolvendo pipelines de dados e IA resistentes, confiáveis e robustos

Sou especialista em transformar dados de negócios desorganizados em pipelines confiáveis, armazéns na nuvem, conjuntos de dados prontos para análise e sistemas de dados prontos para IA. Ajudo startup...
Sobre este Serviço

Imagine as seguintes situações:

  • Uma empresa madura com pouca ou nenhuma infraestrutura digital consolidando e transformando dados automaticamente, sem expertise para implementar ou gerenciar uma solução
  • Uma startup querendo aproveitar seus dados existentes, mas com pouco ou nenhum orçamento para fazer isso com soluções comerciais
  • Um dia chuvoso, sem muito o que fazer, além de aprender a montar uma pilha de dados autossuficiente


Proponho usar várias soluções que permanecem open-source e, combinadas, podem criar uma pilha de dados que atende aos requisitos mínimos:

  • Orquestração de tarefas - Airflow
  • Integração de dados - Airbyte
  • Armazenamento de dados - PostgreSQL
  • Transformação de dados - DBT


Ela pode ser executada localmente ou remotamente, desde que a instância atenda aos seguintes requisitos:

Núcleos: 2

RAM: 4GB (RAM mínima recomendada para a versão mais recente do Airflow)

Memória: mínimo de 12GB (sem contar os dados baixados pelo Airbyte)

Docker (https://docs.docker.com/engine/install/ubuntu/) e Docker Compose (https://docs.docker.com/compose/install/) instalados

Python: (não incluindo a versão 3.9, para compatibilidade com DBT)

Ubuntu: >= 18.04

O restante do processo de instalação é feito em um terminal local ou Webserver

Especialidade:

Extração de dados

Manipulação de dados

Tecnologia:

Amazon Redshift

BigQuery

Python

SQL

NoSQL

Meu portfólio

Outros serviços de Engenharia de Dados que eu ofereço

Avaliações

6 avaliações deste Serviço
4,3

(3)
(2)
(1)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    4,5
  • Qualidade da entrega
    3,7
  • Valor da entrega
    4
Ordenar por
Mais relevante
  • C
    image-docs

    cemkocabasa

    TR

    Turquia

    3

    I have what I wanted to have. But the level of involvement I imagined was far less. I had to send the same Json file 3-4 times for him to see it. Also he was hesitant to troubleshoot saying it wasn't part of the agreement. Which imo doesn't make sense because I was asking him to troubleshoot so I can...

    US$ 100-US$ 200

    $

    3 semanas

    Tempo

    Útil?
    Sim
    Não
  • S

    shane_provost

    US

    Estados Unidos

    4

    Quality of work was very good, and the documentation was pretty comprehensive. What was delivered was what I needed and will add a ton of value to my service!

    US$ 100-US$ 200

    $

    10 dias

    Tempo

    Útil?
    Sim
    Não
  • B
    image-docs

    brandonsings

    US

    Estados Unidos

    4,7

    A really knowledgable and responsive seller who went above and beyond my expectations. Not only did he deliver quickly, he also helped teach me a few things along the way. Thanks so much!

    US$ 200-US$ 400

    $

    2 semanas

    Tempo

    Útil?
    Sim
    Não
  • L

    lonzin3

    GB

    Reino Unido

    5

    Wow, what an incredible experience working with Grivine! I was in a tough spot with my company's data, and they came to the rescue. He successfully set up data integration using Airbyte for us, and it has been a game-changer. Our data flows seamlessly, and we're finally making informed decisions.

    Até US$ 50

    $

    2 dias

    Tempo

    Útil?
    Sim
    Não
  • L

    local_toast

    DE

    Alemanha

    4,3

    Getting an ELT stack up and running required far more work and effort from my side than expected, but Grivine did everything he could to help at every hurdle. I now have a repeatable deployment process, which is exactly what I wanted. Thanks! 👍

    US$ 100-US$ 200

    $

    7 dias

    Tempo

    Útil?
    Sim
    Não
Avaliações

6 avaliações deste Serviço
4,3

(3)
(2)
(1)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    4,5
  • Qualidade da entrega
    3,7
  • Valor da entrega
    4
Ordenar por
Mais relevante
  • C
    image-docs

    cemkocabasa

    TR

    Turquia

    3

    I have what I wanted to have. But the level of involvement I imagined was far less. I had to send the same Json file 3-4 times for him to see it. Also he was hesitant to troubleshoot saying it wasn't part of the agreement. Which imo doesn't make sense because I was asking him to troubleshoot so I can...

    US$ 100-US$ 200

    $

    3 semanas

    Tempo

    Útil?
    Sim
    Não
  • S

    shane_provost

    US

    Estados Unidos

    4

    Quality of work was very good, and the documentation was pretty comprehensive. What was delivered was what I needed and will add a ton of value to my service!

    US$ 100-US$ 200

    $

    10 dias

    Tempo

    Útil?
    Sim
    Não
  • B
    image-docs

    brandonsings

    US

    Estados Unidos

    4,7

    A really knowledgable and responsive seller who went above and beyond my expectations. Not only did he deliver quickly, he also helped teach me a few things along the way. Thanks so much!

    US$ 200-US$ 400

    $

    2 semanas

    Tempo

    Útil?
    Sim
    Não
  • L

    lonzin3

    GB

    Reino Unido

    5

    Wow, what an incredible experience working with Grivine! I was in a tough spot with my company's data, and they came to the rescue. He successfully set up data integration using Airbyte for us, and it has been a game-changer. Our data flows seamlessly, and we're finally making informed decisions.

    Até US$ 50

    $

    2 dias

    Tempo

    Útil?
    Sim
    Não
  • L

    local_toast

    DE

    Alemanha

    4,3

    Getting an ELT stack up and running required far more work and effort from my side than expected, but Grivine did everything he could to help at every hurdle. I now have a repeatable deployment process, which is exactly what I wanted. Thanks! 👍

    US$ 100-US$ 200

    $

    7 dias

    Tempo

    Útil?
    Sim
    Não