Vou projetar e implementar soluções escaláveis de plataforma de dados Microsoft Fabric personalizadas

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês

Engenheiro de Dados Sênior

Sou um Engenheiro de Dados Sênior na Arif Pasha Company, com vários anos de experiência em projetar, construir e otimizar plataformas de dados em grande escala. Meu trabalho foca no desenvolvimento de...
Sobre este Serviço


  • Configurando ingestão de dados com Apache SQOOP e FLUME na HDFS de destino.
  • Boa experiência com a versão Hadoop-2.0 e o Cloudera manager CDH3.
  • Experiência em implementação na AWS Cloud com EC2, EMR, S3 e outros serviços, Spark SQL com fonte MySQL (JDBC), PySpark RDD Actions & Transformations e Dataframe API.
  • Arquitetura e componentes do Spark: Spark Core & PySpark SQL com Data frames, Tecnologias de Big Data: Hadoop (Distribuição CDH), framework MapReduce e Ecossistema Spark.
  • Linguagens de alto nível do Hadoop: Hive 0.8.0. Análise de dados usando Spark Core & Spark SQL & Spark Streaming.
  • Entreguei projetos de análise de dados usando ferramentas baseadas em Hadoop e a pilha de ciência de dados em Python. Interagindo com clientes, lidando com dúvidas e resolvendo problemas.
  • Conhecimento do fluxo de trabalho completo de projetos.

Destination Platform:

Snowflake

Google BigQuery

Amazon Redshift

Ferramentas e plataformas:

Fivetran

Airbyte

Meu portfólio

Tags relacionadas