Eu vou escalar seus serviços de big data de próxima geração

Bem-vindo ao mundo dos data lakes! Eu sou Ali Reza, e estou aqui para te ajudar a projetar, construir e gerenciar sua infraestrutura de data lake. Seja HDFS, AWS S3 ou Azure Data Lake Storage, eu tenho tudo coberto.

Atuo como Analista de Sistemas de Big Data e estou totalmente ciente dos problemas que os clientes enfrentam ao usar HDFS, AWS S3 ou Azure Data Lake para seus pipelines de CI/CD. O ETL de streams é computacionalmente caro e mais desafiador em termos de eficiência e tempo de execução, especialmente na aquisição, transformação e carregamento em aspectos distribuídos como dispositivos IoT via API. Podem ocorrer falhas, devido à redundância de heap em testes de concorrência. Tenho habilidades nas seguintes tecnologias/ferramentas:

1. Apache Spark

2. Apache Flink

3. Apache Kafka

4. PyFlink

5. PySpark

6. Data Warehousing

7. Hive e linguagens relacionadas

8. Engenharia Hadoop

9. HDFS e outros sistemas de arquivos responsáveis por Big Data

10. Containerização no Github enviando imagens para Docker Hub

11. Manipulação de diversos formatos de arquivo como JSON, CSV, arquivos de texto, arquivos de sequência, entre outros esquemas desconhecidos