Ajudarei nas atribuições e tarefas de big data

Sou um engenheiro de dados experiente. Tenho ampla experiência em construir plataformas de dados e criar serviços para expor dados em vários formatos.

Minha principal expertise é em: Big Data :

Core Hadoop, Hive, Spark, HBase, Elasticsearch, Ranger, Atlas, HDInsight, Ambari, Kafka Solução AWS: Lambda, EMR, Kinesis, API Gateway, Cognito, Dynamo DB, RDS Solução Azure: Event Hub, CosmosDB, HDInsight, Data Factory API: Flask Implantação: Ansible, Docker

As ferramentas e tecnologias com as quais tenho muita familiaridade

1. Apache Hadoop
2. Apache Spark
3. Apache Kafka para streaming de dados
4. Apache Flink para processamento de streams
5. Elasticsearch para indexação de dados
6. MongoDB para armazenamento NoSQL
7. Apache Cassandra para bancos de dados distribuídos
8. Apache Hive para data warehousing
9. Apache Pig para análise de dados
10. Apache Beam para processamento de dados
11. TensorFlow para aprendizado de máquina com big data
12. PySpark para processamento de big data com Python
13. Apache NiFi para gerenciamento de fluxo de dados
14. Presto para consultas SQL distribuídas
15. Apache Sqoop para importação/exportação de dados
16. Apache Airflow para gerenciamento de workflows
17. Grafana para visualização de dados
18. Tableau para análises interativas de dados
19. Jupyter Notebook para exploração de dados
20. Zeppelin para análise interativa de dados