vou construir pipelines de pyspark etl para dados em lotes e streaming na AWS
Engenheiro de Dados para PySpark, AWS e QuickSight
Sobre este Serviço
Tecnologia:
Apache Hadoop
•
apache spark
•
Excel
•
Python
•
SQL
•
NoSQL
Perguntas frequentes
Tradução automática
Em quais plataformas você trabalha?
Principalmente Amazon EMR e Amazon S3, com PySpark, Apache Hive e Apache Hudi. Se você usar uma plataforma diferente, me avise antes de encomendar para eu confirmar se é boa opção.
Você consegue consertar um job PySpark que está lento ou falhando?
Sim. Envie a mensagem de erro ou os detalhes do Spark UI junto com o código, e eu digo o que está errado e o que vai levar para consertar antes de você encomendar.
O que você precisa de mim para começar?
Sua fonte de dados e o destino, uma amostra dos dados ou o esquema, e a transformação que você precisa. Para trabalho na sua conta AWS, uma função IAM limitada com acesso ao cluster EMR relevante ou ao bucket S3 já basta.
