Vou ajudar você a criar scripts com python pyspark

Python possui uma biblioteca rica para análise e ciência de dados. Com o emergente framework de bigdata apache spark, que pode ser facilmente integrado ao python (pyspark), podemos aproveitar os benefícios de ambas as áreas de ciência de dados sobre bigdata usando uma única linguagem, python.