Eu farei análise de big data usando pyspark, sql e python
Vou criar e desenvolver seu site, aplicativo móvel com automação de IA
Nível 1
Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.
Sobre este Serviço
Seu dado é grande demais para Excel ou Pandas? Eu processo e analiso big data com PySpark, Spark SQL e Python para te entregar respostas rápidas e escaláveis.
Sou K. M. Arafat Islam, fundador e CEO da BuildSign Digital, formado em CSE, com 4 anos de experiência e 15 artigos publicados na Springer e IEEE, incluindo pesquisas em análise de big data.
O que faço: análise de DataFrame com PySpark e Spark SQL limpeza de dados, junções, agregações e funções de janela pipelines ETL de CSV, Parquet, JSON ou bancos de dados SQL otimização de consultas e jobs (particionamento, cache) Spark MLlib em grandes conjuntos de dados resumos visuais e dashboards dos resultados
Você recebe: notebook ou scripts comentados em PySpark tabelas de saída em CSV, Parquet ou SQL gráficos e um breve relatório de descobertas
Envie uma mensagem com o tamanho, formato e objetivo dos seus dados antes de fazer o pedido, assim posso recomendar o pacote ideal.
Meu portfólio
Perguntas frequentes
Tradução automática
Qual o tamanho máximo dos meus dados?
De alguns GB até centenas de GB, dependendo do seu ambiente. Para dados muito grandes, trabalho dentro do seu Databricks ou workspace na nuvem.
Preciso do Databricks?
Não. Posso usar Google Colab ou uma configuração local de Spark para tamanhos moderados, ou seu ambiente no Databricks, AWS EMR ou Azure.
Você consegue otimizar meu job lento no Spark?
Sim. Envie o código e eu farei profiling, aplicarei particionamento, cache, junções broadcast e melhores transformações.
Você também escreve apenas SQL?
Sim. Consultas SQL complexas, CTEs e funções de janela para MySQL, PostgreSQL, SQL Server ou Spark SQL estão incluídas.
Meus dados estão seguros?
Sim. Posso trabalhar com dados de amostra, dados anonimizados ou dentro do seu workspace com acesso limitado.

