Autor: Jodavid Ferreira (UFPE)

Resumo: Linguagens de programação como R e Python estão dominando atualmente o desenvolvimento de soluções para análise de dados. Entretanto, nos últimos anos, surgiu a necessidade de ferramentas capazes de lidar com grandes volumes de dados, reforçando a importância de tecnologias adequadas para esse contexto. Nesse cenário, o Spark se destaca como um framework amplamente utilizado, permitindo o processamento distribuído de dados em larga escala. Integrar R e Python ao ambiente de processamento distribuído oferecido pelo Spark representa uma oportunidade enriquecedora, viabilizando o processamento escalável e eficiente de grandes volumes de dados, ao mesmo tempo em que aproveita o conhecimento consolidado dessas linguagens. Essa abordagem combinada capacita estudantes e profissionais a aplicar conceitos estatísticos, utilizando uma poderosa integração do Spark com as linguagens, especialmente necessária para lidar com grandes volumes de dados, permitindo, assim, o uso de métodos existentes e o desenvolvimento de novas soluções. Serão apresentadas algumas soluções existentes com a utilização dessas tecnologias, e, como solução do minicurso, vamos desenvolver uma aplicação prática resolvendo a seguinte problemática: com base no histórico de compras de clientes, qual seria a melhor recomendação para a próxima compra?