PySpark: o que é e como usar na ciência de dados

Descubra como a API Python para Apache Spark facilita o processamento de dados em larga escala.

Author

Data Hackers
April 25, 2025

Se você busca uma forma eficiente de processar grandes volumes de dados, o PySpark pode ser a solução ideal. Esta API Python para Apache Spark permite que desenvolvedores utilizem a simplicidade do Python enquanto aproveitam a potência do processamento distribuído, essencial em Big Data e Machine Learning. Neste post, vamos explicar o que é o PySpark e mostrar como instalá-lo e configurá-lo em diferentes sistemas operacionais, além de apresentar um passo a passo sobre como utilizá-lo na prática.

O que é PySpark e para que serve?

PySpark é uma API Python para o Apache Spark, um poderoso mecanismo de processamento analítico projetado para manusear grandes volumes de dados de forma distribuída e em tempo real. Ele permite que os desenvolvedores utilizem a linguagem Python, conhecida por sua simplicidade e facilidade de uso, para interagir com as funcionalidades robustas do Spark.

O uso do PySpark é essencial em ambientes de Big Data e Machine Learning, pois possibilita a distribuição de tarefas em um cluster de máquinas, aumentando significativamente a eficiência. O PySpark é compatível com sistemas como Hadoop (HDFS) e AWS S3, permitindo uma flexibilidade maior na manipulação de dados armazenados em diferentes formatos e locais.

Dentre suas principais funcionalidades, destaca-se a capacidade de trabalhar com conjuntos de dados distribuídos resilientes (RDDs). O PySpark oferece uma interface através da biblioteca Py4J, que possibilita a comunicação entre Python e a Java Virtual Machine (JVM). Isso garante que os desenvolvedores possam aproveitar toda a potência do Spark enquanto trabalham no ambiente familiar do Python. Além disso, o PySpark inclui bibliotecas que potencializam suas capacidades analíticas, como PySparkSQL para consultas SQL e MLlib voltadas para Machine Learning.

O PySpark permite combinar a simplicidade do Python com a potência do processamento distribuído

Como instalar e configurar o PySpark?

Para instalar e configurar o PySpark, siga os passos abaixo, que variam de acordo com o seu sistema operacional (Windows, Linux ou Mac).

Instalação no Windows

  1. Instalação do Java JDK:

    • Acesse o site da Oracle e faça o download do Java Development Kit (JDK).

    • Baixe o instalador para Windows Offline (64-bit) e execute-o.

    • Verifique a instalação no Prompt de Comando digitando java -version.

  2. Configuração das variáveis de ambiente:

    • Abra "Editar as variáveis de ambiente".

    • Crie uma nova variável chamada JAVA_HOME com o valor C:\\Program Files (x86)\\Java\\jdk1.8.0_251.

    • Adicione C:\\Program Files (x86)\\Java\\jdk1.8.0_251\\bin ao PATH.

    • Crie as variáveis HADOOP_HOME (localização do winutils) e SPARK_HOME (localização do Spark).

  3. Instalação do PySpark:

    • Acesse a página do Spark e baixe o arquivo .tgz.

    • Extraia o arquivo e mova para C:\\spark.

    • Baixe o winutils.exe e coloque na pasta C:\\winutils\\bin.

  4. Finalização da instalação:

    • Abra o "Prompt de Comando" e digite pyspark para verificar a instalação.

Instalação no Linux

  1. Instalação do Java JDK:

    • Acesse o site da Oracle e baixe o JDK para Linux.

    • Instale o pacote usando o comando apropriado (exemplo: sudo dpkg -i <pacote_de_java>).

    • Verifique a instalação com java --version.

  2. Configuração das variáveis de ambiente:

    • Abra o arquivo ~/.bashrc ou ~/.zshrc e adicione as variáveis de caminho para Java, Python e Spark.

    • Use export JAVA_HOME=... e export SPARK_HOME=... para definir os caminhos.

  3. Instalação do PySpark:

    • Baixe o Spark na página oficial e extraia o arquivo .tgz.

  4. Abrindo o PySpark:

    • Execute o comando pyspark no terminal e verifique a instalação.

Instalação no Mac

  1. Instalação do Java JDK:

    • Baixe o JDK da Oracle para macOS.

    • Verifique a instalação usando $ java --showversion.

  2. Instalação do Apache Spark:

    • Acesse a homepage do Spark e baixe o arquivo .tgz.

    • Extraia o arquivo com $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz.

  3. Configuração das variáveis de ambiente:

    • Abra o arquivo ~/.bashrc ou ~/.zshrc e adicione: 

      export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

  4. Abrindo o PySpark:

    • Execute o comando pyspark no terminal para verificar a instalação.

Como usar PySpark: Passo a passo

Para começar a usar o PySpark no processamento de grandes volumes de dados, siga o passo a passo abaixo:

  1. Instalação do PySpark:

    • Requisitos: Verifique se você tem o Python e o Java instalados em sua máquina.

    • Instalação: Para instalar o PySpark, execute o seguinte comando no terminal: 

      pip install pyspark

  2. Inicialização do SparkContext:

    • Após a instalação, importe a classe necessária e inicialize um SparkContext: 

      from pyspark import SparkContext
sc = SparkContext(master="local", appName="Meu Primeiro Spark App")

  3. Criando RDDs (Resilient Distributed Datasets):

    • Você pode criar RDDs a partir de uma lista ou lendo um arquivo: 

      numeros = sc.parallelize([1, 2, 3, 4, 5])
arquivoRDD = sc.textFile("caminho/do/seu/arquivo.txt")

  4. Executando operações com RDDs:

    • Realize operações de transformação, como map ou filter, e ações como collect ou count. As operações de transformação são 'lazy'.

  5. Trabalhando com DataFrames:

    • Você pode criar DataFrames a partir de RDDs ou de arquivos CSV: 

      from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Exemplo").getOrCreate()
df = spark.read.csv('seu_arquivo.csv', header=True, escape='\"')

  6. Executando Consultas SQL:

    • Registre seu DataFrame como uma tabela temporária e execute consultas SQL: 

      df.createOrReplaceTempView("minha_view")
resultados = spark.sql("SELECT * FROM minha_view WHERE coluna = 'valor'")

  7. Análise exploratória de dados:

    • Utilize métodos como show() para visualizar as primeiras linhas do seu DataFrame: 

      df.show(5)

  8. Construindo Modelos de Aprendizado de Máquina:

    • Use a API de aprendizado de máquina do PySpark para construir e treinar modelos como K-Means: 

      from pyspark.ml.clustering import KMeans
kmeans = KMeans(k=3, seed=1)
modelo = kmeans.fit(df)

  9. Avaliação de Resultados:

    • Avalie os resultados utilizando métodos apropriados e ajuste conforme necessário.

  10. Optimizando o Processo:

    • Utilize o Spark UI para monitorar o desempenho e aplique técnicas de otimização, como particionamento e cache, para melhorar a eficiência das operações.

A combinação entre Python e processamento distribuído é excelente para processamento de dados em larga escala

PySpark vs Pandas: qual escolher?

Quando se trata de análise de dados e processamento de informações, tanto PySpark quanto Pandas se destacam, mas cada uma é mais adequada para certos tipos de tarefas. Vamos entender as principais diferenças entre elas:

Ambiente de execução

  • PySpark é projetado para lidar com grandes conjuntos de dados em um ambiente de computação distribuída, capaz de processar dados que não cabem na memória de uma única máquina.

  • Pandas opera em um único computador, limitando-se à memória daquela máquina.

Estruturas de dados

  • PySpark utiliza Resilient Distributed Datasets (RDD) e DataFrames.

  • Pandas utiliza exclusivamente DataFrames, mais intuitivos para iniciantes.

Capacidade de processamento

  • PySpark é ideal para tarefas que exigem alto consumo de memória e algoritmos iterativos.

  • Pandas pode apresentar problemas ao lidar com dados grandes demais para a memória.

Processamento paralelo

  • PySpark oferece suporte ao processamento paralelo, aumentando a eficiência.

  • Pandas não possui essa capacidade.

Fontes de dados

  • PySpark é versátil ao ler dados de várias fontes, como Hadoop e Amazon S3.

  • Pandas é mais limitado a arquivos de sistemas locais.

Integração com ferramentas de big data

  • PySpark se integra bem com ferramentas de big data, como Hadoop e Hive.

  • Pandas não oferece suporte para essas integrações.

Curva de aprendizado

  • PySpark apresenta uma curva mais acentuada, necessitando de conhecimento em computação distribuída.

  • Pandas é mais acessível para iniciantes na análise de dados.

Exemplos práticos e funções comuns no PySpark

O PySpark oferece uma série de funções e exemplos práticos que facilitam o trabalho com grandes volumes de dados. Aqui estão algumas das operações mais comuns:

  1. Criando RDDs: 

    numeros = sc.parallelize([1, 2, 3, 4, 5])
arquivoRDD = sc.textFile("caminho/do/seu/arquivo.txt")

  2. Operações básicas com RDDs: 

    numerosPares = numeros.filter(lambda x: x % 2 == 0)
print(numerosPares.collect())

  3. Manipulação de DataFrames: 

    dataFrame.select("coluna1", "coluna2")
dataFrame.filter(dataFrame.coluna > valor)
dataFrame.groupBy("coluna").sum("outra_coluna")

  4. Tratamento de valores nulos: 

    dataFrame.na.drop()
dataFrame.fillna(0)

  5. Agrupamento e agregações: 

    dataFrame.groupBy("coluna").count()

  6. Execução de consultas SQL: 

    dataFrame.createOrReplaceTempView("minha_tabela")
resultados = spark.sql("SELECT * FROM minha_tabela WHERE condicao")

  7. Função locate(): 

    locate("Luciana", col("nome"))

Esses exemplos práticos demonstram como as funções comuns em PySpark ajudam a executar operações úteis, desde carregamento e processamento de dados até análise e visualização, otimizando suas tarefas de ciência de dados.

Vale a pena usar o PySpark?

Neste post, mostramos porque o PySpark tem se tornado uma ferramenta indispensável para quem lida com grandes volumes de dados, permitindo fazer manipulações eficientes e em tempo real. Desde a instalação até o uso prático, abordamos diversas funcionalidades que fazem do PySpark uma escolha sólida para profissionais de ciência de dados, especialmente em cenários de Big Data e Machine Learning. Ao trabalhar com esta API, você consegue alavancar a capacidade de análise e processamento, transformando dados em insights valiosos com muito mais agilidade.

Além disso, discutimos a comparação entre PySpark e Pandas, destacando as vantagens do primeiro em ambientes de computação distribuída e sua integração com outras soluções de big data. Se você almeja lidar com desafios maiores e otimizar suas operações de dados, o PySpark certamente merece um lugar no seu arsenal de ferramentas.