Incluye índice.

Installing Pyspark and Setting up Your Development Environment --
Getting Your Big Data into the Spark Environment Using RDDs --
Big Data Cleaning and Wrangling with Spark Notebooks --
Aggregating and Summarizing Data into Useful Reports --
Powerful Exploratory Data Analysis with MLlib --
Putting Structure on Your Big Data with SparkSQL --
Transformations and Actions --
Immutable Design --
Avoiding Shuffle and Reducing Operational Expenses --
Saving Data in the Correct Format --
Working with the Spark Key/Value API --
Testing Apache Spark Jobs --
Leveraging the Spark GraphX API

Book Description
Apache Spark is an open source parallel-processing framework that has been around for quite some time now. One of the many uses of Apache Spark is for data analytics applications across clustered computers. In this book, you will not only learn how to use Spark and the Python API to create high-performance analytics with big data, but also discover techniques for testing, immunizing, and parallelizing Spark jobs.

You will learn how to source data from all popular data hosting platforms, including HDFS, Hive, JSON, and S3, and deal with large datasets with PySpark to gain practical big data experience. This book will help you work on prototypes on local machines and subsequently go on to handle messy data in production and at scale. This book covers installing and setting up PySpark, RDD operations, big data cleaning and wrangling, and aggregating and summarizing data into useful reports. You will also learn how to implement some practical and proven techniques to improve certain aspects of programming and administration in Apache Spark.

By the end of the book, you will be able to build big data analytical solutions using the various PySpark offerings and also optimize them effectively.

What you will learn
Get practical big data experience while working on messy datasets
Analyze patterns with Spark SQL to improve your business intelligence
Use PySpark's interactive shell to speed up development time
Create highly concurrent Spark programs by leveraging immutability
Discover ways to avoid the most expensive operation in the Spark API: the shuffle operation
Re-design your jobs to use reduceByKey instead of groupBy
Create robust processing pipelines by testing Apache Spark jobs
Who this book is for
This book is for developers, data scientists, business analysts, or anyone who needs to reliably analyze large amounts of large-scale, real-world data. Whether you're tasked with creating your company's business intelligence function or creating great data platforms for your machine learning models, or are looking to use code to magnify the impact of your business, this book is for you.

Descripción del libro
Apache Spark es un marco de procesamiento paralelo de código abierto que existe desde hace bastante tiempo. Uno de los muchos usos de Apache Spark es para aplicaciones de análisis de datos en computadoras agrupadas. En este libro, no solo aprenderá a utilizar Spark y la API de Python para crear análisis de alto rendimiento con big data, sino que también descubrirá técnicas para probar, inmunizar y paralelizar trabajos de Spark.

Aprenderá cómo obtener datos de todas las plataformas de alojamiento de datos populares, incluidas HDFS, Hive, JSON y S3, y cómo manejar grandes conjuntos de datos con PySpark para obtener experiencia práctica en big data. Este libro le ayudará a trabajar en prototipos en máquinas locales y posteriormente a manejar datos confusos en producción y a escala. Este libro cubre la instalación y configuración de PySpark, las operaciones de RDD, la limpieza y manipulación de big data, y la agregación y resumen de datos en informes útiles. También aprenderá a implementar algunas técnicas prácticas y probadas para mejorar ciertos aspectos de la programación y administración en Apache Spark.

Al final del libro, podrá crear soluciones analíticas de big data utilizando las diversas ofertas de PySpark y también optimizarlas de manera efectiva.

Lo que vas a aprender
Obtenga experiencia práctica en big data mientras trabaja con conjuntos de datos desordenados
Analice patrones con Spark SQL para mejorar su inteligencia empresarial
Utilice el shell interactivo de PySpark para acelerar el tiempo de desarrollo
Cree programas Spark altamente concurrentes aprovechando la inmutabilidad
Descubra formas de evitar la operación más costosa de Spark API: la operación aleatoria
Rediseñe sus trabajos para usar reduceByKey en lugar de groupBy
Cree canales de procesamiento sólidos probando trabajos de Apache Spark
para quien es este libro
Este libro está dirigido a desarrolladores, científicos de datos, analistas de negocios o cualquier persona que necesite analizar de manera confiable grandes cantidades de datos del mundo real a gran escala. Ya sea que tenga la tarea de crear la función de inteligencia empresarial de su empresa o crear excelentes plataformas de datos para sus modelos de aprendizaje automático, o esté buscando utilizar código para magnificar el impacto de su negocio, este libro es para usted.