Apache Beam: construyendo Data Pipelines en Python

Publicado el Friday, May 10, 2019

Apache Beam es una evolución del modelo Dataflow creado por Google para procesar grandes cantidades de datos. Los programas escritos con Apache Beam pueden ejecutarse en diferentes estructuras de procesamiento utilizando un conjunto de IOs diferentes. Ya hemos hablado aquí sobre otros frameworks como Hadoop, Spark, Flink, Google Cloud Dataflow, etc… Pero no ha habido una API unificada que vincule todos estos marcos y fuentes de datos, y proporcione una abstracción de la lógica de la aplicación desde un gran ecosistema de datos. [Leer más]
#AWS  #Apache-Beam  #data-streaming  #Data-Pipelines  #Python  #Apache-Spark-Streaming  #Kafka-Streams  #Akka-Streams  #Apache-Flink  #Apache-Apex  #Apache-gnite  #Apache-Gearpump  #Apache-Storm  #Apache-Samza