Democratización de datos, Data Self-Service con Druid + Imply.io

Tanto las herramientas de Bi (Business Intelligence), más tradicionales, como las más novedosas y nacidas a partir de la “irrupción” del BigData como son por ejemplo: Tableau, PowerBI, entre muchas otras… han transformado fundamentalmente la forma en que operamos los datos las organizaciones. Los directivos de todas las industrias ahora están utilizando la tecnología de análisis Big Data para una amplia gama de procesos, objetivos y necesidades de gestión. Y las aplicaciones potenciales de las herramientas de BI modernas son prácticamente infinitas, ya que han irradiado en casi todos los aspectos de la gestión operativa y la supervisión estratégica como, se han podido beneficiar de conocimientos más potentes y rápidos. [Leer más]

UOC: Camino al Cloud, aprendizajes vs desaprendizajes

Recientemente la UOC (Universitat Oberta de Catalunya), presentó su “Camino al Cloud“, de la mano de David Ayala (IT Architecture Manager en la UOC) en las Jornadas Técnicas de RedIRIS 2019. Hoy haremos un resúmen de su “Camino” y veremos con un poco de detalle algunas de sus propuestas. Como ya vimos en el pasado post de “Mango: Desescalando una organizacion”, afrontar una Transformacion Digital no es nada fácil pero tampoco imposible. [Leer más]

Strategy: Cold, Warm, Hot Data Storage & Data Warehouse vs Data Lake Architecture

Ya por aquí hemos hablado, y mucho, de #Data-Pipeline o #Data-Streaming. Por ejemplo fue el caso del Banco ING Direct, donde a partir de una Pipeline podían extraer el fruto y conectar su proceso de datos basado en #Real-Time con su reporting o sus bases de datos más operacionales. También hemos hablado de CQRS, que no es lo mismo que la construcción de Pipeline basadas en #Real-Time sinó, basadas en un método para optimizar escrituras en bases de datos (write) y leerlas (read). [Leer más]

Apache Beam: construyendo Data Pipelines en Python

Apache Beam es una evolución del modelo Dataflow creado por Google para procesar grandes cantidades de datos. Los programas escritos con Apache Beam pueden ejecutarse en diferentes estructuras de procesamiento utilizando un conjunto de IOs diferentes. Ya hemos hablado aquí sobre otros frameworks como Hadoop, Spark, Flink, Google Cloud Dataflow, etc… Pero no ha habido una API unificada que vincule todos estos marcos y fuentes de datos, y proporcione una abstracción de la lógica de la aplicación desde un gran ecosistema de datos. [Leer más]

InfluxDB: BigData con series temporales

InfluxDB, o mejor dicho, InfluxData es una plataforma muy completa para el tratamiento de grandes cantidades de datos, desde su recolección hasta su análisis final. Actualmente ya es una alternativa muy interesante para trabajar en escenarios de BigData pudiendo conseguir una gran optimización en su almacenamiento y en el acceso. El Stack Stack de InfluxData se construye alrededor de InfluxDB para manejar grandes cantidades de información con series temporales. Esta base de datos de series de tiempo proporciona soporte para nuestras necesidades de análisis de métricas (DevOps Monitoring, sensores IoT, análisis en tiempo real,…). [Leer más]

AWS LocalStack: Develop and test your cloud apps offline

La llegada del Cloud supuso un antes y un después, pero también es cierto, complicó un tanto la vida para poder validar los correctos funcionamientos de nuestras aplicaciones ya que, teníamos que replicar entornos, por ejemplo de Integración, elevando sus costes. Pues bien, el proyecto LocalStack es una fantástica solución para “simular” nuestro AWS Cloud en local, sea instalado localmente o bien desplegado en su versión Docker. Requirements Para poder ejecutar cualquier tipo de interacción con nuestro LocalStack tendremos que tener instaladas las AWS CLI (Command Line Interface), veamos: [Leer más]

High Performance Computing in the AWS Cloud (low cost)

De tipologías de Arquitectura de infraestructura hay muchas pero, así de entrada, podemos diferenciar entre: “High Performance” y “High Availability”. Que por cierto, podemos implementar las dos en una misma, por ejemplo, nuestro post de hoy. Vamos a ver una arquitectura, bastante económica, para poder tener el siguien esquema lógico: Acceso de los usuarios > Validaciones > Retorno de datos > Ingestión de información (Evento) > Transformación de la Información >Indexación > Visualización (Explotación). [Leer más]

Linkerd, Service Mesh microservice management

Las Arquitecturas basadas en Microservicios han facilitado y continúan facilitando mucho todos nuestros desarrollos, puestas en producción y release management, pero ciertamente se puede continuar mejorando y una forma es implementando un Service Mesh. ¿Qué es un Service Mesh? Pero: ¿Qué es un Service Mesh?. En modo resumen rápido podemos decir que es una infraestructura, basada en software, encargada de manejar las comunicaciones entre microservicios y/o distintos componentes. Para explicarlo mejor podemos ver unas funcionalidades ejemplos donde podríamos implementarlo: [Leer más]

Reference (Simple) Architectures con Traefik, Kubernetes y API Kong Gateway

Hacerlo todo complicado es algo, por desgracia, muy natural. Pero deberíamos tender a hacerlo a lo fácil y así asegurarnos que nuestros proyectos tienen un % mucho más elevado de éxito y no al contrario. Es por ello que quiero plantear éste post para intentar resolver ciertas dudas que me han llegado frente al diseño de nuestras arquitecturas en AWS. La idea no va más allá de construir una “mínima” arquitectura, pensando en dos tipologías de acceso: programático o humano, y con dos tipos de consumidores: usuarios internos (empleados) o usuarios externos (clientes). [Leer más]

Propuestas de Valor para una Estrategia Multi-Cloud

Muchas veces escuchamos grandes gurús del Cloud que nos dicen: “cásate con uno y a por todo”. Bueno, estoy en bastante desacuerdo de ésta frase ya que creo, sobretodo en grandes corporaciones, debemos buscar aquello que nos puede ir mejor y es por eso que me agradaría poder listar valores del Cloud, que en muchas ocasiones, el poder tener varios proveedores de Cloud nos va a permitir cumplir con las propuestas aquí listadas. [Leer más]