Ciberseguridad
Data Governance
Transformación Digital
StartUp
Blockchain
Internet of Things
Data Streaming
Docker
AWS

Introducción a Cloudera DataFlow

Hace ya unos cuantos meses que, quizás algunos, nos quedamos casi helados cuando se publicó el anuncio de compra por parte de Cloudera de Hortonworks. La empresa, “naciente”, se focalizo en ser líder indiscutible en Cloud de datos y en ofrecer una carta de productos que abarcase un sin fin de sposibilidades. Una de las áreas tecnológicas más prometedoras de esta fusión que ya tenía un alto potencial de crecimiento y que está a punto de crecer aún más es la plataforma Data-in-Motion llamada Cloudera DataFlow (CDF). [Leer más]

Create A REST API With JSON Server

Una tarea muy común para los desarrolladores de front-end es simular un servicio backend REST para entregar algunos datos en formato JSON a la aplicación front-end y asegurarse de que todo funciona como se espera. Naturalmente, podríamos configurar un servidor backend completo, por ejemplo, utilizando Node.js, Express y MongoDB. Aunque, tenemos una interesante opción para configurar, “algo parecido”, muy rápidamente mediante JSON Server. JSON Server es un proyecto sencillo que nos ayuda a configurar una API REST con operaciones CRUD muy rápidamente. [Leer más]

Nuclio: Data Science Pipeline with Serverless Functions

Nuclio.io, es una interesante plataforma de código abierto (Open Source), gestionada sin servidores (Serverless), orientada a minimizar tanto gastos de desarrollo y mantenimiento como a automatizar la implementación de aplicaciones basadas en la ciencia de datos o #DataScience. Podemos ejecutar un entorno de Nuclio.io muy rápidamente, mediante #Docker: docker run -p 8070:8070 -v /var/run/docker.sock:/var/run/docker.sock -v /tmp:/tmp nuclio/dashboard:stable-amd64 Aunque si lo preferimos, en su GitHub podemos encontrar los pasos para ejecutarlo en Kubernetes. [Leer más]

Web Scraping usando Python sobre Jupyter notebooks

Scraping es una técnica, la cual podemos utilizar, para hacer barridos de web completas. Por ejemplo la podemos utilizar para descargarnos los metadatos de un Blog, para descargarnos precios de viviendas y/o productos y crear comparativas con dicha información, para descargarnos anuncios, etc… realmente la lista de posibilidades es larga. También es cierto, que muchas web ponen barreras a tal técnica, creando simples “redirect”. Bien, quizás el “Framework” más utilizando para ello es Scrapy, aunque existen otros como, variantes del mismo. [Leer más]

Stack Apache Kafka + Zookeeper ejecutando Data Pipeline en Cluster de Apache NiFi

Hoy venimos con un artículo de lujo en el que construiremos un Stack entero con: Apache Kafka Apache Zookeeper Apache NiFi en Cluster Kafka Manager Bien, tanto de Apache Kafka como de Apache NiFi hemos hablado un montón, pero hoy el artículo está totalmente focalizado a tenerlo como chuleta para lanzar un Docker Compose con un Stack totalmente funcional y en pocos minutos. Docker Compose para un Stack de “Apache Kafka + Zookeeper + Apache NiFi” Para controlar, tanto Apache Kafka como la funcionalidad del Cluster de Apache NiFi, utilizaremos Apache Zookeeper. [Leer más]

Compartir imágenes en Social Media sin nuestros Metadatos

Cuando compartimos nuestras imágenes en, por ejemplo Instagram, a parte de toda la información que nosotros mismos cargamos, la aplicación, por detrás está obteniendo mucha mas información, como: Dimensiones originales Dispositivo y Calidad (Lente, flash, …) Ubicación (Geolocalización) Orientación Fecha y hora etc… Realmente, el poder de los metadatos, es casi infinito pero debemos protegernos y, hay la posibilidad: Scrambled Exif. Con Scrambled Exif, podremos borrar, antes de compartir las imágenes, todos aquellos metadatos que pueden comprometer nuestra privacidad. [Leer más]

La Biblia de Apache NiFi y Apache NiFi Registry

De Apache NiFi hemos hablado mucho, mucho, mucho… pero nunca es suficiente. Es una de las grandes soluciones a nuestros males y hoy, haremos un resúmen de lo más destacado. Veamos: Apache Nifi multiple processor Una de las ventajas de Apache NiFi es que dispone de múltiples procesadores para tratar flujos de información. Por ejemplo: JSON: SplitJson, EvaluateJsonPath, ConvertJSONToAvro AVRO: SplitAvro, ExtractAvroMetadata, ConvertAvroToJSON TEXT: SplitText, ExtractText, RouteText Pero, tenemos una série de procesadores que, símplemente, son mágicos como: [Leer más]

Las 3 mejores plataformas de correo electrónico seguro

Ya anteriormente hablamos sobre distintos proveedores de correo electrónico pero hoy hablaremos con más detalle de los TOP y que representan una muy buena alternativa a GMail u otras parecidas. Cabe destacar que la ubicación de los servidores de correo es importante y recomendamos la lectura de la web privacytools.io y concretamente el capítulo sobre “Seguimiento global - Los Catorce Ojos”. Veamos: ProtonMail ProtonMail es un proveedor de correo electrónico gratuito, de código abierto y cifrado con sede en Suiza. [Leer más]

FlexiDAO: blockchain-based data-driven energy services

Blockchain, no hemos hablado en particular sobre la “cadena de bloques” pero hoy lo haremos con un ejemplo de lujo: FlexiDAO. FlexiDAO es una de las empresas líderes en Europa, concretamente en el sector de la energía, que está trabajando con los principales líderes mundiales como son Iberdrola e Acciona y para la implementación de un sistema #cleantech basado en Blockchain. Su visión es: “Luchar por un mundo libre de carbono centrado en el prosumidor. [Leer más]

Running a cluster with Apache Nifi and Docker

Sobre Apache NiFi hemos hablado mucho, ya sea en ejemplos de #DataStreaming ejecutados en RealTime o bien, en la construcción de Data Pipeline más simples. En todos los casos anteriores, nuestro Apache NiFi, era “Single node”. El post de hoy es lanzarlo mediante su opción de Cluster y mediante Docker. Veamos: Preparando el docker-compose.yml Lo primero será construir nuestro “docker-compose.yml” con todo aquello requerido. Como por ejemplo añadiendo un ZooKeeper para la gestión de la información entre los nodos de forma automatizada y, luego, la configuración de Apache NiFi. [Leer más]