Ciberseguridad
Data Governance
Transformación Digital
StartUp
Blockchain
Internet of Things
Data Streaming
Docker
AWS

Web Scraping usando Python sobre Jupyter notebooks

Scraping es una técnica, la cual podemos utilizar, para hacer barridos de web completas. Por ejemplo la podemos utilizar para descargarnos los metadatos de un Blog, para descargarnos precios de viviendas y/o productos y crear comparativas con dicha información, para descargarnos anuncios, etc… realmente la lista de posibilidades es larga. También es cierto, que muchas web ponen barreras a tal técnica, creando simples “redirect”. Bien, quizás el “Framework” más utilizando para ello es Scrapy, aunque existen otros como, variantes del mismo. [Leer más]

Stack Apache Kafka + Zookeeper ejecutando Data Pipeline en Cluster de Apache NiFi

Hoy venimos con un artículo de lujo en el que construiremos un Stack entero con: Apache Kafka Apache Zookeeper Apache NiFi en Cluster Kafka Manager Bien, tanto de Apache Kafka como de Apache NiFi hemos hablado un montón, pero hoy el artículo está totalmente focalizado a tenerlo como chuleta para lanzar un Docker Compose con un Stack totalmente funcional y en pocos minutos. Docker Compose para un Stack de “Apache Kafka + Zookeeper + Apache NiFi” Para controlar, tanto Apache Kafka como la funcionalidad del Cluster de Apache NiFi, utilizaremos Apache Zookeeper. [Leer más]

Compartir imágenes en Social Media sin nuestros Metadatos

Cuando compartimos nuestras imágenes en, por ejemplo Instagram, a parte de toda la información que nosotros mismos cargamos, la aplicación, por detrás está obteniendo mucha mas información, como: Dimensiones originales Dispositivo y Calidad (Lente, flash, …) Ubicación (Geolocalización) Orientación Fecha y hora etc… Realmente, el poder de los metadatos, es casi infinito pero debemos protegernos y, hay la posibilidad: Scrambled Exif. Con Scrambled Exif, podremos borrar, antes de compartir las imágenes, todos aquellos metadatos que pueden comprometer nuestra privacidad. [Leer más]

La Biblia de Apache NiFi y Apache NiFi Registry

De Apache NiFi hemos hablado mucho, mucho, mucho… pero nunca es suficiente. Es una de las grandes soluciones a nuestros males y hoy, haremos un resúmen de lo más destacado. Veamos: Apache Nifi multiple processor Una de las ventajas de Apache NiFi es que dispone de múltiples procesadores para tratar flujos de información. Por ejemplo: JSON: SplitJson, EvaluateJsonPath, ConvertJSONToAvro AVRO: SplitAvro, ExtractAvroMetadata, ConvertAvroToJSON TEXT: SplitText, ExtractText, RouteText Pero, tenemos una série de procesadores que, símplemente, son mágicos como: [Leer más]

Las 3 mejores plataformas de correo electrónico seguro

Ya anteriormente hablamos sobre distintos proveedores de correo electrónico pero hoy hablaremos con más detalle de los TOP y que representan una muy buena alternativa a GMail u otras parecidas. Cabe destacar que la ubicación de los servidores de correo es importante y recomendamos la lectura de la web privacytools.io y concretamente el capítulo sobre “Seguimiento global - Los Catorce Ojos”. Veamos: ProtonMail ProtonMail es un proveedor de correo electrónico gratuito, de código abierto y cifrado con sede en Suiza. [Leer más]

FlexiDAO: blockchain-based data-driven energy services

Blockchain, no hemos hablado en particular sobre la “cadena de bloques” pero hoy lo haremos con un ejemplo de lujo: FlexiDAO. FlexiDAO es una de las empresas líderes en Europa, concretamente en el sector de la energía, que está trabajando con los principales líderes mundiales como son Iberdrola e Acciona y para la implementación de un sistema #cleantech basado en Blockchain. Su visión es: “Luchar por un mundo libre de carbono centrado en el prosumidor. [Leer más]

Running a cluster with Apache Nifi and Docker

Sobre Apache NiFi hemos hablado mucho, ya sea en ejemplos de #DataStreaming ejecutados en RealTime o bien, en la construcción de Data Pipeline más simples. En todos los casos anteriores, nuestro Apache NiFi, era “Single node”. El post de hoy es lanzarlo mediante su opción de Cluster y mediante Docker. Veamos: Preparando el docker-compose.yml Lo primero será construir nuestro “docker-compose.yml” con todo aquello requerido. Como por ejemplo añadiendo un ZooKeeper para la gestión de la información entre los nodos de forma automatizada y, luego, la configuración de Apache NiFi. [Leer más]

UOC: Camino al Cloud, aprendizajes vs desaprendizajes

Recientemente la UOC (Universitat Oberta de Catalunya), presentó su “Camino al Cloud“, de la mano de David Ayala (IT Architecture Manager en la UOC) en las Jornadas Técnicas de RedIRIS 2019. Hoy haremos un resúmen de su “Camino” y veremos con un poco de detalle algunas de sus propuestas. Como ya vimos en el pasado post de “Mango: Desescalando una organizacion”, afrontar una Transformacion Digital no es nada fácil pero tampoco imposible. [Leer más]

Mango: Desescalando una organizacion

Aquí hemos hablado y mucho, por ejemplo, sobre Agile y más concretamente sobre Agile Project Management. Pero hoy, presentaremos un interesante caso real: “Desescalando una organizacion. Un caso real” de Xavier Albaladejo (Agile-Lean (Executive) Coach and Organizational Transformation en Mango), el cual me ha permitido hacer uso de su presentación para tal finalidad. Mango es, quizás, una de las empresas más reconocidas del Mundo y no es para menos. Mango diseña, fabrica y comercializa ropa y accesorios tanto para mujeres, hombres y niños. [Leer más]

Duolingo, la plataforma social para el aprendizaje de idiomas

Duolingo es una (la) plataforma social de aprendizaje de idiomas y su uso de AWS es bastante intenso. En éste post veremos algunos de los servicios más utilizados y ejemplos de aplicación. Por ejemplo, Duolingo, utiliza Amazon DynamoDB para almacenar más de 31 billones (americanos) de artículos en apoyo de su plataforma de aprendizaje en línea. Actualmente cuentan con alrededor de 200 millones de usuarios (2018) mensuales en todo el mundo que realizan más de seis billones de ejercicios/test utilizando todo el poder de Amazon DynamoDB para su storage. [Leer más]