El quirófano más tecnológico del Mundo está en Barcelona: Optimus

No hace tanto, pude conocer el que actualmente es el quirófano más tecnológico del Mundo y, está en Barcelona. Estamos hablando del Optimus, un quirófano situado en el Hospital Clínic de Barcelona que cuenta con múltiples tecnologíass como el big data o la iluminación inteligente. Aunque, de lo que están más satisfechos es por la reducción sustancial de las infecciones, algo “normales” en quirófanos y la disminución importante de de los costes quirúrgicos. [Leer más]

Data Warehouse vs Database

Hemos hablado anteriormente sobre muchos conceptos como: #Data-Streaming, #Big-Data, #Data-Warehouse, etc… pero, nunca antes, hemos explicado claramente la diferencia entre un Data Warehouse y una Database. Vamos a por ello: ¿Qué es un Data Warehouse? Un #Data-Warehouse es un sistema que reúne datos de muchas fuentes diferentes dentro de una organización para la elaboración de informes y el análisis. Los informes creados a partir de consultas complejas dentro de un #Data-Warehouse se utilizan para tomar decisiones empresariales. [Leer más]

Caso Fortnite: Analítica de Datos en AWS

Anteriormente hemos hablado de Fortnite y su espectacular crecimiento en usuarios y, en “Annual revenue” por usuario comparativamente con Google, Facebook u otras empresas basadas en Social Media. Con cerca de 200 millones de usuarios, Fortnite tiene un gran reto tecnológico, ya sea con la gestión de servidores, bases de datos o “Pipeline” de datos. En numerosas entrevistas o Techtalk, se comenta que gestionan cerca de 100 millones de eventos por minuto y, toda su plataforma, está basada en Amazon Web Services (AWS) para poder mantener a Fortnite funcionando las 24 horas del día, los 365 días del año. [Leer más]

Analítica de Datos en el Fútbol

Hace mucho tiempo que voy detrás de la innovación en el Mundo del Deporte y, seguramente, donde se está apliando más innovación es el Fútbol. Hace unos días y tras ver algunos buenos documentales como: “Football, Big Data and the search for the new Leo Messi” de Televisió de Catalunya (TV3), quería investigarlo y conocerlo en persona. Driblab es una más que interesante empresa, la cual, entre su cartera de servicios, por ejemplo, puede ayudar a identificar jugadores de acuerdo a las necesidades que se le precisan, comparando entre más de 65. [Leer más]

SQL Database Modeler Tools

Muchas veces, cuando nos ponemos a diseñar modelos de datos en SQL, la complejidad de los esquemas visuales hace que no tengamos una idea clara de las relaciones, entiendades o campos que forman nuestro entramado. Si bien es cierto que, herramientas como MySQL Workbench nos facilitan la vida, pero es muy interesante ir hacia otra tipología de herramientas, multi base de datos y que, visualmente o mediante simples comandos JSON, YAML, etc… nos permitan relacionar entidades, etc… hoy veremos los casos de:SQLDBM y de DBDiagram. [Leer más]

Introducción a Cloudera DataFlow

Hace ya unos cuantos meses que, quizás algunos, nos quedamos casi helados cuando se publicó el anuncio de compra por parte de Cloudera de Hortonworks. La empresa, “naciente”, se focalizo en ser líder indiscutible en Cloud de datos y en ofrecer una carta de productos que abarcase un sin fin de sposibilidades. Una de las áreas tecnológicas más prometedoras de esta fusión que ya tenía un alto potencial de crecimiento y que está a punto de crecer aún más es la plataforma Data-in-Motion llamada Cloudera DataFlow (CDF). [Leer más]

Nuclio: Data Science Pipeline with Serverless Functions

Nuclio.io, es una interesante plataforma de código abierto (Open Source), gestionada sin servidores (Serverless), orientada a minimizar tanto gastos de desarrollo y mantenimiento como a automatizar la implementación de aplicaciones basadas en la ciencia de datos o #DataScience. Podemos ejecutar un entorno de Nuclio.io muy rápidamente, mediante #Docker: docker run -p 8070:8070 -v /var/run/docker.sock:/var/run/docker.sock -v /tmp:/tmp nuclio/dashboard:stable-amd64 Aunque si lo preferimos, en su GitHub podemos encontrar los pasos para ejecutarlo en Kubernetes. [Leer más]

Web Scraping usando Python sobre Jupyter notebooks

Scraping es una técnica, la cual podemos utilizar, para hacer barridos de web completas. Por ejemplo la podemos utilizar para descargarnos los metadatos de un Blog, para descargarnos precios de viviendas y/o productos y crear comparativas con dicha información, para descargarnos anuncios, etc… realmente la lista de posibilidades es larga. También es cierto, que muchas web ponen barreras a tal técnica, creando simples “redirect”. Bien, quizás el “Framework” más utilizando para ello es Scrapy, aunque existen otros como, variantes del mismo. [Leer más]

La Biblia de Apache NiFi y Apache NiFi Registry

De Apache NiFi hemos hablado mucho, mucho, mucho… pero nunca es suficiente. Es una de las grandes soluciones a nuestros males y hoy, haremos un resúmen de lo más destacado. Veamos: Apache Nifi multiple processor Una de las ventajas de Apache NiFi es que dispone de múltiples procesadores para tratar flujos de información. Por ejemplo: JSON: SplitJson, EvaluateJsonPath, ConvertJSONToAvro AVRO: SplitAvro, ExtractAvroMetadata, ConvertAvroToJSON TEXT: SplitText, ExtractText, RouteText Pero, tenemos una série de procesadores que, símplemente, son mágicos como: [Leer más]

Running a cluster with Apache Nifi and Docker

Sobre Apache NiFi hemos hablado mucho, ya sea en ejemplos de #DataStreaming ejecutados en RealTime o bien, en la construcción de Data Pipeline más simples. En todos los casos anteriores, nuestro Apache NiFi, era “Single node”. El post de hoy es lanzarlo mediante su opción de Cluster y mediante Docker. Veamos: Preparando el docker-compose.yml Lo primero será construir nuestro “docker-compose.yml” con todo aquello requerido. Como por ejemplo añadiendo un ZooKeeper para la gestión de la información entre los nodos de forma automatizada y, luego, la configuración de Apache NiFi. [Leer más]