Tag: big data

La mayoría de la información ofrecida por instituciones, diputaciones y otros organismos públicos, popularmente conocida como Open Data, es digitalizada y publicada a través de diferentes canales en Internet. Estos datos abiertos pueden ser tanto disposiciones de licitaciones, ayudas, subvenciones, multas de tráfico, oposiciones, concursos oficiales, etc. Este tipo de información es buscada día a día por diversos usuarios y empresas de diferente índole que desean consultar estas bases de datos de Open Data.

Pero, claro, toda esta información no está estructurada (desordenados) y cada dato está publicado en una web diferente bajo un formato distinto (PDF, HTML, XML,…). Hoy en día no existe una página pública o herramienta comercial que aglutine y extraiga todos estos datos descritos bajo una misma web. Tampoco existe un protocolo o normalización estándar de “cómo se deben publicar”.

Además de la gran heterogeneidad del Open Data (origen y formato), en el 95% de los casos, esa información no está estructurada y necesita un tratamiento por una persona para que sea útil. Si se tiene en cuenta la cantidad de canales a extraer y el volumen de información publicado, incluso considerando sólo lo publicado diariamente, se hace inmanejable para una persona.

En resumen, la situación de partida es que estamos ante un gran volumen de datos que requiere la necesidad de una herramienta que facilite la consulta y extracción de estos datos. Gracias a la inteligencia artificial y el Machine Learning (aprendizaje automático), tenemos la solución: NetOpenData. Se trata de una herramienta que facilita el acceso a los datos del sector público y open data. Se trata de un servicio para acceder a la información de forma estructurada y bajo un solo paraguas, una sola web.

¿Cómo funciona el sistema de inteligencia artificial diseñado?

La innovación principal de NetOpenData parte de obtener, procesar y ofrecer este tipo de información de forma estructurada siguiendo un enfoque automático. Para ello se han aplicado diferentes técnicas de aprendizaje, siguiendo un enfoque supervisado relacionado con:

Se han desarrollado sistemas capaces de dar solución a la extracción masiva de recursos a partir de Internet, la segmentación de textos, la clasificación de textos y la extracción de información en textos. Además, de cara a la extracción masiva de información se ha hecho uso de herramientas pensadas para este tipo de entornos que permitan trabajar desde una perspectiva paralela capaz de organizar el trabajo siguiendo un enfoque escalable y distribuido ya que de otra forma el sistema no es capaz de procesar toda la información recogida.

Otros de los puntos fuertes de NetOpenData es la utilización de las últimas tecnologías de almacenamiento. Sistemas que surgieron hace poco y están adaptadas a los procesamientos de información en tiempo real. Esto es una ventaja debido a que desde su base de creación se están enfocando a problemas actuales como cargas masivas de datos (Big Data) o tiempos de respuesta y almacenamiento bajos, una gran problemática que les cuesta solventar a las bases de datos tradicionales, debido a la robustez que ya tienen.

¿Qué ventajas posee este sistema de Inteligencia Artificial?

  • Permite extraer unos recursos concretos (Ej. Boletines Oficiales) a través de diferentes canales (Ej. Web de una Diputación) de una forma automática, teniendo en cuenta las peculiaridades de los datos a extraer, así como el uso que se le tiene pensado dar.
  • Es capaz de tratar cada recurso extraído con el fin de obtener de él una información útil para el usuario:
    • Segmentar el índice del contenido.
    • Segmentar el contenido en disposiciones.
    • Clasificar el idioma de la disposición.
    • Clasificar las disposiciones en función a una taxonomía.
  • Puede ordenar determinadas piezas de información según el idioma y el tipo de la disposición.
  • Hace posible guardar de forma persistente tanto la información bruta como la estructurada fruto del tratamiento indicado anteriormente, teniendo en cuenta el uso que se le tiene pensado dar y el volumen generado.
  • Ofrece al usuario el acceso a los datos de forma más práctica y eficaz posible, a través de una única página web que permite:
    • la visualización y filtración de datos
    • la descarga de disposiciones concretas
    • la creación de alertas de disposiciones en base a una serie de filtros concretos.

¿Qué tipo de datos públicos puedes obtener con NetOpenData?

Boletines Oficiales, Patentes, Marcas, Ayudas, Nombres Comerciales, Contrataciones y Licitaciones. Toda esta información se estructura para puedas utilizarlo de forma fácil y sencilla en tu empresa o para que puedas montar servicios innovadores a partir de estos datos.

NetOpendata

Por otro lado, en ITELLIGENT nos adaptamos a las necesidades de cada uno de nuestros clientes por lo que si tu empresa requiere otros datos diferentes a los que aporta NetOpenData o desea enlazar los datos de nuestro software con otras fuentes, también somos especialistas en hibridación de datos.

En ITELLIGGENT nos hemos especializado en el desarrollo de tecnologías encaminadas a la estructuración de grandes volúmenes de datos (procedentes de Internet y de los sistemas propietarios) y el desarrollo de soluciones que permitan a las organizaciones obtener una ventaja competitiva gracias a la “inteligencia” que el análisis de estos grandes volúmenes de datos (Big Data) les aporta.

Es por ello que en este post, queremos exponer qué tipo de ventajas ofrece el uso del Big Data y la Inteligencia Artificial a través de herramientas diseñadas para ello. Es decir, mostrar cómo la estructuración de grandes volúmenes de datos junto a técnicas de inteligencia artificial pueden ofrecer información útil para cualquier tipo de negocio.

photo-15

Big Data y pricing. Monitorización de precios, modelización y gestión.

Una de las principales razones por las cuales los consumidores suelen hacer sus compras en el mundo online es la de beneficiarse de precios más ajustados que en los establecimientos físicos. Este hecho nos hace platearnos que, disponer de una herramienta de gestión y control de precios en Internet sea una tarea esencial para poder tomar decisiones en las estrategias de fijación de precios online.

Un ejemplo de plataforma big data enfocada al pricing es NetPrice de ITELLIGENT. Con esta herramienta se puede reducir la incertidumbre en la toma de decisiones en torno a una estrategia de precios. La herramienta recolecta una gran cantidad de precios e información sobre productos y servicios, tanto internos como de la competencia, para un posterior análisis de sus fluctuaciones. Esto facilita que se entienda mejor el mercado y permita anticiparnos a la demanda.

MONITORIZACIÓN MASIVA DE PRECIOS Y DETECCIÓN DE OPORTUNIDADES Y AMENAZAS

¿Por qué extraer precios? La extracciones masivas de precios (en algunos casos más de 150 millones de precios al mes) y su modelado para detectar aquellas amenazas y/o oportunidades,  debe requerir la atención de cualquier empresa. Esta monitorización de precios permite centrar el esfuerzo solo en aquellos precios (propios y de la competencia) que realmente puedan tener un impacto en la cuenta de resultados de la empresa.

BUSCADORES DE PRECIOS

En aquellos sectores con fuerte dependencia de buscadores de precios (ej. seguros), la monitorización masiva de precios, propios y de la competencia en estos buscadores, mediante la creación de modelos matemáticos descriptivos y predictivos, permiten que una empresa pueda adelantarse a la competencia obteniendo una ventaja diferencial gracias al conocimiento que esta modelización les aporta.

Una herramienta como Netprice facilita al departamento comercial establecer políticas de precios en base a técnicas de Revenue o Yield Management, o lo que es lo mismo, optimizar su gestión de precios en función de la demanda y la disponibilidad de artículos. Es fundamental la optimización del precio del producto/servicio para lograr maximizar los ingresos. Tener a disposición una plataforma con estas características se ha convertido en un elemento necesario e indispensable para la obtención de un control total de la gestión de grandes volúmenes de precios en Internet.

GEOMARKETING: localizaciones óptimas y segmentación inteligente de consumidores.

Una de las ventajas del análisis conjunto de los datos demográficos, económicos y geográficos es la posibilidad de realizar estudios de mercado para rentabilizar las estrategias de marketing llevadas a cabo por las empresas.

El análisis de este tipo de datos se puede llevar a cabo a través del Geomarketing. Tal como su propio nombre indica, Geomarketing es una confluencia entre geografía y marketing. Se trata de un sistema integrado de información –grandes datos de diversa índole-, métodos estadísticos y representaciones gráficas orientados a dar respuestas a cuestiones de marketing de forma rápida y sencilla.

photo-1476973422084-e0fa66ff9456

¿Cómo se puede aprovechar estos datos?

MODELOS DE VENTA

Un ejemplo pueden ser proyectos de distintos sectores cuyo objetivo sea crear modelos geoespaciales avanzados que permitan predecir cómo influyen determinados elementos (competencia, polos de atracción, demografía, horarios…) en la facturación de los comercios con vistas a detectar potenciales áreas de mejora.

El resultado de estos modelos se puede visualizar sobre un sistema de información geográfica, como como ser netgeomarketing de ITELLIGENT, de forma que permita a la empresa poder iterar con el modelo y ver los resultados de una forma muy visual.

FRANQUICIAS

Otro ejemplo podemos verlo en aquellos proyectos en los que el objetivo es la detección de ubicaciones óptimas para el establecimiento de una franquicia. En ITELLIGENT se ha desarrollado una metodología propia y algunas herramientas de soporte a la decisión sobre sistemas de información geográfica que permite a las empresas tomar decisiones informadas sobre la ubicación óptima de sus franquicias

¿Para qué sirve una plataforma de geomarketing?

  • Tomar decisiones de negocio en función de la localización de su mercado en un área geográfica
  • Planificar la estrategia de expansión, optimizar una red comercial, de punto de venta o red de distribución.
  • Determinar zonas de influencia y cobertura geográfica.
  • Evaluar perfiles de población (targets o clientes)
  • Descubrir dónde y cómo llegar a tus clientes para llevar a cabo acciones de marketing.
  • Averiguar puntos calientes de ventas (hot ubiety)
  • Detectar y evaluar dónde se encuentra la competencia así como calcular su cobertura y área de influencia.

La era digital ha provocado una explosión de datos en todas las formas y desde todas las regiones del mundo. Esta explosión de datos, conocido como Big Data, no siempre están bien estructurados y no son accesibles. Se podría tardar que una persona pudiera manualmente extraer la información relevante de estos grandes datos desestructurados. Sin embargo, existen técnicas de Inteligencia Artificial que permiten la estructuración de los datos y posibilita la extracción de información útil de los mismos. Por este motivo, las empresas se dan cuenta el increíble potencial del Big Data & Inteligencia Artificial.

QUÉ ES DEEP LEARNING

Deep learning (aprendizaje profundo) es una nueva técnica dentro del aprendizaje automático (machine learning) basado en arquitecturas de redes neuronales. Está relacionado con algoritmos inspirados en la estructura y función del cerebro, de ahí el nombre redes neuronales artificiales. Las redes neuronales artificiales se construyen como el cerebro humano, con nodos de neuronas conectados como una red.

Mientras que los modelos tradicionales crean análisis con estructuras lineales, los modelos de deep learning se caracterizan por su estructura jerárquica permitiendo procesar los datos con un enfoque no lineal.

¿Qué tiene de especial el deep learning? Un modelo basado en deep learning puede aprender a realizar tareas de clasificación directamente a partir de imágenes, texto o sonido, etc. Sin necesidad de intervención humana para la selección de características, esto se puede considera la principal característica y ventaja del deep learning, llamada “feature discovering” .Pueden, además, poseer una precisión que supera al ser humano.

EN QUÉ CONSISTE, CÓMO FUNCIONA

Los modelos se entrenan mediante un amplio conjunto de datos etiquetados y arquitecturas de redes neuronales que contienen muchas capas.

La primera capa de la red neuronal procesa una entrada de datos brutos como por ejemplo una imagen, y la pasa a la siguiente capa como salida, este proceso se va repitiendo sucesivamente hasta completar todas las capas de la red neuronal. Por ejemplo, una imagen que comienza como una matriz de píxeles. Las características aprendidas en la primera capa puede ser por ejemplo, la aparición o no de ejes en una parte concreta de la imagen. La segunda capa detecta uniones de ejes. La tercera capa aprende combinaciones que correspondería a partes de objetos. La principal característica de este método es que estas capas realizan el descubrimiento de características sin intervención humana, aprendiéndolo directamente de los datos brutos.

El término “deep” (profundo) suele hacer referencia al número de capas ocultas en la red neuronal que pueden ser hasta 150 capas (las redes neuronales tradicionales solo contienen dos o tres capas oculta).

ARQUITECTURAS DEEP LEARNING

Hemos comentado que la mayoría de métodos de machine learning emplean arquitecturas neuronales, por lo que las arquitecturas de deep learning emplean modelización de redes neuronales, tales como:

  • Deep Neural Network (DNN) o Redes neuronales profundas
  • Convolutional Neuronal Network (CNN) ó Redes neuronales profundas convolucionales
  • Deep Belief Network (DBN) o Redes de creencia profundas

corteza visual_deep learning

CONVOLUTIONAL NEURONAL NETWORK 

En este post nos centraremos en la arquitectura de deep learning, Convolutional Neural Network (CNN) que, traducido al español, se trata de Redes Neuronales Convolucionales. En este tipo de arquitectura se emplean modelizacion de redes neuronales artificiales donde las neuronas correspondes a campos receptivos -similar a las neuronas en la corteza visual V1 de un cerebro humano-. Este tipo de redes son muy efectivas para tareas de:

  • Detección y categorización de objetos
  • Clasificación y segmentación de imágenes

El objetivo de CNN es aprender características de orden superior utilizando la operación de convolución. Puesto que las redes neuronales convolucionales puede aprenden relaciones de entrada-salida (donde la entrada es una imagen), en la convolución, cada pixel de salida es una combinación lineal de los pixeles de entrada.

Pero, ¿qué significa “convolucion”? La convolución consiste en filtrar una imagen utilizando una máscara. Diferentes máscaras producen distintos resultados. Las máscaras representan las conexiones entre neuronas de capas anteriores. (INAOE).

Estas capas aprenden progresivamente las características de orden superior de la entrada sin procesar. Este proceso para aprender características automáticas es la característica principal del modelo de deep learning, llamado descubrimiento de características.

Las redes neuronales convolucionales se forman usando dos tipos de capas: convolucionales y pooling.(INAOE). La capa de convolución transforma los datos de entrada utilizando la operación matemática de convolución. La operación de convolución describe cómo fusionar dos conjuntos de información diferentes.

Después de la capa o capas de convolucion se usa una capa de pooling. La función de las capas de pooling es resumir las respuestas de las salidas cercanas. La principal característica de la capa de pooling son dos. Primero, la capa de pooling reduce progresivamente el tamaño espacial de los datos. Y segundo, la agrupación ayuda a obtener una representación invariable a una pequeña traslacion de la entrada.

Convolutional Neuronal Network

Las redes neuronales convolucionales fueron algunas de las primeras redes neuronales aplicadas para resolver aplicaciones comerciales importantes. Un ejemplo de ello fue en la década de 1990, AT & T desarrolló un modelo de CNN para la lectura de cheques. También más tarde se desarrollaron muchos sistemas OCR basados ​​en CNN. Actualmente, el interés por el deep learning se debe en gran parte a la victoria de Krizhevsky et al. en el desafío de imageNet.

La transformación digital está comenzando a ser un factor competitivo para marcar la diferencia dentro del sector inmobiliario. Las nuevas tecnologías IT suponen una revolución dentro del sector ya que permiten simplificar procesos, mejorar la economía del tiempo y reducir costes. Estas tecnologías digitales evolucionan a un ritmo imparable y las empresas del sector deben adaptarse a esta situación de constante cambio para no quedarse atrás en el mercado. Es por ello que, con en este caso de práctico, queremos  mostrar cómo la tecnología IT ofrece soluciones optimas para el desarrollo de actividades profesionales dentro del sector inmobiliario.

Pero antes, debemos plantearnos varias cuestiones: ¿qué es la transformación digital?¿en qué consiste? ¿por qué hace falta?

La transformación digital es la reinvención de una organización a través de la utilización de la tecnología digital.

Existen una serie de amenazas que hacen que la transformación digital suponga una cuestión de supervivencia empresarial para cualquier sector. Estas amenazas son:

  • Uberización. El surgimiento de empresas como Uber, Bla Bla Car, Airbnb, … suponen una amenaza que tambalean empresas con una visión muy tradicional en un sector determinado.
  • Gigantes digitales. Las capacidades de grandes empresas como Google, Amazon, Microsoft, … es muy difícil competir con ellas, incluso poseen capacidades de absorción.
  • Puede que una empresa tipo Uber y un gigante digital como Google, puedan parecer unas amenazas remota pero… ¿qué está haciendo tu competencia? ¿se está reinventando con el uso de tecnología digital?

Algunas claves para afrontar la transformación digital (en qué consiste):

  • Cualquier empresa debe convertirse en una empresa tecnológica: uso de robotica, IoT, Procesamiento del Lenguaje Natural, Aprendizaje Automático, etc.
  • Aventurarse sin miedo a imaginar cómo la tecnología podrá cubrir las necesidades futuras de nuestros clientes.
  • Las fronteras entre sectores desaparecen: las capacidades tecnológicas permiten a una empresa entrar en cualquier sector.
  • Es fundamental abrir nuestros sistemas a terceros. Ninguna empresa es lo suficientemente grande o inteligente para no mejorar sus productos gracias a la colaboración de otras personas, empresa, etc. Este concepto es habitual verlo en los smartphones con sus apps de terceros.

APARTAMENTOS

CASO DE USO: Transformación Digital en el mercado inmobiliario

Nuestro cliente, una empresa inmobiliaria tradicional cuyo negocio ha consistido en la intermediación de la compra-venta y alquiler de inmuebles, ve una oportunidad de negocio  en la inversión inmobiliaria para su posterior alquiler, mediante crowdfounding soportada en una plataforma digital.

  • Necesidad del cliente

El cliente disponía de un equipo de análisis de oportunidades que debía analizar las distintas viviendas en ventas en aquellos municipios de interés para determinar cuáles deberían ser objeto de un estudio detallado, es decir, estos analistas debían generar una “lista corta” de oportunidades para que el equipo de desarrollo de  negocio hiciese una evaluación detallada de  las mismas.

En España se producen muchos nuevos inmuebles en venta al mes, una cifra alta para que el equipo de analistas pudiese realizar el análisis manualmente de cada una de ellas. Además el análisis realizado por este mismo equipo se basa en la obtención manual de viviendas más o menos similares en la zona y la extrapolación de los datos de estas viviendas al inmueble en estudio. Lo que, además de ser una tarea ardua, no se aprovecha en su totalidad los datos ni se modeliza de una forma científica.

Transformacion-Digital_Inmobiliario_necesidadesPara solucionar estas necesidades, los objetivos a cumplir en este proyecto fueron:

  • Reducir el tiempo de análisis de las oportunidades para poder analizar todas las ofertas de inmuebles.
  • Basar el análisis de las oportunidades en métodos científicos que aprovechen el gran volumen de datos disponibles (Big Data) en lugar de basarlo en intuiciones.

SOLUCIÓN ITELLIGENT

Diariamente se producen en España oferta de ventas de inmuebles y de alquiler de imuebles.

  1. El primer paso fue modelizar los precios de la oferta de alquiler para poder predecir por cuanto se podría alquilar una vivienda que esté en venta. Además, estos modelos permiten entender los factores que han influido en la predicción.
  2. Una vez que se disponía de una predicción del precio de alquiler de una vivienda que está en venta, se corrigen dichos precios para tener en cuenta a capacidad de negociación tanto en la compra del inmueble como en el alquiler del mismo.
  3. Tras haber corregido los precios, se añade una estimación de los costes de la compra (hipoteca..) así como una estimación de los costes de reforma.
  4. Con los datos anteriores, se realiza un análisis de la inversión con un plazo temporal que fija el cliente, obteniéndose para cada vivienda un retorno de la inversión (ROI) para cada inmueble en venta.

Transformacion-Digital_Inmobiliario_solucion-ITELLIGENT

RESULTADO 

Gracias a esta solución, el equipo de analistas puede realizar su trabajo de forma que:

  • Ahora el equipo de analista es capaz de analizar todas las oprtunidades que se presentan en el mercado  sin que se le quede ninguna oportunidad importante fuera por falta de tiempo.
  • Al utilizar modelos sofisticado de Data Science y Big Data, los resultados son más más exactos y fácil de justificar.

En este caso de uso se describe cómo el Data Science y Big Data ayudan a la transformación digital del sector inmobiliario.

Transformacion-Digital_Inmobiliario_resultados

CONCLUSIÓN

En este caso de uso se cumplen alguna de las claves que hemos comentado al inicio de este post:

  • Una empresa dedicada a la mediación de la compra-venta de viviendas se introduce en un sector diferente al suyo (inversiones). La frontera entre ambos sectores se hace difusa.
  • Se cubre una necesidad mediante el uso de la tecnología. La empresa ha comenzado su viaje de pasar a una empresa meramente administrativa a una empresa con importante componentes tecnológicos.
  • En el futuro, es posible que la empresa abra su sistemas a otros actores. Por ejemplo, empresas de mantenimientos, de seguros, administradores de fincas, etc que puedan dar otros servicios.