Es Noticia, La inversión en big data entre las previsiones tecnológicas de los gobiernos para los próximos dos años - 25/01/2014 23:40:18
La inversión en big data entre las previsiones tecnológicas de los gobiernos para los próximos dos añosLas ciudades son un conjunto de sistemas que consumen recursos para ofrecer servicios y en el que una plataforma tecnológica adecuada optimiza los procesos, prestando esos servicios con mayor calidad y un consumo más eficiente de los recursos. En este contexto es clave el papel de los datos recogidos y analizados para la toma de decisiones y mejora de la eficiencia, tal y como se recoge en el último informe de Gartner, donde el 38% de los gobiernos participantes tienen planes de inversión en big data para los próximos dos años y un 16% ya ha iniciado proyectos.
El almacenamiento, la capacidad de procesamiento, el análisis y la visualización inherentes a los sistemas de big data son fundamentales para explotar los grandes volúmenes de información generados a partir de diversas fuentes como la energía, el agua, el transporte, la gestión de residuos, el comercio, el turismo o el gobierno, y transformarlos en conocimiento aplicable a la toma de decisiones de forma autónoma a las áreas tecnológicas. Esta será una de las líneas tractoras de la jornada Open Analytics, que tendrá lugar el próximo 24 de octubre en el Media Lab Prado de Madrid, donde Iván del Prado, director del Máster Experto en big data, e Ignacio Bustillo, profesor asociado de UTAD, serán los encargados de profundizar en la aplicación de sistemas de big data de código abierto en el caso de las Smart Cities y en los beneficios del análisis de datos con herramientas open source como Kettle.
La diversidad de tecnologías existentes en las ciudades hace imprescindible el desarrollo de estándares que faciliten la interoperabilidad de sistemas y dispositivos. En este sentido, soluciones como Pentaho Data Integration ofrecen potentes capacidades de extracción, transformación y carga de datos basados en metadatos. Con una interfaz gráfica que permite el diseño a partir del arrastre de elementos sin necesidad de programación, pone de manifiesto la existencia de opciones basadas en software libre y estándares cada vez más utilizadas por las organizaciones.
Soluciones big data open source aplicadas a las Smart Cities
En este entramado tejido por grandes volúmenes de datos es imprescindible establecer métricas eficaces que permitan evaluar el verdadero impacto de los modelos innovadores de ciudad a partir de la definición de conjuntos de indicadores prácticos, de diversas fuentes, por áreas para analizar el entorno y realizar comparativas.
Para ello, las soluciones de big data de código abierto y el tratamiento adecuado de los datos tienen múltiples aplicaciones prácticas que permiten desde la trazabilidad y seguimiento de decisiones, la eficiencia económica y presupuestaria, el equilibrio medioambiental y urbanísitico, seguimiento del empleo municipal, hasta la medición de la calidad de los servicios ciudadanos (hospitales, vivienda, transporte, impuestos,…), el fomento de la pymes, eficiencia del personal administrativo o la integración social.
La analítica de negocio aplicada al análisis de utilities y sensores propios de las Smart Cities es extrapolable a otras áreas y sectores como la Banca y Seguros, donde son claves las soluciones de seguridad y análisis financiero, necesidades que cubren los sistemas de big data sobre base tecnológica open source.
Compartir Fuente Artículo
Interesante, Big Data: Historia del dato. De la Información al Conocimiento. - 18/04/2012 8:48:10
"Por Antonio OrbeAlt1040
Big Data (I): Historia del dato.
Big Data se ha convertido en el nuevo mantra de las Tecnologías de la Información IT. El 90% de los datos de todo el mundo se han creado en los últimos dos años. El 80% de los datos mundiales son no estructurados, es decir, no están en bases de datos al uso. Solo el 20% de todos los datos está disponible para sistemas tradicionales.
Las empresas se enfrentan a enormes desafíos en la gestión del aumento de la información ya que las tecnologías tradicionales de IT se quedan cortas. ¿Cómo hemos llegado a esto? Es Big Data.
Historia del dato
En el principio era el batch o proceso por lotes. El primer proceso de datos ocurrió haciendo estadísticas del censo. Unos operadores creaban fichas perforadas (primera y última vez en que se vieron los datos con los ojos) y el ordenador realizaba los cálculos. Poco después aparecieron los terminales y las cintas, que aún hoy se usan.
A continuación vino el online o proceso transaccional o interactivo. Los usuarios empezaron a interaccionar directamente con las máquinas. Esto supuso una revolución ya que no eran operadores los que introducían los datos sino los mismos usuarios. Estos usuarios eran empleados de la empresa y en seguida los mismísimos clientes.
De pronto el interactivo pasó a ser prioritario relegando al batch a la noche. Nada era más importante que atender al usuario y darle el mejor tiempo de respuesta, idealmente por debajo de 1s. Todos los recursos de computación debían estar al servicio del online. Durante el día ningún proceso estaba permitido en una instalación de IT ya que podía perturbar el sacrosanto online.
Pero los procesos nocturnos seguían existiendo. En el catalogo de procesos batch estaba copiar ficheros, consolidar datos, realizar copias de seguridad y crear informes. Así como una transacción online movía algunos registros de algunas bases de datos, los procesos batch movían cantidades ingentes de registros pertenecientes a todas las bases de datos de la empresa. El batch seguía creciendo.
Pronto resultó que los ejecutivos primero y el resto de los usuarios después demandaban más informes. En efecto, teniendo todos los datos a su alcance, se preguntaban ¿vendemos más en el norte? ¿Vendemos más por la mañana? ¿Quién hace las compras más baratas? Los programadores de IT escribían programas que generaban los informes que les pedían. El tiempo medio variaba de días a semanas. Para cuando el informe estaba listo, las necesidades habían cambiado.
Y los ordenadores fueron creciendo. Al principio, cada nueva generación de un producto suponía un alivio para los clientes ya que podían hacer más con menos. Pero, con el tiempo, el crecimiento fue tal que con cada nuevo ordenador, la empresa necesitaba un modelo más bajo de la gama. Empezaba a sobrar capacidad de proceso.
El online seguía creciendo y seguía siendo sagrado. Un banco podía procesar muchos millones de transacciones online. Pero el batch crecía más deprisa. Aparecieron nuevas herramientas de consulta o queries. Un usuario podía crear sus propios informes sin contar con los programadores de IT. Con el problema de que un query mal diseñado cruza millones de registros de varias tablas sin un control de rendimiento. Los usuarios submitían consultas que colapsaban los ordenadores. El jefe de IT se plantaba y bloqueaba las consultas durante el día porque perjudicaban el online.
La necesidad de consultas se hacía más imperiosa y los ejecutivos necesitaban más y mejor información para tomar decisiones. De modo que se empezaron a crear bases de datos de consultas. Por la noche, como parte del batch, se copiaban tablas a otras bases de datos, se generaban índices y se cocinaban para que las consultas pudieran ser ágiles. Había comenzado el datawarehouse, los datamars o la analítica de negocio.
El mundo transaccional llamado OLTP (On-Line Transactional Processing) había dado paso al OLAP (On-Line Analytical Processing). El análisis de grandes bases de datos dejaba de ser nocturno y se hacía diurno.
Mientras, los ordenadores seguían creciendo. Los fabricantes comenzaron a pensar en nuevos mercados ya que el tradicional OLTP apenas consumía máquina. Nuevos players se fueron añadiendo, empresas de software que creaban programas para analizar mejor los datos. Los clientes empezaron a pensar en usar aún mayores cantidades de datos, un objetivo antes impensable. El mercado de las consultas de grandes bases de datos comenzaba a estar maduro.
Había nacido Big Data.
Antonio Orbe - 9 de abril, 2012, 23:03
Big Data (II): De la información al conocimiento
Cada día creamos datos que vienen de una multiplicidad de fuentes: registros de tráfico, posts que ponemos en los sitios de social media, fotos y vídeos online, sensores que recogen información del clima, transacciones bancarias online, GPS, llamadas de teléfono o registros de los organismos gubernamentales. Juntos suman la cantidad de 2,5 trillones de bytes, tanto que el 90% de ellos se han creado en los últimos 2 años. Es Big Data.
Big Data es un conjunto de datos que es demasiado grande, se actualiza demasiado deprisa y no encaja en las estructuras de proceso de datos IT de las empresas.
De la información al conocimiento
La información son los datos que tenemos a nuestro alcance. Es abundante, se olvida y cambia. El conocimiento consiste en extraer lo valioso de la información, su riqueza y su profundidad. El conocimiento permite tomar decisiones razonadas y actuar en consecuencia. La información tiene poco valor si no se transforma en conocimiento. Grandes cantidades de datos son inútiles si no podemos sacar conclusiones. Es necesario pasar de la información al conocimiento.
Big Data tiene dos desafíos. Manejar ingentes cantidades de información y analizarla para entenderla.
En los últimos años han florecido las empresas que se dedican de una u otra forma al manejo de grandes volúmenes de datos, tanto en relación al hardware, como al software y a los servicios asociados. Oracle, el gigante de las bases de datos, tiene un producto llamado Exadata en el que lo combina todo en lo que se denomina un appliance.
Antes, Teradata ya se dedicaba al datawarehouse o almacén de datos. IBM siempre ha tenido productos relacionados con el mundo de Business Analytics. Hace poco compró Netezza, otro appliance en el que todo está incluido.
Desde el punto de vista del software, muchas empresas han saltado al mercado con productos que manejan grandes cantidades de datos, los estructuran en cubos de información preprocesada y los atacan con herramientas de consulta como Cognos, también comprada por IBM.
Big Data tiene tres dimensiones, las tres V:
Volumen. Terabytes o Petabytes de información inundan los proyectos de Big Data
Velocidad. El dato de ayer no sirve hoy, hay que responder al mundo cambiante al instante
Variedad. Los datos ya no solo están estructurados en bases de datos a la antigua usanza. Ahora incluyen audio, video , posts de social media y mucho más.
El análisis de los grandes datos puede descubrir patrones escondidos que antes era muy complicado procesar. Pero el manejo de los datos no es cosa fácil empezando por el principio. La calidad de los datos es esencial. Todas las empresas tienen registros con clientes duplicados o vacíos.
Desde el mismo inicio hasta el informe final se usan multitud de herramientas que quieren asegurar la fiabilidad de las conclusiones. Solo el portfolio de productos de IBM para la gestión de la información tiene decenas de productos, de calidad, de manejo, de reporting, de consolidación, de minería o de predicción.
Para algunas grandes empresas como Google, Big Data es una necesidad imperiosa. Nadie sabe cómo funciona o qué hacen con su masiva cantidad de datos pero es seguro que el coste de su gestión es muy elevado. Para Pymes, productos de alquiler, en la nube o de software libre están disponibles además de un hardware relativamente asequible.
Pero Big Data comienza a penetrar en mundos antes imposibles. El LHC, gran colisionador de hadrones del CERN genera tantos datos que la mayor parte de ellos se desechan, confiando en que no estén tirando nada importante.
Siempre es posible recolectar más y más datos y hacerse preguntas más complejas. En el mundo de la sanidad la gestión de todas las historias clínicas. Más aún, todas las imágenes médicas como radiografías y resonancias. Y siempre existirá un médico que quiera cruzar datos de, por ejemplo, todas las radiografías de pacientes con tumor que no han muerto en cinco años, tenían familia y no tenían antecedentes de alcohol.
Y querríamos saber los datos de consumo eléctrico de todos los contadores al minuto para tomar decisiones adecuadas de consumo. ¿Contadores? ¿Por qué no cada enchufe y cada electrodoméstico? O saber todos los tuits que hablan de un determinado tema y relacionarlos con noticias de prensa. O seguir el movimiento de cada vehículo en las carreteras. O estudiar la influencia de los rumores que se propagan en los social media sobre las bolsas y productos financieros.
El catalogo de preguntas que pueden hacerse las industrias, sectores y empresas es inacabable. Es Big Data.
Antonio Orbe - 11 de abril, 2012, 16:35
Licencia. Acerca del uso del contenido de nuestros blogs
A menos que se especifique lo contrario, todo el contenido y los comentarios de todos los blogs de Hipertextual se encuentran bajo licencia Creative Commons Reconocimiento 2.5, lo cual significa que eres libre de:
Copiar, distribuir y comunicar públicamente cualquiera de los posts escritos o comentarios hechos en nuestros blogs.
Darles usos derivados, por ejemplo modificarlos según tus necesidades.
Hacer uso comercial de nuestros posts o comentarios hechos. Por ejemplo, se pueden usar nuestros posts en un blog con fines comerciales o ser publicados en un medio masivo como periódicos o revistas.
……………………………………………
Fuentes:
Big Data 1: Historia del dato.
Big data 2: De la información al conocimiento
Imagen: DIKW
.... Twittear
Artículos relacionados:
- Big Data: Historia del dato. De la Información al Conocimiento.
- Big Data. La fuente para el conocimiento en el siglo XXI
- Entender el futuro: La evolución de las bases de datos - Big Data
- Introducción a la analítica web
- Clicks rigurosamente vigilados. Los numerati nos analizan
- Internet de los objetos: Modelos de negocio
- Gestión del Conocimiento: Una Herramienta Esencial para el Diseño de Sistemas de Información
- Tendencias 2011-2015 en los Sistemas de Gestión de Clientes CRM
- Tendencias 2010-2012 de la Inteligencia de Negocios (BI)
- Business Intelligence. Los Sistemas de Soporte de Decisiones DSS
- Business Intelligence: Prediciendo el Futuro de los Negocios
- Introducción a la minería de datos o data mining
- Chile puede llegar a ser potencia mundial en analítica de negocios
- Analizar las Estadísticas del Sitio Web Clave de una Gestión Efectiva
-
En la web:
- The Age of Big Data . The New York Times
- 2012: ¿qué puede esperar de la tecnología este año?
- El desafío del ""big data"", más que sólo grandes volúmenes de datos
- Implicaciones éticas del big data , Enrique Dans
- Big Data: una pequeña introducción, Enrique Dans
- Big data: The next frontier for innovation, competition, and productivity
- The year in big data and data science
- 2012: El año del BYOD, el Big Data y el crecimiento de cloud - Network World
- Analítica Web Cualitativa para todos los públicos (y bolsillos)
- Conceptos básicos del diseño de una base de datos
- Data, Information, Knowledge and Wisdom
- Best Web Analytics Tools: Quantitative, Qualitative, Life Saving! | Occams Razor by Avinash Kaushik
- Business Analytics , Getting the Point
Estoy en: Facebook - NetworkedBlogs - Delicious - Twitter - Blogalaxia - Bitacoras.com - My Twitter Times
Etiquetas en Bitacoras.com: management, gestion, innovacion, conocimiento, organizacional, imaginactivo, manuelgross, bligoo
Ver artículo...
" Fuente Artículo
Interesante, ¿Es Google el futuro Big Brother o Gran Hermano? - 15/02/2012 4:16:32
" Por Christian Delgado von EitzenGeek"s Room
Google es una multinacional muy poderosa con beneficios de miles de millones de dólares año tras año y, si bien cada vez diversifican más su actividad, lo cierto es que casi la totalidad de sus ingresos son debidos a la publicidad.
Haciendo un poco de historia recordemos que comenzó su actividad empresarial como el buscador que todos conocemos, fruto de la tesis doctoral de los fundadores. A raíz de ver la oportunidad de vender anuncios dependientes de las búsquedas comenzaron a desear conocer cada vez mejor qué es lo que le interesa al visitante para poder presentarle anuncios que merezcan su interés (lo que significará que hará click y quizá genere una venta y la comisión correspondiente en su caso).
Para poder establecer este perfil por usuario invirtieron e invierten millones en desarrollos, comprar empresas como DoubleClick, etc. Su máxima aspiración es saber qué nos gusta y lo intentan averiguar sin descanso.
Por eso cuando buscamos en Google un hotel para Nueva York por ejemplo, después visitemos la página que visitemos, todos los anuncios que aparecen por todas partes son de ofertas de alojamiento para esta ciudad.
Mucho les tuvo que haber molestado que una empresa como Facebook pidiese a sus usuarios que rellenasen una ficha con todos sus datos: nombre, ciudad, estudios, gustos musicales, cinematográficos, etc. ¡Y la gente la cubrió encantada! Lo que Google lleva persiguiendo años, Facebook lo consigue en poco tiempo y de esta manera ofrece a sus clientes poner sus anuncios segmentando por casi cualquier criterio.
Aún así la empresa de la gran G no se rinde pues cuenta con enormes recursos propios y continúa en su cruzada por conocer al usuario lanzando y manteniendo servicios como
Gmail (para conocer de manera automática el contenido, temática y remitente de sus correos),
Google Reader (qué feeds le interesan),
Google Docs (qué documentos elabora),
Blogger (qué blogs tiene o frecuenta),
Google Product search (qué productos desea comprar),
Youtube (qué vídeos le gustan),
Google maps(dónde vive y a dónde quiere ir),
Google News (qué noticias le interesan),
Google Calendar (qué agenda tiene),
GTalk (con quién "chateas" y qué dices),
Picasa (qué fotos tiene, con quién las comparte),
Google Wallet (qué compra por Internet),
Google Music (qué música le gusta),
Google Books (qué le gusta leer),
Google Grupos (qué le interesa),
Google+ (la red social similar a Facebook , con quién se relaciona y cómo, futuro ¿epicentro de todo lo demás?)
y un largo etcétera que dan siempre indicaciones sobre las preferencias de los internautas. No es necesario comentar que el buscador también es una valiosa fuente de información sobre qué necesita saber la persona en cada momento. Con toda esta información agregada ¿no se tiene un muy buen perfil de la persona?
Paralelamente, el desarrollo de un sistema operativo para móviles (Android) es más que estratégico. El futuro es móvil y por tanto las búsquedas desde estos dispositivos cada vez tendrán más peso en el cómputo general de consultas. Por tanto la única opción era crear un sistema operativo "libre" según la filosofía de Google para maximizar su expansión. La compra de la división de móviles de Motorola, además de por las patentes que poseía, viene a reforzar la presencia de Google en el mundo de los móviles de manera similar a Apple.
Si el usuario lo autoriza (que es lo habitual) el sistema también podrá saber dónde está y por dónde pasa el usuario, lo que tiene mucho valor de cara a ofrecer anuncios geolocalizados (es decir, en función de su ubicación).
En el campo de los navegadores y a pesar de que durante mucho tiempo lo negaron, finalmente sacaron el suyo propio, Google Chrome muy rápido y moderno basado en el proyecto de software libre Chromium. Nunca he llegado a entender por qué Chrome no es software libre. De hecho me hace sospechar que tiene alguna funcionalidad oscura que no se quiere que se sepa o de lo contrario sería un programa abierto (igual que Android, por ejemplo).
Fue muy sonado el caso de CarrierIQ, empresa que proporciona software de control de redes móviles a los operadores, ya que según descubrieron unos hackers no solo monitorizaba las redes sino que también espiaba a los usuarios sobre todo de EE.UU. incluyendo dónde se encontraban o qué tecleaban en su terminal. Se vieron afectados terminales con Android, Blackberry, Apple y Windows Phone principalmente.
Tanto Google como RIM, Apple o Microsoft se apresuraron a afirmar que sus programas carecían de cualquier espía pero lo cierto que es que salvo en el caso de Apple, los demás sistemas operativos de móvil no llegan al público directamente: pasan por las manos del fabricante del teléfono y luego por las de la operadora, y no se sabe a ciencia cierta qué instalan.
El ejemplo de CarrierIQ viene a demostrar que por un lado si bien Android es software libre y transparente, el Android que lleva un teléfono en el mercado no lo es pues ha sido personalizado y "cerrado".
Volviendo al caso de Chrome, lo que personalmente no entiendo es qué puede añadir Google para que no sea abierto. Considerando además la afición de la empresa por conocerlo todo sobre nosotros no sería raro que monitorizasen de alguna manera. Esto pertenece al campo de los rumores pero lo que sí es cierto es que a la hora de instalar el programa se genera un identificador único que llega a los servidores de Google (figura en su política de privacidad) aunque luego afirman eliminarlo.
Quizá el lector piense que Internet Explorer también puede mandar algo a Microsoft cuando al navegar comprueba si las páginas a visitar constan como páginas "peligrosas". Puede ser. No lo niego aunque lo dudo, pero a mí en este caso la empresa de Redmond me da un poco más de confianza desde el momento que sé que sus ingresos no proceden de la venta de datos o publicidad sino de Windows, Office, Xbox y todos sus demás productos. En el caso de Google como decíamos al principio no es ni mucho menos así. Este hecho unido a que algunas empresas valoran más su cuenta de resultados que la privacidad de sus usuarios hace por lo menos dudar de las intenciones de Google.
Aunque su repercusión está siendo casi nula, existen en el mercado portátiles con ChromeOS, el sistema operativo diseñado para tener pocos datos en el equipo y muchos en Internet, en la nube (de Google, claro). ¿Otra manera de saber cuáles son los intereses de la persona? Se rumorea también que en las próximas semanas puede aparecer un servicio de Google similar a Dropbox: GDrive para almacenar ficheros que probablemente indicará la empresa del buscador, obteniendo más y más información.
Fracasó (a veces Google también lo hace) con Google TV pero siguen intentándolo, De consolidarse su utilización sin duda usarían lo que saben de nosotros para ofrecernos anuncios personalizados, en este caso por TV.
Un ejemplo práctico y real de que todas estas especulaciones son reales es que en la direcciónhttps://www.google.com/settings/ads/onweb/ puede consultarse el perfil que, en base a los datos que tiene sobre cada uno, ha estimado Google que es el nuestro.
Con todos estos datos y ojos que nos observan desde todas partes cuando estamos en Internet no es descabellado pensar en Google como en un "Big brother" que todo lo registra.
El objetivo de este artículo no es ni mucho menos animar a que usemos menos Google sino a que por lo menos seamos conscientes de que con cada dato que les mandamos estamos alimentando y perfeccionando sin quererlo nuestra "ficha". Es cierto que en muchas ocasiones no nos consideramos lo suficientemente importantes como para nuestros datos puedan interesarle a nadie o que pensemos que no tenemos nada que ocultar pero lo cierto es que en un futuro muy próximo la intimidad y privacidad digital, si no empezamos a defenderlas ahora, van a ser un bien muy preciado.
Igual que no divulgamos ciertas informaciones sobre nosotros gritándolas por la calle ¿por qué no nos da reparo que Google las sepa? De momento el eslogan de Google es "Don"t be evil" (no seas malvado) pero ¿hasta cuándo? ¿Y si ya estuviese empezando a ser malvado? Porque todos los indicadores apuntan a que se está empezando a mostrar cómo es realmente. El tiempo dirá si estas líneas fueron fruto de una visión o una exageración.
Publicado el 13 febrero 2012 por Invitado
Copyright © 2006-2011 GeeksRoom
………………………………………………
Fuente: Geek"s Room
Imagen: Big Brother Google
.... Twittear
Artículos relacionados:
- ¿Es Google el futuro "Big brother" o Gran Hermano?
- Big Data. La fuente para el conocimiento en el siglo XXI
- Seis recomendaciones para la privacidad de los adolescentes en las redes sociales
- El Gran Hermano Google - Amenaza u oportunidad?
- Manifiesto por una Red Neutral
- Sociología de la comunicación y las nuevas tecnologías
- Barabási: Estudian estadísticamente nuestros comportamientos sociales
- Clicks rigurosamente vigilados. Los numerati nos analizan
- Manuel Castells: ""Comunicación y poder"". La metáfora de la sociedad-red
- Manifiesto En defensa de los derechos fundamentales en internet
- La comunicación digital: Internet como nuevo medio
- Un nuevo manifiesto: los medios del Siglo XXI
- Enrique Dans sobre la promiscuidad de los datos
- Los datos privados están en peligro
En la Web:
- Redes Sociales: ¿Hacia la pérdida de privacidad del individuo?
- Do Not Track Plus: recupera el control de tu privacidad (y navega más rápido)
- Google: Lo que sabe y no sobre ti « Omicrono
- The Big Google Search Tools Collection
- 10 Extremely Useful Websites to Stop Big Brother From Snooping on You
Estoy en: Facebook - NetworkedBlogs - Delicious - Twitter - Blogalaxia - Bitacoras.com - My Twitter Times
Etiquetas en Bitacoras.com: management, gestion, innovacion, conocimiento, organizacional, imaginactivo, manuelgross, bligoo
Ver artículo...
" Fuente Artículo
Consulte Información de Gana lo que quieras Las bases de datos y Los Servicios públicos
Consulte Información de Gana Emprendedor Web El futuro de los Negocios y Empresa Oracle
Consulte la Fuente de este Artículo
No hay comentarios:
Publicar un comentario