Softening the blow of complex Geodata. Striving ourselves to ease up the understanding and trying to make easier those complex procedures we usually get stuck in!
Isn’t it incredible? Mapping qualitative data, something as intangible as mapping a concept. For the first time, human behavior and personality in communities can be quantified using artificial intelligence. This dataset ranks the level of hipster activity by the block group level in the US.
Do you see the correspondance of this variable to the major transportation routes?
Do you see the correspondance of this variable to the major cities?. Is there any defined distribution pattern within the big urban areas (i.e Birmingham)?. Is there any correlation you can come across with?
For this purpose I had to download census boundaries from 2010 and crossed them with this ID i have got from Chad Gardner @cgard2991
Spatial.ai uses artificial intelligence to process over 4 billion social media data points, with approximately 140 million new data points added monthly. We filter and clean this data to identify predictive value and quantify the qualitative nature of communities. We then organize these filtered data into 100+ social segments. Finally, we deliver organized, usable segments scored on a global index to help you measure human behavior in any location. For this dataset we organized the filtered data into 100+ social segments scored on a global index.
We provide this sample data set to prospective customers and partners to demonstrate typical delivery format. This data can be made available in any format or level of geography including all of North America and most International locations.
The U.S. Census Bureau has changed the way it ensures privacy for the 2020 Census. The new method is called Differential Privacy (DP).
To help people assess some of the implications and unintended consequences of Differential Privacy, Caliper® is providing several maps for public inspection. This map, created with Maptitude®, shows the change in population for every Congressional district after applying Differential Privacy.
The map illustrates that the current 116th Congressional District populations would have been different in many instances, with possible implications for service provision, allocation of funds, and political representation.
Because this method distorts populations for Census Blocks and for all political subdivisions within each State, state legislatures would have drawn different district boundaries had Differential Privacy been used in the 2010 Census.
Esta vez me tocó impartir el seminario motivacional “Geógrafos en tiempos de GIS” en el entorno del Máster de Tecnologías de la Información Geográfica. Yo encantado pues este mismo máster lo cursé yo hace ya doce años. Wow, ¡El tiempo pasa rápidamente cómo dicen! y la verdad es que por muchas razones, me encantó hacerlo.
Al final no vino el profesor Emilio Chuvieco Salinero, y eso que movimos el seminario para adecuarnos a su agenda:-) pero aunque le eché de menos (en mi año de Máster estaba en excedencia, qué mala suerte!) no me importó en absoluto. Estuvo genialmente coordinado por Macarena García Dorado (Gestora del programa Máster Tecnologías de la Información Geográfica del Departamento de Geología, Geografía y Medio Ambiente. Universidad de Alcalá) y avalado por quien me invitó a impartirlo, PhDFrancisco J. Escobar, profesor de la UAH especializado en Análisis espacial y a la postre mi responsable de PFM.
Hablar durante una hora de un recorrido profesional algo fuera del estándar y poder hacer algunas recomendaciones basadas en la experiencia es algo que me ha encantado poder hacer… Aquí algunas perlitas:
1.Estudia lo que te guste! 2.Diversifica, así si algo falla siempre tendrás posibilidad de cambiar! 3.Si te desvías del camino, no te preocupes, de todo se aprende! 4.Nunca te despidas por la puerta de atrás! El mundo es muy pequeño! 5.Estudia idiomas! 6.Domina Photoshop! 7.Habla en público! 8.Desarrolla en Phyton! y… DISFRUTA DE TU TRABAJO (o cambia)
Puede parecer que estas máximas poco o nada tienen que ver con el tema que nos aborda pero… ¡Es complicado desligar lo personal de lo profesional, lo sé! Pero lo hice completamente a propósito. ¿Por qué desligarlo si en la vida está todo junto?. ¿Por qué alguien elije o deja de elegir un camino a pesar (o gracias) a que profesionalmente le llena plenamente?. ¿Puede una experiencia a priori no relacionada con tu recorrido profesional ayudarte a que ésta sea en la suma todavía más consistente?. ¿De verdad es tan importante hablar idiomas?. Estas fueron algunos de los temas que abordamos.
Soy un “feliciano” de la Geografía, lo reconozco, he tenido la suerte de acabar trabajando en algo que adoro y antes y después del trabajo tengo a la Geografía en mi cabeza, a mis niños les cuento por ejemplo las especies de árboles con las que nos cruzamos, los tipos de nubes y mil otras cosas que no vienen al caso… Pero yo siempre he sido así, muy de contar a los que pasan a mi lado las cosas de mi trabajo aplicadas a la realidad… ¡Mira qué bonito está este enfoscado en este edificio! ¡Pero si está bruñido!!!
En fin, ojalá surjan más ocasiones de poder hacerlo porque de verdad pienso que la carrera tiene mala fama por estar asociada a “Gente-que debe-saber-obligatoriamente-las-capitales-del-mundo/ríos de España” y otras gilipolleces varias, como que “es-de-letras-y-no-de-ciencias” o el increíble “…La Geografía española…” La cosa es que creo que es una carrera eminentemente técnica, sobre todo lo relacionado con temas de GIS y donde lo que de verdad cuenta es dejarse empapar por TODO, TODO lo que te rodea porque la Geografía no deja de ser, y esto es una definición personal después de haber leído y oído muchas, La ciencia que estudia la interelación del medio con el hombre (o con el ser humano, si se quiere).
Además éso de que no tiene salidas hay que dejar de pensarlo. La Geografía es una ciencia que da de comer y no sólo a mí.
This is just for leting you guys know i have received visits from almost all over the world. Just a few exceptions for subsaharian countries, other than that i have been visited from all over the world. Polarization is clear but still im quite happy i can be undestood in almost every country in the world.
+53,000 visits, which for a so specific content is great!
Acabo de leer en el periódico que se han producido una inundación en el pueblo mallorquín de Sant Llorenç. Otro pueblo ubicado en medio de un torrente. Voy a analizar qué ha ocurrido. Si hay culpables o es solo el azar el que ha hecho que precisamente aquí caiga una riada inesperada imposible de prevenir de ninguna manera. Lo dudo mucho, la verdad.
Esta simulación con datos reales permite constatar empíricamente la pésima ubicación del pueblo en medio del cauce de un torrente al mismo tiempo que muestra lo osado de no gastar el dinero suficiente en infrastructuras que salven la vida de los habitantes de un entorno potencialmente peligroso en situaciones de borrascas ocluídas (gotas frías) o ciclogénesis expansivas, tan comunes en esta epoca del año por esta zona.
Por aquí algunas citas puntuales:
“El torrente de Sant Llorenç parece diseñado por un asesino en serie (…) y el municipio, con los años, se ha metido literalmente en su cama”, ha asegurado el Geógrafo Miquel Grimalt sobre la zona más afectada por las lluvias torrenciales que cayeron ayer en Mallorca y que causaron al menos cinco muerto y varios desaparecidos.
Fuente: El mundo 20181010 15:32
“A medida que vayan despejando los coches a la luz del día, puede que se encuentre a alguno de los desaparecidos”, ha declarado Catalina Cladera, consellera de Hacienda y Administraciones Públicas, a la SER, donde ha calificado el panorama de “devastador”. “No nos lo esperábamos, el aviso pasó de amarillo a naranja en poco tiempo. El torrente estaba en condiciones, pero ha caído una cantidad de agua demasiado grande en muy poco tiempo”, ha afirmado Cladera.
Fuente: El País 20181010 15:36
La zona del pueblo incluye tres torrentes (es decir, cauces fluviales estacionales): el Torrent d’en Bengura de Sauma, que atraviesa Sant Llorenç de norte a sur por el sector oeste; el Torrent Sa Blanquera, que llega hasta el pueblo por el suroeste, y el Torrent de ses Planes, en el que desembocan los dos anteriores y que transcurre paralelo al límite sur del pueblo en dirección oeste-este. Este último acaba desembocando en el Torrent de ca n’Amer, que finalmente llega al mar en S’Illot.
Fuente: 20minutos 20181011 10:18
Esta parece ser la mayor inundación de la que se tiene registro, aunque ha habido otras en los años 1943, 1973 y 1989. Estas tormentas son un fenómeno propio del clima de las Islas Baleares, lo que, sumado a la forma del Torrent de ses Planes (que facilita la acumulación rápida de agua) provoca inundaciones como la actual pero no se trata de un incidente sorprendente, sino que es típico de la zona. ¡Cada septiembre u octubre ocurre algo parecido en el entorno!
Lo primero, definir CUENCA HIDROGRÁFICA; según WIKIPEDIA: Una cuenca hidrográfica es un territorio drenado por un único sistema de drenaje natural, es decir, que sus aguas dan al mar a través de un único río, esta es delimitada por la línea de las cumbres, también llamada divisoria de aguas.
Mi procedimiento para analizar el caso es el siguiente:
Bajar datos del portal de datos abiertos del CNIG español (por cierto, está mal que lo diga yo, pero este portal es impresionante, de los mejores a nivel mundial por facilidad de uso y por lo completo de su catálogo). en este caso encuentro datos LIDAR de un vuelo de 2014. Excelente resolución y antiguedad muy correcta, podemos usarlo para estos propósitos. También bajo en paralelo los límites administrativos nivel 4 (municipal) de todo el país.
Genero el modelo 3D en Global Mapper v20
Genero las cuencas hidrográficas (Analysis /Generate watershed)
Analizo qué cuecas vierten en cuáles y si es el flujo natural pudo ser desviado en algún momento. Este último punto requiere algo más que un software, una cabeza geográfica. La tengo, seguimos…
[https://www.youtube.com/watch?v=7K3et-PckoQ]
Vemos claramente varias cosas, las cuencas 2 y 3 reciben caudal de la cuenca 1 (estas cuencas pueden no corresponder con las cuencas oficiales pues dependen de parámetros como jerarquía o tamaño de la misma para poder definirlas) y por tanto se ha de prever que todo el caudales que venga desde estos dos torrentes debe ser absorbido por el tercero.
Otra cosa que vemos, justo donde se localiza Sant Llorenç da la sensación de que el flujo natural del torrente (Torrent de ses Planes) pudo ser modificado por razones antrópicas.
Más exacto es decir que hay dos torrentes que desembocan en el de ses Planes: Sa Blanquera por la izquierda y Begura de Saumá desembocan en el de Ses Planes. Parece ser que los colectores que desvían el cauce de su itinerario natual no son lo suficientemente capaces de absorber la cantidad de agua que cayó, un a intensidad horaria de más de 200 litros en menos de dos horas, pero esto ocurre todos los años… si no es en este pueblo es en el de al lado. ¿No es los suficiente importante como para prevenirlo?
Otra capa que puede ser de ayuda para evaluar el riesgo y que no tiene coste y es fácil de encontrar es la lista de “lugares habitados ” en OSM (Open Street Maps). Cruzando cuencas, torrentes, lugares, podemos hacer un mapa de riesgos, un mapa de inundaciones potenciales bastante certero. Si se ha hecho, que imagino que sí, por qué no se han puesto los medios para que esto no ocurra?. Por qué no se ha desviado el curso adecuadamente si no podía dejarse el curso natural?.
Buscando en un Infrastructura de datos he visto que había publicaciones al respecto: Esto era una zona ARPSI (Áreas de Riesgo Potencial Significativo por Inundación) pero además de estar publicado, no se sabe si alguien lo había tomado en consideración… ¿Para qué gastar dinero en un plan de riesgos si se publica pero se aparca y no se hace caso?
Todo perfectamente publicado, con datos de riadas anteriores desde que se tienen datos. Desde luego nadie puede decir que no sabían que esto podía ocurrir. Ahora, a buscar responsables pero o mucho me equivoco o nada ocurrirá… Volverá a pasar lo mismo el año que viene en otro pueblo donde todavía no haya habido víctimas mortales… ¡Qué pena!
De momento hay doce muertos y un chaval desaparecido. ¿Cuántos más tiene que haber para que las autoridades analicen en profundidad y con precisión aquellos entornos susceptibles potencialmente ser cubiertos de barro o inundados en minutos?.
Algunos links interesantes al respecto (gracias a mi colega y amigo Pablo Orán, de @gisitele):
Event Time (UTC): 2018-10-10 02:00 Event Time (LOC): 2018-10-10 00:00 Event Type: Flood (Flash flood) Activation Time (UTC): 2018-10-10 11:20 Reference maps being produced: 0 Delineation maps being produced: 0 Grading maps being produced: 5 Activation Status: Open Affected Countries/Territories: ES Kingdom of Spain
EMSR323 – Activation Extent Map Release: r03 – Version: v1 – Delivered: 2018-10-12 20:53 View as: EMSR323-AEM-JPG – EMSR323-AEM-KMZ – EMSR323-AEM Authorized User: Spain|Centro de Coordinacion Operativa (CECOP) de la Direccion General de Proteccion Civil y Emergencias Activation Reason: During the night of October 09, in the area of Sant Llorenç des Cardassar, there has been a flash flood due to heavy rains in a short time (230 mm) that has caused 9 deaths, missing persons, evacuated and numerous damages.
(…)
Si os ha parecido interesante, por favor, compartid.
Gracias
Oh! a must see: BGS Geology of Britain. Source from http://www.bgs.ac.uk/discoveringGeology/geologyOfBritain/home.html
Britain is fortunate in possessing a remarkably varied geology within a relatively small area.
The rocks that make up our islands represent a long and complicated history of events. They encompass most of the major periods of geological time and extremes of climate from desert to glacier.
Our rocky heritage was the source of many raw materials vital to the Industrial Revolution and therefore to the nation’s wealth and political power.
It is therefore not surprising, given this combination of natural treasures and the enquiring spirit of the times that, as modern sciences flourished, many important early pioneers were British Geoscientists.
Cada vez que corría por esta maravillosa ciudad, lo grababa con la aplicación Runkeeper, así que he superpuesto todas las ocasiones para ver dónde exactamente se concentran las rutas que más he usado y las zonas por las que he pasado más veces. Esto es lo mal de concentrar en la misma persona alguien al que le gusta correr, apuntar cosas, visualizarlas, analizarlas…
Creo que hacer tracking de rutas, tiempos, ritmos, etc, me ayuda a enfocar lo importante que es para mí la regularidad y la constancia. No es correr en sí lo que me gusta, que sí, sino demostrarme que soy capaz de hacer algo que me entretiene, me relaja, de forma periódica y con contadísimas excepciones (lo único que me deja en casa es una lesión o un cabreo).
Y se ve claramente en rojo cuáles son esas zonas!!! He exportado las líneas a puntos y he creado un mapa de densidad en Global Mapper 17, al que he superpuesto un layer de Open Street Maps.
Cómo echo de menos correr por el Loira, sus parques, sus puentes, sus riachuelos… ahora corro en Madrid y también me gusta mucho pero me trae muy buenos recuerdos puesto que fue allí donde empecé a hacerlo en serio.
Ces colonnes sont implantées sur l’ensemble du territoire et sont destinées à la collecte du verre et des emballages recyclables (papier, carton, plastique).
C’est genial jouer un peu avec des données Open Data, j’espère que vous avez aimé.
The benefits of Open Data are diverse and range from improved efficiency of public administrations, economic growth in the private sector to wider social welfare
(Source: http://www.europeandataportal.eu/)
Performance can be enhanced by Open Data and contribute to improving the efficiency of public services. Greater efficiency in processes and delivery of public services can be achieved thanks to cross-sector sharing of data, which can for example provide an overview of unnecessary spending.
The economy can benefit from an easier access to information, content and knowledge in turn contributing to the development of innovative services and the creation of new business models.
Social welfare can be improved as society benefits from information that is more transparent and accessible. Open Data enhances collaboration, participation and social innovation.
The economy can benefit from easier access to information, content and knowledge in turn contributing to the development of innovative services and the creation of new business models.
For 2016, the direct market size of Open Data is expected to be 55.3 bn EUR for the EU 28+. Between 2016 and 2020, the market size increases by 36.9%, to a value of 75.7 bn EUR in 2020, including inflation corrections. For the period 2016-2020, the cumulative direct market size is estimated at 325 bn EUR.
New jobs are created through the stimulation of the economy and a higher demand for personnel with the skills to work with data. In 2016, there will be 75,000 Open Data jobs within the EU 28+ private sector. By 2020, this number will increase to just under100,000 Open Data jobs. Creating almost 25,000 new direct Open Data jobs by 2020.
Public sector performance can be enhanced by Open Data. Greater efficiency in processes and delivery of public services can be achieved thanks to cross-sector sharing of data, providing faster access to information. The accumulated cost savings for the EU28+ in 2020 are forecasted to equal 1.7 bn EUR.
Open Data results in efficiency gains as real-time data is used that enables easy access to information that improves individual decision-making. Three case studies are assess in more detail: how Open Data can save lives, how it can be used to save time and how Open Data helps achieve environmental benefits. For example, Open Data has the potential of saving 7000 lives a year by providing resuscitation earlier. Furthermore, applying Open Data in traffic can save 629 million hours of unnecessary waiting time on the roads in the EU.
Economic benefits are primarily derived from the re-use of Open Data. Value is there. The question is how big?
The European Union has adopted legislation to foster the re-use of Open (Government) Data. The expected impact of this legislation combined with the development of data portals, is to drive economic benefits and further transparency. Economic benefits are primarily derived from the re-use of Open Data. Value is there. The question is how big?
Thus, the European Commission, within the context of the launch of the European Data Portal, wished to obtain further evidence of the quantitative impact of re-use of Public Data Resources. A study was carried out with the aim to collect, assess and aggregate all economic evidence to forecast the benefits of the re-use of Open Data for all 28 European Member States and the ETFA countries, further referred to as EU 28+, for the period 2016-2020.
Direct benefits are monetised benefits that are realised in market transactions in the form of revenues and Gross Value Added (GVA), the number of jobs involved in producing a service or product, and cost savings. Indirect economic benefits are i.e. new goods and services, time savings for users of applications using Open Data, knowledge economy growth, increased efficiency in public services and growth of related markets.
The market volume exhibits the totality of the realised sales volume of a specific market; the value added. A distinction can be made between the direct market size and the indirect market size. Together they form the total market size for Open Data. For 2016, the direct market size of Open Data is expected to be 55.3 bn EUR for the EU 28+. Between 2016 and 2020, the market size is expected to increase by 36.9%, to a value of 75.7 bn EUR in 2020, including inflation corrections. For the period 2016-2020, the cumulative direct market size is estimated at 325 bn EUR.
In 2016, there will be 75,000 Open Data jobs within the EU 28+ private sector. By 2020, this number is forecasted to increase to just under 100,000 Open Data jobs. This represents a 32% growth over a 5-year period. Thus, in the period 2016-2020, almost 25,000 new direct Open Data jobs will be created.
Based on the forecasted EU28+ GDP for 2020, whilst taking into account the countries’ respective government expenditure averages, the cost savings per country can be calculated. The accumulated cost savings for the EU28+ in 2020 are forecasted to equal 1.7 bn EUR.
The aim of efficiency is to improve resource allocation so that waste is minimized and the outcome value is maximised, given the same amount of resources. Open Data can help in achieving such efficiency, The study offers a combination of the insights around the efficiency gains of Open Data and real-life examples. Three exemplar indicators are assessed in more detail: how Open Data can save lives, how it can be used to save time and how Open Data helps achieve environmental benefits. For example, Open Data has the potential of saving 1,425 lives a year (i.e. 5,5% of the European road fatalities). Furthermore, applying Open Data in traffic can save 629 million hours of unnecessary waiting time on the road in the EU.
The majority of studies performed previously are ex-ante estimations. These are mostly established on the basis of surveys or indirect research and provide for a wide range of different calculations. No comprehensive and detailed ex-post evaluations of the materialised costs and benefits of Open Data are available. Now that governments have defined Open Data policies, the success of these initiatives should be measured. The study offers several recommendations for doing so.
The report goes into further detail on how Open Data has gained importance in the last several years. Furthermore, the report provides insight into how Open Data can be used, and how this re-use differs around Europe. These insights are used to develop a methodology for measuring the value created by Open Data. The resulting values are presented in a graphical way, providing insight in the potential of Open Data for the EU28+ up to 2020.
Hagamos hoy algo sencillo, comparar, primero cualitativamente (visualmente) y después cuantitativamente dos DTM. Por un lado elegimos una fuente muy usual, SRTM de 3 arc sec (aproximadamente 90m) con un DTM derivado de Fotogrametría Stereo.
Comparación CUALITATIVA (i.e visual)
Comparación CUANTITATIVA (i.e RMSE)
Abrimos por un lado un DTM cuya fuente sea SRTM, en este caso me he conectado via WMS (Web Mapping Service) a través del data online disponible dentro de la misma aplicación Global Mapper (File/Download Online Imagery/data). La resolución es de aproximadamente 90m (3 arc sec).
Por otro lado he encontrado este DTM cuya fuente conozco (Stereo Photogrammetry). La resolución es de 5m.
A través de la herramienta ‘digitizer tool’ (Tools/Digitizer) seleccionamos una línea dibujada al azar sobre los dos. Botón derecho del ratón-> analysis/measurement/path profile. Exporto ambas imágenes (es importante en path setup definir un mismo mínimo y máximo para poder compararlas adecuadamente).
Con Photoshop superpongo (Layer display/ multiply) ambas imágenes y veo cuán diferente son.
Esto nos da una primera idea de la comparación, pero vayamos un poco más allá: ¿Cuál es el RMSE (Error medio cuadrático, Root Mean Square Error) entre ambas bases de datos?.
Esta es una medida de desviación que nos va a definir mucho más exactamente que una simple visualización. Podéis ver algo más desarrollado este punto en este link de esta misma página:
Ahora tan solo hemos de verificar que esta cifra sea la correcta teniendo en cuenta los valores de precisión prometidos en la entrega.
Espero que os haya resultado interesante, si así es, no olvidéis comentar, compartir o simplemente decir Hola. Cualquiera de estas opciones es apreciada.
Un saludo cordial,
Alberto CONCEJAL
MSc GIS and Remote Sensing
What I like the most from Google Earth Engine is how powerful can be. You can take i.e all images from the whole Sentinel 2 series over certain spot and measure NDVI throughout time or you can take an analysis you first thought it was ideal over India and then you can use it anywhere else in the world.
This shape file consists of consolidated history of tropical storm paths over the past 50 years in the West Pacific, South Pacific, South Indian and North Indian basin
Isn't it incredible? Mapping qualitative data, something as intangible as mapping a concept. For the first time, human behavior and personality in communities can be quantified using artificial intelligence.
Decenas de medios y redes sociales, algunos poco fiables por incapaces o partidistas (o las dos cosas), muchos datos, no necesariamente bien extraídos y analizados, varios criterios no harmonizados y cambiantes (en los últimos días dos veces han cambiado los criterios del Ministerio de Sanidad español!) me convencieron para hacer los análisis yo mismo pero e […]
