What I like the most from Google Earth Engine is how powerful can be. You can take i.e all images from the whole Sentinel 2 series over certain spot and measure NDVI throughout time or you can take an analysis you first thought it was ideal over India and then you can use it anywhere else in the world. How fast this Geosciences are going that I can read an article in Linkedin and 5 minutes later I can have finished double checking whatever a random guy (Mijanur Raman) has classified 10,000 km from here. Isn’t it incredible?. By the way, thanks a lot Mijanur Raman for the code, I see in your area it works better (72%).
(I adapted it to my parents hometown changing this line below) var roi = ee.Geometry.Point( -5.9414, 40.8483);
Accuracy is allegedly 45% only but this is only for trying out purposes.
Procedure: 1) Define a region of interest as a point. 2) Load Landsat 5/6/7/8 input imagery. Here I used Landsat 5 3) Filter to get your Landsat data. Here I took nine years of images data. 4) Sort by scene cloudiness, ascending 5) Compute cloud score 6) Mask the input for clouds. Compute the min of the input mask to mask 7) pixels where any band is masked. Combine that with the cloud mask. 8) Here I Used MODIS land cover, IGBP classification, for this classification 9) Sample the input imagery to get a FeatureCollection of training data 10) Make a Random Forest classifier and train it. 11) Classify the input imagery 12) Get a confusion matrix representing resubstitution accuracy 13) Sample the input with a different random seed to get validation data. 14) Filter the result to get rid of any null pixels 15) Classify the validation data 16) Get a confusion matrix representing expected accuracy 17) Define a palette for the IGBP classification 18) Display the input and the classification
This shape file consists of consolidated history of tropical storm paths over the past 50 years in the West Pacific, South Pacific, South Indian and North Indian basin. Attributes provides details such as storm Name, Date, Time, wind speed and GPS points for each advisory point. Wind speeds are in knots for more details on speeds conversion and storm categories please visit the original source of data: UNISYS (http://weather.unisys.com/hurricane/index.php), NOAA (http://rammb.cira.colostate.edu/products/tc_realtime/index.asp)
Software used for visualization: ArcGIS 10.6.1 I have also symbolized and created a sample AVI video around the Philippines and The Mariana Trench.
Isn’t it incredible? Mapping qualitative data, something as intangible as mapping a concept. For the first time, human behavior and personality in communities can be quantified using artificial intelligence. This dataset ranks the level of hipster activity by the block group level in the US.
Do you see the correspondance of this variable to the major transportation routes?
Do you see the correspondance of this variable to the major cities?. Is there any defined distribution pattern within the big urban areas (i.e Birmingham)?. Is there any correlation you can come across with?
For this purpose I had to download census boundaries from 2010 and crossed them with this ID i have got from Chad Gardner @cgard2991
Spatial.ai uses artificial intelligence to process over 4 billion social media data points, with approximately 140 million new data points added monthly. We filter and clean this data to identify predictive value and quantify the qualitative nature of communities. We then organize these filtered data into 100+ social segments. Finally, we deliver organized, usable segments scored on a global index to help you measure human behavior in any location. For this dataset we organized the filtered data into 100+ social segments scored on a global index.
We provide this sample data set to prospective customers and partners to demonstrate typical delivery format. This data can be made available in any format or level of geography including all of North America and most International locations.
Decenas de medios y redes sociales, algunos poco fiables por incapaces o partidistas (o las dos cosas), muchos datos, no necesariamente bien extraídos y analizados, varios criterios no armonizados y cambiantes (en los últimos días dos veces han cambiado los criterios del Ministerio de Sanidad español!) me convencieron para hacer los análisis yo mismo pero esto, claro, requiere un poco de desarrollo y tiempo. Los periodistas no tienen por qué tener nociones de estadística o de análisis espacial pero yo sí. Tengo acceso a OPEN DATA (Datos Abiertos) y ganas de análisis? Vamos a ver qué sale de esto…
De momento accedo a diario al boletín o update del Ministerio de Sanidad https://www.mscbs.gob.es/en/profesionales/saludPublica/ccayes/alertasActual/nCov-China/situacionActual.htm de donde me descargo el PDF con los sumarios actualizados desde que contaron las diez primera muertes, si no estoy equivocado (por favor corregidme si es así). Luego es necesaria un poco de ingeniería inversa porque el PDF no permite muchas oportunidades para los análisis personales y el copia pega directo no fuciona (qué pena!) Muchos otros diagramas y muchas gráficas estándar, sí. Pero un PDF no te permite mucha capacidad para hacerlo tú mismo, no.
Una vez que copias y pegas los datos en un excel te das cuenta la gran cantidad de edición que tienes que hacer para poder empezar a ver cosas. De momento geocodifiqué las capitales de las CCAA dado que no los datos no estaban desagregados por provincias, lo que hubiera sido ideal. Bueno en estas cosas nada es ideal en el sentido de que a nadie en su sano juicio se le ocurre hacer un seguimiento de estas características con un criterio cambiante y no aunado por cada uno de los límites administrativos. Pero bueno la cuestión es que empecé con una tabla más o menos legible en el update 51 (21.03.2020 (datos consolidados a las 21:00 horas del 20.03.2020)).
Mi idea era salirme un poco del catastrofismo que tenían todos los medios en esas fechas, donde todo eran muertos por todos lados y UCIs a punto de colapsar así que me decidí por analizar los incrementos a la baja de las UCIs y los Fallecidos. Mientras todo subía, me di cuenta de que esto bajaba. Poco a poco, eso sí, pero bajaba.
Luego pasaron los días y añadí los incrementos a la baja de las hospitalizaciones. Ahí estaban mis tres parámetros a la vez, bajando cual llaneros solitarios rodeados de muerte y abatimiento por todas partes. ¿Para qué vale esto? alguien dirá, pues para no perder el norte y darse cuenta que como decía Mark Twain “Hay tres clases de mentiras: las mentiras, las malditas mentiras y las estadísticas.”. Ahora en serio, bueno, yo quería creer que las cosas se iban a arreglar. Basta. :-).
Otra cosa, particularicé el análisis en Madrid, es decir, además de fusilar los datos de todo el país, copiaba una línea extra donde analizaba específicamente el trascurrir del corona virus o COVID-19 en la capital, por cierto, el centro neurálgico del desastre en España.
Fui añadiendo parámetros a analizar y métodos de control visual, cosas sencillas como el formato condicional, colores que dependen de las cifras o tipos combinados de tablas. De curvas o de columnas, ejes secundarios a casco porro, todo para ver cómo combinaban unos atributos con otros y si había algo que cambiaba en el tiempo…
Pero los muertos seguían subiendo. Una cosa buena es que tenía datos de capacidad máximas de estructuras, por ejemplo, en Madrid había en principio 1500 camas de UCI, cifras que fueron subiendo a medida que se iban inaugurando los centros de apoyo como los de IFEMA. El día 4 de Abril se llegó a una ocupación UCI de 1499. Qué miedo. Afortunadamente, todo bajó desde entonces.
En fin, este fue mi trascurrir conforme pasaban los días y lo cierto es que aunque no comunicaba estos resulltados más que con mi grupo familiar de Whatsapp y a mis 90 (o menos) seguidores de Instagram (que como solo publico cosas de running, estaba semi-abandonado), esto, de verdad me hacía sentirme útil en el sentido de que eran datos esperanzadores y no eran mentira. Ya sé que Mark Twain no diría lo mismo pero Gauss decía algo todavía más gracioso, “Tengo mis resultados hace tiempo, pero no sé cómo llegar a ellos“. Esto es exactamente lo que pasaba por mi cabeza (Gracias Karl Friederich!).
Bajan los hospitalizados en el eje secundario y también las UCIs en el primario… muy lentamente sí, pero bajan!
Este diagrama de arriba muestra que el pico ha pasado y que en el trascurso de diez días las cosas habían cambiado bastante. En casa ya llevábamos 30 días de confinamiento aproximadamente y los ánimos no eran muchos porque mis niños (dos) por muy majos que sean, son niños y los análisis no salen cuando hay marejada y en confinamiento no hay marejada en mi casa, hay maremoto. Así que vamos a por más estadística. O mejor, “Más madera!!!!!” (Esta es de Groucho). Fin de las citas, lo prometo.
Quizá mi querido Fernando Simón averiguó que estaba haciendo estas estadísticas y prefirió cambiar el método de contabilización… Se pasó de medir 8 atributos a el doble, incluyendo por ejemplo Positivos por test de anticuerpos, PCRs, tests rápidos, etc, datos que aparecen solo en algunas de las provincias, excepciones por todos lados, asteriscos explicativos… plofffff.
Entre tanto averigué que los de Blue Marble Geographics (Global Mapper) habían añadido una capa de datos online, una conexión WMS con datos georreferenciados de todos los países del mundo, con actualizaciones diarias. Oh yeah! (Gracias al Professor Lauren Gardner, un Ingeniero Civil y de Sistemas de la Universidad Johns Hopkins).
Por otro lado, a una escala más local, mis tablas y mis geocodificaciones de capitales de CCAA (previo paso por ArcGIS para transformar las coordenadas en puntos, darle proyección y luego añadirles los datos mediante un SPATIAL JOIN) me permitían una visualización del análisis con un enfoque particular en España (que me perdonen mis buenos amigos Canarios, en este caso no incluyo las islas por temas de diseño).
En resumidas cuentas, de momento ahí sigo, traduciendo los PDF del Ministerio en hojas de excel legibles por mí mismo y que me permiten tocar los datos desde diferentes enfoques, no necesariamente bien ponderados pero sí frescos y liberados de toda atadura. Podrían parecer unos análisis sencillos (que lo son) pero requieren la alineación de muchas cosas, entre ellas el conocimiento de las herramientas GIS, las proyecciones, distribuciones estadísticas, pero la más importante, la curiosidad por extraer datos para posteriormente tomar decisiones acertadas.
PD: Puedes descargar el EXCEL (en bruto) con todos los datos que se han podido “comprender” después de todos los cambios en los modelos de contabilización de variables desde aquí (última actualización, 108, 20200517): https://www.dropbox.com/s/h2hebz66btpied0/analisis%20corona.xls?dl=0
The U.S. Census Bureau has changed the way it ensures privacy for the 2020 Census. The new method is called Differential Privacy (DP).
To help people assess some of the implications and unintended consequences of Differential Privacy, Caliper® is providing several maps for public inspection. This map, created with Maptitude®, shows the change in population for every Congressional district after applying Differential Privacy.
The map illustrates that the current 116th Congressional District populations would have been different in many instances, with possible implications for service provision, allocation of funds, and political representation.
Because this method distorts populations for Census Blocks and for all political subdivisions within each State, state legislatures would have drawn different district boundaries had Differential Privacy been used in the 2010 Census.
Pasar del ‘hype’ a los hechos cuando hablamos de innovación es un gran reto en cualquier organización, pero más si cabe en las más grandes.
En esta mesa contaremos con profesionales experimentados de diferentes organizaciones que están realizando proyectos reales que combinan tecnologías emergentes con geolocalización. Además de hacer un breve repaso a algunos de sus proyectos, compartiremos experiencias sobre las dificultades, amenazas y fortalezas y oportunidades (DAFO) de invertir en innovación como palanca para sobrevivir a la 4ª revolución industrial y para transformar las organizaciones lineales en exponenciales.29/10/2019 – 9:00 a 10:15 Sala 109
Un placer sin duda participar como ponente en la mesa “SWOC: Innovar para sobrevivir a la 4ª Revolución Industrial” en la Conferencia ESRI de este año 2019. Estar rodeado de verdaderos expertos le hace a veces a uno pensar que ha elegido bien el camino…
Gracias a la inestimable ayuda de mi compi de co-working Pablo Martín -ingeniero Forestal- con Google Earth Engine hemos modelado este NBR (Normalized Burn Ratio) que usa los canales NIR y SWIR de Sentinel-2 para medir la severidad del incendio de la semana pasada en mi pueblo, Cadalso de los Vidrios (Madrid, España). Rozamos la tragedia en lo personal pero sin duda fue terrible a nivel material. Tardaremos décadas en revertir este funesto incendio pero vayamos a lo práctico…¿Qué zonas han sido más severamente dañadas?. Un NBR aislado apenas nos dice más que el estado actual pre o post incendio pero no sería más acertado compararlas dos escenas inmediatamente anterior y posterior?. Esto es posible hoy día dado que Sentinel-2, un satélite europeo a 10m de resolución, pasa cada pocos días. ¡Qué potencial!.
La medición de la severidad ha de tomar en cuenta el ratio anterior y posterior al incendio que idealmente hace más preciso el resultado (Prefire NBR – PostFire NBR). La imagen arriba muestra claramente la zona al Oeste como la ás dañada por el fuego.
Respecto a las mediciones de las zonas afectadas unos se pregunta si éstas tienen que ver con la severidad de la zona específica afectada o simplemente se considera lo mismo si el fuego ha rozado que si ha realmente afectado a horizontes edáficos más profundos (lo que lo convierte potencialmente en más grave). Dependiendo de cómo se mida, tenemos más o menos zonas afectadas por el fuego. Desconozco el método oficial pero tengo claro que se debe tener claro este parámetro para las mediciones compensatorias, los seguros, etc. Recordemos que originalmente en todos los medios se establecían 3300 Has. como la cifra oficial y tan pronto como acabó, se bajó esa cifra a 2200 Has.
2700 Has.
1000 Has.
Mis mediciones objetivas y cuantitativas (pero siguiendo mi lógica particular, no necesariamente consensuada ni correctamente parametrizada) resulta en unos 27 km2 (en negro) desde unos más conservadores 10 km2 (en rojo).
Si nos ceñimos específicamente a las áreas quemadas y extraemos aquellas que lo son algo menos o que no están negras completamente. Se puede ver claramente que el incendio estuvo realmente a punto de entrar en el pueblo!!. En todo caso cuanto más lo miro más me parece algo que nos debería ayudar a tomar medidas en el futuro.
Coordinación entre organismos supraregionales (Comunidades Autónomas, Unidades Militares UME), inversión en limpieza del monte, mecanismos de compensación adecuados y ecuánimes, etc. Comparto el archivo en formato KMZ (se abre con Google Earth, por ejemplo):
Siempre sale algo bueno de algo malo y después del incendio de Cadalso se me ha abierto un mundo increíble de posibilidades de análisis desde Google Earth Engine… Solo hacen falta tres cosas: curiosidad, un poco de tiempo y amigos que hagan GIS (Gracias también Ana, Pablo, Marcela, Ligia, Doramas, Manuel, Jorge y todos los demás compis activos de GISITELE!)
Combinación de imagen de alta resolución de fondo con NBR usando leyenda de blanco (menos severo) a negro (más severo)
Hacer el análisis en Google Earth Engine ( Google Earth Engine combines a multi-petabyte catalog of satellite imagery and geospatial datasets with planetary-scale analysis capabilities and makes it available for scientists, researchers, and developers to detect changes, map trends, and quantify differences on the Earth’s surface) me ha permitido usar las imagenes sin descargarlas, un análisis más certero y consistente así como actualizado instantáneamente en caso de variar puntualmente alguno de los parámetros (por ejemplo una fecha de una imagen inicial) así como la potencialidad de verificar cuantitativamente cómo se recupera la zona a medida que pasa el tiempo.
Como referencia, algunas fuentes de esos días en prensa nacional:
Los bosques son los pulmones de la Tierra. Contrarrestan el calentamiento global al tiempo que brindan protección y recursos para los seres humanos, los animales y las plantas. Son un tesoro natural, pero se pierden a un ritmo alarmante, especialmente desde mediados del siglo XX. Para monitorear, evaluar y proteger este órgano verde con precisión, nada mejor que la tecnología espacial. Con la ayuda de un satélite radar, el Centro Aeroespacial Alemán (DLR) ha producido un mapa de las áreas boscosas de todo el mundo a una resolución de 50 metros, que incluye por primera vez una descripción uniforme de las selvas tropicales. https://geoservice.dlr.de/web/maps/tdm:forest
El mapa TanDEM-X Forest / Non-Forest utiliza datos interferométircos de la misión orbital TanDEM-X del DLR procesados por algoritmos de Inteligencia Artificial y optimizados para diferentes tipos de bosques en función de la altura, densidad y estructura del árbol.
Los satélites de radar pueden adquirir datos de imagen independientemente del clima o la hora del día, una ventaja particular cuando se trata de mapear bosques tropicales, que generalmente están cubiertos por nubes. De esta manera, el mapa proporciona por primera vez una descripción uniforme de las selvas tropicales en América del Sur, el sudeste de Asia y África. Según el DLR, los hallazgos son importantes tanto para las autoridades como para los científicos, ya que estas áreas deben protegerse de la tala ilegal y conservarse como importantes depósitos de carbono.
Cambio climático El nuevo mapa también puede ayudar a los investigadores a determinar con mayor precisión la biomasa forestal, un factor clave al estudiar el ciclo global del carbono. De igual manera, ofrece un importante conjunto de datos para la investigación del cambio climático y hace posible una variedad de aplicaciones en agricultura, silvicultura, desarrollo regional y planificación del uso de la tierra.
El DLR ha procesado más de 400.000 conjuntos de datos para el proyecto. Los conjuntos de datos se adquirieron entre 2011 y 2015 como parte de la misión TanDEM-X. Los expertos en radar han desarrollado algoritmos especiales que primero evalúan cada imagen individualmente y luego las combinan para formar un mapa global con el objetivo de extraer y clasificar la información relacionada con los bosques a partir de las vastas cantidades de datos.
Los desarrolladores utilizaron datos adicionales de detección remota para validar los resultados calculados y diferenciar las áreas forestales de las regiones no forestales con mayor grado de precisión. En particular, esto incluye la «huella urbana global», un mapa global de asentamientos creado en el Centro de Observación de la Tierra (EOC) del DLR, así como el mapeo de cuerpos de agua por la Iniciativa de Cambio Climático de la Agencia Espacial Europea (ESA).
Incoming solar radiation (insolation) received from the sun is the primary energy source that drives many of the earth’s physical and biological processes. Understanding its importance to landscape scales is key to understanding a broad range of natural processes and human activities.
Taking advantage of official Open Data sources (Cadastre footprints and CNIG mainly) I haver performed a preliminary solar radiation analysis test over Madrid.
With landscape scales, topography is a major factor that determines the spatial variability of insolation. Variation in elevation, orientation (slope and aspect), and shadows cast by topographic features all affect the amount of insolation received at different locations. This variability also changes with time of day and time of year and in turn contributes to variability of microclimate including factors such as air and soil temperature regimes, evapotranspiration, snow melt patterns, soil moisture, and light available for photosynthesis.
Global radiation (Globaltot) is calculated as the sum of direct (Dirtot) and diffuse (Diftot) radiation of all sun map and sky map sectors, respectively.
Globaltot = Dirtot + Diftot
This raster results below shows WH/m2 over certain period of time and can be esaily spatially joined to a vector geometry.
It makes more sense the higher the resolution.
These analysis of Solar Radiation are fashionable due to the raise of Smart Cities. Do you want me to perform a little test over?. I herewith copy a very interesting Solar analysis over a single block of buildings using Autodesk software.
Also please take a look at some of my old links on these regards.
Esta vez me tocó impartir el seminario motivacional “Geógrafos en tiempos de GIS” en el entorno del Máster de Tecnologías de la Información Geográfica. Yo encantado pues este mismo máster lo cursé yo hace ya doce años. Wow, ¡El tiempo pasa rápidamente cómo dicen! y la verdad es que por muchas razones, me encantó hacerlo.
Al final no vino el profesor Emilio Chuvieco Salinero, y eso que movimos el seminario para adecuarnos a su agenda:-) pero aunque le eché de menos (en mi año de Máster estaba en excedencia, qué mala suerte!) no me importó en absoluto. Estuvo genialmente coordinado por Macarena García Dorado (Gestora del programa Máster Tecnologías de la Información Geográfica del Departamento de Geología, Geografía y Medio Ambiente. Universidad de Alcalá) y avalado por quien me invitó a impartirlo, PhDFrancisco J. Escobar, profesor de la UAH especializado en Análisis espacial y a la postre mi responsable de PFM.
Hablar durante una hora de un recorrido profesional algo fuera del estándar y poder hacer algunas recomendaciones basadas en la experiencia es algo que me ha encantado poder hacer… Aquí algunas perlitas:
1.Estudia lo que te guste! 2.Diversifica, así si algo falla siempre tendrás posibilidad de cambiar! 3.Si te desvías del camino, no te preocupes, de todo se aprende! 4.Nunca te despidas por la puerta de atrás! El mundo es muy pequeño! 5.Estudia idiomas! 6.Domina Photoshop! 7.Habla en público! 8.Desarrolla en Phyton! y… DISFRUTA DE TU TRABAJO (o cambia)
Puede parecer que estas máximas poco o nada tienen que ver con el tema que nos aborda pero… ¡Es complicado desligar lo personal de lo profesional, lo sé! Pero lo hice completamente a propósito. ¿Por qué desligarlo si en la vida está todo junto?. ¿Por qué alguien elije o deja de elegir un camino a pesar (o gracias) a que profesionalmente le llena plenamente?. ¿Puede una experiencia a priori no relacionada con tu recorrido profesional ayudarte a que ésta sea en la suma todavía más consistente?. ¿De verdad es tan importante hablar idiomas?. Estas fueron algunos de los temas que abordamos.
Soy un “feliciano” de la Geografía, lo reconozco, he tenido la suerte de acabar trabajando en algo que adoro y antes y después del trabajo tengo a la Geografía en mi cabeza, a mis niños les cuento por ejemplo las especies de árboles con las que nos cruzamos, los tipos de nubes y mil otras cosas que no vienen al caso… Pero yo siempre he sido así, muy de contar a los que pasan a mi lado las cosas de mi trabajo aplicadas a la realidad… ¡Mira qué bonito está este enfoscado en este edificio! ¡Pero si está bruñido!!!
En fin, ojalá surjan más ocasiones de poder hacerlo porque de verdad pienso que la carrera tiene mala fama por estar asociada a “Gente-que debe-saber-obligatoriamente-las-capitales-del-mundo/ríos de España” y otras gilipolleces varias, como que “es-de-letras-y-no-de-ciencias” o el increíble “…La Geografía española…” La cosa es que creo que es una carrera eminentemente técnica, sobre todo lo relacionado con temas de GIS y donde lo que de verdad cuenta es dejarse empapar por TODO, TODO lo que te rodea porque la Geografía no deja de ser, y esto es una definición personal después de haber leído y oído muchas, La ciencia que estudia la interelación del medio con el hombre (o con el ser humano, si se quiere).
Además éso de que no tiene salidas hay que dejar de pensarlo. La Geografía es una ciencia que da de comer y no sólo a mí.
