Nuevo estado de Alarma en Madrid. ¿Era necesario?

En estas últimas dos semanas, ya pueden pintarlo como quieran en la Comunidad de Madrid pero la Tasa de Incidencia Acumulada 14d por encima de 750 (el índice que querían usar a cambio de las medidas impuestas por el Gobierno Central) afectaba hace dos semanas a 2,2 millones mientras que ahora lo hace a 2,9 millones. ¿Hay que actuar?. ¡La respuesta es SÍ, YA!

Sé que no es el único parámetro a tener en cuenta pero es muy significativo. 750 es el umbral elegido por la CAM para mostrar que 51 Zonas Básicas de Salud (ZBS) en lugar de las 37 originales de hace dos semanas. Todavía no conocemos el modo en el que distribuye al 100%

Aquí tienes el set oficial de datos con el que he trabajado y las Tasas de Incidencia Acumulada 14d en formato Shape (SHP) las dos semanas del análisis:
https://www.dropbox.com/s/xary3mboy0h2w29/COVID_TIA_MADRID_W39_41.rar?dl=0

Los datos fueron descargados de la web oficial de la Comunidad de Madrid
https://www.comunidad.madrid/gobierno/actualidad/datos-coronavirus

Si te interesa, difunde,

Alberto CONCEJAL
Geógrafo, MSc GIS

Nuevas medidas de confinamiento. 20200925

Se incorporan 8 nuevas zonas básicas de salud (ZBS) a las zonas previamente elegidas la semana pasada (20200921) con umbrales superiores de Tasa de Incidencia Acumulada de los últimos 14 días superiores a 1030, con tendencia creciente y con contigüidad con otras zonas con las mismas restricciones.

Podéis descargar el SHP con las ZBS y los códigos de los dos pasos de nuevos desde aquí:

https://www.dropbox.com/s/is3eclfizvu7rhd/Confinamiento_20200925.zip?dl=0

Análisis COVID19 en Madrid, segunda ola y nuevos confinamientos (actualizado 20200922)

Por explicar un poco lo que está pasando, se ha elegido la Tasa de Incidencia Acumulada en los últimos 14 días: cociente del número de casos confirmados de cada ámbito territorial con infección activa, con fecha de notificación, notificados en los 14 días previos a la fecha del informe, entre la población de cada ámbito territorial a 1 de enero de 2019 (última cifra definitiva del padrón continuo). Se expresa en tanto por cien mil personas.

En pantalla se ha realizado un mapa de predicción (realizado con el Geostatistical Analyst de ArcGIS 10.6.1 y con Global Mapper 20.1) por interpolación mediante el método determinista de Inverse Distance Weighting (IDW), tomando la tasa de incidencia y la cantidad de población en dicha Zona Básica de Salud (ZBS) como ponderador.

Inverse Distance Weighting (IDW) is a quick deterministic interpolator that is exact. There are very few decisions to make regarding model parameters. It can be a good way to take a first look at an interpolated surface. However, there is no assessment of prediction errors, and IDW can produce “bulls eyes” around data locations. There are no assumptions required of the data.

(Como decía he incorporado los datos de la población según el padrón de habitantes 2019). Simbolizados de tal manera que nuestro cerebro comprenda dónde están localizadas las ZBS con más o menos habitantes. Nota: Cuidado con los medios que no toman en cuenta lo que entienden nuestro cerebro. ¿Qué colores usan, ¿Cuántas clases?.

Y he superpuesto el mapa de predicción con las zonas efectivamente elegidas (28) -en este mapa rallados con una trama negra- para confinar selectivamente a partir del 20200921. Hay una clara correspondencia.

Qué viene ahora? Pues si seguimos usando las mismas variables que ISABEL DEATH AYUSO, las nuevas zonas serán quizá Alcorcón, San Isidro, Antonio Leyva, Lavapiés, Daroca, Canillejas… aquí os podéis bajar los datos a día de hoy:

Pero si usamos otras variables como por ejemplo la Incidencia Acumulada de los últimos 14 días por área ponderada a la cantidad de población (primera opción. Peña Prieta, Alcorcón entre otros) o la Incidencia Acumulada de los últimos 14 días por Densidad de población ponderada a su vez a la cantidad de población (segunda opción. Villamil, Villa de Vallecas o San Cristóbal entre otros) tendremos otros escenarios y otras ZBS diferentes. ¡¡Ah no, pero entre estas están algunas en el Norte!!!! ¡¡Eso no puede ser!!!!!

¡¡¡¡CONFINAREMOS MADRID ENTERO, ASÍ QUE NO HAY PROBLEMA!!!!

Mi opinión, si a alguien le interesa, es que la desidia, la dejación y la incapacidad de nuestros gobernantes han conseguido que no nos quede otra que ver cómo esta segunda ola nos va a arrollar a todos. Y no, no es una impresión, son datos. No se ha invertido en personal, en rastreadores, en camas de planta, de UCI. En nada. Tan solo se ha esperado a que esta segunda no existiera.

Ahora una última cosa sobre sensacionalismo en los medios. elige entre el Mapa A y el B. Los dos hablan de lo mismo. Uno muestra lo inexorable del avance de la pandemia, casi todos los polígonos tienen un color muy parecido. El otro muestra solo a los que se refiere el reportaje (IA por encima de 1000). Menos llamativo y menos sensacionalista quizá. Más objetivo.

En fin, si a alguien le interesa la respuesta, que me lo diga
Soy Alberto Concejal, Geógrafo y analista independiente 🙂 (Hoy día ser independiente es algo)

Supervised Classification using the Google Earth Engine, analysis by Mijanur Raman

What I like the most from Google Earth Engine is how powerful can be. You can take i.e all images from the whole Sentinel 2 series over certain spot and measure NDVI throughout time or you can take an analysis you first thought it was ideal over India and then you can use it anywhere else in the world. How fast this Geosciences are going that I can read an article in Linkedin and 5 minutes later I can have finished double checking whatever a random guy (Mijanur Raman) has classified 10,000 km from here. Isn’t it incredible?. By the way, thanks a lot Mijanur Raman for the code, I see in your area it works better (72%).

Here the code link: https://lnkd.in/eMAfdmk

(I adapted it to my parents hometown changing this line below)
var roi = ee.Geometry.Point( -5.9414, 40.8483);

Accuracy is allegedly 45% only but this is only for trying out purposes.

Procedure:
1) Define a region of interest as a point.
2) Load Landsat 5/6/7/8 input imagery. Here I used Landsat 5
3) Filter to get your Landsat data. Here I took nine years of images data.
4) Sort by scene cloudiness, ascending
5) Compute cloud score
6) Mask the input for clouds. Compute the min of the input mask to mask
7) pixels where any band is masked. Combine that with the cloud mask.
8) Here I Used MODIS land cover, IGBP classification, for this classification
9) Sample the input imagery to get a FeatureCollection of training data
10) Make a Random Forest classifier and train it.
11) Classify the input imagery
12) Get a confusion matrix representing resubstitution accuracy
13) Sample the input with a different random seed to get validation data.
14) Filter the result to get rid of any null pixels
15) Classify the validation data
16) Get a confusion matrix representing expected accuracy
17) Define a palette for the IGBP classification
18) Display the input and the classification

Source Linkedin/ by Mijanur Raman

Asia Pacific: Storm tracks 1956 to 2018+ sample video

This shape file consists of consolidated history of tropical storm paths over the past 50 years in the West Pacific, South Pacific, South Indian and North Indian basin. Attributes provides details such as storm Name, Date, Time, wind speed and GPS points for each advisory point. Wind speeds are in knots for more details on speeds conversion and storm categories please visit the original source of data: UNISYS (http://weather.unisys.com/hurricane/index.php), NOAA (http://rammb.cira.colostate.edu/products/tc_realtime/index.asp)

Software used for visualization: ArcGIS 10.6.1 I have also symbolized and created a sample AVI video around the Philippines and The Mariana Trench.

Methodology – Registry
OCHA’s Regional Office for Asia and the Pacific http://www.unocha.org/roap/

Source: https://data.humdata.org/dataset/asia-pacific-storm-tracks-1956-to-2018
Last updated at https://data.humdata.org/organization/ocha-roap : 2019-11-20

License – Public Domain / No Restrictions

Hipsters in USA. Sample over ALABAMA State

Isn’t it incredible? Mapping qualitative data, something as intangible as mapping a concept. For the first time, human behavior and personality in communities can be quantified using artificial intelligence. This dataset ranks the level of hipster activity by the block group level in the US.

Do you see the correspondance of this variable to the major transportation routes?

Do you see the correspondance of this variable to the major cities?. Is there any defined distribution pattern within the big urban areas (i.e Birmingham)?. Is there any correlation you can come across with?

For this purpose I had to download census boundaries from 2010 and crossed them with this ID i have got from Chad Gardner @cgard2991

https://data.world/cgard2991/hipsters-in-usa
https://www.census.gov/geographies/mapping-files/time-series/geo/carto-boundary-file.2010.html

Spatial.ai uses artificial intelligence to process over 4 billion social media data points, with approximately 140 million new data points added monthly. We filter and clean this data to identify predictive value and quantify the qualitative nature of communities. We then organize these filtered data into 100+ social segments. Finally, we deliver organized, usable segments scored on a global index to help you measure human behavior in any location. For this dataset we organized the filtered data into 100+ social segments scored on a global index.

We provide this sample data set to prospective customers and partners to demonstrate typical delivery format. This data can be made available in any format or level of geography including all of North America and most International locations.

Source: https://data.world/cgard2991/hipsters-in-usa/discuss/hipsters-in-usa/aidmfgy3

Alberto CONCEJAL
Geographer and GIS analyst

UPDATED TODAY! Enfoque “Open data” para la toma de decisiones en tiempos de Coronavirus COVID-19

Decenas de medios y redes sociales, algunos poco fiables por incapaces o partidistas (o las dos cosas), muchos datos, no necesariamente bien extraídos y analizados, varios criterios no armonizados y cambiantes (en los últimos días dos veces han cambiado los criterios del Ministerio de Sanidad español!) me convencieron para hacer los análisis yo mismo pero esto, claro, requiere un poco de desarrollo y tiempo. Los periodistas no tienen por qué tener nociones de estadística o de análisis espacial pero yo sí. Tengo acceso a OPEN DATA (Datos Abiertos) y ganas de análisis? Vamos a ver qué sale de esto…

De momento accedo a diario al boletín o update del Ministerio de Sanidad https://www.mscbs.gob.es/en/profesionales/saludPublica/ccayes/alertasActual/nCov-China/situacionActual.htm de donde me descargo el PDF con los sumarios actualizados desde que contaron las diez primera muertes, si no estoy equivocado (por favor corregidme si es así). Luego es necesaria un poco de ingeniería inversa porque el PDF no permite muchas oportunidades para los análisis personales y el copia pega directo no fuciona (qué pena!) Muchos otros diagramas y muchas gráficas estándar, sí. Pero un PDF no te permite mucha capacidad para hacerlo tú mismo, no.

Una vez que copias y pegas los datos en un excel te das cuenta la gran cantidad de edición que tienes que hacer para poder empezar a ver cosas. De momento geocodifiqué las capitales de las CCAA dado que no los datos no estaban desagregados por provincias, lo que hubiera sido ideal. Bueno en estas cosas nada es ideal en el sentido de que a nadie en su sano juicio se le ocurre hacer un seguimiento de estas características con un criterio cambiante y no aunado por cada uno de los límites administrativos. Pero bueno la cuestión es que empecé con una tabla más o menos legible en el update 51 (21.03.2020 (datos consolidados a las 21:00 horas del 20.03.2020)).

Mi idea era salirme un poco del catastrofismo que tenían todos los medios en esas fechas, donde todo eran muertos por todos lados y UCIs a punto de colapsar así que me decidí por analizar los incrementos a la baja de las UCIs y los Fallecidos. Mientras todo subía, me di cuenta de que esto bajaba. Poco a poco, eso sí, pero bajaba.

Luego pasaron los días y añadí los incrementos a la baja de las hospitalizaciones. Ahí estaban mis tres parámetros a la vez, bajando cual llaneros solitarios rodeados de muerte y abatimiento por todas partes. ¿Para qué vale esto? alguien dirá, pues para no perder el norte y darse cuenta que como decía Mark Twain “Hay tres clases de mentiras: las mentiras, las malditas mentiras y las estadísticas.”. Ahora en serio, bueno, yo quería creer que las cosas se iban a arreglar. Basta. :-).

Otra cosa, particularicé el análisis en Madrid, es decir, además de fusilar los datos de todo el país, copiaba una línea extra donde analizaba específicamente el trascurrir del corona virus o COVID-19 en la capital, por cierto, el centro neurálgico del desastre en España.

Fui añadiendo parámetros a analizar y métodos de control visual, cosas sencillas como el formato condicional, colores que dependen de las cifras o tipos combinados de tablas. De curvas o de columnas, ejes secundarios a casco porro, todo para ver cómo combinaban unos atributos con otros y si había algo que cambiaba en el tiempo…

Pero los muertos seguían subiendo. Una cosa buena es que tenía datos de capacidad máximas de estructuras, por ejemplo, en Madrid había en principio 1500 camas de UCI, cifras que fueron subiendo a medida que se iban inaugurando los centros de apoyo como los de IFEMA. El día 4 de Abril se llegó a una ocupación UCI de 1499. Qué miedo. Afortunadamente, todo bajó desde entonces.

En fin, este fue mi trascurrir conforme pasaban los días y lo cierto es que aunque no comunicaba estos resulltados más que con mi grupo familiar de Whatsapp y a mis 90 (o menos) seguidores de Instagram (que como solo publico cosas de running, estaba semi-abandonado), esto, de verdad me hacía sentirme útil en el sentido de que eran datos esperanzadores y no eran mentira. Ya sé que Mark Twain no diría lo mismo pero Gauss decía algo todavía más gracioso, “Tengo mis resultados hace tiempo, pero no sé cómo llegar a ellos“. Esto es exactamente lo que pasaba por mi cabeza (Gracias Karl Friederich!).

Bajan los hospitalizados en el eje secundario y también las UCIs en el primario… muy lentamente sí, pero bajan!

Este diagrama de arriba muestra que el pico ha pasado y que en el trascurso de diez días las cosas habían cambiado bastante. En casa ya llevábamos 30 días de confinamiento aproximadamente y los ánimos no eran muchos porque mis niños (dos) por muy majos que sean, son niños y los análisis no salen cuando hay marejada y en confinamiento no hay marejada en mi casa, hay maremoto. Así que vamos a por más estadística. O mejor, “Más madera!!!!!” (Esta es de Groucho). Fin de las citas, lo prometo.

Quizá mi querido Fernando Simón averiguó que estaba haciendo estas estadísticas y prefirió cambiar el método de contabilización… Se pasó de medir 8 atributos a el doble, incluyendo por ejemplo Positivos por test de anticuerpos, PCRs, tests rápidos, etc, datos que aparecen solo en algunas de las provincias, excepciones por todos lados, asteriscos explicativos… plofffff.

Entre tanto averigué que los de Blue Marble Geographics (Global Mapper) habían añadido una capa de datos online, una conexión WMS con datos georreferenciados de todos los países del mundo, con actualizaciones diarias. Oh yeah! (Gracias al Professor Lauren Gardner, un Ingeniero Civil y de Sistemas de la Universidad Johns Hopkins).

Esto al menos para los datos internacionales.

https://coronavirus.jhu.edu/map-faq

Por otro lado, a una escala más local, mis tablas y mis geocodificaciones de capitales de CCAA (previo paso por ArcGIS para transformar las coordenadas en puntos, darle proyección y luego añadirles los datos mediante un SPATIAL JOIN) me permitían una visualización del análisis con un enfoque particular en España (que me perdonen mis buenos amigos Canarios, en este caso no incluyo las islas por temas de diseño).

En resumidas cuentas, de momento ahí sigo, traduciendo los PDF del Ministerio en hojas de excel legibles por mí mismo y que me permiten tocar los datos desde diferentes enfoques, no necesariamente bien ponderados pero sí frescos y liberados de toda atadura. Podrían parecer unos análisis sencillos (que lo son) pero requieren la alineación de muchas cosas, entre ellas el conocimiento de las herramientas GIS, las proyecciones, distribuciones estadísticas, pero la más importante, la curiosidad por extraer datos para posteriormente tomar decisiones acertadas.

PD: Puedes descargar el EXCEL (en bruto) con todos los datos que se han podido “comprender” después de todos los cambios en los modelos de contabilización de variables desde aquí (última actualización, 108, 20200517):
https://www.dropbox.com/s/h2hebz66btpied0/analisis%20corona.xls?dl=0

Fuentes:
*https://cnecovid.isciii.es/covid19/#documentaci%C3%B3n-y-datos
*https://www.mscbs.gob.es/en/profesionales/saludPublica/ccayes/alertasActual/nCov-China/situacionActual.htm
*https://www.datoscovid.es/
*https://datos.comunidad.madrid/catalogo/dataset/covid19_tia_muni_y_distritos


Alberto CONCEJAL
Geógrafo / MSc GIS y Teledetección

Census differential Privacy Exploration: the change in population for every Congressional district after applying Differential Privacy

How differences in population count could have implications for service provision, allocation of funds, & political representation.

Source: https://www.caliper.com/census-differential-privacy-maps/

The U.S. Census Bureau has changed the way it ensures privacy for the 2020 Census. The new method is called Differential Privacy (DP).

To help people assess some of the implications and unintended consequences of Differential Privacy, Caliper® is providing several maps for public inspection. This map, created with Maptitude®, shows the change in population for every Congressional district after applying Differential Privacy.

The map illustrates that the current 116th Congressional District populations would have been different in many instances, with possible implications for service provision, allocation of funds, and political representation.

Because this method distorts populations for Census Blocks and for all political subdivisions within each State, state legislatures would have drawn different district boundaries had Differential Privacy been used in the 2010 Census.

The non-adjusted PL 94-171 demographics were used for this comparison for consistency with the Differential Privacy 2010 Demonstration Data Product.

Mi ponencia en la #CESRI19. SWOC: Innovar para sobrevivir a la 4ª Revolución Industrial

Pasar del ‘hype’ a los hechos cuando hablamos de innovación es un gran reto en cualquier organización, pero más si cabe en las más grandes.

En esta mesa contaremos con profesionales experimentados de diferentes organizaciones que están realizando proyectos reales que combinan tecnologías emergentes con geolocalización. Además de hacer un breve repaso a algunos de sus proyectos, compartiremos experiencias sobre las dificultades, amenazas y fortalezas y oportunidades (DAFO) de invertir en innovación como palanca para sobrevivir a la 4ª revolución industrial y para transformar las organizaciones lineales en exponenciales.29/10/2019 – 9:00 a 10:15 Sala 109

https://conferencia.esri.es/ponencia/swoc-impacto-de-la-innovacion-y-las-tecnologias-habilitadoras-en-la-4a-revolucion-industrial/

Un placer sin duda participar como ponente en la mesa “SWOC: Innovar para sobrevivir a la 4ª Revolución Industrial” en la Conferencia ESRI de este año 2019. Estar rodeado de verdaderos expertos le hace a veces a uno pensar que ha elegido bien el camino…

Google Earth Engine y los incendios de verano: el caso de Cadalso de los Vidrios, Madrid (Julio 2019)

Gracias a la inestimable ayuda de mi compi de co-working Pablo Martín -ingeniero Forestal- con Google Earth Engine hemos modelado este NBR (Normalized Burn Ratio) que usa los canales NIR y SWIR de Sentinel-2 para medir la severidad del incendio de la semana pasada en mi pueblo, Cadalso de los Vidrios (Madrid, España). Rozamos la tragedia en lo personal pero sin duda fue terrible a nivel material. Tardaremos décadas en revertir este funesto incendio pero vayamos a lo práctico…¿Qué zonas han sido más severamente dañadas?. Un NBR aislado apenas nos dice más que el estado actual pre o post incendio pero no sería más acertado compararlas dos escenas inmediatamente anterior y posterior?. Esto es posible hoy día dado que Sentinel-2, un satélite europeo a 10m de resolución, pasa cada pocos días. ¡Qué potencial!.

La medición de la severidad ha de tomar en cuenta el ratio anterior y posterior al incendio que idealmente hace más preciso el resultado (Prefire NBR – PostFire NBR). La imagen arriba muestra claramente la zona al Oeste como la ás dañada por el fuego.

Respecto a las mediciones de las zonas afectadas unos se pregunta si éstas tienen que ver con la severidad de la zona específica afectada o simplemente se considera lo mismo si el fuego ha rozado que si ha realmente afectado a horizontes edáficos más profundos (lo que lo convierte potencialmente en más grave). Dependiendo de cómo se mida, tenemos más o menos zonas afectadas por el fuego. Desconozco el método oficial pero tengo claro que se debe tener claro este parámetro para las mediciones compensatorias, los seguros, etc. Recordemos que originalmente en todos los medios se establecían 3300 Has. como la cifra oficial y tan pronto como acabó, se bajó esa cifra a 2200 Has.

Mis mediciones objetivas y cuantitativas (pero siguiendo mi lógica particular, no necesariamente consensuada ni correctamente parametrizada) resulta en unos 27 km2 (en negro) desde unos más conservadores 10 km2 (en rojo).

https://elpais.com/ccaa/2019/07/04/madrid/1562256143_895750.html (El País)

Si nos ceñimos específicamente a las áreas quemadas y extraemos aquellas que lo son algo menos o que no están negras completamente. Se puede ver claramente que el incendio estuvo realmente a punto de entrar en el pueblo!!. En todo caso cuanto más lo miro más me parece algo que nos debería ayudar a tomar medidas en el futuro.

Coordinación entre organismos supraregionales (Comunidades Autónomas, Unidades Militares UME), inversión en limpieza del monte, mecanismos de compensación adecuados y ecuánimes, etc. 
Comparto el archivo en formato KMZ (se abre con Google Earth, por ejemplo): 

Descarga y visualiza en Google Earth

Siempre sale algo bueno de algo malo y después del incendio de Cadalso se me ha abierto un mundo increíble de posibilidades de análisis desde Google Earth Engine… Solo hacen falta tres cosas: curiosidad, un poco de tiempo y amigos que hagan GIS (Gracias también Ana, Pablo, Marcela, Ligia, Doramas, Manuel, Jorge y todos los demás compis activos de GISITELE!)

Combinación de imagen de alta resolución de fondo con NBR usando leyenda de blanco (menos severo) a negro (más severo)

Hacer el análisis en Google Earth Engine ( Google Earth Engine combines a multi-petabyte catalog of satellite imagery and geospatial datasets with planetary-scale analysis capabilities and makes it available for scientists, researchers, and developers to detect changes, map trends, and quantify differences on the Earth’s surface) me ha permitido usar las imagenes sin descargarlas, un análisis más certero y consistente así como actualizado instantáneamente en caso de variar puntualmente alguno de los parámetros (por ejemplo una fecha de una imagen inicial) así como la potencialidad de verificar cuantitativamente cómo se recupera la zona a medida que pasa el tiempo.

Como referencia, algunas fuentes de esos días en prensa nacional:

(Fuente ABC 20190705
https://www.abc.es/espana/madrid/abci-incendio-cadalso-investigan-si-fuego-comenzo-caseta-finca-negligencia-201907050058_noticia.html)

(Fuente El Periódico 20190701
https://www.elperiodico.com/es/madrid/20190701/madrid-incendio-cadalso-de-los-vidrios-cenicientos-7530250)

(Fuente El Mundo 20190711
https://www.elmundo.es/madrid/2019/07/11/5d1fa05ffc6c832b678b45fd.html)

Y para finalizar, un pequeño vídeo rápido en baja resolución para hacerse una idea de lo que fue:

https://www.dropbox.com/s/534iclgc8uep8hp/cadalso.mp4?dl=0

Saludos y ánimo a todos los cadalseños.