500 entrenos, checked!

Hoy es un día importante para mí, desde que comencé a correr el 14 de agosto de 2014 he llegado hoy hasta los 5,500km o lo que es lo mismo, antes de fin de año, si no hay más sorpresas (ya han sido suficientes este año) estaré llegando a Teherán, la capital de Irán. He corrido sobre todo en España, principalmente en Madrid, donde vivo, pero también en Francia, Túnez, Sudáfrica, Chile, Colombia o Perú y como curiosidad diré que en cinta solo un poquito (2.3%) y es que lo que más mola es correr en exteriores, al menos a mí.

Aquél día no tan lejano del 2014, viviendo en Nantes, Francia, decidí que si podía dedicarle media hora diaria al Candy Crash, también podría dedicarle media hora a correr y no volví nunca a jugar al Candy Crash y al mismo tiempo no paré. También jugó un papel importante el hecho de que estaba con un poco mucho de sobrepeso y que apenas podía correr unos metros con mi niña sin asfixiarme!!. Ha habido algunos parones por lesiones pero si no, he sido muy regular y en tendencia ascendente siempre.

Calculo que terminaré este año con unas 130 salidas y unos 1,300km, lo que no está mal para alguien casi en la cincuentena como yo. La idea era simplemente cuidarme para poder correr con mi niña y ya lo estoy haciendo desde hace unas semanas. Y es lo que me hace más feliz del mundo. Tengo muchas razones en la vida para estar feliz y esto de que se cumpla mi plan de poder correr con ella, me emociona de verdad.

La regularidad y la constancia siempre han sido algunos de mis puntos fuertes que compensan mis no pocos puntos flacos (que no vienen al caso, jeje) y llevar cuenta de cada milímetro de mi entrenamiento me motiva y me permite mejorar. Nada más que tengo que trazarme un plan (razonable, claro) e ir a por él. La estadística siempre ha sido una de mis pasiones y me encanta combinarla con mis aficiones… Correr y el análisis espacial van muy de la mano!

Así cumplí mi sueño de correr una Maratón allá por Diciembre de 2017 en Valencia y ya no pude parar. Ahí mis amigos los POLLITOS RUNNING CLUB tienen mucha culpa, en la fiesta de Reyes 2017 nos prometimos después de unas cuentas cervezas y unos cuantos bailes de SKA que lo haríamos juntos. Qué increíble experiencia. Corrí también la Maratón de Madrid 2019 y tan solo un virus como el actual ha podido evitar que corriera mi tercera en Nantes 2020 pero ese es solo un sueño que tarde o temprano llegará. Cruzo los dedos.

Mi ojito derecho (tengo varios) me acompaña algunas veces y corremos tranquilamente mientras hablamos, nos contamos cosas, vemos las cosas que pasan a nuestro alrededor, nombramos árboles, pájaros… ‘Pa’ qué más?.

Es esto algo que tenga que ver con Geovisualization?. Sí, Geovisualization soy yo! 🙂

Alberto

CORONOVIRUS ANÁLISIS MADRID (updated 20201029)

Las cifras parecen descender, de hecho lo hacen si miramos a la Media (el factor que se mira más últimamente, la tasa de transmisión por 100,000 habitantes los últimos 14 días).

La visualización por coropletas podría ser ambigua (por ejemplo escondiendo polígonos muy pequeños con unos valores muy altos). Observad estudio detallado de las mismas en las últimas seis semanas:

De hecho más que ambigua, muestra menos rojos, parece descender… (hay más huecos de <250, que los saca de la visualización, hummm, en teoría bueno pero…

Un estudio de densidad muestra un aumento y ligero desplazamiento de las zonas con tasas de contagio mayores y una combinación de parámetros diferentes muestra el aumento desarrollo de distintos focos…

Valle de la Oliva (Majadahonda, 640), Barrio del Puerto (559) y Doctor Tamames (Coslada, 620), confinadas desde el lunes 2 de noviembre pero, qué pasa con Valdezarza con 46 mil personas en el interior? Tiene un TIA de 974!!! Y está conectado con la ZBS de Andrés Mellado y Guzmán el Bueno!!

No tiene ningún sentido que se cierren perimetralmente zonas y lo que la semana pasada era un criterio, como que estuviera unido a otro o que tuviera un tasa ascendente, ahora no sea tal. No tiene sentido!.

Donde de verdad quiero llegar (que me pongo malo con cada cosa que veo) es que según el enfoque del análisis, los resultados pueden parecer ambiguos (no sé, quizá!!!). En todo caso, cuando no está claro el tema, lo mejor es la precaución y en la Comunidad de Madrid podríamos tener en el mejor de los casos a una suicida como presidenta, Isabel “DEATH” Ayuso y sus decisiones no parecen contradecir esto. Lo peor es que detrás de sus decisiones están muchos millones de personas, no solo en Madrid.

Alberto CONCEJAL
Analista GIS (independiente, y ser independiente hoy, es algo)

Nuevo estado de Alarma en Madrid. ¿Era necesario?

En estas últimas dos semanas, ya pueden pintarlo como quieran en la Comunidad de Madrid pero la Tasa de Incidencia Acumulada 14d por encima de 750 (el índice que querían usar a cambio de las medidas impuestas por el Gobierno Central) afectaba hace dos semanas a 2,2 millones mientras que ahora lo hace a 2,9 millones. ¿Hay que actuar?. ¡La respuesta es SÍ, YA!

Sé que no es el único parámetro a tener en cuenta pero es muy significativo. 750 es el umbral elegido por la CAM para mostrar que 51 Zonas Básicas de Salud (ZBS) en lugar de las 37 originales de hace dos semanas. Todavía no conocemos el modo en el que distribuye al 100%

Aquí tienes el set oficial de datos con el que he trabajado y las Tasas de Incidencia Acumulada 14d en formato Shape (SHP) las dos semanas del análisis:
https://www.dropbox.com/s/xary3mboy0h2w29/COVID_TIA_MADRID_W39_41.rar?dl=0

Los datos fueron descargados de la web oficial de la Comunidad de Madrid
https://www.comunidad.madrid/gobierno/actualidad/datos-coronavirus

Si te interesa, difunde,

Alberto CONCEJAL
Geógrafo, MSc GIS

Nuevas medidas de confinamiento. 20200925

Se incorporan 8 nuevas zonas básicas de salud (ZBS) a las zonas previamente elegidas la semana pasada (20200921) con umbrales superiores de Tasa de Incidencia Acumulada de los últimos 14 días superiores a 1030, con tendencia creciente y con contigüidad con otras zonas con las mismas restricciones.

Podéis descargar el SHP con las ZBS y los códigos de los dos pasos de nuevos desde aquí:

https://www.dropbox.com/s/is3eclfizvu7rhd/Confinamiento_20200925.zip?dl=0

Análisis COVID19 en Madrid, segunda ola y nuevos confinamientos (actualizado 20200922)

Por explicar un poco lo que está pasando, se ha elegido la Tasa de Incidencia Acumulada en los últimos 14 días: cociente del número de casos confirmados de cada ámbito territorial con infección activa, con fecha de notificación, notificados en los 14 días previos a la fecha del informe, entre la población de cada ámbito territorial a 1 de enero de 2019 (última cifra definitiva del padrón continuo). Se expresa en tanto por cien mil personas.

En pantalla se ha realizado un mapa de predicción (realizado con el Geostatistical Analyst de ArcGIS 10.6.1 y con Global Mapper 20.1) por interpolación mediante el método determinista de Inverse Distance Weighting (IDW), tomando la tasa de incidencia y la cantidad de población en dicha Zona Básica de Salud (ZBS) como ponderador.

Inverse Distance Weighting (IDW) is a quick deterministic interpolator that is exact. There are very few decisions to make regarding model parameters. It can be a good way to take a first look at an interpolated surface. However, there is no assessment of prediction errors, and IDW can produce “bulls eyes” around data locations. There are no assumptions required of the data.

(Como decía he incorporado los datos de la población según el padrón de habitantes 2019). Simbolizados de tal manera que nuestro cerebro comprenda dónde están localizadas las ZBS con más o menos habitantes. Nota: Cuidado con los medios que no toman en cuenta lo que entienden nuestro cerebro. ¿Qué colores usan, ¿Cuántas clases?.

Y he superpuesto el mapa de predicción con las zonas efectivamente elegidas (28) -en este mapa rallados con una trama negra- para confinar selectivamente a partir del 20200921. Hay una clara correspondencia.

Qué viene ahora? Pues si seguimos usando las mismas variables que ISABEL DEATH AYUSO, las nuevas zonas serán quizá Alcorcón, San Isidro, Antonio Leyva, Lavapiés, Daroca, Canillejas… aquí os podéis bajar los datos a día de hoy:

Pero si usamos otras variables como por ejemplo la Incidencia Acumulada de los últimos 14 días por área ponderada a la cantidad de población (primera opción. Peña Prieta, Alcorcón entre otros) o la Incidencia Acumulada de los últimos 14 días por Densidad de población ponderada a su vez a la cantidad de población (segunda opción. Villamil, Villa de Vallecas o San Cristóbal entre otros) tendremos otros escenarios y otras ZBS diferentes. ¡¡Ah no, pero entre estas están algunas en el Norte!!!! ¡¡Eso no puede ser!!!!!

¡¡¡¡CONFINAREMOS MADRID ENTERO, ASÍ QUE NO HAY PROBLEMA!!!!

Mi opinión, si a alguien le interesa, es que la desidia, la dejación y la incapacidad de nuestros gobernantes han conseguido que no nos quede otra que ver cómo esta segunda ola nos va a arrollar a todos. Y no, no es una impresión, son datos. No se ha invertido en personal, en rastreadores, en camas de planta, de UCI. En nada. Tan solo se ha esperado a que esta segunda no existiera.

Ahora una última cosa sobre sensacionalismo en los medios. elige entre el Mapa A y el B. Los dos hablan de lo mismo. Uno muestra lo inexorable del avance de la pandemia, casi todos los polígonos tienen un color muy parecido. El otro muestra solo a los que se refiere el reportaje (IA por encima de 1000). Menos llamativo y menos sensacionalista quizá. Más objetivo.

En fin, si a alguien le interesa la respuesta, que me lo diga
Soy Alberto Concejal, Geógrafo y analista independiente 🙂 (Hoy día ser independiente es algo)

Supervised Classification using the Google Earth Engine, analysis by Mijanur Raman

What I like the most from Google Earth Engine is how powerful can be. You can take i.e all images from the whole Sentinel 2 series over certain spot and measure NDVI throughout time or you can take an analysis you first thought it was ideal over India and then you can use it anywhere else in the world. How fast this Geosciences are going that I can read an article in Linkedin and 5 minutes later I can have finished double checking whatever a random guy (Mijanur Raman) has classified 10,000 km from here. Isn’t it incredible?. By the way, thanks a lot Mijanur Raman for the code, I see in your area it works better (72%).

Here the code link: https://lnkd.in/eMAfdmk

(I adapted it to my parents hometown changing this line below)
var roi = ee.Geometry.Point( -5.9414, 40.8483);

Accuracy is allegedly 45% only but this is only for trying out purposes.

Procedure:
1) Define a region of interest as a point.
2) Load Landsat 5/6/7/8 input imagery. Here I used Landsat 5
3) Filter to get your Landsat data. Here I took nine years of images data.
4) Sort by scene cloudiness, ascending
5) Compute cloud score
6) Mask the input for clouds. Compute the min of the input mask to mask
7) pixels where any band is masked. Combine that with the cloud mask.
8) Here I Used MODIS land cover, IGBP classification, for this classification
9) Sample the input imagery to get a FeatureCollection of training data
10) Make a Random Forest classifier and train it.
11) Classify the input imagery
12) Get a confusion matrix representing resubstitution accuracy
13) Sample the input with a different random seed to get validation data.
14) Filter the result to get rid of any null pixels
15) Classify the validation data
16) Get a confusion matrix representing expected accuracy
17) Define a palette for the IGBP classification
18) Display the input and the classification

Source Linkedin/ by Mijanur Raman

Asia Pacific: Storm tracks 1956 to 2018+ sample video

This shape file consists of consolidated history of tropical storm paths over the past 50 years in the West Pacific, South Pacific, South Indian and North Indian basin. Attributes provides details such as storm Name, Date, Time, wind speed and GPS points for each advisory point. Wind speeds are in knots for more details on speeds conversion and storm categories please visit the original source of data: UNISYS (http://weather.unisys.com/hurricane/index.php), NOAA (http://rammb.cira.colostate.edu/products/tc_realtime/index.asp)

Software used for visualization: ArcGIS 10.6.1 I have also symbolized and created a sample AVI video around the Philippines and The Mariana Trench.

Methodology – Registry
OCHA’s Regional Office for Asia and the Pacific http://www.unocha.org/roap/

Source: https://data.humdata.org/dataset/asia-pacific-storm-tracks-1956-to-2018
Last updated at https://data.humdata.org/organization/ocha-roap : 2019-11-20

License – Public Domain / No Restrictions

Hipsters in USA. Sample over ALABAMA State

Isn’t it incredible? Mapping qualitative data, something as intangible as mapping a concept. For the first time, human behavior and personality in communities can be quantified using artificial intelligence. This dataset ranks the level of hipster activity by the block group level in the US.

Do you see the correspondance of this variable to the major transportation routes?

Do you see the correspondance of this variable to the major cities?. Is there any defined distribution pattern within the big urban areas (i.e Birmingham)?. Is there any correlation you can come across with?

For this purpose I had to download census boundaries from 2010 and crossed them with this ID i have got from Chad Gardner @cgard2991

https://data.world/cgard2991/hipsters-in-usa
https://www.census.gov/geographies/mapping-files/time-series/geo/carto-boundary-file.2010.html

Spatial.ai uses artificial intelligence to process over 4 billion social media data points, with approximately 140 million new data points added monthly. We filter and clean this data to identify predictive value and quantify the qualitative nature of communities. We then organize these filtered data into 100+ social segments. Finally, we deliver organized, usable segments scored on a global index to help you measure human behavior in any location. For this dataset we organized the filtered data into 100+ social segments scored on a global index.

We provide this sample data set to prospective customers and partners to demonstrate typical delivery format. This data can be made available in any format or level of geography including all of North America and most International locations.

Source: https://data.world/cgard2991/hipsters-in-usa/discuss/hipsters-in-usa/aidmfgy3

Alberto CONCEJAL
Geographer and GIS analyst

UPDATED TODAY! Enfoque “Open data” para la toma de decisiones en tiempos de Coronavirus COVID-19

Decenas de medios y redes sociales, algunos poco fiables por incapaces o partidistas (o las dos cosas), muchos datos, no necesariamente bien extraídos y analizados, varios criterios no armonizados y cambiantes (en los últimos días dos veces han cambiado los criterios del Ministerio de Sanidad español!) me convencieron para hacer los análisis yo mismo pero esto, claro, requiere un poco de desarrollo y tiempo. Los periodistas no tienen por qué tener nociones de estadística o de análisis espacial pero yo sí. Tengo acceso a OPEN DATA (Datos Abiertos) y ganas de análisis? Vamos a ver qué sale de esto…

De momento accedo a diario al boletín o update del Ministerio de Sanidad https://www.mscbs.gob.es/en/profesionales/saludPublica/ccayes/alertasActual/nCov-China/situacionActual.htm de donde me descargo el PDF con los sumarios actualizados desde que contaron las diez primera muertes, si no estoy equivocado (por favor corregidme si es así). Luego es necesaria un poco de ingeniería inversa porque el PDF no permite muchas oportunidades para los análisis personales y el copia pega directo no fuciona (qué pena!) Muchos otros diagramas y muchas gráficas estándar, sí. Pero un PDF no te permite mucha capacidad para hacerlo tú mismo, no.

Una vez que copias y pegas los datos en un excel te das cuenta la gran cantidad de edición que tienes que hacer para poder empezar a ver cosas. De momento geocodifiqué las capitales de las CCAA dado que no los datos no estaban desagregados por provincias, lo que hubiera sido ideal. Bueno en estas cosas nada es ideal en el sentido de que a nadie en su sano juicio se le ocurre hacer un seguimiento de estas características con un criterio cambiante y no aunado por cada uno de los límites administrativos. Pero bueno la cuestión es que empecé con una tabla más o menos legible en el update 51 (21.03.2020 (datos consolidados a las 21:00 horas del 20.03.2020)).

Mi idea era salirme un poco del catastrofismo que tenían todos los medios en esas fechas, donde todo eran muertos por todos lados y UCIs a punto de colapsar así que me decidí por analizar los incrementos a la baja de las UCIs y los Fallecidos. Mientras todo subía, me di cuenta de que esto bajaba. Poco a poco, eso sí, pero bajaba.

Luego pasaron los días y añadí los incrementos a la baja de las hospitalizaciones. Ahí estaban mis tres parámetros a la vez, bajando cual llaneros solitarios rodeados de muerte y abatimiento por todas partes. ¿Para qué vale esto? alguien dirá, pues para no perder el norte y darse cuenta que como decía Mark Twain “Hay tres clases de mentiras: las mentiras, las malditas mentiras y las estadísticas.”. Ahora en serio, bueno, yo quería creer que las cosas se iban a arreglar. Basta. :-).

Otra cosa, particularicé el análisis en Madrid, es decir, además de fusilar los datos de todo el país, copiaba una línea extra donde analizaba específicamente el trascurrir del corona virus o COVID-19 en la capital, por cierto, el centro neurálgico del desastre en España.

Fui añadiendo parámetros a analizar y métodos de control visual, cosas sencillas como el formato condicional, colores que dependen de las cifras o tipos combinados de tablas. De curvas o de columnas, ejes secundarios a casco porro, todo para ver cómo combinaban unos atributos con otros y si había algo que cambiaba en el tiempo…

Pero los muertos seguían subiendo. Una cosa buena es que tenía datos de capacidad máximas de estructuras, por ejemplo, en Madrid había en principio 1500 camas de UCI, cifras que fueron subiendo a medida que se iban inaugurando los centros de apoyo como los de IFEMA. El día 4 de Abril se llegó a una ocupación UCI de 1499. Qué miedo. Afortunadamente, todo bajó desde entonces.

En fin, este fue mi trascurrir conforme pasaban los días y lo cierto es que aunque no comunicaba estos resulltados más que con mi grupo familiar de Whatsapp y a mis 90 (o menos) seguidores de Instagram (que como solo publico cosas de running, estaba semi-abandonado), esto, de verdad me hacía sentirme útil en el sentido de que eran datos esperanzadores y no eran mentira. Ya sé que Mark Twain no diría lo mismo pero Gauss decía algo todavía más gracioso, “Tengo mis resultados hace tiempo, pero no sé cómo llegar a ellos“. Esto es exactamente lo que pasaba por mi cabeza (Gracias Karl Friederich!).

Bajan los hospitalizados en el eje secundario y también las UCIs en el primario… muy lentamente sí, pero bajan!

Este diagrama de arriba muestra que el pico ha pasado y que en el trascurso de diez días las cosas habían cambiado bastante. En casa ya llevábamos 30 días de confinamiento aproximadamente y los ánimos no eran muchos porque mis niños (dos) por muy majos que sean, son niños y los análisis no salen cuando hay marejada y en confinamiento no hay marejada en mi casa, hay maremoto. Así que vamos a por más estadística. O mejor, “Más madera!!!!!” (Esta es de Groucho). Fin de las citas, lo prometo.

Quizá mi querido Fernando Simón averiguó que estaba haciendo estas estadísticas y prefirió cambiar el método de contabilización… Se pasó de medir 8 atributos a el doble, incluyendo por ejemplo Positivos por test de anticuerpos, PCRs, tests rápidos, etc, datos que aparecen solo en algunas de las provincias, excepciones por todos lados, asteriscos explicativos… plofffff.

Entre tanto averigué que los de Blue Marble Geographics (Global Mapper) habían añadido una capa de datos online, una conexión WMS con datos georreferenciados de todos los países del mundo, con actualizaciones diarias. Oh yeah! (Gracias al Professor Lauren Gardner, un Ingeniero Civil y de Sistemas de la Universidad Johns Hopkins).

Esto al menos para los datos internacionales.

https://coronavirus.jhu.edu/map-faq

Por otro lado, a una escala más local, mis tablas y mis geocodificaciones de capitales de CCAA (previo paso por ArcGIS para transformar las coordenadas en puntos, darle proyección y luego añadirles los datos mediante un SPATIAL JOIN) me permitían una visualización del análisis con un enfoque particular en España (que me perdonen mis buenos amigos Canarios, en este caso no incluyo las islas por temas de diseño).

En resumidas cuentas, de momento ahí sigo, traduciendo los PDF del Ministerio en hojas de excel legibles por mí mismo y que me permiten tocar los datos desde diferentes enfoques, no necesariamente bien ponderados pero sí frescos y liberados de toda atadura. Podrían parecer unos análisis sencillos (que lo son) pero requieren la alineación de muchas cosas, entre ellas el conocimiento de las herramientas GIS, las proyecciones, distribuciones estadísticas, pero la más importante, la curiosidad por extraer datos para posteriormente tomar decisiones acertadas.

PD: Puedes descargar el EXCEL (en bruto) con todos los datos que se han podido “comprender” después de todos los cambios en los modelos de contabilización de variables desde aquí (última actualización, 108, 20200517):
https://www.dropbox.com/s/h2hebz66btpied0/analisis%20corona.xls?dl=0

Fuentes:
*https://cnecovid.isciii.es/covid19/#documentaci%C3%B3n-y-datos
*https://www.mscbs.gob.es/en/profesionales/saludPublica/ccayes/alertasActual/nCov-China/situacionActual.htm
*https://www.datoscovid.es/
*https://datos.comunidad.madrid/catalogo/dataset/covid19_tia_muni_y_distritos


Alberto CONCEJAL
Geógrafo / MSc GIS y Teledetección

Census differential Privacy Exploration: the change in population for every Congressional district after applying Differential Privacy

How differences in population count could have implications for service provision, allocation of funds, & political representation.

Source: https://www.caliper.com/census-differential-privacy-maps/

The U.S. Census Bureau has changed the way it ensures privacy for the 2020 Census. The new method is called Differential Privacy (DP).

To help people assess some of the implications and unintended consequences of Differential Privacy, Caliper® is providing several maps for public inspection. This map, created with Maptitude®, shows the change in population for every Congressional district after applying Differential Privacy.

The map illustrates that the current 116th Congressional District populations would have been different in many instances, with possible implications for service provision, allocation of funds, and political representation.

Because this method distorts populations for Census Blocks and for all political subdivisions within each State, state legislatures would have drawn different district boundaries had Differential Privacy been used in the 2010 Census.

The non-adjusted PL 94-171 demographics were used for this comparison for consistency with the Differential Privacy 2010 Demonstration Data Product.