Advertisements

Archive for the ‘quality control’ Category

El láser desvela toda la grandeza de la civilización maya (Fuente: El País)

2018/09/28

Esta mañana encontré este interesante reportaje sobre el LIDAR (Laser Imaging Detection and Ranging, detección y localización de imágenes por láser) la tecnología con la que trabajo desde hace años y que a algunos les parece recién inventada, jeje.

Varias anotaciones a hacer, desde el punto de vista geográfico. El “Lídar aporta una visión extremadamente precisa de la geografía y topografía del paisaje” (Universidad de California en Santa Barbara (EE UU), Anabel Ford). De nuevo haciendo referencia a la Geografía con mayúsculas como a la forma del terreno. Gran error. Le recordaría a Anabel Ford que la Geografía es una CIENCIA. Ella es arqueóloga y tira para su campo “Siempre se va a necesitar de arqueólogos con experiencia para reconocer los rasgos documentados por el lídar” pues bien, lo mismo hago yo 🙂

lidar01.png

Otro tema, parece magia pero no lo es. Dice que la zona se cubre con 30.000 millones de puntos pero eso no determina al 100% la precisión: Ha sido coordinado con puntos de Control en tierra?  De cuándo data el vuelo, qué año? En qué epoca del año fue ejecutado? (verano? primavera? nada que ver en cuando a densidad de vegetación, por ejemplo) Además si realmente hay 15 pulsos por m2, hay entonces 15,000,000 de pulsos por km2. Es decir, la zona de la que habla son 2,000 km2? Creo que esto es un error de bulto pues la zona a la que se refiere el artículo parece muy pequeña.

lidar02.png

LIDAR no es la panacea, es una fuente que mejora la resolución de los modelos digitales a todos los niveles pero que tiene que ser acompañada de una buena política de Control de Calidad, limpieza de outliers, clasificación semi-automática, etc. La verdadera potencia de esta herramienta (que por cierto no es nueva que lleva más de 15 años en el mercado) es la combinación con otras plataformas hoy día disponibles, como por ejemplo imágenes oblícuas PICTOMETRY (tampoco algo nuevo pero sí más desarrollado en los últimos años) o la inclusión de análisis de visibilidad (viewshed analysis), medición de volúmenes (cut and fill volume) o análisis de visibilidad en línea (path profiles). Y por último y no menos importante, la capacidad de algunos software actuales en manejar cantidades ingentes de datos como si se tratara de una simple hoja de excel (por ejemplo Global Mapper v20 toma 10 segundos en abrir un fichero LIDAR de 5 millones de pulsos)

Resumiendo, no es la mera visualización de una correspondencia casi ridícula con la realidad sino el hecho de que ese modelado no se queda en lo meramente superficial sino que combinado con otras técnicas la potencial de análisis se hace verdaderamente increíble en comparación a otros modelados stereo fotogramétricos por ejemplo.

lidar03.png

Otro punto a tener en cuenta es la predisposición de los gobiernos desarrollados de generar y costear  (nada baratos por cierto) estos datos dentro del entorno de Planes Nacionales de Ortofotogrametría, por ejemplo  compartir estos datos de manera sistemática con los ciudadanos (Open Data) y no tan solo con técnicos hipercualificados del sector público, como ocurría antes. Ahora yo mismo, el último mono, puedo hacer un anális de cierta significación.

En España el CNIG tiene uno de los mejores portales para compartir datos de este tipo en todo el mundo, nada que envidiar al USGS estadounidense o al IGN francés.

En breve un nuevo post relativo a la optimización de puestos de caza puntuales y lineales usando la tecnología LIDAR y análisis de visibilidad.

WhatsApp Image 2018-09-27 at 13.33.56.jpeg

Aquí el link al reportaje referido:

https://elpais.com/elpais/2018/09/27/ciencia/1538033539_490188.html

Ya sabéis, si os gusta, compartid, y si no ¡No se os ocurra!!!!

Alberto CONCEJAL
MSc GIS and Remote Sensing

Advertisements

La simbolización, las leyendas de los mapas y la prensa española

2018/06/27

Ya está bien, hombre, reivindiquemos desde la Geografía un poco de seriedad y algo menos intrusismo del que algunos se quejan de nosotros. Un mapa debe ser hecho por alguien con conocimientos de Cartografía, que sepa lo que son las fuentes, que sepa los que es una leyenda, una escala, un norte, un proyección… Aquí el mapa con el que me he despertado esta mañana.

Un periodista, un diseñador, un influencer… muy guay pero para hacer los mapas, preguntad a un Geógrafo. Cada vez es más fácil usar servicios web con cartografía precargada tipo CARTO o MAPBOX pero esto no es suficiente si lo que queremos es comunicar un fenómeno o un dato de manera correcta.

Qué fácil es copiar y pegar, pero hay que hacerlo con calidad y precisión.

https://elpais.com/elpais/2018/06/25/media/1529946912_509745.html

leyendas-mapa-20180626.jpg

De verdad el verde oscuro nos sirve para hacernos una idea de los valores más altos?. De un vistazo reconocemos Madrid como polo de atracción?. El color burdeos casi negro de Ciudad Real o León o Ávila lo relacionamos rápidamente con las provincias que dejan salir a más gente?

El cambio de población en un año ha sido del 0.3%, podemos ver la re-distribución anual de esa población y de verdad encontrarle un significado?

La simbología es vital para acortar los tiempos de comprensión y facilitar la toma de decisiones. Una simbolización errónea o una leyenda confusa pueden acabar en segundos con un análisis y recopilación de datos que ha llevado mucho tiempo y esfuerzo.

Cuenta con un Geógrafo.

Oh yeah,

Alberto
BSc Geography, MSc GIS

leyendas-mapa-20180626-02.jpg

LIDAR Madrid LAZ 20cm

2018/05/18

Ya van varias veces en el último mes que alguien no especialista en temas geográficos-cartográficos me habla de ‘ese sistema’ de láser para saber ‘la altura del terreno’ y es que la verdad es que LIDAR parece magia. Es bastante increible que pase un avión con una tecnología invisible a ojos humanos y que se genere una nube de billones de puntos que responde al 100% a la realidad. Es tan fácil capturar el interés de la gente con cosas que se parecen tanto a las cosas que manejas a diario… la montaña de al lado de casa, el río, el edificio, la manzana…

Si además podemos ‘pintar’ esas geometrías con datos provinientes de diferentes fuentes pues el resultado está a la vista: se empieza a generalizar el interés.

Y eso, para un geógrafo culo-inquieto como yo, deseoso de explicarse y buscar aplicaciones para esto o lo otro… mola. Y mucho.

Y sie sos datos están a libre disposición de la ciudadanía bajo el espectro del Open Data o Datos Abiertos, si podemos superponer otras capas pertinentes como por ejemplo los edificios de catastro y todas sus subparcelas catalogadas… pues miel sobre hojuelas.

Aquí algunos ejemplos:

lidar01.png

lidar02.png

lidar03.png

 

Análisis espacial de precios en el mercado inmobiliario (Ejemplo sobre Vicálvaro, Madrid)

2017/01/24

Creo que será interesante para inmobiliarias que sean capaces de georeferenciar estimaciones de precio por zonas.

El procedimiento incluye como inputs tener estimaciones de precios por bloque y precios reales (o anunciados) con lo que podemos extraer un ratio que nos diga la relación entre el precio actual y el esperado.

Recodad por favor que estos datos son aleatorios, es decir que no son más que una teoría a la espera de tener datos reales. Este primer mapa nos dice de 1 a 7 el precio esperado por bloque.

estimaciones-01

Este segundo nos dice dónde están los pisos y su precio anunciado.

estimaciones-02

El tercero nos compara y simboliza un precio con el otro. Cuánto mayor es este ratio, mejor precio teórico tiene la casa. Por ejemplo si el precio esperado es 6 pero el precio anunciado es 1, el ratio será de 6. Cuánto mayor ratio, mejor y viceversa.

estimaciones-03.png

El resultado más concreto es el siguiente:

estimaciones-04.png

Cuanto más rojo mejor, cuanto mayor es el ratio, mejor.

Este análisis permite rápidamente encontrar inmuebles de buen precio o saber decir al cliente que el precio de venta es demasiado alto en comparación con la zona donde está ubicado.

Espero que os sea útil.

Alberto

Entrevista en ‘Soy Data’

2016/08/30

Me vinieron a entrevistar de SOYDATA.net  para hablar de temas relacionados con la Geovisualización como el Big Data o el Open Data y su implicación con el Control de Calidad o el Software libre. Gracias a Jorge Ubero de SoyData por la misma.

Espero que os guste, ya sabéis que si tenéis algún comentario o algo que decir, estoy encantado de contestaros.

Alberto

Alberto Concejal: Nuevos retos en geovisualización

Para hacer un repaso de algunos de los retos y nuevas aplicaciones que nos estamos encontrando en este sector, hemos entrevistado a un veterano experto en geomática, Alberto Concejal.

Alberto Concejal:

Geógrafo, master en teledetección y GIS (sistemas de información geográfica). Ha trabajado más de 15 años en el sector geoespacial. Comenzó su carrera como fotógrafo aéreo y a lo largo de estos años se ha venido especializando en compaginar diseño y geovisualización. Al mismo tiempo ha desarrollado una carrera paralela como fotógrafo y viajero, sus grandes pasiones (ver ‘Un viajero de colores‘ en el portal viajeros.com)

alberto-fotografo-aereo

En la actualidad trabaja como responsable de control de calidad en una multinacional cartográfica. Alberto hace cada día que los procesos complejos sean más fáciles de comprender.

Podcast geotecnologías y nuevos retos

“Las adaptaciones necesarias para que una fusión de dos empresas se lleve a cabo, es todo un reto desde el punto de vista del ‘Quality assessment’”

“No podemos contemplar el escenario actual con los sistemas anteriores, por la capacidad y la realidad dinámica que hay ahora en la generación de datos geolocalizados”

“El open data es el marco idóneo para poder hacer avanzar la tecnología en el entorno big data actual”

“La nube es algo reciente, aún nos estamos adaptando. Es una parte del todo”

“Hay un escenario nuevo cada cinco años, que debe ser aceptado dinámicamente”

“El cliente se ha trasladado de empresas u organismos a las personas de a pie. Siendo éstos a su vez generadores de datos, que deben ser validados y tenidos en cuenta”

Nuevas aplicaciones en geotecnologías: Carto y Tableau

Con Carto (anteriormente conocida como CartoDB) y Tableau se ha facilitado enormemente el acceso a las geotecnologías. En la sencillez reside una de las principales claves de su éxito

–> En la Academia SoyData tenéis a vuestra disposición cursos para poder poneros al día en estas herramientas de geovisualización de una manera ágil, sencilla y asequible.

–> En el blog geovisualization.net Alberto detalla algunas claves y casos de estudio que serán sin duda de vuestro interés. Os invitamos a todos a que lo visitéis.

Comparación de DTM usando Global Mapper 17.0.1

2016/02/12

Hagamos hoy algo sencillo, comparar, primero cualitativamente (visualmente) y después cuantitativamente dos DTM. Por un lado elegimos una fuente muy usual, SRTM de 3 arc sec (aproximadamente 90m) con un DTM derivado de Fotogrametría Stereo.

  • Comparación CUALITATIVA (i.e visual)
  • Comparación CUANTITATIVA (i.e RMSE)

Abrimos por un lado un DTM cuya fuente sea SRTM, en este caso me he conectado via WMS (Web Mapping Service) a través del data online disponible dentro de la misma aplicación Global Mapper (File/Download Online Imagery/data). La resolución es de aproximadamente 90m (3 arc sec).

DTM-COMPARISON-20160212

Por otro lado he encontrado este DTM cuya fuente conozco (Stereo Photogrammetry). La resolución es de 5m.

DTM-COMPARISON-20160212-02

A través de la herramienta ‘digitizer tool’ (Tools/Digitizer) seleccionamos una línea dibujada al azar sobre los dos. Botón derecho del ratón-> analysis/measurement/path profile. Exporto ambas imágenes (es importante en path setup definir un mismo mínimo y máximo para poder compararlas adecuadamente).

Con Photoshop superpongo (Layer display/ multiply) ambas imágenes y veo cuán diferente son.

DTM-COMPARISON-20160212-03

Esto nos da una primera idea de la comparación, pero vayamos un poco más allá: ¿Cuál es el RMSE (Error medio cuadrático, Root Mean Square Error) entre ambas bases de datos?.

DTM-COMPARISON-20160212-04

Esta es una medida de desviación que nos va a definir mucho más exactamente que una simple visualización. Podéis ver algo más desarrollado este punto en este link de esta misma página:

https://geovisualization.net/2010/06/30/using-excel-to-calculate-the-rmse-for-lidar-vertical-ground-control-points/

DTM-COMPARISON-20160212-05

Ahora tan solo hemos de verificar que esta cifra sea la correcta teniendo en cuenta los valores de precisión prometidos en la entrega.

Espero que os haya resultado interesante, si así es, no olvidéis comentar, compartir o simplemente decir Hola. Cualquiera de estas opciones es apreciada.

Un saludo cordial,
Alberto CONCEJAL
MSc GIS and Remote Sensing

DTM validation using Google Earth (and RMSE extraction)

2015/03/10

Hi guys,

Surfing the internet is great when you need to figure out something. I needed to validate some DTM from unknown sources against an also unknown source (but at least a kind of reliable one, Google Earth).

All we need is

  • Google Earth
  • TCX converter
  • ARcGIS
  • Excel

This is the procedure i have followed:

  1. First of all we draw a path over our AOI using Google Earth, we save this as KML,
  2. This KML is opened by TCX converter, added heights and exported as CSV,
  3. CSV is imported by ArcGIS,
  4. We use the tool ‘extract multi values to points‘ to get in the same table the values of our DTM and the values from Google Earth,
  5. We use Excel to calculate the RMSE and get a quantitative result,

These are the values in our DTM

dtm-validation-02

This is the path we have to draw in Google Earth

dtm-validation-03

Using TCX converter we get the heights out of Google Earth’s DTM

dtm-validation-01

Using the tool ‘extract multi values to points‘ we get the heights out of our DTM

dtm-validation-04

We measure the differences and extract the RMSE.
Are we within our acceptance threshold or expected level of accuracy?.

You guys have to figure this out for yourselves!!!

Lost regarding RMSE calculation?. Think you have to take a look at this other post.

dtm-validation-05

dtm-validation-06

Hope you guys have enjoyed this post, if so, don’t forget sharing it.

Alberto Concejal
MSc GIS and QCQA expert (well this is my post and i say what i want :-))