Diseño de un control de calidad de los datos de observaciones de las estaciones meteorológicas de superficie

Introducción

⌅

La calidad es la capacidad de satisfacer las necesidades de un usuario. En el caso de las mediciones meteorológicas esto suele traducirse en una declaración de requisitos de precisión y de incertidumbre del valor obtenido. El aseguramiento de la calidad a lo largo del ciclo de vida de los datos se inicia en el punto de observación y finaliza cuando se archiva en la base de datos climática.

Entre los factores que influyen en la calidad en el punto de observación se pueden citar (OMM, 2014OMM. 2014 “Guía de Instrumentos y Métodos de Observación Meteorológicos. Volumen I - Medición de variables meteorológicas”. OMM - No 8. Ginebra, p. 642.
):

Las características técnicas de los instrumentos de medición.
- Se pueden conocer consultando la documentación del fabricante y/o por chequeos de laboratorio o de campo. En dependencia de la objetividad del fabricante las prestaciones reales a veces son peores que las declaradas. La incertidumbre de medición alcanzable se debe utilizar para comprobar la posible validez de la incertidumbre anunciada por los fabricantes.
El cumplimiento de las tareas de mantenimiento y de calibración del instrumento de medición.
- Una vez que se selecciona un instrumento, se instala y entra en operación es necesario realizarle mantenimientos preventivos de forma periódica para evitar que factores tales como la suciedad, la pérdida de nivelación, la pérdida de un buen contacto eléctrico en sus terminales, etc, influyan en los resultados de la medición. Asimismo, el instrumento se debe calibrar periódicamente para comprobar si mantiene sus parámetros técnicos o si requiere de reparación y/o ajustes, tras lo cual se debe realizar una nueva calibración.
La influencia del entorno cercano al punto de observación.
- La OMM ha establecido una norma para clasificar el entorno cercano a un punto de observación que varía del 1 al 5; la observación en un sitio de clase 1 se puede considerar de referencia para la variable dada mientras que en un sitio de clase 5 los obstáculos cercanos crean un entorno inadecuado para realizar una medición meteorológica representativa. Para algunas clases se indica una estimación de los posibles errores asociados. Esta norma aplica a la medición de la temperatura del aire, la humedad relativa, el viento, la lluvia y la radiación.

Las observaciones que carecen de metadatos (datos que describen los datos) presentan un uso muy limitado. Solo si los metadatos describen la variable observada, las condiciones en las que se observó, el modo en que se efectuó la medición y el método de proceso de los datos, los usuarios tienen garantías de que pueden utilizar los datos para su aplicación (OMM, 2017OMM. 2017 “Norma sobre metadatos del Sistema Mundial Integrado de Sistemas de Observación de la OMM”. OMM - No 1192. Ginebra, p. 56.
).

En general, los chequeos que debe realizar un Control de Calidad (CC) a los datos de observaciones de superficie se pueden clasificar en (OMM, 2021OMM. 2021 “Directrices para el control de la calidad y el aseguramiento de la calidad de los datos de estaciones de observación en superficie para aplicaciones climáticas”. OMM - No 1269. Ginebra, p. 62.
):

Chequeos de restricción: Permiten comprobar que las observaciones son técnica y científicamente plausibles en función de los límites teóricos y climatológicos y las especificaciones de los sensores.
Chequeos de coherencia: Chequeos que, mediante comparaciones con otros parámetros, permiten rechazar o marcar como sospechosas las combinaciones incoherentes, improbables o imposibles. Posteriormente, se puede evaluar la validez de los valores sospechosos mediante una investigación manual.
Chequeos estadísticos: Analizan estadísticamente los datos históricos para detectar registros incoherentes, improbables o imposibles y marcarlos como sospechosos. Posteriormente, se puede evaluar la validez de los valores sospechosos mediante una investigación manual.

La generación y uso de banderines de calidad es un componente obligatorio del CC pues proporciona una indicación cualitativa del nivel de fiabilidad de los datos. Los banderines se deben generar a partir de cualquier CC automático realizado durante el proceso de captación o introducción manual de datos en la estación y pueden ser modificados durante el CC ulterior en modo diferido. Los banderines de calidad típicos deben indicar si un dato ha sido o no objeto de un proceso de CC y, en caso afirmativo, si dicho dato ha sido considerado válido, sospechoso, dudoso o erróneo y si ha sido estimado o modificado (OMM, 2021OMM. 2021 “Directrices para el control de la calidad y el aseguramiento de la calidad de los datos de estaciones de observación en superficie para aplicaciones climáticas”. OMM - No 1269. Ginebra, p. 62.
).

En la actualidad, en las estaciones de superficie del Instituto de Meteorología (INSMET) se realiza un CC en tiempo casi real con el Sistema Automatizado de Revisión de las Observaciones Meteorológicas (SAROM) y, de forma diferida y manual, revisando el Libro de Observaciones, donde se archivan en copia dura. Sin embargo, el CC del SAROM se limita fundamentalmente a los chequeos de coherencia entre variables y de errores de codificación FM 12 SYNOP.

Por otra parte, el SAROM no genera ningún banderín de calidad. Con posterioridad, el Centro de Clima (CENCLIM) realiza otros chequeos de la calidad de los datos de observaciones antes de ingresarlos en los archivos climatológicos. Sin embargo, la calidad del dato que se utiliza en tiempo casi real en el Servicio de Pronóstico del Tiempo depende de los chequeos realizados en la estación.

Por último, el usuario de datos del SAROM solo tiene acceso a los metadatos de ubicación geográfica de la estación, o sea latitud, longitud de la estación y altura sobre el nivel medio del mar.

En el año 2021 se diseñó un Control de Calidad como parte integral del Sistema de Gestión de Observaciones Meteorológicas de Superficie (SGOBS) instalado de forma operativa desde el primero de junio del 2021 en la estación Casablanca, y cuyo funcionamiento proyecta mejoras con respecto al SAROM. Sobre esta base se desarrolla el control de calidad de datos de las estaciones meteorológicas de superficie objetivo de esta investigación.

Materiales y Métodos

⌅

El Control de Calidad se diseñó a partir:

Análisis del proceso de realización de una observación sinóptica de superficie.
Fortalezas y limitaciones del CC del SAROM.
Directrices para el control de la calidad y el aseguramiento de la calidad de los datos de estaciones de observación en superficie para aplicaciones climáticas (OMM n^o 1269OMM. 2021 “Directrices para el control de la calidad y el aseguramiento de la calidad de los datos de estaciones de observación en superficie para aplicaciones climáticas”. OMM - No 1269. Ginebra, p. 62.
) y de la norma de metadatos del Sistema Mundial Integrado de Sistemas de Observación de la OMM (OMM n^o 1192OMM. 2017 “Norma sobre metadatos del Sistema Mundial Integrado de Sistemas de Observación de la OMM”. OMM - No 1192. Ginebra, p. 56.
).

Para instalar y poner a punto el Control de Calidad del SGOBS en la estación Casablanca se creó:

Una base de metadatos;
Una tabla con los percentiles 0.3, 25, 75 y 99.7 de las variables meteorológicas para cada horario sinóptico y mes del año;
Una tabla con los records climatológicos mensuales de las estaciones de superficie del INSMET.

En la base de metadatos de la estación de superficie creada se incluyó la siguiente información necesaria para el procesamiento y Control de Calidad del dato:

Identificador OMM de la estación;
Latitud de la estación;
Longitud de la estación;
Altura sobre el nivel medio del mar de la estación;
Variables observadas;
Instrumento asociado a cada variable observada;
Exposición de cada instrumento;
Unidad de medición, rango de medición, resolución e incertidumbre de medición de cada instrumento;
Fecha y resultado de las calibraciones efectuadas a cada instrumento; y
Fecha de los mantenimientos efectuados a cada instrumento.

El SGOBS empleó la variable medida y la fecha-hora de la observación para buscar en la base de metadatos el instrumento que se utilizó y obtener la siguiente información del mismo:

Identificación del instrumento (por ejemplo, termómetro de L/V ordinario TM4 # 102);
Rango de medición (por ejemplo, de -30.0 °C a 45.0°C);
Incertidumbre de medición (por ejemplo, U = ±0.2 °C);
Unidad de medición (por ejemplo, °C);
Altura sobre la superficie (por ejemplo, h = 1.7 m).

Resultados y Discusión

⌅

El CC utiliza el rango de medición para establecer el rango de valores posibles desde el punto de vista instrumental (chequeo de restricción). Si el valor introducido cae dentro del rango de medición, pasa el chequeo. Si el valor introducido cae fuera del rango de medición, lo identifica como un error y genera un mensaje de advertencia (Figura 1), rechazando su entrada al sistema.

Figura 1. Mensaje de error que genera el CC cuando detecta que el valor observado está fuera del rango de medición del instrumento.

El CC emplea la incertidumbre de medición como un indicativo de la calidad del instrumento utilizado, comparándolo con las recomendaciones de OMM n^o 8OMM. 2014 “Guía de Instrumentos y Métodos de Observación Meteorológicos. Volumen I - Medición de variables meteorológicas”. OMM - No 8. Ginebra, p. 642.
(Tabla 1) y aplicando los criterios que se muestran en la (Tabla 2).

Tabla 1. Requisitos de incertidumbre U de las mediciones de temperatura del aire, humedad relativa y presión atmosférica.

Variable	U requerida	U alcanzable
Temperatura del aire	0.1 K	0.2 K
Humedad Relativa	1 %	3 %
Presión atmosférica	0.1 hPa	0.15 hPa

Tabla 2. Evaluación de la calidad del instrumento de medición.

Código	Descripción
0	No se aplica a la variable observada
1	Incertidumbre de medición igual a la U requerida de OMM n^o 8
2	Incertidumbre de medición igual a la U alcanzable de OMM n^o 8
3	Incertidumbre de medición igual o menor que el doble de la U alcanzable de OMM n^o 8
4	Incertidumbre de medición mayor que el doble de la U alcanzable de OMM n^o 8
5	Incertidumbre de medición desconocida

El SGOBS utiliza la unidad de medición del instrumento para realizar las conversiones necesarias entre el dato medido, el dato que se guarda en la base de datos y el valor que se utiliza en la codificación FM-12.

Las características técnicas de un instrumento de medición pueden derivar en el tiempo; por consiguiente, en la base de metadatos se incluyen las fechas de los mantenimientos y las calibraciones. Un instrumento sin mantenimiento puede no funcionar correctamente. A su vez, la calibración periódica de un instrumento es la única forma de conocer si se mantiene en parámetros.

En el caso particular de las calibraciones, en la base de metadatos se guardan, además de la fecha, los valores de la pendiente y la intersección de la recta de regresión lineal, y la unidad de medición, las que son utilizadas por el SGOBS para corregir automáticamente el valor medido.

El mantenimiento y la calibración de los instrumentos de medición son evaluados por el Control de Calidad utilizando los criterios de la (Tabla 3) y la (Tabla 4) respectivamente.

Tabla 3. Evaluación del estado de mantenimiento del instrumento de medición

Código	Descripción
0	No se aplica a la magnitud observada
1	Mantenimiento realizado hace 6 meses o menos
2	Mantenimiento realizado hace más de 6 meses y menos de 1 año
3	Mantenimiento realizado hace más de 1 año y menos de 3 años
4	Mantenimiento realizado hace más de 3 años
5	Mantenimiento no realizado o fecha desconocida

Tabla 4. Evaluación del estado de calibración del instrumento de medición

Código	Descripción
0	No se aplica a la magnitud observada
1	Calibración realizada hace 1 año o menos
2	Calibración realizada hace más de 1 año y menos de 3
3	Calibración realizada hace más de 3 años y menos de 5
4	Calibración realizada hace más de 5 años
5	Calibración no realizada o fecha desconocida

Además del instrumento, la influencia del entorno que rodea la ubicación del instrumento de medición influye en la calidad y representatividad del dato observado. En la base de metadatos se guarda la clase que obtuvo el entorno de medición por la metodología de OMM n^o 8OMM. 2014 “Guía de Instrumentos y Métodos de Observación Meteorológicos. Volumen I - Medición de variables meteorológicas”. OMM - No 8. Ginebra, p. 642.
, y la fecha en que se realizó. El código de evaluación que genera el Control de Calidad para la exposición del instrumento utiliza los criterios de la (Tabla 5).

Tabla 5. Evaluación de la exposición del instrumento de medición

Código	Clase	Descripción
0	No se aplica a la magnitud medida
1	1	La exposición permite mediciones de nivel de referencia
2	2	La exposición influye poco o rara vez sobre las mediciones
3	3	La exposición provoca un aumento de la incertidumbre de la medición u ocasionales mediciones no válidas
4	4	La exposición provoca una gran incertidumbre o frecuentes mediciones no válidas
5	5	La exposición provoca mediciones inválidas
6	Exposición desconocida

Después que el SGOBS convierte a las unidades de medición adecuadas y corrige instrumentalmente el dato, el CC realiza los chequeos de restricción y, si los pasa con éxito, los chequeos de coherencia que pueden invalidar el dato. Si el dato pasa con éxito los chequeos de coherencia invalidantes, el CC efectúa los chequeos estadísticos del valor observado.

Chequeos estadísticos del valor observado

⌅

Para realizar los chequeos estadísticos del valor observado se creó una aplicación que calculó, para cada horario sinóptico y mes del año, los percentiles 0.3, 25, 75 y 99.7 de las variables temperatura del aire, temperatura de bulbo húmedo, humedad relativa y presión atmosférica al nivel de la estación. Además, se calculó el percentil 99.7 del cambio en 3 horas de las variables temperatura del aire, temperatura de bulbo húmedo, humedad relativa y presión atmosférica al nivel de la estación.

Los resultados se guardaron en la base de metadatos. Se utilizó como origen de datos el fichero csv de exportación de datos trihorarios del SAROM.

El Control de Calidad utilizó los percentiles 0.3 y 99.7 (P_0.3 y P_99.7) como límites para establecer el rango de valores observados probables. Además, utilizó los percentiles 25 y 75 (P₂₅ y P₇₅) para calcular el rango inter-cuartiles $I Q R$ (ecuación 1) y determinar los valores atípicos extremos $q$ (ecuación 2 y ecuación 3).

El algoritmo que utilizó el Control de Calidad para determinar la probabilidad de ocurrencia del valor observado y su evaluación se muestran en la (Figura 2) y la (Tabla 6).

I Q R = P_{75} - P_{25}

(1)

q < P_{25} - 3 * I Q R

(2)

q > P_{75} + 3 * I Q R

(3)

Figura 2. Algoritmo de determinación de la probabilidad de ocurrencia del valor observado y su evaluación

Tabla 6. Evaluación de la probabilidad de ocurrencia del valor observado o de su cambio rápido

Código	Descripción
0	No se aplica a la magnitud medida
1	Entre los percentiles 0.3 y 99.7 (valor probable)
2	Menor que el percentil 0.3 (valor poco probable)
3	Mayor que el percentil 99.7 (valor poco probable)
4	Menor o igual que el valor atípico (error probable)
5	Mayor o igual que el valor atípico (error probable)
6	Probabilidad desconocida

Análisis de la ocurrencia de un posible record climatológico

⌅

Si el observador introduce un valor que sobrepasa los percentiles 0.3 o 99.7 (P_0.3 y P_99.7) el CC genera un mensaje de confirmación de que se trata de un valor estadísticamente poco probable y no un error del observador (Figura 3).

Si el observador responde afirmativamente a la pregunta ¿Es correcto? el CC determina, utilizando una base de datos de récords facilitados por el CENCLIM, si el valor observado es un posible récord climatológico nuevo, a qué nivel ocurrió (estación, provincia, región o nación), y para cuál periodo (mensual o anual). Si es un posible récord, el CC genera un mensaje con el valor, la fecha y la estación del récord anterior (Figura 4).

Figura 3. Mensaje que genera el CC cuando detecta que el valor observado es mayor que el percentil 99.7

Figura 4. Mensaje que genera el CC cuando detecta que el valor observado es un posible récord climatológico

Salida visual del CC y formación del banderín de calidad

⌅

El CC del SGOBS evalúa 3 elementos formadores de la calidad del dato observado:

El instrumento de medición, su estado de calibración y mantenimiento y su emplazamiento
El resultado del chequeo de rango
El resultado del chequeo de cambio rápido o de persistencia

La evaluación obtenida se visualiza en un control cuyo color de fondo facilita identificar el resultado obtenido como BUENO (verde), REGULAR (naranja) o MALO (rojo). Al dar clic con el mouse sobre el control se muestra un mensaje que ofrece información detallada sobre el resultado (Figura 5, Figura 6 y Figura 7).

Para cada variable observada hay tantos controles como elementos formadores de la calidad del dato observado existan. Para la temperatura del barómetro Tbar solo se chequean algunos aspectos instrumentales (Inst.), para la dirección del viento d se chequean los aspectos instrumentales y de emplazamiento (Inst.) y la persistencia (Var.) y para la temperatura del aire T se chequean los aspectos instrumentales y de emplazamiento (Inst.), el chequeo de rango (Rango) y el chequeo de cambio rápido (Var.).

Figura 5. Mensaje que genera la aplicación cuando se da clic sobre el control (Inst.) correspondiente a la variable temperatura (T)

Figura 6. Mensaje que genera la aplicación cuando se da clic sobre el control (Rango) correspondiente a la variable temperatura (T)

Figura 7. Mensaje que genera la aplicación cuando se da clic sobre el control (Var.) correspondiente a la variable temperatura (T)

Las evaluaciones de los elementos formadores de la calidad del dato observado (aspectos instrumentales, chequeo de rango y/o chequeo de cambio rápido o persistencia) se combinan en un solo valor que se guarda como banderín de calidad en la base de datos. Conociendo el algoritmo de formación del banderín se pueden extraer las evaluaciones individuales de dichos elementos formadores para un análisis posterior de la calidad del dato al que está asociado.

El SGOBS guarda en la base de datos un banderín que califica la calidad del dato observado. Dicho banderín es el resultado de combinar las evaluaciones individuales de la calidad en un solo valor $Q C$ aplicando la (ecuación 4):

Q C = 10^{0} \times E v a l_{U} + 10^{1} \times E v a l_{M t t o} + 10^{2} \times E v a l_{C a l} + 10^{3} \times E v a l_{E x p} + 10^{4} \times E v a l_{L i m} + 10^{5} \times E v a l_{V a r}

(4)

Donde:

$Q C$	Banderín del control de calidad
$E v a l_{U}$	Evaluación de la incertidumbre del instrumento de medición
$E v a l_{M t t o}$	Evaluación del estado de mantenimiento del instrumento de medición
$E v a l_{C a l}$	Evaluación del estado de calibración del instrumento de medición
$E v a l_{E x p}$	Evaluación de la exposición del instrumento de medición
$E v a l_{L i m}$	Evaluación del chequeo de rango de la variable medida
$E v a l_{V a r}$	Evaluación del chequeo de cambio rápido o de persistencia de la variable medida

El valor del banderín de calidad se guarda en la misma base de datos donde está el valor de la variable observada que califica. A partir del valor del banderín se pueden obtener los componentes individuales de la calidad mediante la (ecuación 5, ecuación 6, ecuación 7, ecuación 8, ecuación 9 y ecuación 10), respectivamente.

E v a l_{U} = (Q C M o d 1 \times 10^{1}) \ (1 \times 10^{0})

(5)

E v a l_{M t t o} = (Q C M o d 1 \times 10^{2}) \ (1 \times 10^{1})

(6)

E v a l_{C a l} = (Q C M o d 1 \times 10^{3}) \ (1 \times 10^{2})

(7)

E v a l_{E x p} = (Q C M o d 1 \times 10^{4}) \ (1 \times 10^{3})

(8)

E v a l_{L i m} = (Q C M o d 1 \times 10^{5}) \ (1 \times 10^{4})

(9)

E v a l_{V a r} = (Q C M o d 1 \times 10^{6}) \ (1 \times 10^{5})

(10)

Donde:

El operador $M o d$ realiza la división de dos expresiones numéricas y devuelve solo el resto, por ejemplo $7 M o d 5 = 2$

El operador $\$ realiza la división de dos expresiones numéricas y devuelve solo la parte entera, por ejemplo $7 \ 5 = 1$

$Q C$	Banderín del control de calidad
$E v a l_{U}$	Evaluación de la incertidumbre del instrumento de medición
$E v a l_{M t t o}$	Evaluación del estado de mantenimiento del instrumento de medición
$E v a l_{C a l}$	Evaluación del estado de calibración del instrumento de medición
$E v a l_{E x p}$	Evaluación de la exposición del instrumento de medición
$E v a l_{L i m}$	Evaluación del cheque de rango de la variable medida
$E v a l_{V a r}$	Evaluación del chequeo de cambio rápido o de persistencia de la variable medida

Conclusiones

⌅

El Control de Calidad del SGOBS de la estación Casablanca cumple las recomendaciones de OMM n^o 1269OMM. 2021 “Directrices para el control de la calidad y el aseguramiento de la calidad de los datos de estaciones de observación en superficie para aplicaciones climáticas”. OMM - No 1269. Ginebra, p. 62.
para controlar la calidad de los datos en el punto de observación y generar un banderín que documenta la calidad del dato observado.

La generación de mensajes de advertencia ante la ocurrencia de valores sospechosos facilita que el observador, si cometió un error, cancele la operación antes de guardar el valor introducido por teclado en la base de datos.

La generación de mensajes de advertencia ante la ocurrencia de un posible récord climatológico y su clasificación es una prestación que le añade valor a la aplicación.

Recomendaciones

⌅

Se le recomienda a las entidades y personal relacionado con el manejo de datos de estaciones, la lectura y comprension de este artículo para lograr un mejor resultado con respecto a la calidad de los datos recopilados a la hora de su utilización.

Artículo Original