Evaluación del pronóstico cuantitativo de la precipitación del SisPI2.0

INTRODUCCIÓN

⌅

Los modelos matemáticos pronostican el estado futuro de la atmósfera. En los últimos años han sido ampliamente utilizados con ese fin, varios estudios lo demuestran, por ejemplo (Sukovich et al., 2014Sukovich, E. M., Ralph, F. M., Barthold, F. E., Reynolds, D. W., and Novak, D. R. (2014). Extreme quantitative precipitation forecast performance at the Weather Prediction Center from 2001 to 2011. Weather and forecasting, 29(4), 894-911.). Entre los elementos que han influido en el desarrollo de los sistemas de pronóstico se encuentra su evaluación, ya que esta permite mejorar la calidad de los mismos, detectar deficiencias e incluso conocer ante qué condiciones la capacidad del modelo es más óptima (Warner, 2010Warner, T. T. (2010). Numerical weather and climate prediction. cambridge university press.); además, la evaluación explora cómo los pronosticadores pueden hacer predicciones precisas mediante el uso de varios modelos de pronóstico (Liu et al., 2021Liu, J.-Q., Li, Z.-L., and Wang, Q.-Q. (2021). Quantitative Precipitation Forecasting Using an Improved Probability-Matching Method and Its Application to a Typhoon Event. Atmosphere, 12(10), 1346.). En general, cualquier cambio que se aplique a un modelo ha de ser evaluado, ya sea un cambio en su configuración interna (Yu et al., 2013Yu, X., Park, S. K., Lee, Y. H., and Choi, Y. S. (2013). Quantitative precipitation forecast of a tropical cyclone through optimal parameter estimation in a convective parameterization. SOLA, 9, 36-39.; Zahraei et al., 2013Zahraei, A., Hsu, K., Sorooshian, S., Gourley, J. J., Hong, Y., and Behrangi, A. (2013). Short-term quantitative precipitation forecasting using an object-based approach. Journal of hydrology, 483, 1-15.; Jung and Lin, 2016Jung, Y., and Lin, Y.-L. (2016). Assessment of a regional-scale weather model for hydrological applications in South Korea. Environ. Nat. Resour. Res, 6(2), 28-41.; Park and Park, 2021Park, S., and Park, S. K. (2021). A micro-genetic algorithm (GA v1. 7.1 a) for combinatorial optimization of physics parameterizations in the Weather Research and Forecasting model (v4. 0.3) for quantitative precipitation forecast in Korea. Geoscientific Model Development, 14(10), 6241-6255.) o en los datos que se le introducen (Palma and Silva, 2018Palma, G. M., and Silva, M. A. (2018). Improving the quantitative precipitation forecast: A ddeplearning approach.).

La precipitación es una variable difícil de pronosticar debido a su variabilidad espacial y temporal y la complejidad de los sistemas que la generan. Estudios realizados reflejan que los modelos ofrecen mejores pronósticos ante eventos de lluvia más ligera (Wardah et al., 2011Wardah, T., Kamil, A., Sahol Hamid, A., and Maisarah, W. (2011). Quantitative precipitation forecast using MM5 and WRF models for Kelantan River basin. Int. J. Geol. Environ. Eng, 5, 712-716.), y en terreno llano (Wang, 2015Wang, C.-C. (2015). The more rain, the better the model performs-The dependency of quantitative precipitation forecast skill on rainfall amount for typhoons in Taiwan. Monthly Weather Review, 143(5), 1723-1748.). Un estudio en Estados Unidos evidenció que en los pronósticos cuantitativos de precipitación extrema la habilidad más alta se presenta durante el invierno y la habilidad más baja en el verano (Sukovich et al., 2014Sukovich, E. M., Ralph, F. M., Barthold, F. E., Reynolds, D. W., and Novak, D. R. (2014). Extreme quantitative precipitation forecast performance at the Weather Prediction Center from 2001 to 2011. Weather and forecasting, 29(4), 894-911.). Además, la predictibilidad y la habilidad de pronóstico en escalas más pequeñas suelen ser peores que en los pronósticos a mayor escala (N. Roberts, 2008Roberts, N. (2008). Assessing the spatial and temporal variation in the skill of precipitation forecasts from an NWP model. Meteorological Applications: A journal of forecasting, practical applications, training techniques and modelling, 15(1), 163-169.; N. M. Roberts and Lean, 2008Roberts, N. M., and Lean, H. W. (2008). Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events. Monthly Weather Review, 136(1), 78-97.; Surcel et al., 2015Surcel, M., Zawadzki, I., and Yau, M. (2015). A study on the scale dependence of the predictability of precipitation patterns. Journal of the Atmospheric Sciences, 72(1), 216-235.); así como también es más difícil predecir las zonas afectadas por la lluvia ante umbrales de precipitación más altos (Chen et al., 2018Chen, X., Yuan, H., and Xue, M. (2018). Spatial spread‐skill relationship in terms of agreement scales for precipitation forecasts in a convection‐allowing ensemble. Quarterly Journal of the Royal Meteorological Society, 144(710), 85-98.).

El pronóstico de lluvia en Cuba se realiza según la distribución espacial que pueda alcanzar, pero no en cuanto a su intensidad (Moreno et al., 2017Moreno, S., González, C. M., and Ferrer, A. L. (2017). Verificación del pronóstico cuantitativo de la precipitación del modelo WRF para las provincias Artemisa, Mayabeque y La Habana. Revista Cubana de Meteorología, 23(2), 148-163.) y generalmente los métodos utilizados para evaluar los pronósticos se basan en la estadística tradicional y no permiten conocer la naturaleza del error que se comete. Investigaciones como la de (Sierra et al., 2022Sierra, M., Medina, J., Sille, J., Fuentes, A., Alfonso, S., and Gascon, T. (2022). Verification by Multiple Methods of Precipitation Forecast from HDRFFGS and SisPI Tools during the Impact of the Tropical Storm Isaias over the Dominican Republic. Atmosphere, 13(3), 495.) y (Zhang and Pan, 2022Zhang, H., and Pan, L. (2022). Diagnostic Analysis of Multimodel Rainstorm Forecast for Cases Based on MODE Method. Atmosphere, 13(7), 1047.) muestran la efectividad del empleo de métodos espaciales. Estos especialistas emplean el Método de Evaluación Diagnóstico Orientado a Objetos (MODE) para evaluar los sistemas de pronóstico.

El Sistema de Pronóstico Inmediato (SisPI) fue desarrollado en Cuba por los especialistas del Centro de Física de la Atmósfera (Sierra et al., 2015Sierra, M., Ferrer, A., Hernández, R., González, Y., Cruz, R., Borrajero, I., and Rodríguez, C. (2015). Sistema automático de predicción a mesoescala de cuatro ciclos diarios. Informe de Resultado, Instituto de Meteorología: La Habana, Cuba., 2017Sierra, M., Borrajero, I., Ferrer, A., Morfa, Y., Morejón, Y., and Hinojosa, M. (2017). Estudios de sensibilidad del SisPI a cambios de la PBL, la cantidad de niveles verticales y las parametrizaciones de microfísica y cúmulos, a muy alta resolución. Informe Científico de resultado, La Habana, Cuba: Instituto de Meteorología, 26p.,[Consulted: 15 septiembre, 2020].). (Alfonso, 2020Alfonso, S. (2020). Evaluación del Sistema de Pronóstico Inmediato [Tesis]. Universidad de La Habana.) evalúo la habilidad de su primera versión, SisPI1.0, para pronosticar cuantitativamente la precipitación en el territorio cubano empleando métodos estadísticos tradicionales y comparando las salidas del modelo con los datos de estaciones meteorológicas. El estudio mostró que, aunque el SisPI sobrestima los acumulados de precipitación, sí es capaz de reflejar el aumento o disminución en los acumulados; no obstante, esta evaluación no muestra si los resultados se deben a que el modelo no es capaz de detectar el sistema o a un error de posición.

Cambios en la configuración interna del SisPI1.0 dieron lugar a su siguiente versión, SisPI2.0, experimentalmente operativa desde finales del 2020. Por tanto, la presente investigación pretende evaluar la habilidad del SisPI2.0 para pronosticar cuantitativamente la precipitación con un plazo de 24 horas de antelación y en especial su habilidad para pronosticar hasta con 48 horas de anterioridad. La evaluación muestra si la calidad del pronóstico de esta variable mejoró respecto al elaborado a través de su primera versión.

MATERIALES Y MÉTODOS

⌅

Se seleccionaron cuatro casos de estudio del período lluvioso de 2021. Estos fueron representativos de diferentes eventos meteorológicos. Se seleccionó una Línea de tormentas eléctricas (16 de junio, caso 1), un evento de inestabilidad vespertina (7 de julio, caso 2), una onda tropical (14 de agosto, Fred en estadío de onda tropical, caso 3) y un huracán (28 de agosto, huracán Ida, caso 4).

SisPI

⌅

El modelo evaluado fue el SisPI debido a que su versión SisPI1.0 sufrió cambios en su configuración interna. Entre los cambios se pueden mencionar la modificación en las parametrizaciones de radiación solar, incorporación de la parametrización de “shallow convection” y ampliación del plazo de pronóstico de 24 horas hasta unas 48 horas. Estos y otros cambios dieron origen al SisPI2.0, versión experimentalmente operativa desde septiembre de 2020.

El SisPI es un modelo que parte del WRF (“Weather Research Forecasting”) como modelo raíz, ofrece pronósticos del estado de la atmósfera a corto y muy corto plazo, con salidas cada 1 hora. El modelo posee tres dominios anidados con resoluciones de 27 y 9 Km (Sierra et al., 2015Sierra, M., Ferrer, A., Hernández, R., González, Y., Cruz, R., Borrajero, I., and Rodríguez, C. (2015). Sistema automático de predicción a mesoescala de cuatro ciclos diarios. Informe de Resultado, Instituto de Meteorología: La Habana, Cuba.) y 3 Km (Sierra et al., 2017Sierra, M., Borrajero, I., Ferrer, A., Morfa, Y., Morejón, Y., and Hinojosa, M. (2017). Estudios de sensibilidad del SisPI a cambios de la PBL, la cantidad de niveles verticales y las parametrizaciones de microfísica y cúmulos, a muy alta resolución. Informe Científico de resultado, La Habana, Cuba: Instituto de Meteorología, 26p.,[Consulted: 15 septiembre, 2020].). Consta además de cuatro actualizaciones diarias de su pronóstico (00, 06, 12 y 18 UTC) y una actualización trihoraria de las condiciones de frontera laterales. En la evaluación se utilizaron las salidas del SisPI1.0 y SisPI2.0, inicializados a las 12 UTC, con resolución espacial de 3 Km. Los datos fueron obtenidos de la base de datos del Centro de Física de la Atmósfera (CFA) del Instituto de Meteorología (INSMET).

GPM

⌅

GPM (“Global Precipitations Measurements”) es una misión científica en cooperación internacional entre Estados Unidos y Japón. Está constituido por una constelación de satélites con un barrido entre 65° N y 65° S, que busca mejorar la comprensión de los pronósticos climáticos, meteorológicos e hidrológicos a nivel mundial (Cabrera and Sánchez, s.f.Cabrera and Sánchez (s.f.). FICHA TÉCNICA DESCRIPTIVA. Universidad del Azuay. Facultad de Ciencia y Tecnología, Ingeniería Civil y Gerencia en Construcciones.). GPM ofrece datos cada 30 min con una resolución de 10 Km.

El GPM brinda tres productos: Early Run, Last Run y Final Run; este último es el más adecuado para fines de investigación porque es resultado de múltiples correcciones al dato obtenido inicialmente. Por ello para efectuar la comparación entre la habilidad del SisPI1.0 y SisPI2.0 se tomaron como referencias las observaciones del satélite GPM, con base en el producto IMERG Final Run Precipitation (Huffman et al., 2019Huffman, G. J., Stocker, E. F., Bolvin, D. T., Nelkin, E. J., and Tan, J. (2019). GPM IMERG final precipitation L3 half hourly 0.1 degree x 0.1 degree V06. Goddard Earth Sciences Data and Information Services Center (GES DISC): Greenbelt, MD, USA.), descargado de (Hou et al., 2014Hou, A. Y., Kakar, R. K., Neeck, S., Azarbarzin, A. A., Kummerow, C. D., Kojima, M., Oki, R., Nakamura, K., and Iguchi, T. (2014). The Global Precipitation Measurement Mission. Bulletin of the American Meteorological Society, 95(5), 701-722. https://doi.org/10.1175/BAMS-D-13-00164.1 ).

Método de evaluación: MODE

⌅

A lo largo de las diferentes épocas han surgido una gran variedad de métodos para evaluar los sistemas de pronóstico, que van de los métodos más simples y tradicionales hasta los más complejos. En este estudio se seleccionó un método de evaluación espacial orientado a objetos (MODE). El MODE permite conocer la naturaleza del error que se comete, así como también proporciona información del error espacial, la magnitud del error cuantitativo, y el desfasaje del pronóstico en el tiempo.

El MODE consta de tres procesos:

Identificación de objetos: los objetos existentes son identificados en el campo observación y en el campo pronóstico (figuras 1 y 2).
Convolución: se filtran aquellos objetos o elementos que no son de interés en la investigación.
Fusión y asociación: los objetos identificados en cada campo presentan atributos que los caracterizan y diferencian del resto de los objetos. De acuerdo a estos atributos, los objetos que presentan características similares si están en el mismo campo se fusionan (Ej: se fusionaron los objetos 1 y 2 del campo observación de la figura 2 y pasaron a ser el objeto 1 del campo observación de la figura 3); pero si pertenecen a campos diferentes se asocian (Ej: en la figura 3 los objetos asociados entre los campos son aquellos que tienen igual color).

Figura 1. Acumulado de precipitación 00 UTC - 06 UTC del día 14 de agosto de 2021 observado por el GPM (izquierda) y pronosticado por el SisPI2.0a (derecha)

Figura 2. Objetos identificados en el campo observación (izquierda) y en el campo pronóstico (derecha). 14 de agosto de 2021, 00 UTC - 06 UTC

Figura 3. Objetos fusionados y asociados en y entre el campo observación (izquierda) y el campo pronóstico (derecha). 14 de agosto de 2021, 00 UTC - 06 UTC

Existen atributos para objetos individuales y para pares de objetos. En el estudio se seleccionaron los atributos para pares de objetos: diferencia de centroide, diferencia de ángulo y razón de área. La diferencia de centroide es la diferencia entre los centroides^*^*Posición o centroide: es el centro de masa del objeto. Se utiliza para tener una medida de la distancia entre los objetos. Es caracterizado por dos valores escalares (latitud-longitud, o las coordenadas de la rejilla x, y). de los dos objetos. Proporciona una idea del desplazamiento que existe entre ambos objetos. Mientras la diferencia de ángulo es la diferencia entre los ángulos de orientación de ambos objetos y proporciona una medida de la diferencia de inclinación de los ejes de los objetos. La razón de las áreas es la razón entre el área del objeto más pequeño sobre el área del objeto más grande. Proporciona una medida de la semejanza de los objetos en cuanto a su tamaño.

Al aplicar este método se considera un fallo si el objeto es observado por el satélite, pero no es pronosticado por el modelo (figura 4); una falsa alarma cuando el objeto no es observado; pero sí se pronosticó su ocurrencia (figura 5); un acierto si el objeto es observado y también es pronosticado (figura 6) y negativo correcto cuando el objeto no es observado ni pronosticado.

Figura 4. Aplicación del MODE. Objeto considerado como un fallo

Figura 5. Aplicación del MODE. Objeto considerado como una falsa alarma

Figura 6. Aplicación del MODE. Objeto considerado como un acierto

Estadígrafos

⌅

A partir del número de aciertos, fallos y falsas alarmas se determinaron los estadígrafos: FAR (Razón de Falsas Alarmas), POD (Probabilidad de Detección) y CSI (Índice de Éxito Crítico). Los estadígrafos permitieron analizar la calidad del pronóstico espacial. Además, fueron calculados el sesgo Bias y el 𝑚𝑎𝑒 (Error absoluto medio) para comprobar el error cuantitativo en el pronóstico de la precipitación.

En las ecuaciones que definen cada estadígrafo $N_{m}$ constituye el número de aciertos; $N_{0}$ es el número de fallos; $N_{p}$ , el número de falsas alarmas; 𝑖 hace referencia al objeto; mientras $F_{i}$ y $O_{i}$ , al valor de $i$ pronosticado y observado respectivamente.

Índice de Éxito Crítico: $C S I = N_{m} / (N_{m} + N_{0} + N_{p})$ permite evaluar el rendimiento del modelo. Mientras más cercano sea a la unidad es más elevada la tasa de éxito.
Probabilidad de Detección: $P O D = N_{m} / (N_{m} + N_{0})$ es la proporción entre la ocurrencia de eventos que se pronosticaron correctamente y los que verdaderamente ocurrieron. Mientras más próximo sea su valor a 1 mayor será el número de aciertos en relación a los fallos.
Razón de Falsas Alarmas: $F A R = N_{p} / (N_{m} + N_{p})$ constituye la proporción de eventos que se pronosticaron y no ocurrieron respecto al total de eventos pronosticados. Valores cercanos a 1 indican que es mayor el número de falsas alarmas que el de pronósticos correctos.
Sesgo 𝐵𝑖𝑎𝑠: $B i a s = F_{i} - O_{i}$ este sesgo muestra la relación entre el pronóstico de ocurrencia y las ocurrencias reales. Da una medida del error del pronóstico respecto a la observación, ya sea por subestimación o sobrestimación. Mientras más próximo a cero sea su valor más próximo estará el pronóstico a la observación.
Error absoluto medio: $m a e = \frac{1}{N} \sum_{i = 1}^{N} |e_{i}|$ donde para el estudio $e_{i} = O - F$ $N = 1$ , entonces la expresión usada fue $m a e = |O - F|$ . Este estadígrafo muestra el módulo de la desviación entre el valor pronosticado respecto al observado. Da una medida de la magnitud del error sin tener en cuenta la sobrestimación presente o la subestimación.

Cuartiles y otros elementos

⌅

Los cuartiles son medidas de posición que dividen las series estadísticas en cuatro grupos de números con igual cantidad de elementos. Cada cuartil determina la separación entre uno y otro subgrupo, dentro de un conjunto de valores estudiados. Q1, Q2 y Q3, hacen referencia al primer, segundo y tercer cuartil respectivamente. Q1 será el elemento de la serie de datos por debajo del cual se encuentra el 25% de los datos, los que están debajo de Q2, representan el 50%, mientras los menores a Q3, el 75% de estos (Westreicher, s. f.Westreicher, G. (s. f.). Cuartil. Economipedia. Recuperado 14 de noviembre de 2022, de https://economipedia.com/definiciones/cuartil.html ). En la investigación se emplearon los cuartiles Q1 y Q3 para representar los acumulados de lluvia más débil y más fuerte respectivamente.

Además, se utilizó Python como lenguaje de programación, ya que su lista de paquetes permite leer los ficheros netcdf, extraer los datos del satélite GPM que se hallan en formato HDF5, y construir algunos gráficos. también, se empleó la herramienta SpatialVx de R para aplicar el MODE.

Procedimiento

⌅

Se evaluó el pronóstico de los acumulados de precipitación cada 24, 12, 6, 3 y 1 hora. Se comparó la calidad del pronóstico cuantitativo de la precipitación del SisPI2.0 y SisPI1.0 para un plazo de tiempo de hasta 24 horas (SisPI2.0a) y se evaluó también la habilidad del SisPI2.0 para pronosticar desde el día anterior el estado de la atmósfera del día siguiente (SisPI2.0b). Este pronóstico también fue comparado con el elaborado por el SisPI1.0 para el día objeto de estudio. En otras palabras; se comparó, por ejemplo, el pronóstico para el 16 de julio elaborado el 16 de julio por el SisPI1.0 y por el SisPI2.0 (SisPI2.0a); pero también se comparó el pronóstico para el 16 de julio elaborado el 16 de julio por el SisPI1.0 y el elaborado desde el 15 de julio por el SisPI2.0 (SisPI2.0b).

Calibración y ajuste

⌅

Para la evaluación realizada se ajustó el script de R de la siguiente manera: la función centmatch de R (Gilleland and Gilleland, 2022Gilleland, E., and Gilleland, M. E. (2022). Package ‘SpatialVx’. framework, 15, 51-64.) tomó el valor 2, excepto para el análisis de algunos plazos horarios el 7 de julio de 2021, donde el valor 1 fue más adecuado; se le dio el valor 3 a la convolución; mientras el umbral empleado varió, en cada caso de estudio y plazo temporal, de acuerdo a los acumulados (Tabla 1-3); además, en el código se empleó 𝑚𝑖𝑛.𝑠𝑖𝑧𝑒 = 5.

Tabla 1. Umbral empleado para el análisis de los acumulados cada 24, 12 y 6 horas (mm).

Caso	24 horas	12 horas		6 horas
	Plazo 1	Plazo 1	Plazo 2	Plazo 1	Plazo 2	Plazo 3	Plazo 4
1	5.0	3.0	5.0	0.3	0.2	2.0	2.0
2	0.2	0.2	5.0	0.1	0.1	0.1	0.1
3	9.0	5.0	8.0	0.3	0.3	9.0	9.0
4	5.0	6.0	4.0	0.5	0.5	4.0	4.0

Tabla 2. Umbral empleado para el análisis de los acumulados cada 3 horas (mm).

Caso	3 horas
	Plazo 1	Plazo 2	Plazo 3	Plazo 4	Plazo 5	Plazo 6	Plazo 7	Plazo 8
1	0.1	1.6	0.1	0.1	0.4	1.0	2.0	0.1
2	0.1	0.1	0.2	0.1	0.1	0.1	0.1	0.3
3	0.2	0.2	0.2	4.0	4.0	9.0	9.0	9.0
4	0.5	0.6	0.6	0.6	0.6	0.6	0.3	0.3

Tabla 3. Umbral empleado para el análisis de los acumulados cada 1 hora (mm).

Plazo	Caso				Plazo	Caso
	1	2	3	4		1	2	3	4
1	0.1	0.1	0.2	0.3	13	0.1	0.1	2.0	0.5
2	0.1	0.1	0.9	1.2	14	0.2	0.1	0.5	0.5
3	0.1	0.1	0.9	1.0	15	0.1	0.1	0.5	0.5
4	0.6	0.1	0.8	1.0	16	0.2	0.1	0.3	0.5
5	0.2	0.1	0.5	1.5	17	1.0	0.1	1.0	0.5
6	0.2	0.1	0.2	0.5	18	1.0	0.2	5.0	0.5
7	0.3	0.1	0.2	0.5	19	1.2	0.2	5.0	0.5
8	0.1	0.1	0.9	3.0	20	0.3	0.2	5.0	0.2
9	0.7	0.1	0.9	0.5	21	1.2	0.2	5.0	0.2
10	1.5	0.1	2.0	0.5	22	0.4	0.2	5.0	0.2
11	0.1	0.1	2.0	0.5	23	0.5	0.2	4.0	0.2
12	0.2	0.1	2.0	0.5	24	0.3	0.2	3.5	0.1

RESULTADOS Y DISCUSIÓN

⌅

Evaluación espacial

⌅

La evaluación arroja que el SisPI2.0 es más efectivo que el SisPI1.0 para pronosticar los eventos hidrometeorológicos en los plazos de 24, 12 y 6 horas. Cabe destacar que en las primeras 12 horas de su inicialización la versión SisPI2.0 presenta un CSI más bajo que el SisPI1.0, lo cual es consecuente con su baja POD y alta FAR; no obstante, el pronóstico elaborado desde el día anterior (SisPI2.0b) a partir del SisPI2.0, tiene un CSI más alto que el elaborado a partir del SisPI1.0. Esto sugiere que el SisPI2.0 tiene habilidad para detectar los objetos con un plazo de pronóstico superior a 24 horas (48 horas), resultado que es muy satisfactorio porque implica tener un pronóstico de las condiciones atmosféricas existentes durante las primeras etapas de inicialización del modelo (figura 7).

Figura 7. Estadígrafos en el pronóstico de los acumulados de precipitación cada 24, 12 y 6 horas: a-) Probabilidad de Detección, b-) Razón de Falsas Alarmas y c-) Índice de Éxito Crítico

Un modelo recientemente inicializado presenta errores en su pronóstico, debido a esto puede no detectar lluvia cuando sí la hay. El SisPI necesita hasta 12 horas después de inicializado para ajustarse a las condiciones atmosféricas reales, por ello es tan importante que el SisPI2.0 tenga habilidad para pronosticar el tiempo con un plazo de pronóstico superior a 24 horas.

El análisis de la calidad del pronóstico espacial de los acumulados trihorarios mostró que el SisPI2.0 y SisPI1.0 tienen similar calidad durante las primeras 6 horas de inicializados; sin embargo, en los siguientes plazos se aprecia como tienden a presentarse rasgos diferentes en la calidad de estos. El pronóstico del SisPI1.0 tiende a presentar mayar habilidad en el pronóstico de los plazos intermedios, esto puede estar asociado a que su período de autoajuste es menor en comparación al SisPI2.0 (figura 8).

En el pronóstico de los acumulados de las 16 horas (4 pm) se aprecia como, aunque SisPI1.0 y SisPI2.0 tienen igual POD, este último presenta menor FAR y, en consecuencia, un CSI más elevado. Este comportamiento puede estar asociado al período de autoajuste, por ello el SisPI2.0 representó un menor número de objetos y como resultado tiene menor número de falsas alarmas reportadas.

Además, en esta ocasión el pronóstico del SisPI2.0b también resultó ventajoso, como tendencia general, durante las primeras 12 horas de inicializado el SisPI.

Figura 8. Estadígrafos en el pronóstico de los acumulados de precipitación cada tres horas: a-) Probabilidad de Detección, b-) Razón de Falsas Alarmas y c-) Índice de Éxito Crítico

Al reducir aún más el plazo de pronóstico (acumulados cada una hora) se obtiene que hasta el pronóstico de las 11 horas (11 am) tanto SisPI1.0 como SisPI2.0 tienen igual valor de POD, FAR y CSI; sin embargo, el pronóstico de los siguientes horarios difiere en calidad. El SisPI1.0 tiende a presentar la mayor efectividad en los siguientes plazos; pero ya a partir de las 4 horas (4 am) la calidad del SisPI2.0 tiende a elevarse. El pronóstico del SisPI2.0b manifiesta un comportamiento irregular; no obstante, en los primeros plazos tiende a presentar el CSI más alto (figura 9).

En las figuras 8 y 9 se aprecia como al reducir el plazo de pronóstico la habilidad del SisPI2.0 disminuye respecto al SisPI1.0. Esto es consecuente con el mayor número de fallos y falsas alarmas presentado por el SisPI2.0 en estos plazos. No obstante, el CSI del modelo presenta valores bajos en estos plazos independientemente de la versión, lo cual corrobora la ineficiencia de los sistemas de pronóstico al reducir el plazo temporal.

Figura 9. Estadígrafos en el pronóstico de los acumulados en plazos de una hora: a-) Probabilidad de Detección, b-) Razón de Falsas Alarmas y c-) Índice de Éxito Crítico

Evaluación cuantitativa

⌅

El SisPI1.0 y SisPI2.0 presentan errores en el pronóstico cuantitativo de la precipitación. No son capaces de pronosticar adecuadamente los acumulados, esto corrobora los resultados de (Alfonso, 2020Alfonso, S. (2020). Evaluación del Sistema de Pronóstico Inmediato [Tesis]. Universidad de La Habana.) para el SisPI1.0. La investigadora obtuvo en su análisis que el modelo no es capaz de pronosticar acumulados de precipitación, pero sí tiene cierta linealidad con los valores reales; es decir, el modelo es capaz de pronosticar cuando aumentan o disminuyen los acumulados de precipitación.

La lluvia más ligera es pronosticada con errores que oscilan entre 5-6 mm en 24 horas, mientras la lluvia más fuerte presenta errores de 23 hasta 40 mm. Esto refleja la baja habilidad del SisPI para pronosticar la cantidad de lluvia caída, especialmente durante los eventos de lluvia más intensa. Al disminuir el plazo temporal el mae de Q1 disminuye en magnitud, mientras el de Q3, aunque disminuye un poco en el pronóstico del SisPI1.0 y SisPI2.0a, en el SisPI2.0b presenta un ligero incremento (figura 10). Esta disminución en el mae era de esperarse porque al disminuir el plazo de pronóstico disminuye también la cantidad de lluvia caída y por tanto también disminuye la magnitud del error cometido. La lluvia más ligera tiende a ser mejor pronosticada por el SisPI2.0a sobre todo en los plazos de 24, 12, 6 y 3 horas, no así la lluvia más intensa. No obstante, el SisPI2.0a presenta un comportamiento bastante similar respecto al SisPI1.0 en el pronóstico de los acumulados de precipitación.

Figura 10. Error absoluto medio en el pronóstico cuantitativo de la precipitación en los cuartiles Q1 (izquierda) y Q3 (derecha). A: acumulados en plazos de 24, 12 y 6 horas; B: acumulados en plazos de tres horas; y C: acumulados en plazos de una hora.

La figura 11 sugiere que los acumulados de precipitación en 24 horas, asociados a fenómenos de escala local, son mejor pronosticados por el SisPI2.0 (caso 1 y 2); mientras el SisPI1.0 parece ser más adecuado cuando se presentan eventos meteorológicos de escala más grande (caso 3 y 4). Además, el SisPI2.0 al parecer tiene mayor habilidad que el SisPI1.0 para pronosticar los acumulados de lluvia más fuerte esperados en las segundas 12 horas de pronóstico; sin embargo, su pronóstico elaborado desde el día anterior no brinda valores adecuados en estos horarios. Hay que tener en cuenta que el SisPI2.0b fue inicializado con condiciones atmosféricas diferentes a las existentes en los días estudiados, y según se pudo notar en el estudio, el SisPI tarda un poco en reaccionar al cambio, sobre todo el SisPI2.0. Independientemente de esto, ante determinados eventos, entre ellos los fenómenos de escala sinóptica, el período de autoajuste es menor.

Figura 11. Error absoluto medio en el pronóstico cuantitativo de la precipitación en los cuartiles Q1 (izquierda) y Q3 (derecha) para los acumulados en 24, 12 y 6 horas. A: caso 1, B: caso 2, C: caso 3 y D: caso 4.

Los valores positivos del 𝐵𝑖𝑎𝑠 en el pronóstico de los acumulados durante los casos 2 y 4 reflejan una sobrestimación por parte del modelo, mientras en los casos 1 y 3 predomina la subestimación. El pronóstico del SisPI2.0b tiende a sobrestimar la lluvia más intensa.

El análisis de los atributos manifestó que el modelo tiende a pronosticar los objetos en posiciones que se corresponden con las observadas. Los errores apreciados se asocian más a un error cuantitativo, que, a un error en la ubicación de los objetos, por ellos es importante seleccionar adecuadamente los umbrales a utilizar, pues de ello depende la representación de una mayor o menor área con precipitación. En cuanto al área el SisPI2.0 hace una mejor representación de los objetos que el SisPI1.0; pero ambos cometen errores similares al orientarlos.

CONCLUSIONES

⌅

Los resultados manifiestan para los casos analizados que el SisPI2.0 pronostica la precipitación en las primeras 24 horas con mayor efectividad en el pronóstico espacial que el SisPI1.0; pero con similar calidad en el pronóstico cuantitativo.
El estudio sugiere que el pronóstico del SisPI2.0, elaborado desde el día anterior, tiene cierta habilidad para pronosticar los acumulados de lluvia más ligera en los plazos de 24 y 12 horas, mientras que tiende a sobrestimar la lluvia más intensa. De acuerdo a la evaluación espacial su pronóstico es adecuado, sobre todo, en las primeras 12 horas después de inicializado el SisPI1.0.
El SisPI2.0 y el SisPI1.0 tienen baja habilidad en el pronóstico cuantitativo de precipitación, no obstante, con el SisPI2.0 se ganó en la efectividad del pronóstico espacial.