Análisis estructural de la efectividad de los pronósticos del Instituto de Meteorología de Cuba

Información utilizada

Se emplearon los datos de los resúmenes mensuales y trimestrales de la verificación de las predicciones del tiempo emitidas por el Centro de Pronósticos válidos entre los años 1980 y 2020. Dada las diversas maneras de presentación de los datos, fue necesario la digitalización de la información correspondiente al periodo 1980-2000, existente en papeles impresos y mecanografiados, algunos de ellos en mal estado y de difícil lectura. A partir del año 2001 y hasta el 2015, los resultados de la verificación se encontraron en formato digital (*.txt y *.DAT) y se utilizaron los resúmenes mensuales y diarios. Desde agosto de 2016 el software oficial para la verificación de los pronósticos emitidos por el Centro de Pronósticos del Instituto de Meteorología trabaja con la arquitectura cliente-servidor. De ahí que para la extracción de los resultados del periodo 2016-2020, se recurrió al uso de consultas en SQL.

Procedimiento para el análisis estructural de la serie “Efectividad de los pronósticos del CenPro”

El tema relacionado con la detección de cambios y rupturas estructurales es un procedimiento de amplia aplicación consiste en obtener las regresiones lineales para cada periodo, ubicando un punto de cambio para dividir los datos en dos subconjuntos y luego comparar ambas regresiones. Este procedimiento es conocido como prueba de Chow (Gujarati & Porter, 2010GUJARATI, D.N. & PORTER, D.C. (2010). Econometría, 5^ta ed. Editorial McGraw-Hill. México, 921 p. ISBN: 978-607-15-0294-0.), uno de los primeros tests ideados para este fin y posiblemente el más conocido según (Pérez, 1995PÉREZ, J. (1995). Tratamiento econométrico del cambio estructural: el método de estimación paramétrica ponderada. Tesis doctoral, Universidad Autónoma de Madrid. España, 317 p. ISBN: 978-84-693-2791-3.). (Chow, 1960CHOW, G.C. (1960). Tests of equality between sets of coefficients in two linear regressions. Econometrica, 28 (3): 591-605. DOI: 10.2307/1910133.) se utiliza para probar una sola ruptura en la media en un periodo de tiempo conocido. Esta prueba divide la muestra en dos subperiodos, para luego comparar la suma de errores al cuadrado de la muestra completa con la suma de errores al cuadrado obtenidas de cada una de los subperiodos como se aprecia en la siguiente ecuación:

Donde:

${RSS}_r$ : es la suma de errores al cuadrado de la regresión completa

${RSS}_i$ : es la suma de los errores al cuadrado de cada una de las submuestras

$k$ : es el número de parámetros en la ecuación

$n$ : es el tamaño de la muestra

Con esto se obtiene un 𝐹 estadístico que tiene una distribución 𝐹 con (𝑘, 𝑛−2𝑘) grados de libertad para contrastar la hipótesis nula, la cual plantea la no existencia de cambio estructural en la fecha dada.

En el caso de la serie conformada por los resultados de la verificación de los pronósticos del CenPro, se conocen los años en los que se introdujeron los mayores cambios en el proceso de verificación, dígase del 2000 y 2016, aunque en el 1986, 1989 y 1993 se introdujeron modificaciones en la regionalización. Bajo estas circunstancias la prueba de Chow no es aplicable ya que se estaría buscando la existencia de posibles múltiples puntos de cambios. Asimismo, se asumió el desconocimiento del año en el cual ocurrió la ruptura estructural previendo que el reflejo de la modificación ocurra cierto tiempo antes o después del punto de cambio. De igual manera, esta es otra de las restricciones de la prueba de Chow, la cual solo se aplica a modelos con un punto de ruptura conocido y donde la varianza del error se mantiene constante antes y después de la ruptura.

Por otra parte, (Sánchez, 2008SÁNCHEZ, P.A. (2008). Cambios estructurales en series de tiempo: Una revisión del estado del arte. Ingenierías, 7 (12): 115-140. ISSN: 1692-3324.) plantea que existe una diferencia al utilizar pruebas y procedimientos de estimación de cambios múltiples en lugar de procedimientos para cambios simples, de manera que cuando existen cambios múltiples, el poder de las pruebas para un único cambio puede ser muy bajo (Bai & Perron, 2003BAI, J. & PERRON, P. (2003). Computation and analysis of multiple structural change models. Journal of Applied Econometrics, 18 (1): 1-22. DOI: 10.2307/30035185.). Por todas estas razones es que se descarta la aplicación de la prueba de Chow. En este contexto, (Bai & Perron, 1998BAI, J. & PERRON, P. (1998). Estimating and testing linear models with multiple structural changes. Econometrica, 66 (1): 47-78. DOI:10.2307/2998540.,2003BAI, J. & PERRON, P. (2003). Computation and analysis of multiple structural change models. Journal of Applied Econometrics, 18 (1): 1-22. DOI: 10.2307/30035185.) desarrollaron diferentes métodos para la estimación simultánea de múltiples rupturas de una serie temporal. El algoritmo para lograr este fin fue descrito en (Bai & Perron, 2003BAI, J. & PERRON, P. (2003). Computation and analysis of multiple structural change models. Journal of Applied Econometrics, 18 (1): 1-22. DOI: 10.2307/30035185.) y en su primera instancia considera una regresión lineal múltiple tal y como se muestra a continuación:

Donde:

$m$ : es el número de puntos de rupturas en $m+1$ segmentos

$y_t$ : es la variable dependiente observada en el tiempo $t$

$x$ y $z$ : son los vectores de covarianzas

$\beta$ y $\delta$ : son los correspondientes vectores de coeficientes.

$u_t$ : es la perturbación en el tiempo $t$

La prueba de Bai-Perron incluye además procedimientos secuenciales y otros basados en criterios de información. Una vez identificado el primer punto de cambio significativo, la muestra se divide en dos submuestras, separadas por el primer punto de cambio estimado. Para cada submuestra, se estima un modelo con un cambio y en cada una el segundo punto de cambio significativo es elegido a partir del punto previo, de tal forma que se minimice la suma de residuales ajustada.

La implementación de este algoritmo aparece en múltiples paquetes estadísticos tales como R (librería strucchange), software utilizado en su obtención mediante el RStudio, y su formulación es tal y cual se describe en (Zeileis et. al., 2003ZEILEIS, A.; KLEIBER, CH.; KRÄMER, W. & HORNIK, K. (2003). Testing and Dating of Structural Changes in Practice. Computational Statistics and Data Analysis, 44 (1-2): 109-123. DOI:10.1016/S0167-9473(03)00030-6.).

Herramientas y tecnologías computacionales utilizadas

Los softwares empleados en la realización de la investigación fueron mayoritariamente libres y/o de código abierto.

Análisis de la estructura de la serie de efectividad de las predicciones del CenPro

En este trabajo se aplicó la prueba de Bai-Perron para investigar cambios estructurales mediante la identificación de puntos de inestabilidad de los parámetros en el conjunto de datos de la efectividad de las predicciones emitidas por el CenPro durante el periodo 1980-2020. En la figura 1 se muestra la data histórica a procesar.

Para examinar el supuesto de normalidad de los datos, en la tabla 1 se proporciona un resumen de las estadísticas descriptivas. Los datos utilizados para este análisis corresponden a todo el periodo muestreado. La serie de la efectividad parece estar distribuidas normalmente como se puede verificar a partir de la media y la mediana, que están cerca unas de otras. Lo anterior se corroboró con la aplicación de la prueba de Shapiro-Wilk, destinada a comprobar la normalidad de una variable. El test de Shapiro-Wilks plantea como hipótesis nula que una muestra proviene de una distribución normal; se seleccionó un nivel de significación de 0.01. Como hipótesis alternativa se sostiene que la distribución no es normal. El estadístico de la prueba obtenido es de 0.9312 con una probabilidad de 0.0158, valor superior al 0.01 prefijado. Por esta razón se acepta la hipótesis nula y se concluye que la muestra presenta una distribución Gaussiana o Normal. Además, la asimetría está próxima a 0, mientras que la curtosis está más cerca de -2.

Antes de la aplicación de la prueba de Bai-Perron se asume como hipótesis nula la no existencia de cambio estructural de la serie en cuestión. El 𝐹_estadístico=125.79 con una probabilidad inferior a 2.2𝑒−16. Como el valor obtenido es inferior al nivel de significación del 1 % (𝛼=0.01), entonces se rechaza la hipótesis nula y se plantea la existencia de cambios estructurales en la data histórica de la verificación del CenPro.

Bai-Perron arrojó cinco posibles puntos de ruptura en los años 1985, 1996, 2002, 2008 y 2015. La prueba realizada sugiere tres segmentos como número óptimo de segmentos de la recta de regresión, lo que se correspondería con dos puntos de ruptura de la serie. Ello puede constatarse en la figura 2, en la cual se puede apreciar el Criterio de Información Bayesiano (BIC) o Criterio de Información de Schwarz y la Suma Residual de los Cuadrados (RSS) para diferentes puntos de quiebre en la serie analizada. El RSS tiende a ser mínimo cuando existe algún punto de cambio en la serie de tiempo y el BIC es una función creciente de la varianza de la variable dependiente, la efectividad en este caso en particular. Por lo tanto, al elegir el número definitivo de puntos de cambio, se prefieren los que tengan un RSS y el BIC más bajo. Como se muestra en la figura 4, el BIC mínimo se alcanza en el segundo punto de ruptura los cuales se corresponden con los años 1996 y 2002 respectivamente. De esta manera, se concuerda con la propuesta del test automático de Bai-Perron ejecutado en RStudio.

También la prueba de Bai-Perron estima el intervalo de confianza que refleja la incertidumbre originada en el proceso de la determinación de los puntos de ruptura de una serie de tiempo. En la figura 3 pueden apreciarse los intervalos de confianza al 99% arrojados por la prueba estadística aplicada. Para el año 1996 el intervalo de confianza va desde 1995 hasta 1999 mientras que para el 2002 abarca desde el año 2000 hasta el 2003.

Entre 1995 y 1999, según lo planteado por (Valderá & Sarmientos, 2021VALDERÁ, N. & SARMIENTOS, M. (2021). Modificaciones de la metodología de verificación de los pronósticos del tiempo en Cuba. Informe de Resultado Científico, Resultado 2, Proyecto Verificación de los Pronósticos del Tiempo en Cuba. Instituto de Meteorología INSMET. La Habana, Cuba, 40 p.), no se tienen registros de cambios realizados en la metodología de la verificación ni en la regionalización. Sin embargo, los resultados observados pudieran estar relacionados con el avance científico-tecnológico en el sector meteorológico, en particular aquellos relacionados con una mayor utilización de las imágenes de los satélites meteorológicos como una herramienta para el pronóstico del tiempo, la cual comenzó a introducirse en Cuba en los años 90, principalmente en la segunda mitad de esta década. Esta nueva herramienta, dotó al Sistema Meteorológico Nacional de información en tiempo real de un área extensa en la que se puede observar y analizar la evolución de los fenómenos del tiempo atmosférico; que conllevó a un incremento de la efectividad de las predicciones.

Por otra parte, el periodo comprendido entre los años 2000 al 2003 se caracterizó por los cambios metodológicos introducidos por (Portela, 2000PORTELA, M.A. (2000). Metodología del Sistema Nacional de Evaluación de los Pronósticos del Tiempo. Instituto de Meteorología INSMET. La Habana, Cuba, 20 p.), de ahí que sea evidente el impacto de esta modificación metodológica y del proceso de adaptación de los especialistas a dichos cambios. No obstante, resulta interesante el hecho que los cambios introducidos en el 2016 con el procedimiento de (Moya et. al., 2013MOYA, A.S.; ESTRADA, A.; BALLESTER, M. & González, C. (2013). Evaluación de los pronósticos del tiempo a corto plazo. Informe de Resultado Científico, Resultado 3, Proyecto Evaluación de los Pronósticos del Tiempo, Instituto de Meteorología INSMET, La Habana, Cuba, 55 p.), no mostraron una repercusión significativa en el comportamiento de la efectividad de las predicciones del CenPro, al menos con la extensión de la serie de 1980 al 2020. De igual manera, tampoco tuvo repercusión la reforma realizada en la segunda mitad de la década de los 80. Respecto al cambio estructural del 2008 se necesita indagar con una mayor profundidad pues puede corresponderse con transformaciones realizadas en la verificación de las que aún no se tiene conocimiento.

De esta manera, el conjunto de datos de la efectividad de las predicciones presenta dos cambios estructurales (1996, 2002), quedando dividido en los subperiodos enmarcados por los siguientes años: 1980-1995, 1996-2001 y 2002-2020 (Fig. 4).