Verificación de los Pronósticos de Aeródromo en Cuba (Parte I)

INTRODUCCIÓN

⌅

Teniendo en cuenta que un pronóstico meteorológico es la predicción de un estado futuro del tiempo, entonces la verificación sería el proceso para estimar la calidad de dicho pronóstico. Este proceso consiste en comparar o verificar los valores pronosticados con las observaciones en tiempo real correspondientes al plazo de validez del pronóstico. En el caso específico de los Pronósticos de Aeródromo (TAF), consiste en comparar los TAF con las observaciones generadas por las estaciones meteorológica enclavadas en los aeródromos, denominadas METAR y SPECI en su carácter regular y especial respectivamente, y que se corresponden con el periodo de validez del TAF. Una información más detallada sobre METAR/SPECI y TAF y sus reglas de codificación pueden encontrarse en los Manuales Aeronáuticos Cubanos (IACC, 2009IACC. (2009). Manuales Aeronáuticos Cubanos (MAC Meteorología Aeronáutica) (Manual 5ta edición). Instituto de Aeronáutica Civil de Cuba.).

GENERALIDADES

⌅

En su mayoría, los TAF en Cuba, se realizan cada seis horas y presentan una validez de 24 horas. La verificación puede realizarse de manera puntual para un aeropuerto o para varios aeropuertos.

Verificación diaria: Se realiza para todos los TAF emitidos y considera el grado de significación e importancia que tienen para las operaciones aeronáuticas el pronóstico de las primeras horas de predicción. Para ello se divide el TAF en cuatro subperiodos: dos de tres horas, uno de seis y un último de doce horas. A cada uno de ellos se le aplica una ponderación en la que cada subperiodo aporta un porciento de puntos al resultado final. La suma de los puntos por subperiodos es 100 y se distribuyen en 40 puntos para el primer subperiodo de 3 horas, 30 para el segundo subperiodo de 3 horas, 20 para el de 6 horas y 10 puntos para el de 12 horas.

Análisis de varios aeropuertos: Funciona de manera análoga al análisis puntual, pero considera el promedio de todos los aeropuertos seleccionados.

Además de la segmentación del TAF, se considera pertinente aclarar que debido a las características intrínsecas de los TAF, principalmente la existencia de grupos de cambio, los valores pronosticados inicialmente no siempre se comparan directamente con las observaciones METAR. Lo anterior sucede siempre y cuando no aparezca algún grupo de cambio o probabilidad, ante los cuales se seguirán las siguientes directrices:

Los valores pronosticados en un grupo FM sustituyen el pronóstico inicial del TAF desde la hora de comienzo del cambio de las condiciones meteorológicas pronosticadas.
Los valores pronosticados en un grupo de transición (BECMG) sustituyen el pronóstico inicial del TAF desde la hora final de la transición de las condiciones meteorológicas pronosticadas hasta tanto aparezca otro grupo de cambio que no sea temporal.
Valores pronosticados en un grupo temporal (TEMPO): En este caso se compara primeramente la observación con lo pronosticado en el grupo de cambio. En caso de no cumplirse este criterio, se coteja nuevamente la observación, pero esta vez con los valores pronosticados inicialmente en el TAF. Si ninguna de estas dos variantes es correcta, entonces se tomará como valor pronosticado aquel que sea más crítico para el comportamiento de las operaciones aeronáuticas. Si el TEMPO se encuentra dentro de un intervalo de tiempo en el que predominan las condiciones de un BECMG, en vez de compararlo con los valores iniciales del TAF se hacen con los del BECMG.
Valores pronosticados en un grupo de probabilidad (PROB30 ó PROB40): Con él se procede similar a los grupos temporales. Si se encuentra dentro de un intervalo de tiempo en el que predominan las condiciones de un BECMG, en vez de compararlo con los valores iniciales del TAF se hacen con los del BECMG. Si viene acompañado de un TEMPO (PROB30 TEMPO ó PROB30 TEMPO) se trata de igual manera que el PROB.

Procesamiento estadístico

⌅

El proceso de verificación de los TAF se divide en dos momentos. Una primera instancia referente a la Comparación con límites y rangos establecidos en las Regulaciones Aeronáuticas Cubanas (IACC, 2013IACC. (2013). Regulaciones Aeronáuticas Cubanas (RAC-3) (Manual 6ta edición). Instituto de Aeronáutica Civil de Cuba.) y una segunda parte destinada a la Verificación de precisión y confiabilidad de los pronósticos.

Primera parte: Comparación con límites y rangos de referencia

⌅

Consiste en la verificación del comportamiento de las variables pronosticadas dentro de determinados intervalos de referencia. Este tipo de procesamiento es considerado como una contabilidad de casos “SI/NO” dentro de un periodo de tiempo y toma en cuenta los límites y rangos establecidos por la Organización de Aviación Civil Internacional establecidos en el Anexo 3 para los servicios meteorológicos para la navegación aérea internacional (OACI, 2013OACI. (2013). Meteorological service for international air navigation: International standards and recommended practices : annex 3 to the Convention on International Civil Aviation. International Civil Aviation Organization.) y en las Regulaciones Aeronáuticas Cubanas (IACC, 2013IACC. (2013). Regulaciones Aeronáuticas Cubanas (RAC-3) (Manual 6ta edición). Instituto de Aeronáutica Civil de Cuba.)

Tabla 1. Límites y rangos de referencia establecidos en el Anexo 3 de la OACI.

Variable	Precisión requerida de los pronósticos.	Porcentaje mínimo de acierto. (casos “SI” dentro de las respuestas tipo “SI/NO”)
Dirección del viento	± 20º (Ver procesamiento para los valores de dirección del viento en grados)	80 % de los casos
Velocidad del viento	± 5 KT (Hasta 25 KT) ± 20 % por encima de 25 KT Nota: Para estos raros casos se puede tomar un valor de: ± 10 KT (Por encima de 25 KT)	80 % de los casos
Visibilidad	± 200 m hasta 700 m ± 30 % entre 700 m y 10 km. Nota: Al ser un valor estimado subjetivamente que depende de observador, la precisión para la comparación puede establecerse como: ± 500 m ( Entre 700 y 1000 m) ± 1000 m (Para valores mayores que 1000 m)	80 % de los casos
Precipitación	Acaecimiento o no acaecimiento (SI/NO) Nota: todos los casos en que el tiempo presenta incluya la abreviatura RA o DZ, independientemente del tipo o intensidad.	80 % de los casos
Cantidad de nubes	± 2 octas Nota 1: Sólo se tomará la nube más baja observadas/pronosticadas. Nota 2: la cobertura de nubes se reporta como SKC, FEW, SCT, BKN, u OVC. Cualquier diferencia entre una de estas categorías cubre los 2 octas o más.	70 % de los casos
Altura de las nubes	± 100 ft (hasta 400 ft) ± 30 % entre 400 ft y 10 000 ft. Nota: Al ser un valor estimado subjetivamente que depende de observador, la precisión para la comparación puede establecerse como: ± 500 ft (Entre 400 ft y 3000 ft) ± 1000 ft (De 3000 ft a 10 000 ft)	70 % de los casos

Segunda Parte: Verificación de precisión y confiabilidad de los pronósticos

⌅

Para el conocimiento de la precisión y confiabilidad de los pronósticos se realizarán otros análisis estadísticos basados en la utilización de tablas de contingencia. El mismo se realizará de manera paralela a la comparación con límites y rangos de referencia. Con excepción del viento, todas las demás variables deben ser una vez comparadas (valor pronosticado vs. valor observado) contabilizadas en forma de tabla de contingencia para cada variable, según los valores o rangos seleccionados.

A estas tablas de contingencia se aplicará básicamente el siguiente criterio:

acierto (A): se pronosticó y fue observado.
falsa alarma (FA): se pronosticó y no fue observado.
omitido (O): no se pronosticó y fue observado.
aciertos negativos (AN): no se pronosticó y no fue observado.

Este enfoque se hará mediante una tabla similar al llamado dicotoma o pronósticos SI/NO según se muestra en la tabla 2.

Tabla 2. Tabla de contingencia 2 x 2 o tabla dicotómica SI/NO.

		Valores Pronosticados		Total OBSERVADO
		SI	NO	Total OBSERVADO
*Valores observados*	SI	A	O	Total SI Observados
*Valores observados*	NO	FA	AN	Total NO Observados
*Total PRONOSTICADO*		Total SI Pronosticados	Total NO Pronosticados	TOTAL

Procedimiento a seguir para cada variable meteorológica

⌅

Cada elemento meteorológico tiene una comparación específica; por ejemplo: el viento debe compararse la dirección en decenas de grados, (y tomando en cuenta expresiones no numéricas como “VRB”) y la velocidad en nudos para cada hora. Otras variables como el tiempo presente y la cobertura de las nubes implicarán comparaciones del tipo “SI/NO” ya que utilizan expresiones en forma de abreviaturas, mientras que la visibilidad y la altura de base de nube son de tipo numérico.

Dirección y fuerza del viento: Se verificará mediante una tabla dicotómica SI/NO en la que los casos SI se corresponderán con un pronóstico correcto de la dirección del viento y viceversa para los casos NO. Se evalúan en los mismos subperiodos definidos para el análisis estadístico puntual por aeropuerto.

Tabla 3. Tabla de contingencia para la coincidencia de pares de casos observados/pronosticados de la dirección y fuerza del viento.

Periodo: hora comienzo del pronóstico; primeras 3 horas del pronóstico		Valores Pronosticados		Total OBS
		SI	NO	Total OBS
*Valores observados*	ΣΙ			Σ
*Valores observados*	ΝΟ			Σ
*Τοταλ ΠΡΟΝ*		Σ	Σ	Σ

El pronóstico de dirección del viento se considera correcto si los valores observados no difieren en más de 20° a ambos lados del valor pronosticado. La velocidad del viento será correcta si los valores reales no difieren más de 5 KT a ambos lados del valor pronosticado, cuando la fuerza del viento (pronosticada o real) es menor que 25 KT, y 10 KT cuando la misma es mayor que 25 KT. Aclarar que el valor de 10 KT en la fuerza del viento, funciona como límite a partir del cual el viento comienza a ser significativo para las operaciones aeronáuticas.

Casos especiales:

El viento en CALMA (00000KT) (pronosticado o real), no se toman para el cómputo de la dirección del viento.
La velocidad del viento reportado en las observaciones especiales no se tomarán en cuenta en las tablas de contingencia u otro cálculos ya que los valores extremos pueden afectar la comprobación del pronóstico de las condiciones generales.
La velocidad del viento es considerada por el análisis independiente de la dirección. Sin embargo para el viento VRB (pronosticado o real), existen tres combinaciones posibles:
- Si se pronostica una dirección dada y se reporta viento variable: La dirección del viento se contabilizará como correcta si la fuerza que acompaña al VRB es menor que 10 KT.
- Si se pronostica viento variable y se reporta una dirección dada: La dirección del viento se considerará correcta si la fuerza del viento que la acompaña es menor e igual que 10 KT.
- Si se pronostica viento variable y se reporta VRB: La dirección del viento se considerará correcta independientemente de su velocidad.

Otros análisis estadísticos aplicados

Teniendo en cuenta las condiciones expresadas anteriormente, tanto para la dirección como para la velocidad, se establece el cálculo del error cuadrático medio para la hora inicial del pronóstico (por ejemplo, para el pronóstico válido 1818, sería para la hora 1800 UTC), y también para los periodos de 3 y de 6 horas a partir de la hora del pronóstico (por ejemplo, desde las 1800 UTC hasta las 2000 UTC, o desde las 1800 UTC hasta las 0500 UTC). El error cuadrático medio (ECM), viene dado por la siguiente expresión:

ECM = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} {(F_{i} - R_{i})}^{2}}

Donde:

F _i es el valor pronosticado del parámetro, R _i es el valor real del parámetro y n es el número de casos. Para la dirección del viento, en el caso que el valor absoluto de la diferencia entre los valores pronosticados y observados sea mayor que 180º, hay que sustraerle a 360º este valor.

Visibilidad

⌅

La visibilidad (V) al ser un parámetro subjetivo cuya medida depende del observador que la estime, los valores observados y pronosticados deben agruparse en rangos, los que se agruparon en 4 categorías teniendo en cuenta los límites de los vuelos visuales e instrumentales, además de aquellos para los cuales se realizan observaciones especiales (SPECI) y enmiendas al TAF (TAF AMD): V < 1 Km, 1 Km ≤ V < 3 Km, 3 Km ≤ V < 5 Km, V ≥ 5 Km. Se evalúan en los mismos periodos definidos para el viento y los resultados de concordancia de lo pronosticado con lo observado se agrupan en tablas de contingencia (una tabla para cada periodo del TAF). Si aparece la abreviatura CAVOK implica que la visibilidad sea ilimitada, y por ende se asiente en el último grupo de la tabla de contingencia donde la visibilidad es mayor e igual que 5 kilómetros.

Tabla 4. Tabla de contingencia para la coincidencia de pares de casos observados/pronosticados de visibilidad.

Periodo: hora comienzo del pronóstico; primeras 3 horas del pronóstico		Valores Pronosticados				Total OBS
		V < 1 km	1 km ≤ V < 3 km	3 km ≤ V < 5 km	V ≥ 5 km	Total OBS
*Valores observados*	V< 1 km					Σ
	1 km ≤ V < 3 km					Σ
	1 km ≤ v < 3 km					Σ
	V ≥ 5 km					Σ
*Total PRON*		Σ	Σ	Σ	Σ	Σ

Cobertura de nubes, altura de la base de la nube más baja y presencia de nubes tipo Cumulonimbus (CB) o torre de Cúmulos (TCU)

⌅

Para la cobertura de nubes se tomará en cuenta la primera capa pronosticada y se considerará una tabla de contingencia a partir de los pares de datos observados y pronosticados similar a la de la visibilidad. En este caso, con solo dos categorías que agrupan las denominaciones BKN/OVC (5 octavos o más) y FEW/SCT (1 a 4 octavos).

De igual manera, para la altura de la base de las nubes (h), los valores observados y pronosticados se agruparán en 3 categorías, las cuales consideran además, los límites para los cuales se hacen observaciones especiales (SPECI) y enmiendas al TAF (TAF AMD): h ? 1 500 ft, 1500 ft < h ? 5 000 ft, h > 5 000 ft. Para la altura de la base más baja de nube se tomará en cuenta la primera capa pronosticada. Asimismo, la verificación de la presencia de CB/TCU se realiza mediante una tabla dicotómica SI/NO similar a la utilizada para el viento.

Casos especiales:

La aparición de los términos genéricos de la nubosidad: CAVOK, SKC, NSC y CLR implica que haya cielo despejado o que no existan nubes por debajo de los 1500 m, de ahí que todos ellos se asienten en el caso de la cobertura donde esta sea FEW y para la altura de la base de la nube donde H sea mayor que 5000 pies.
Si en el grupo de nubosidad de un METAR se reporta un CB/TCU en la primera capa observada, de esta se tomará sólo el tipo de nubes y se pasará a la capa siguiente, de la que se obtendrá el valor observado de la cobertura y altura de la base de las nubes.
Si no aparece el grupo referente a la nubosidad, y en su lugar viene el de visibilidad vertical VV###, se tomará la cobertura de nubes como OVC (8 octas) y el valor ###, en cientos de pies, como la altura de la base de la nube más baja.
Si se pronostica CB se tomará el TCU como cumplimiento del pronóstico, pero si no se predijo el CB no se contará el TCU como una observación errónea.

Tiempo Presente

⌅

El tiempo presente/pronosticado al ser de varias categorías definidas por abreviaturas en ambos códigos debe ser agrupado en categorías que especifiquen el elemento principal o de mayor incidencia en las operaciones. En caso de aparecer dos fenómenos de tiempo presente, se tomará como valor pronosticado aquel que sea más crítico para el comportamiento de las operaciones aeronáuticas; por su importancia, el orden de significación debe ser: Tormenta (TS), Niebla (FG) y Tiempo no significativo (NSW). Las categorías propuestas se presentan en la siguiente tabla:

Tabla 5. Agrupación de fenómenos meteorológicos para la verificación del Tiempo Presente.

Tormenta (TS) con o sin precipitación y eventos convectivos similares o asociados.	Reducción de visibilidad por niebla o neblina (FG/BR)	Otros tipos de fenómenos meteorológicos o ausencia de ellos (NSW)
TS, TSRA, SHRA, TSGRRA, TSGR, TSRAGR, VCTS, VCSH, SQ, FC	FG, MIFG, BCFG, VCFG, PRFG, BR	HZ, DU, FU, NSW, RA, DZ, CAVOK

Si se pronostica algún fenómeno meteorológico de los recogidos en la tabla anterior y se reporta su ocurrencia en la vecindad, el pronóstico se considera como correcto. En la situación contraria (no se predice y ocurre en la vecindad), no se contabiliza el fenómeno. La tabla de contingencia propuesta para la verificación del tiempo presente serça similar a la utilizada para la evaluación de la visibilidad agrupada en las categorías de TS, FG y NSW.

Análisis estadísticos derivados de las tablas de contingencia

⌅

De una tabla de contingencia estándar (Ver tabla 6) pueden derivarse el cálculo de los siguientes parámetros:

Tabla 6. Tabla de contingencia estándar 3 x 3.

		Valores Pronosticados			Total OBSERVADO
		1	2	3	Total OBSERVADO
*Valores observados*	1	a	b	c	J
	2	d	e	f	K
	3	g	h	i	L
*Total PRONOSTICADO*		M	N	O	TOTAL

Porcentaje correcto (PC): Es el número de los pronósticos correctos para cada categoría entre el total de pronósticos realizados. El rango comprende valores de 0 a 100 %, siendo este último el perfecto.

P C = \frac{a + e + i}{T} * 100

Radio o índice de falsa alarma (FA): Es el número incorrectamente pronosticado dividido por el total pronosticado para cada categoría. El rango comprende valores de 0 a 1, siendo el primero el perfecto.

{F A}_{1} = \frac{d + g}{M}

{F A}_{2} = \frac{b + h}{N}

{F A}_{3} = \frac{c + f}{O}

Probabilidad de detección (PDD): Es el número correctamente pronosticado dividido entre el número observado para cada categoría; es una medida de la habilidad para pronosticar correctamente ciertas categorías. El rango comprende valores de 0 a 100 %, siendo este último el perfecto.

{P D D}_{1} = \frac{a}{J} * 100

{P D D}_{2} = \frac{e}{K} * 100

{P D D}_{3} = \frac{i}{L} * 100

Frecuencia de acierto (A): Es el número de pronósticos dividido entre el número observado para cada categoría. Mide la habilidad para pronosticar eventos con la misma frecuencia con que se encuentran en la muestra sin tener en cuenta la precisión del pronóstico.

A_{1} = \frac{M}{J}

A_{2} = \frac{N}{K}

A_{3} = \frac{O}{L}

Donde:

A = 1 implica buen acierto.

A > 1 implica evento sobre- pronosticado.

A < 1 implica evento sub- pronosticado.

Índices requeridos para la verificación estadística

⌅

Dirección y fuerza del viento: PC. FA para casos “Sí”. Error cuadrático medio.
Visibilidad: PC. FA y A para vuelo instrumental o visibilidad inferior a los 5 kilómetros.
Cobertura de nubes: PC. A para más de 5 octas (BKN/OVC).
Altura de la base de la nube más baja: PC. FA y A para capas de nube por debajo de los 1500 ft o para para vuelo realizado de manera instrumental.
Tipo de nubes: PC. FA, A y PDD para “SI” en CB/TCU.
Tiempo presente: PC. FA, A y PDD para TS y FG.

NOTAS IMPORTANTES

⌅

A pesar de que la metodología de evaluación para los grupos de cambio complementa a esta, la puntuación final de un pronóstico evaluado se obtendrá promediando el valor obtenido en el “Porcentaje Correcto”, derivado del análisis de las tablas de contingencia para cada una de las variables involucradas en un TAF mientras que el resultado de la aquella será aplicado meramente con carácter correctivo para detectar y corregir las deficiencias en el pronóstico y el uso excesivo de los grupos de cambio y probabilidad.
Por la importancia que representa para la decisión en las operaciones aeronáuticas, es necesario incluir en el proceso de verificación las enmiendas al TAF debido a que las mismas cambian sensiblemente el resultado final. El criterio para incluir las enmiendas se basa en la hora de emisión del TAF AMD, a partir de la cual esta sustituye al TAF original en la verificación.