Una nota sull'uso delle statistiche degli incidenti e la valutazione di affidabilità delle compagnie aeree.

E' presente in Internet da un paio d'anni un sito che propone una valutazione della sicurezza delle aerolinee sulla base di una serie di elementi che riteniamo sia doveroso commentare.
Il sito è quello di FlightSafe Consultant Limited che si presenta così:

FlightSafe Consultants Limited has launched a unique advisory service for travel managers and health and safety executives concerned with air travel risk management.
You have reached the public site that contains information about the main subscription-only site. On the subscription site there are safety assessments for over 500 scheduled airlines that operate worldwide based in more than 160 countries.
These safety assessments provide a rational and quantified basis for business managers to determine safe air travel policies and help ensure the welfare and security of their key travellers.
To access the subscription site please click on the subscriber link to the left. This will direct you to the WorldPay site, where you can make secure credit card payments. Before ordering please review our terms and conditions. Acceptance of these is required before payment can be made.

Naturalmente il servizio è disponibile a pagamento ma questo aspetto lo vedremo in conclusione.
In particolare ci interessa mettere in evidenza che non è possibile quantificare un parametro elusivo come la sicurezza intrinseca di un'aerolinea e che, in questo campo, i dati a consuntivo non consentono di effettuare proiezioni per condizioni future.
Visitammo il sito FlightSafe Ltd dopo che era stato citato in occasione di un'intervista al Dott Roma, Presidente dell'ENAC. L'opinione negativa di Roma in proposito era sostanzialmente corretta anche se egli non ebbe modo di estrinsecare le ragioni della sua perplessità sul servizio di questo sito.
Osservammo in quell'occasione che l'Air France, che aveva un ottimo score ed era in una posizione alta della graduatoria stilata da questo sito, aveva avuto un tracollo dopo la caduta del supersonico del 25 luglio 2000. Il posto in graduatoria assegnato alla compagnia francese da FlightSafe Ltd precipitò piuttosto in basso rispetto ad altre compagnie di riferimento.
Questo modo di classificare la sicurezza di una compagnia per fornire una previsione riguardo alla possibilità di essere coinvolti in un futuro incidente, è piuttosto equivoco per non dire di peggio, ed è un sintomo di profonda ignoranza dei fattori che rendono le operazioni di volo meno suscettibili all'evento accidentale. Meno suscettibili non vuol dire affatto più sicure. Più sicure è solo una semplificazione dialettica.
Un'analisi della situazione all'indomani del tragico episodio del Concorde propose un ambiente in cui ogni membro di condotta ed ogni dipendente della compagnia, ogni operatore aeroportuale o dell'ATC, avrebbe sicuramente assunto un atteggiamento più consapevole dei rischi connessi alle operazioni. E' l'effetto blood priority che in un modo o nell'altro coglie tutti coloro che sono vicini allo scenario del disastro. Abbiamo sperimentato questa reazione negli anni neri del trasporto aereo nazionale (intorno ai primi anni 70) e sappiamo che una compagnia sana ha le basi per superare una circostanza tragica. In altre parole la vigilanza, l'attenzione e lo spirito critico di ogni membro d'equipaggio sono sollecitati al massimo come reazione difensiva alla percezione di condizioni di pericolo. Passano in secondo piano obiettivi che avevano assunto, in tempi (per così dire) normali, una malintesa priorità [obiettivi di carattere commerciale] e si percepisce una particolare concentrazione sulla sicurezza.
Ho detto compagnia sana per introdurre il concetto di qualità delle operazioni volo, una caratteristica che può essere determinata con metodi di analisi accurati ma non riconducibili a scale di valori analoghe ai coefficienti usati da FlightSafe Ltd. Essa è valutabile qualitativamente anche con il patrimonio culturale dell'azienda e con la capacità di reagire del suo personale ad un fatto tragico.
Inoltre devono essere considerati i fattori causali dell'incidente che secondo FlightSafe provocherebbe lo slittamento in graduatoria della compagnia osservata.
Nel caso del Concorde il fattore ultimo, il corpo estraneo in pista, era estraneo anche alla compagnia, anche se i problemi strutturali e di progetto del Concorde favorirono l'esito catastrofico del danneggiamento da oggetto estraneo (foreign object damage).
In pratica per un certo tempo la qualità della sicurezza delle operazioni di un'aerolinea che ha subito un grave incidente è migliore, e l'orientamento della scelta dei passeggeri verso di essa avrebbe, per questa ragione, una motivazione più congrua del semplicistico approccio scaramantico: "non avviene due volte di seguito".
Infine tutti i Concorde furono messi a terra. E allora perché penalizzare l'Air France in modo così drastico dal momento che erano stati rimossi tutti i fattori predisponenti a quel tipo di incidente che dipendevano dalla compagnia?
Questo provvedimento, che, senza dubbio, giustificava il fatto di non aver preso minimamente in considerazione la British Airways, l'altro solo operatore di Concorde, avrebbe dovuto mantenere inalterato lo scoring di Air France. Ed un sospetto di asservimento nazionalistico di FlightSafe alla compagnia britannica è quantomeno leggittimo.
Quindi ci sembra, fino a questo momento, che il metodo proposto e offerto a pagamento da FlightSafe sia un pò un tarocco.
Ma proprio con la metodica dei tarocchi questi solerti consultants mescolano le carte con altre variabili, come potete osservare da quello che dichiarano.

About Airline Safety Scoring

The concept of airline safety scoring was first devised in 1997 by John Trevett, now Managing Director of FlightSafe Consultants Limited, for a major international financial institution. The method used is a non-judgmental and fully quantified process for determining the relative safety risk of scheduled passenger airlines based on the past accident record and ten other factors related to underlying safety levels.
Airlines score between zero and ten, zero representing the least safe airlines, and ten a perfectly safe one. A perfect score is not achievable in practice since every airline is assumed to have suffered one "additional" or "notional" accident above its actual number experienced over the previous twelve years. This unique feature allows the travel manager to consider the consequences to his or her travel policy in the unfortunate event of such an accident occurring.

Vengono presi in considerazione solo i 12 anni precedenti e questo appare immediatamente arbitrario e non supportato da alcuna logica di prevenzione incidenti né, tantomeno, da criteri statistici o altro. Quanto poi ad attribuire un "evento nominale" nel periodo che precede la soglia dei 12 anni è un'altra valutazione approssimativa che può penalizzare fortemente lo scoring di alcune compagnie e favorire quello di altre, a prescindere dalla qualità delle operazioni volo.
Ma la cosa più di effetto è il moltiplicatore di sicurezza. Esso sembra dare una prima fisionomia di calcolo statistico alla faccenda ma il rapporto tra progressione a carattere esponenziale del numero di accidents [e poi perché la sequenza 0,1,4,9,16 ?] e la progressione lineare a scalare del moltiplicatore appaiono come una proposta statistico-analitica ma senza alcun senso o alcun riferimento a dinamiche causa-effetto.
Le dinamiche causa-effetto degli eventi accidentali in aviazione sono complesse e dipendono da molti fattori che agiscono in modo caotico, che si concatenano e si sovrappongono, che a volte si accentuano e a volte si attenuano a vicenda, come il moto turbolento di un fluido, pertanto qualsiasi funzione matematica, lineare o esponenziale, diretta o inversa, che venga applicata per una predittività degli incidenti, è solo una fuorviante approssimazione.
Ora, anche ammesso che a FlightSafe considerino l' accident secondo la definizione ICAO [ma non c'è alcun riferimento che sia così], viene a mancare una importante valutazione dei near accident, dei serious incident, degli incident, delle safety occurrences e di tutti quegli altri eventi che danno un quadro più preciso delle operazioni volo di una compagnia.
Il riferimento al numero di atterraggi sembrerebbe un discorso logico dal momento che anche le statistiche ufficiali indicano le perdite di aeromobile per milione di voli [hull loss for one million flights]. Il fatto è che le statistiche ufficiali [ICAO] servono solo a valutare dei consuntivi non a fare delle previsioni e, comunque, vengono utilizzate per modificare strategie di intervento, più o meno conservative ma sempre destinate ad acquisire margini di sicurezza aggiuntivi.
In pratica pur volendo dare una parvenza di scientificità con numeri e coefficienti, FlightSafe Ltd rimescola elementi e fattori assolutamente non omogenei al fine di arrivare a un risultato su cui l'utente dovrebbe basarsi per effettuare scelte consapevoli.
In realtà non ci pare affatto la strada corretta.

Safety Multiplier

Another unique feature of the safety scoring system is to apply a "safety multiplier" to all the other risk elements involved. This takes account both of the number and nature of past accidents and of the experience of the airline in terms of scheduled flights made over the previous 12 years.

The safety multiplier is calculated on a sliding scale, based on the accident rate per 100,000 landings, is applied to the sum-total of the other ten factors, each of which presently scores a maximum of one, and a minimum of zero.
An accident rate of zero per 100,000 landings scores, in theory, scores 1.00
- A rate of 1 accident per 100,000 landings scores 0.80
- A rate of 4 accidents per 100,000 landings scores 0.60
- A rate of 9 accidents per 100,000 landings scores 0.40
- A rate of 16 accidents per 100,000 landings scores 0.20
Airlines with 25 or more accidents per 100,000 landings score zero, and since this is a multiplier, this is their total score irrespective of any other individual item scores.
To distinguish amongst the differing effects of different types of accidents, fatal accidents are counted double, and, minor accidents, with no loss of life or serious injury count as one half for the purposes of the calculations. Only operational accidents are included in the calculations.

La dizione non è coerente con le definizioni e la scala del danno a persone e/o cose che l'ICAO stabilisce nei termini accident, serious incident e incident, pertanto essendo categorie diverse di eventi, non in rapporto lineare tra loro, è arbitrario e abbastanza assurdo che Flight Safe Ltd consideri il cosiddetto "minor accidents" come metà del "fatal accident".

Sarebbe come dire che un mandarino vale mezzo cocomero.(anguria al nord della penisola)

Veniamo ora al cuore del programma: i punteggi individuali per ogni tipo di caratteristica strutturale, organizzativa e operativa dell'aerolinea considerata.
Stavolta troviamo alcuni concetti fondamentalmente corretti ma che si perdono nel minestrone generale e che, anche nel dettaglio, non vengono valutati con strumenti idonei (esistenti e consolidati nell'industria) ma con il solito coefficiente lineare arbitrario e applicato a elementi non omogenei. Li commentiamo uno per uno.

Individual Function Scores
The ten individual items scores are awarded for the following factors:

1. Fleet average age score of zero to 1.00 for the oldest and newest fleets respectively (30 plus to zero years).
Non è detto che aerei brand new siano più affidabili di aerei di vecchia costruzione. In questo modo viene ignorato il principio detto "bathtub shaped curve" (curva a vasca da bagno) illustrato nell' Accident Prevention Manual ICAO. Aerei all'inizio della vita operativa (burn-in period) sono soggetti a early failures. Quelli alla fine (wear-out period) sono soggetti a random failures. Inoltre bisogna considerare la qualità della manutenzione.

2. Fleet composition score of zero to 1.00 for the worst to best fleet combinations (all newest-technology to all oldest-technology types
Vale a grandi linee il commento precedente mentre la valutazione appare contradditoria con il punto1 (1.00 = best fleet = oldest types ?)

3. Air traffic control environment score of zero to 1.00 for the worst to best air traffic environment.
Concetto sostanzialmente corretto ma come quantificarlo senza dati di riferimento? Che cosa va inteso con il termine migliore? Strutture, organizzazione, radioassistenze, regole e procedure, addestramento ed esperienza degli operatori, ecc.. Con quali strumenti vengono valutate tutte queste variabili? Come possono essere poste in relazione numerica?

4. Airfield environment score of zero to 1.00 for the worst to best airfield safety environment.
Stesso commento come al punto precedente.

5. Airline operations score of zero to 1.00 for the worst to best standards of aircraft operations.
Che cosa si intende con tale standards? A quali norme si riferisce? Con quali strumenti viene misurato e verificato, e da chi?

6. Regulation score of zero to 1.00 for the worst to best systems of safety regulation.
Esiste un solo sistema di riferimento normativo per la salvaguardia della sicurezza delle operazioni ed è quello dell'ICAO. L'unico modo di verificarlo è l'International Aviaton Safety Assessment Program effettuato dalla FAA che prevede due sole classi di merito:
Category 1 = Meets ICAO Standards
Category 2 = Does Not Meet ICAO Standards

7. Airline ownership score of zero to 1.00 for the worst to best systems of ownership coupled with the extent of airline involvement in industry trade bodies.

8. Airline management score of zero to 1.00 for the worst to best perceived quality of airline management based on industry reputation.

9. Airline alliances score of zero to 1.00 for the degree of involvement of the airline with other respected airlines in technical and commercial alliances. The maximum score of 1.00 is reserved for airlines that are full members of one of the strategic alliances. Zero is awarded to airlines that operate independently.
Note that before October 1999, this item was reserved for a finance score which, in all cases, was set to 0.50 default value.

Questi tre punti propongono aspetti finanziari e di gestione che hanno una certa influenza sulla sicurezza delle operazioni mentre il valore che viene loro attribuito è più appropriato ad effetti di tipo economico, di marketing o di immagine. A questo riguardo vale soprattutto la frase di Gerrard Bruggink in Home Page.

10. Airline maturity score of zero to 1.00 for the newest to the oldest airlines respectively (zero to 12-plus years).
Ultima perla di approssimazione in un coacervo di fattori rimescolati in una ricetta improbabile.

FlightSafe Consultants Ltd elenca quindi in 15 punti i termini e le condizioni del servizio fornito online. Ne riproduciamo alcuni che sono piuttosto significativi ma il tenore degli altri è praticamente lo stesso.

4. FlightSafe provides scheduled airline safety score information based on analysis made in good faith and on information available at the time the analysis was conducted. Its analysis and conclusions will change with the passage of time and events, and the results will be varied from time-to-time to reflect this. While it stands by the accuracy of its analyses, FlightSafe is not responsible for the consequences of their use, or misuse, by any person or persons and will accept no liability for claims from third parties, however these might arise. Specifically it is not responsible for claims arising from the use or non-use of particular airlines, whatever the circumstances of that use or non-use.

10. The safety scores contained on this website are based on the methodology described on the "safety scores" page and on the information contained in the individual airline pages.
We welcome feedback from airlines regarding the accuracy of the data and will be pleased to supply copies of the relevant pages to them on request and make appropriate adjustments where necessary.

Ammesso che tutto questo possa interessare l'ignaro passeggero che viene ammaliato da tutti questi coefficienti, dal safety multiplier, dal notional o dall' additional accident, termini per i quali FlightSafe rivendica addirittura il copyright, la domanda finale è: ma quanto mi costa?
Non poco! Intorno ai tre milioni di lire all'anno.

The full annual subscription is US$1,495 (approximately GBP 995) valid for 12 months. This service includes a detailed listing of over 500 airlines plus monthly updates as grades change as a result of accidents and other events. Payments may be made in US Dollars, Pounds Sterling (GBP) or Euros. UK customers only pay UK Value Added Tax (VAT) at the prevailing rate, which is included in the quoted price. VAT invoices will be issued on request.

Infine a far saltare tutto il castello di carte del safety scoring ci sono le azioni terroristiche come quelle dell'11 settembre e gli effetti indotti nel trasporto aereo mondiale, non solo quelli diretti che tutti percepiscono attraverso quanto riportano i media, ma quelli a lunga scadenza. Le difficoltà di gestione e i problemi economici inducono molti managers a scorciatoie di gestione e i tagli avvengono generalmente su voci che solo in apparenza non riguardano la sicurezza. Infatti i responsabili di enti o compagnie adducono spesso ragioni del tipo: "le norme non lo prevedono".
Fare previsioni sulla suscettibilità ad avere un incidente con questa o quella compagnia in uno scenario così complesso è veramente come fare le previsioni per l'enalotto.
In conclusione si può dire che il sito fornisce delle notizie accurate riguardanti eventi, date, località, aeromobili, compagnie aeree, ma sono notizie che ormai vengono fornite con una migliore articolazione di dati e possibilità di confronto dall'ottimo sito di Harro Ranter [Aviation Safety Net] e da altri analoghi che non hanno però la pretesa di fornire scoring predittivi sull'affidabilità di un'aerolinea e che sono ad accesso completamente gratuito.
Inoltre nel sito in oggetto non appaiono i dati storici che dovrebbero essere presi a riferimento per la costruzione del dato finale.
Forse molte organizzazioni il cui personale utilizza le aerolinee per lavoro, potrebbero essere convinte ad affidarsi al criterio proposto da questo sito per la scelta della compagnia con cui far viaggiare i dipendenti. Il servizio appare sufficientemente costoso per il privato, il che potrebbe essere indizio di affidabilità, e relativamente a buon mercato per una società o per un ente.
Ma non è questa la via per effettuare scelte di questo tipo.
Il Department Of Defense degli Stati Uniti effettua degli auditing completi che durano diversi mesi sulle aerolinee prima di assumerle tra i "fornitori". Ad esempio la famigerata Valujet che vide un DC-9 finire nelle paludi delle Everglades, dopo altri numerosi incidenti e misfatti, fu bocciata tempestivamente dalla verifica del DOD, anche se fu fermata in ritardo dalla FAA.
In ogni caso l'FAA [al sito Traveler Information http://www.faa.gov/apa/traveler.htm] fornisce delle indicazioni generali sulla sicurezza dei viaggiatori che sono il massimo di quanto si può dire in materia.
Ed è significativo quello che viene puntualizzato dalla FAA e che riassume in buona sostanza la nostra critica al sito FlightSafe Consultants Ltd:

Safety Record of Airlines/Aircraft

A report prepared for the FAA by GRA, Inc. entitled A Report on Issues Related to Public Interest in Aviation Safety Data, found that:

"... there currently is no evidence in accident data that would support the ranking of individual airlines based on their safety records….While there may be apparent differences in carrier safety records at any particular time, due largely to the infrequent but catastrophic nature of an air accident, there is no evidence that such distinctions persist nor that they are predictive of future safety performance. Rankings of airlines based on past accident records therefore provide no information to consumers seeking to make safety-enhancing comparisons for current or future travel choices."