Esame BJCP: migliorare la Scoring Accuracy

Qualche settimana fa sono stato a Palermo, nello specifico presso l’abbazia di San Martino delle Scale, dove si è tenuto il primo Tasting Exam BJCP organizzato in Sicilia dai Trinacria Homebrewers.

In questo esame ho assunto per la prima volta il ruolo di proctor, ovvero uno dei due (a volte tre) giudici che compilano le schede di riferimento (BJCP Scoresheet) delle birre d’esame. I partecipanti vengono valutati in base alla vicinanza delle loro schede (e dei voti assegnati alle 6 birre d’esame) relativamente a quelle dei proctor (maggiori informazioni qui).

Incarico di una certa responsabilità, che ho cercato di affrontare con la massima serietà e dedizione. Non nascondo di aver dovuto gestire anche un po’ di emozione: leggermente meno rispetto alla prima volta come esaminando, ma comunque una buona dose di trepidazione non è mancata.

Come sempre, il solo fatto di mettersi in gioco aiuta a riflettere sulle proprie capacità e sugli aspetti da migliorare. In questo caso, mentre mi sono trovato piuttosto a mio agio nella gestione del tempo e nel descrivere le mie percezioni sensoriali su carta (anche utilizzando l’inglese), ho fatto un po’ fatica nell’assegnazione delle valutazioni numeriche alle sei birre d’esame.

Questo mi ha portato a riflettere, soprattutto nell’ottica di voler ritentare il Tasting Exam in futuro. L’obiettivo è  aumentare il mio voto, attualmente fermo a 80/100 dall’ultimo esame che ho sostenuto nel lontano 2019.

Se riuscissi a prendere almeno 86 al Tasting Exam BJCP (difficile, ma non impossibile) salirei dal livello National al Master, l’ultimo a cui si accede in base ai voti degli esami. Questo significherebbe mai più esami BJCP a vita, non male come prospettiva. Ai successivi livelli, infatti, si accede accumulando punti esperienza principalmente facendo giuria nei concorsi e correggendo o organizzando gli esami.

L’importanza dello scoring al Tasting Exam BJCP

Lo scoring dell’esame, sia dal lato del proctor che da quello dei partecipanti all’esame, costituisce sempre un punto critico nel processo di valutazione della birra. In sede di correzione, la vicinanza del voto nella scheda dell’esaminando al voto numerico assegnato dai proctor vale 1/5 del punteggio totale ed ha lo stesso peso dell’abilità percettiva, di quella descrittiva, della completezza e della capacità di fornire un feedback sulla birra.

Se per passare l’esame BJCP (ovvero prendere un voto maggiore di 60/100) non è particolarmente importante avere uno scoring allineato ai proctor, per arrivare a una valutazione complessiva superiore a 80 (quindi per puntare almeno al livello National), l’abilità nell’attribuire un voto alla birra inizia a diventare importante.

Ottimizzare le strategie per lo scoring della birra diventa quindi fondamentale per andare avanti nella graduatoria BJCP. Inoltre, non c’è nemmeno bisogno di dirlo, saper assegnare un voto corretto alla birra che si sta assaggiando è una delle abilità che dovrebbe padroneggiare ogni buon giudice.

Vediamo come fare.

Perché non è facile centrare lo scoring

Si potrebbe pensare che due voti assegnati da due giudici molto esperti che assaggiano la stessa birra siano sempre piuttosto vicini. In generale è così, ma le eccezioni sono più comuni di quanto ci si possa aspettare. L’ho visto nero su bianco da quando ho iniziato a correggere gli esami BJCP: nei set che ho corretto, è capitato per diverse birre che i voti dei proctor discordassero tra loro anche di 10 punti.

Per carità, può capitare che un proctor sia in realtà meno esperto di quanto il suo livello BJCP porti a pensare, ma non è solo questo. Il punto è che l’attribuzione del punteggio, così come declinato dal BJCP (ma anche in generale), è molto più personale di quanto si immagini. Questo si può facilmente intuire osservando la parte bassa della scheda BJCP, ovvero questa:

Come si intuisce dalla tabellina a destra, lo scoring finale è di fatto la combinazione di tre livelli valutazione: l’aderenza della birra allo stile (stylistic accuracy), la presenza e il livello di intensità dei difetti (technical merit), quanto tutto ciò abbia impatto sulla piacevolezza della birra (intangibles).

Questi tre elementi si incrociano, in modo piuttosto articolato, nella Scoring Guide di sinistra (anch’essa si trova in fondo alle schede BJCP). Questa tabellina dovrebbe guidare l’assegnazione del voto finale.

Per i voti sotto al 20 troviamo descrizioni collegate in qualche modo alla piacevolezza (unpleasant, hard to drink); nel range 20-30 vengono evidenziate deviazioni dallo stile di riferimento; i difetti compaiono fino al voto di 37 (off flavours, minor flaws). Piuttosto articolato. Se poi aggiungiamo che una birra nel range 14-20 viene definita allo stesso tempo unpleasant e fair, la questione si fa davvero confusa.

Trovo che questa tabellina sia piuttosto fuorviante e che non aiuti granché nell’attribuire un voto numerico alla birra. Anzi, devo dire che tende a confondermi.

C’è un altro aspetto che rende le cose piuttosto complicate, ovvero: fino a che punto l’aderenza allo stile dovrebbe influire sul voto? Ad esempio: quanto può essere considerata fuori stile una Helles leggermente velata? E una Belgian Golden Strong Ale vagamente ambrata? E se una Tripel fosse poco carbonata? Quanti punti dovrei togliere?

Non è facile capirlo. Conta di più che la birra sia buona e senza difetti o che aderisca rigidamente ai dettami dello stile? E quando i dettami dello stile non sono così rigidi? Che si fa?

Questo impatto può variare sensibilmente da giudice a giudice, perché i diversi aspetti dell’aderenza allo stile non hanno una classificazione univoca in termini di peso specifico delle singole componenti.

Aggiungendo poi l’elemento piacevolezza, quello in fondo nella tabellina a destra, che è molto personale, il tutto si complica ancora di più.

Per queste ragioni può capitare che, anche se due giudici esperti percepiscono tratti simili nella stessa birra, il voto attribuito sia sensibilmente diverso.

Vediamo come poter limitare questo effetto, esplicitando meglio la guida all’attribuzione del punteggio che troviamo in basso a sinistra nella scheda BJCP.

Ripensare lo scoring nell’ottica del Tasting Exam BJCP 

Per il cosiddetto voto di consensus, rispetto al quale si valutano i voti degli esaminandi, ci si posiziona più o meno a metà tra il voto dei due/tre proctor. Per arrivare a un voto di 45/50, entrambi i proctor (che non si parlano durante l’assaggio), dovrebbero assegnare alla birra 45, evento piuttosto improbabile.

Diciamo che, a meno di eccezioni, il range di voto in cui ricade la stragrande maggioranza delle birre d’esame è 20-40 (ma è così anche per quelle nei concorsi, con qualche eccezione più frequente).

Per dare un’idea, nei 5 esami che ho corretto fino ad ora (30 birre in totale), solo una birra aveva un consensus superiore a 40 (43.5) e una inferiore a 20 (18.5). Anche assegnando 40 alla prima e 20 alla seconda come esaminando, lo scoring sarebbe stato comunque molto buono per entrambe (rispettivamente da livello National e Master).

Il range 20-40 va più che bene per le birre d’esame. A un concorso tenderei a sbilanciarmi di più verso l’alto, oltre il 40, se la birra fosse davvero buona. Si può anche scendere sotto al 20, ma non darebbe grande valore aggiunto alla scheda: la birra non avrebbe comunque speranza di andare avanti nel concorso, un voto troppo basso potrebbe solo demoralizzare l’homebrewer. L’importante, in questi casi, è indicare bene cosa non va nella birra e quali potrebbero essere le cause dei difetti individuati.

Siccome faccio fatica a memorizzare i range secondo gli step numerici proposti dal BJCP (21-29, 30-37 e via dicendo), ho elaborato uno schema a mio avviso più semplice e immediato da ricordare:

Non ho menzionato lo stile in questa tabellina proprio perché a mio avviso andrebbe considerato come una seconda scala che influisce solo parzialmente su quella tecnica. Teoricamente, il BJCP mette un limite di 30/50 alle birre fuori stile (sopra il 30 viene considerata generally within the style parameters). Il problema è, come già detto, cosa si intenda per fuori stile.

Aggiungendo anche lo stile come elemento di valutazione, potremmo ragionare sulla tabellina seguente:

Tuttavia, come già ripetuto più volte, il peso che ciascuno di noi attribuisce agli elementi fuori stile può variare significativamente.

Secondo me, in sede d’esame, l’approccio migliore è partire dall’assunto che raramente (forse mai) vengono presentate birre totalmente fuori stile. In questo caso, avrebbe senso limitare il voto a 30/50 anche se la birra fosse molto buona ed esente da difetti.

La difficoltà però non sta tanto in una birra con difetti ma in stile, che automaticamente viene trascinata sotto al 30 per la presenza stessa dei difetti; il posizionamento numerico è più difficile per una birra non perfettamente in stile ma senza difetti e molto buona da bere.  

Una ottima Porter potrebbe passare come una buona Stout con qualche carenza stilistica, ma non mi sentirei di posizionarla sotto al 30 per via delle molte similarità tra i due stili. Stesso discorso per Tripel vs Belgian Golden Strong Ale, Czech Pils vs German Pils, Bitter vs Scottish Ale, Barley Wine vs Old Ale e via dicendo. Ovviamente, se la birra è buona e senza difetti significativi. Altrimenti andrebbe comunque posizionata sotto al 30.

Una perfetta (e ottima) Munich Helles passata per German Pils potrebbe piazzarsi sotto al 30, per via della significativa differenza nell’intensità dell’amaro e nella percezione degli aromi luppolati. Ma non andrei comunque sotto al 25 se la birra è ottima e senza difetti. Già se fosse una Helles più luppolata, secondo me si salirebbe leggermente sopra al 30 anche valutandola come German Pils.

Mi piacerebbe leggere le opinioni di altri giudici BJCP su questo tema. Se avete idee o opinioni al riguardo, scrivete pure nei commenti!