A few weeks ago I was in Palermo, in Sicily, a magnificent island in the south of Italy. It was there that the first BJCP Tasting Exam organised in Sicily by Trinacria Homebrewers took place

I took on the role of proctor for the first time, that is, one of the two (sometimes three) judges who compile the reference scoresheets (BJCP Scoresheet) for the exam beers. Candidates are evaluated based on how closely their scoresheets (and the scores assigned to the six exam beers) match those of the proctors (more information here).

It is a role that carries some responsibility; I tried to approach it with all the seriousness and dedication I could muster. I will admit I had to deal with a fair share of nerves too: a little less than the first time I sat a Tasting Exam as a candidate, but there was still plenty of trepidation to go around.

As always, putting yourself to the test is a good way to reflect on your abilities and identify areas for improvement. In this case, while I felt quite at ease managing time and describing my sensory perceptions on paper, I struggled somewhat with assigning numerical scores to the six exam beers.

This got me thinking, especially since I intend to sit the Tasting Exam again in future (update: I did, and got a 91/100!). The goal is to raise my score, currently standing at 80/100 from the last exam I sat, back in 2019.

The importance of scoring accuracy at the BJCP Tasting Exam

Scoring, that is, assigning a numerical score (on a scale of 50) to each of the six exam beers, is always a critical point in the evaluation process. This holds true both from the proctor’s side and from that of the candidates. When grading the exam, how close the candidate’s score is to the numerical score assigned by the proctors accounts for 1/5 of the total exam score, carrying the same weight as perceptive ability, descriptive ability, completeness and the ability to provide feedback on the beer.

While having a scoring aligned with the proctors is not particularly important to pass the BJCP exam (that is, to score above 60/100), it starts to matter when aiming for an overall score above 80/100 (in other words, when targeting the National level or higher).

This is why having a solid scoring strategy matters so much for moving up the BJCP ranking. It should also go without saying that knowing how to assign a correct score to the beer being tasted is one of the skills every good judge should master.

Let us look at how to do it.

Why hitting the “right” score is not that easy

One might think that two scores given by two highly experienced judges tasting the same beer would always be fairly close. Generally, this is the case, but exceptions are more common than one might expect. I have seen this first-hand since I started proctoring BJCP exams in the sets I have proctored, it has happened for several beers that the proctors’ scores differed from one another by as much as 10 points.

To be fair, it can happen that a proctor is actually less experienced than their BJCP level would suggest, but that is not the whole story. The point is that assigning a score, as defined by the BJCP (but also more generally), is far more personal than one might imagine. This is easy to grasp by looking at the bottom section of the BJCP scoresheet:

As can be seen from the small checkbox on the right, the final score is essentially a combination of three levels of evaluation: how closely the beer adheres to style (stylistic accuracy), the presence and intensity of flaws (technical merit), and how much all this affects the overall enjoyability of the beer (intangibles).

These three elements intersect, in a rather intricate way, in the Scoring Guide on the left (also found at the bottom of the BJCP scoresheet). This small table is meant to guide the assignment of the final score.

For scores below 20, the descriptions relate in some way to enjoyability (unpleasant, hard to drink); in the 20-30 range, deviations from the reference style are highlighted; flaws appear up to a score of 37 (off flavours, minor flaws). Rather intricate indeed. If one also considers that a beer in the 14-20 range is described as both unpleasant and fair at the same time, the whole thing becomes genuinely confusing.

I find this small table to be rather misleading, and it does not help much when it comes to assigning a numerical score to a beer. If anything, I have to say it tends to confuse me.

There is another aspect that makes things fairly complicated: to what extent should stylistic accuracy affect the score? For instance, how far out of style can a slightly hazy Helles be considered? What about a Belgian Golden Strong Ale with a hint of amber colour? Or a Tripel that is under-carbonated? How many points should be deducted?

This is not easy to work out. Does it matter more that the beer is good and free of flaws, or that it strictly follows the dictates of the style? And when the style guidelines are not so strict to begin with? What then?

How much this affects the score can vary considerably from judge to judge, because the different aspects of stylistic accuracy do not have a single, agreed classification in terms of the specific weight of each component.

Adding the enjoyability element on top, the one at the bottom of the checkbox on the right, which is highly personal, complicates matters even further.

For these reasons, it can happen that, even when two experienced judges perceive similar traits in the same beer, the score they assign differs considerably.

Let’s look at how this effect can be limited, by making the scoring guide found at the bottom left of the BJCP scoresheet more explicit.

Rethinking the scoring strategy for the BJCP Tasting Exam

As for the so-called consensus score, against which candidates’ scores are evaluated, it sits roughly halfway between the scores of the two or three proctors. To reach a consensus score of 45, both proctors (who do not talk to each other during the tasting) would need to independently assign the beer 45, a fairly unlikely event.

Let’s say that, barring exceptions, the vast majority of exam beers fall within the 20-40 score range (the same holds true for competition beers, though with somewhat more frequent exceptions).

To give an idea, in the 5 exams I have graded so far (30 beers in total), only one beer had a consensus score above 40 (43.5) and one below 20 (18.5). Even assigning 40 to the first and 20 to the second as am exam candidate, the scoring would still have been very good for both (National level and Master level respectively).

The 20-40 range works more than well for exam beers. At a competition, I would tend to lean higher, above 40, if the beer were genuinely good. One can also go below 20, though it would not add much value to the scoresheet: the beer would have no chance of advancing in the competition regardless, and too low a score might only discourage the homebrewer. What matters in these cases is clearly pointing out what is wrong with the beer and what might be causing the flaws identified. Giving a beer 14 instead of 18-20 does not change anything, other than crushing the confidence of whoever brewed it.

Since I find it hard to memorise the ranges according to the numerical steps proposed by the BJCP (21-29, 30-37 and so on), I have put together a scheme that I find simpler and easier to remember:

I have not included the style considerations in this small table because, in my view, they should be treated as a second scale that only partially affects the technical one. In theory, the BJCP sets a limit of 30/50 for beers that are out of style (above 30, a beer is considered generally within the style parameters). The problem, as already mentioned, is what counts as out of style in the first place.

Adding style as an evaluation element too, we could work with the following table:

However, as already mentioned several times, the weight each of us gives to out-of-style elements can vary significantly.

In my view, at exam level, the best approach is to start from the assumption that beers presented are rarely, if ever, completely out of style. Should that happen, though, it would then make sense to cap the score at 30/50 even if the beer were very good and free of flaws.

The difficulty, though, does not lie so much in a beer with flaws that is also out of style, since it would automatically fall below 30 because of the flaws themselves. The tricky part is scoring a beer that is not perfectly in style but has no sgiinificant flaws and is very enjoyable to drink.

An excellent Porter could pass as a good Stout with some stylistic shortcomings, but I would not feel comfortable placing it below 30, given the many similarities between the two styles (this is exactly the mistake I made at my first exam, with the Czech Pils).

The same goes for Tripels versus Belgian Golden Strong Ales, Bitters versus Scottish Ales, Barley Wines versus Old Ales, and so on. This is obviously assuming the beer is good and free of significant flaws; otherwise, it should still be placed below 30.

A perfect (and excellent) Munich Helles entered as a German Pils could fall below 30, due to the significant difference in bitterness intensity and hop aroma perception. Still, I would not go below 25 if the beer is excellent and free of flaws. If it were a hoppier Helles, in my view it would climb slightly above 30 even when judged as a German Pils.

I would love to hear other BJCP judges’ opinions on this topic. If you have any thoughts or opinions on the matter, feel free to share them in the comments!

Esame BJCP: migliorare la Scoring Accuracy

Qualche settimana fa sono stato a Palermo, nello specifico presso l’abbazia di San Martino delle Scale, dove si è tenuto il primo Tasting Exam BJCP organizzato in Sicilia dai Trinacria Homebrewers.

In questo esame ho assunto per la prima volta il ruolo di proctor, ovvero uno dei due (a volte tre) giudici che compilano le schede di riferimento (BJCP Scoresheet) delle birre d’esame. I partecipanti vengono valutati in base alla vicinanza delle loro schede (e dei voti assegnati alle 6 birre d’esame) relativamente a quelle dei proctor (maggiori informazioni qui).

Incarico di una certa responsabilità, che ho cercato di affrontare con la massima serietà e dedizione. Non nascondo di aver dovuto gestire anche un po’ di emozione: leggermente meno rispetto alla prima volta come esaminando, ma comunque una buona dose di trepidazione non è mancata.

Come sempre, il solo fatto di mettersi in gioco aiuta a riflettere sulle proprie capacità e sugli aspetti da migliorare. In questo caso, mentre mi sono trovato piuttosto a mio agio nella gestione del tempo e nel descrivere le mie percezioni sensoriali su carta (anche utilizzando l’inglese), ho fatto un po’ fatica nell’assegnazione delle valutazioni numeriche alle sei birre d’esame.

Questo mi ha portato a riflettere, soprattutto nell’ottica di voler ritentare il Tasting Exam in futuro. L’obiettivo è  aumentare il mio voto, attualmente fermo a 80/100 dall’ultimo esame che ho sostenuto nel lontano 2019.

Se riuscissi a prendere almeno 86 al Tasting Exam BJCP (difficile, ma non impossibile) salirei dal livello National al Master, l’ultimo a cui si accede in base ai voti degli esami. Questo significherebbe mai più esami BJCP a vita, non male come prospettiva. Ai successivi livelli, infatti, si accede accumulando punti esperienza principalmente facendo giuria nei concorsi e correggendo o organizzando gli esami.

L’importanza dello scoring al Tasting Exam BJCP

Lo scoring dell’esame, sia dal lato del proctor che da quello dei partecipanti all’esame, costituisce sempre un punto critico nel processo di valutazione della birra. In sede di correzione, la vicinanza del voto nella scheda dell’esaminando al voto numerico assegnato dai proctor vale 1/5 del punteggio totale ed ha lo stesso peso dell’abilità percettiva, di quella descrittiva, della completezza e della capacità di fornire un feedback sulla birra.

Se per passare l’esame BJCP (ovvero prendere un voto maggiore di 60/100) non è particolarmente importante avere uno scoring allineato ai proctor, per arrivare a una valutazione complessiva superiore a 80 (quindi per puntare almeno al livello National), l’abilità nell’attribuire un voto alla birra inizia a diventare importante.

Ottimizzare le strategie per lo scoring della birra diventa quindi fondamentale per andare avanti nella graduatoria BJCP. Inoltre, non c’è nemmeno bisogno di dirlo, saper assegnare un voto corretto alla birra che si sta assaggiando è una delle abilità che dovrebbe padroneggiare ogni buon giudice.

Vediamo come fare.

Perché non è facile centrare lo scoring

Si potrebbe pensare che due voti assegnati da due giudici molto esperti che assaggiano la stessa birra siano sempre piuttosto vicini. In generale è così, ma le eccezioni sono più comuni di quanto ci si possa aspettare. L’ho visto nero su bianco da quando ho iniziato a correggere gli esami BJCP: nei set che ho corretto, è capitato per diverse birre che i voti dei proctor discordassero tra loro anche di 10 punti.

Per carità, può capitare che un proctor sia in realtà meno esperto di quanto il suo livello BJCP porti a pensare, ma non è solo questo. Il punto è che l’attribuzione del punteggio, così come declinato dal BJCP (ma anche in generale), è molto più personale di quanto si immagini. Questo si può facilmente intuire osservando la parte bassa della scheda BJCP, ovvero questa:

Come si intuisce dalla tabellina a destra, lo scoring finale è di fatto la combinazione di tre livelli valutazione: l’aderenza della birra allo stile (stylistic accuracy), la presenza e il livello di intensità dei difetti (technical merit), quanto tutto ciò abbia impatto sulla piacevolezza della birra (intangibles).

Questi tre elementi si incrociano, in modo piuttosto articolato, nella Scoring Guide di sinistra (anch’essa si trova in fondo alle schede BJCP). Questa tabellina dovrebbe guidare l’assegnazione del voto finale.

Per i voti sotto al 20 troviamo descrizioni collegate in qualche modo alla piacevolezza (unpleasant, hard to drink); nel range 20-30 vengono evidenziate deviazioni dallo stile di riferimento; i difetti compaiono fino al voto di 37 (off flavours, minor flaws). Piuttosto articolato. Se poi aggiungiamo che una birra nel range 14-20 viene definita allo stesso tempo unpleasant e fair, la questione si fa davvero confusa.

Trovo che questa tabellina sia piuttosto fuorviante e che non aiuti granché nell’attribuire un voto numerico alla birra. Anzi, devo dire che tende a confondermi.

C’è un altro aspetto che rende le cose piuttosto complicate, ovvero: fino a che punto l’aderenza allo stile dovrebbe influire sul voto? Ad esempio: quanto può essere considerata fuori stile una Helles leggermente velata? E una Belgian Golden Strong Ale vagamente ambrata? E se una Tripel fosse poco carbonata? Quanti punti dovrei togliere?

Non è facile capirlo. Conta di più che la birra sia buona e senza difetti o che aderisca rigidamente ai dettami dello stile? E quando i dettami dello stile non sono così rigidi? Che si fa?

Questo impatto può variare sensibilmente da giudice a giudice, perché i diversi aspetti dell’aderenza allo stile non hanno una classificazione univoca in termini di peso specifico delle singole componenti.

Aggiungendo poi l’elemento piacevolezza, quello in fondo nella tabellina a destra, che è molto personale, il tutto si complica ancora di più.

Per queste ragioni può capitare che, anche se due giudici esperti percepiscono tratti simili nella stessa birra, il voto attribuito sia sensibilmente diverso.

Vediamo come poter limitare questo effetto, esplicitando meglio la guida all’attribuzione del punteggio che troviamo in basso a sinistra nella scheda BJCP.

Ripensare lo scoring nell’ottica del Tasting Exam BJCP 

Per il cosiddetto voto di consensus, rispetto al quale si valutano i voti degli esaminandi, ci si posiziona più o meno a metà tra il voto dei due/tre proctor. Per arrivare a un voto di 45/50, entrambi i proctor (che non si parlano durante l’assaggio), dovrebbero assegnare alla birra 45, evento piuttosto improbabile.

Diciamo che, a meno di eccezioni, il range di voto in cui ricade la stragrande maggioranza delle birre d’esame è 20-40 (ma è così anche per quelle nei concorsi, con qualche eccezione più frequente).

Per dare un’idea, nei 5 esami che ho corretto fino ad ora (30 birre in totale), solo una birra aveva un consensus superiore a 40 (43.5) e una inferiore a 20 (18.5). Anche assegnando 40 alla prima e 20 alla seconda come esaminando, lo scoring sarebbe stato comunque molto buono per entrambe (rispettivamente da livello National e Master).

Il range 20-40 va più che bene per le birre d’esame. A un concorso tenderei a sbilanciarmi di più verso l’alto, oltre il 40, se la birra fosse davvero buona. Si può anche scendere sotto al 20, ma non darebbe grande valore aggiunto alla scheda: la birra non avrebbe comunque speranza di andare avanti nel concorso, un voto troppo basso potrebbe solo demoralizzare l’homebrewer. L’importante, in questi casi, è indicare bene cosa non va nella birra e quali potrebbero essere le cause dei difetti individuati.

Siccome faccio fatica a memorizzare i range secondo gli step numerici proposti dal BJCP (21-29, 30-37 e via dicendo), ho elaborato uno schema a mio avviso più semplice e immediato da ricordare:

Non ho menzionato lo stile in questa tabellina proprio perché a mio avviso andrebbe considerato come una seconda scala che influisce solo parzialmente su quella tecnica. Teoricamente, il BJCP mette un limite di 30/50 alle birre fuori stile (sopra il 30 viene considerata generally within the style parameters). Il problema è, come già detto, cosa si intenda per fuori stile.

Aggiungendo anche lo stile come elemento di valutazione, potremmo ragionare sulla tabellina seguente:

Tuttavia, come già ripetuto più volte, il peso che ciascuno di noi attribuisce agli elementi fuori stile può variare significativamente.

Secondo me, in sede d’esame, l’approccio migliore è partire dall’assunto che raramente (forse mai) vengono presentate birre totalmente fuori stile. In questo caso, avrebbe senso limitare il voto a 30/50 anche se la birra fosse molto buona ed esente da difetti.

La difficoltà però non sta tanto in una birra con difetti ma in stile, che automaticamente viene trascinata sotto al 30 per la presenza stessa dei difetti; il posizionamento numerico è più difficile per una birra non perfettamente in stile ma senza difetti e molto buona da bere.  

Una ottima Porter potrebbe passare come una buona Stout con qualche carenza stilistica, ma non mi sentirei di posizionarla sotto al 30 per via delle molte similarità tra i due stili. Stesso discorso per Tripel vs Belgian Golden Strong Ale, Czech Pils vs German Pils, Bitter vs Scottish Ale, Barley Wine vs Old Ale e via dicendo. Ovviamente, se la birra è buona e senza difetti significativi. Altrimenti andrebbe comunque posizionata sotto al 30.

Una perfetta (e ottima) Munich Helles passata per German Pils potrebbe piazzarsi sotto al 30, per via della significativa differenza nell’intensità dell’amaro e nella percezione degli aromi luppolati. Ma non andrei comunque sotto al 25 se la birra è ottima e senza difetti. Già se fosse una Helles più luppolata, secondo me si salirebbe leggermente sopra al 30 anche valutandola come German Pils.

Mi piacerebbe leggere le opinioni di altri giudici BJCP su questo tema. Se avete idee o opinioni al riguardo, scrivete pure nei commenti!