The results of my third attempt at the BJCP Tasting Exam finally arrived: that’s the test where you taste 6 beers in 60 minutes and fill in the BJCP scoresheet for each. I won’t go into detail again about what the BJCP actually is: for anyone new to the topic, I’ve wrote a dedicated post on the blog with all sorts of info on it.

So, on to the last exam I took in Monza this past October. Rather than going through the scoresheet again (called the RTP, Report To Participant, which you can check out here), I’d rather share some general thoughts on the Tasting Exam, since by now I’ve built up a decent bit of experience having taken it three times. 🙂

First off, looking back on this three year journey, I’ve reassessed the result of my first Tasting Exam in 2017. When the scoresheets were handed back, after going over the beer profiles with the proctors (the two judges who produce the reference scoresheets that participants are graded against), I was pretty disappointed.

It felt like I’d got everything wrong, especially since the scores I gave the beers were, in a lot of cases, quite far off from the ones the two proctors assigned.

I’d studied a lot and put a lot of dedication into the exam in the months before. Solid theoretical preparation and careful scoresheet writing during the exam helped keep the overall grade up (I got a 77/100 in the end), despite the numerical scores I gave the beers being pretty out of line, a clear sign I still lacked experience as a judge.

I went back to studying, and above all to practicing a lot, setting up a study group that turned out to be really useful. This third attempt went better, though not perfectly, and I finally hit the coveted 80/100 score. I can finally start planning my next steps to move up to National level.

Let’s take a look at how things developed across these three exams, hoping the thoughts that come out of it might be useful to anyone thinking about taking the exam in the future.

At my first attempt, in Rimini in February 2017, I had no judging experience at all. I’d studied a lot and practised, always on my own, filling in loads of BJCP scoresheets. I’d never tried filling in 6 in a row, like you have to do during the exam, which led me to underestimate the stress factor that would end up overwhelming me during the tastings.

My score landed at 77/100: not bad, but I could have done better. Probably, if I’d reached National with the scoring accuracy, I could have easily got to 80/100 already at this first attempt.

At the second attempt, in Monza in October 2018, I’d had various judging experiences at homebrewing competitions. I hadn’t, though, gone back to studying and practicing seriously.

I had  only filled in a handful of scoresheets in the month before the exam (on top of the competition ones, which, even though they’re BJCP, are filled in with very different timing and logic).

I went into this exam far too casually, and a bit cocky if I’m honest, confident in the extra experience I’d built up as a judge, but that’s not quite how it went.

I did make a big leap forward on scoring the beers, but took several steps back on everything else. I’d actually got a much better grasp of the essence of the six beers in the exam, but I’d filled in the scoresheets in a rush and without much care.

My score was stuck at 76/100, even worse than the first attempt. I was mad at my selft and decided to get my aim back on target.

Let’s move on to my third attempt, again in Monza, in October 2019.

By this point I had gathered a lot more judging experience, some of it abroad, judging at homebrewing competitions. I had also got back to studying hard again, but above all I had been filling in loads of scoresheets, and not always on my own.

I set up a tasting group, including people who had no interest in the BJCP exam, which turned out to be really useful. Each time we’d taste six beers and talk them through. Anyone who wanted to could fill in the scoresheet within exam time, 15 minutes (I did it every time), but it wasn’t required. The important thing was that each one of the six people brought beer for the blind tasting. We held several sessions before summer 2019: each time I learned something, balancing out my judgements and strengthening my perceptions.

I also did a couple of mock exams with a friend who’d go on to sit the exam with me: we’d fill in scoresheets for 6 beers in 15 minutes each, without interruption and without discussion, comparing notes only at the end. Each of us brought three beers, without telling the other anything beyond the style.

All that effort paid off: score 80/100, I was hoping for better but at least I hit the target I needed to move into the National zone.

The exam score is worked out by assessing participants’ scoresheets against five parameters: perception of the sensory characteristics, ability to describe them, completeness of the scoreshees, quality of the feedback given to the homebrewer, and the score assigned to each beer.

For the qualitative parameters (perception) and the final score, the benchmarks are the scoresheets filled in by the proctors.

Each of these five characteristics is given a score between 0 and 100. The result falls into five broad categories:

• below 60: apprentice (not sufficient)
• 60-70: recognised (base level)
• 70-80: certified
• 80-90: national
• 90-100: master

Let’s see how, in my case, these skills developed (or didn’t) over the three exams I sat.

It’s clear that judging at competitions continuously improved my scoring accuracy. Comparing notes with other judges helps, over time, settle your scores into a reasonable range, although every so often you’ll still come across that one weird beer where scoring gets tricky. But it will be the exception, not the rule.

As for scoresheet completeness, it genuinely seems hard to get much further than a certain level. Even when you’re fully aware of what to do and what not to do, exam conditions bring in factors like tiredness and stress that inevitably make you drop bits along the way.

Other judges have also told me that, to improve on this beyond National level, it’s important to start putting yourself forward as a grader, a BJCP judge who marks exam scoresheets. You can only do this once you’ve reached National, so it’s definitely something I’ll try in future (I actually did and it got me to Master level at completeness at my fourth attempt).

Much the same goes for feedback: it’s something you know how to do, but during the exam, when you’ve got a thousand other things to pay attention to, it’s hard to keep it up. It’s especially difficult to stay focused from the fourth scoresheet onwards, when tiredness starts to kick in and even writing three extra lines becomes a real effort.

Perceptive ability is one of the hardest factors to improve. It covers your ability to pick up on aromas and flavours (esters, off-flavours, phenols, acidity, and so on). These then need to line up with what the proctors and the other exam participants picked up, which is far from a given.

This is something you improve on slowly, bit by bit, as was the case for me. On my second attempt I took a real dive, probably down to how sloppily I filled in the scoresheets (I sat the exam but really wasn’t feeling it and thought a bit too highly of myself).

On the last exam I got a rather odd bit of feedback on this front: on every single beer my scoresheets were rated at National level (so, really good), but the average came out as Certified. I’m not entirely sure whether that’s an error or there’s some algorithm at play that I’m missing, but I’m happy with it all the same. Here’s the feedback I got on this aspect from the last exam.

Descriptive ability shows how much detail you’re able to give to your perceptions (for instance, instead of just saying floral, specifying the type of flower, chamomile, lavender, and so on).

This is something you can practise on your own by building up a good vocabulary, which I’d clearly already done well by the first exam. I can still improve here, but stress and tiredness during the exam play a big part in this too. By the sixth scoresheet your mind starts to fog up and your head gets heavy.

Conclusions and tips

Looking back, my sense is that this exam it’s no picnic. Or rather, it’s hard to get a high score, while I don’t think it’s particularly tough to land somewhere around 65-70.

Two factors that a lot of people overlook, but that have a big impact on scoresheet quality, are stress and tiredness. Tasting a beer every 15 minutes, six times in a row, with no breaks, unable to lift your head from the sheet, with no chance to exchange a word with anyone, is tough. It’s very different from filling in one or two scoresheets at home.

Even at homebrewing competitions, where you can taste up to 10 beers in a row, tiredness is less of an issue because there’s usually at least a couple of minutes’ break between beers: you chat with the other judge, swap a few jokes, maybe nip to the toilet.

To avoid giving in to tiredness during the exam, you really need a solid level of confidence in your perceptive abilities, a smooth and fluent vocabulary, and a rock solid knowledge of the BJCP scoresheets and, obviously, of styles, off-flavours and the brewing process too. There’s practically no time to think during the exam: you write it down as it comes and move straight on to the next beer.

When judging beers at competitions, you’re usually paired up with another judge. Even though you generally avoid discussing the beer before filling in the scoresheets, a little sound of pleasure or a raised eyebrow tends to slip past your control. Sometimes just a glance or a wrinkled nose is enough to point the other judge towards your impressions of the beer you’re tasting.

I’ve noticed that in these cases my scores tend to line up quite closely with those of the judge sitting across from me, something that happens less often when scoresheets are filled in separately in two different rooms and compared afterwards. At the exam, you’re not looking at anyone, you have no points of reference of any kind: it’s all in your head, which by that point is pretty worn out.

The BJCP scoring method can certainly be questioned, and it’s not necessarily the best one out there. I have to say, though, that in my case it’s always reflected my level of preparation fairly well.

The next posts on this topic will be dedicated to my preparation for the written exam, which I’ll most likely sit in the second half of 2021. It’s a written exam on theory, no tasting involved, and from what I’ve read, preparing for it takes several months. Not many people take it, so much so that in Europe there are at most one or two sessions a year, usually only in Barcelona. But we’ll get into that in more detail later on.

BJCP Tasting Exam: un piccolo passo avanti

Sono finalmente arrivati i risultati del mio terzo tentativo con il BJCP Tasting Exam, ovvero la prova in cui si assaggiano 6 birre in 60 minuti con relativa compilazione della scheda BJCP. Evito di ripetere nel dettaglio cos’è e come funziona il BJCP, ovvero il Beer Judge Certification Program: per chi fosse nuovo all’argomento, ho scritto un post sul blog da cui attingere informazioni di vario tipo sul tema.

Passiamo quindi all’ultimo esame che ho sostenuto a Monza lo scorso Ottobre. Piuttosto che ripercorrere nuovamente la scheda valutazione (chiamata RTP, ovvero Report To Partecipant, che potete visionare qui) preferirei elaborare alcune considerazioni generali sul Tasting Exam, visto che ormai ho sviluppato una discreta esperienza avendolo provato per ben tre volte. 🙂

Anzitutto diciamo che, alla luce di questo percorso durato tre anni, ho rivalutato il risultato del mio primo Tasting Exam del 2017. Alla consegna delle schede, una volta ripercorsi i profili delle birre con i proctor (ovvero i due giudici che producono le schede di riferimento su cui vengono valutati i partecipanti all’esame) rimasi molto deluso. Mi sembrava di aver sbagliato tutto, anche perché i voti che avevo dato alle birre erano in molti casi assai diversi da quelli assegnati dai due proctor. In realtà avevo studiato molto e mi ero dedicato all’esame con grande dedizione nei mesi precedenti. La buona preparazione teorica e l’attenzione alla compilazione delle schede durante l’esame hanno aiutato a tenere alto il voto, al di là delle valutazioni numeriche che ho attribuito alle birre, piuttosto fuori linea e segno evidente della mancanza di esperienza come giudice.

Mi sono rimesso a studiare e soprattutto a fare molta pratica, mettendo in piedi un gruppo di studio che poi si è rivelato molto utile. Questo terzo tentativo è andato meglio, sebbene non benissimo, e sono finalmente arrivato all’agognato 80. Posso finalmente iniziare a pianificare i prossimi passi per salire al livello National.

Vediamo come si è sviluppato il mio percorso durante questi tre esami, sperando che le osservazioni che ne derivano possano essere utili a chi volesse provare a sostenere l’esame in futuro.

Al il primo tentativo, a Rimini nel Febbraio 2017, non avevo alcuna esperienza da giudice. Avevo studiato tanto e fatto pratica, sempre da solo, compilando tante schede BJCP. Non avevo mai provato a compilarne 6 di seguito, come in sede di esame, il che mi portò a sottovalutare il fattore stress che mi avrebbe soverchiato durante gli assaggi. Voto 77/100, non male. Con una scoring accuracy a livello National, sarei potuto arrivare a 80/10 già con questo primo tentativo.

Al secondo tentativo, a Monza nell’ottobre 2018, avevo vissuto diverse esperienze da giudice in concorsi per homebrewer. Non avevo però ripreso in mano seriamente lo studio e avevo compilato solo qualche scheda il mese prima dell’esame (oltre a quelle dei concorsi, che però, anche se BJCP, si compilano con tempi e logiche molto diverse). Presi l’esame alla leggera, forte della convinzione che la maggiore esperienza mi avrebbe aiutato, ma non fu esattamente così. Effettivamente feci un balzo in avanti sull’assegnazione dei voti, ma diversi passi indietro su tutto il resto. Avevo di fatto colto molto meglio l’essenza delle sei birre proposte all’esame, ma avevo compilato le schede di corsa e senza attenzione. Voto 76/100, addirittura peggio della prima prova.

Veniamo al terzo tentativo, sempre a Monza, nell’Ottobre del 2019. A questo punto avevo molta più esperienza come giudice, maturata anche all’estero, sempre in concorsi per homebrewer. Stavolta mi sono messo a studiare nuovamente, ma soprattutto ho compilato tantissime schede e non sempre da solo. Ho organizzato un gruppo di assaggio, anche con persone non interessate all’esame BJCP, che si è rivelato molto formativo. Ogni volta assaggivamo sei birre e le commentavamo. Chi voleva compilava la scheda con i tempi di esame, ovvero 15 minuti (io lo facevo ogni volta), ma non era obbligatorio. L’importante era che ciascuno portasse una birra da assaggiare alla cieca.

Abbiamo svolto diversi incontri prima dell’estate 2019: ogni volta imparavo qualcosa, equilibrando le mie valutazioni e rafforzando le mie percezioni. Ho anche fatto un paio di simulazioni di esame insieme a un amico che avrebbe poi sostenuto l’esame con me:  abbiamo compilato le schede di 6 birre in 15 minuti ciascuna senza interruzione e senza commenti, per confrontarci poi solo alla fine. Ciascuno portava tre birre, senza dire nulla all’altro se non lo stile. Tutta questa fatica ha portato i suoi frutti: voto 80, speravo meglio ma almeno l’obiettivo è stato raggiunto.

Il voto d’esame viene attribuito valutando le schede dei partecipanti su cinque parametri: percezione delle caratteristiche organolettiche, abilità nel descriverle, completezza nella compilazione della scheda, qualità del feedback dato all’homebrewer, voto assegnato alla birra. Per i parametri qualitativi (percezione) e per il voto finale, il riferimento sono le schede compilate dai proctor. A queste cinque caratteristiche viene assegnato un voto tra 0 e 100. Il risultato viene raccolto in cinque macro categorie:

• sotto 60: apprentice (non sufficiente)
• 60-70: recognized (livello base)
• 70-80: certified
• 80-90: national
• 90-100: master

Vediamo nel mio caso come si sono evolute (o involute) le mie abilità nell’arco delle tre prove che ho sostenuto.

Partiamo dalla Scoring Accuracy: è evidente come partecipare da giudice a concorsi per homebrewer abbia migliorato le mie valutazioni numeriche delle birre assaggiate. Il confronto con altri giudici aiuta con il tempo ad assestare i voti numerici in un range ragionevole, sebbene ogni tanto la birra “strana” capiti sempre.

Per quanto riguarda la completezza delle schede, è veramente difficile andare oltre un certo livello. Pur essendo pienamente consapevole di cosa bisogna fare e non fare, in sede di esame subentrano fattori come stanchezza e stress che inevitabilmente fanno perdere pezzi per strada. Inoltre, altri giudici mi hanno detto che per migliorare questo aspetto oltre il livello National è importante iniziare a proporsi come grader, ovvero giudici BJCP che correggono le schede di esame. Questo si può fare solo quando si diventa almeno National, e sarà sicuramente qualcosa che in futuro proverò (qualche anno dopo sono diventato grader, ho riprovato il Tasting Exam e ho preso finalmente Master alla completezza).

Discorso simile per i feedback: è una cosa che si sa come fare, ma in sede di esame, quando si deve prestare attenzione a mille altre cose, è arduo tenere botta. Difficile soprattutto mantenere la concentrazione dalla quarta scheda in poi, quando la stanchezza inizia a farsi sentire e scrivere anche tre righe in più diventa un’impresa.

L’abilità percettiva è uno dei fattori più difficili da migliorare. Descrive l’abilità nel rilevare aromi e sapori (ad esempio esteri, difetti, fenoli, acidità, etc…). Questi poi devono essere allineati a quelli rilevati dai proctor e dagli altri partecipanti all’esame, cosa non affatto scontata. Qui si migliora piano piano, come è stato nel mio caso. Al secondo tentativo ho fatto un tonfo, dovuto probabilmente alla superficialità con cui ho compilato le schede (ho fatto l’esame ma non mi andava per niente e mi sentivo troppo arrivato). Nell’ultimo esame ho ricevuto un feedback “strano” su questo aspetto: in tutte le singole birre le mie schede sono state valutate a livello National (quindi molto bene), ma poi la media è uscita Certified. Non ho capito bene se si tratti di un errore o se c’è qualche algoritmo che mi sfugge, ma sono soddisfatto ugualmente. Ecco il feedback che ho ricevuto su questo aspetto all’ultimo esame.

L’abilità descrittiva indica quanto si è capaci di dettagliare le percezioni (per esempio invece di dire floreale, specificare il tipo di fiore come camomilla, lavanda e via dicendo). Su questo aspetto si può far pratica da soli costruendo un buon vocabolario, cosa che avevo evidentemente già ben fatto alla prima prova. Posso migliorare ancora, ma anche qui giocano molto i fattori stress e stanchezza durante l’esame. Alla sesta scheda la mente si annebbia e la testa inizia a farsi pesante.

Conclusioni e consigli

L’idea che mi sono fatto di questo esame è che si tratta di una prova nel suo complesso non semplice. O meglio, è difficile prendere un voto alto, mentre non credo sia particolarmente arduo posizionarsi intorno al 65-70. Due dei fattori che molti trascurano ma che influiscono significativamente sulla qualità delle schede sono stress e stanchezza. Assaggiare una birra ogni 15 minuti per sei volte, senza alcuna pausa, senza poter alzare la testa dal foglio, senza avere la possibilità di scambiare una parola con qualcuno, è dura.

È molto diverso dal compilare una o due schede a casa dedicando a ciascuna 15 minuti. Anche nei concorsi per homebrewer, dove si assaggiano fino a 10 birre di fila, la stanchezza è minore perché in genere tra una birra e l’altra si fanno almeno un paio di minuti di pausa: ci si confronta con l’altro giudice, si scambiano battute, si può anche andare in bagno.

Per evitare di cedere alla stanchezza durante l’esame è indispensabile aver raggiunto un buon livello di confidenza nelle proprie abilità percettive, un vocabolario sciolto e fluido, una conoscenza perfetta delle schede BJCP e ovviamente anche di stili, difetti e processo di produzione. Non c’è praticamente tempo per pensare durante l’esame, si scrive di getto e si passa alla birra successiva.

Quando si valutano le birre nei concorsi di solito si è in coppia. Anche se di solito si evita di scambiare commenti sulla birra prima di aver compilato le schede, il rumorino di piacere o il sopracciglio alzato scappano al controllo. A volte è sufficiente uno sguardo o un naso storto per indirizzare l’altro giudice verso le proprie impressioni sulla birra che si sta assaggiando. Ho notato che in questi casi i miei voti sono sempre piuttosto allineati a quelli del giudice che ho davanti, cosa che capita meno spesso se si compilano le schede in due stanze differenti e poi ci si confronta. All’esame non si guarda nessuno, non si hanno riferimenti di alcun tipo: è tutto nella nostra mente, che in quel momento è piuttosto affaticata.

Il metodo di valutazione del BJCP può essere contestabile, per carità, e non è detto che sia il migliore in assoluto. Devo dire però che nel mio caso ha rispecchiato sempre piuttosto bene il mio livello di preparazione.

I prossimi post su questa tema saranno quindi dedicati alla mia preparazione all’esame scritto, che verosimilmente sosterrò nella seconda metà del 2021. Un esame scritto sulla teoria, senza assaggi, la cui preparazione, a quanto leggo, richiede diversi mesi. Lo provano in pochi, tant’è che in Europa ci sono al massimo una/due sessioni all’anno, in genere solo a Barcellona. Ma avremo modo di approfondire in seguito.