FOREWORD  This post is about my first BJCP exam, the first one ever organized in Italy back in 2017. I ended up passing it with 77/100, which isn’t even a bad score considering it was my first attempt and that, back then, study resources in Italy were really scarce and I had little judging experience. Reading it again now that I’ve reached Grand Master level makes me smile. I think it’s a story worth reading, because it conveys the genuine emotions you feel when facing a tough test that didn’t go as expected. Making progress takes time, but if you really put your mind to it, the results will eventually come.

On the regional fast train. Ancona-Rome route. There’s little to nothing fast about it, but at least there’s time to reflect. And since the power outlet miraculously works, I decided to open my laptop and jot down some first impressions on the BJCP exam I took this morning.

It’s always weird when something you’ve waited for so long (I signed up for this more than a year ago) is over in just an hour and a half: six beers tasted, plenty of words written on a scoresheet and a few numbers scattered here and there.

It’s even weirder – and somwhat harder to cope with – when you’re not satisfied with how it went and a hint of disappointment tags along on this trip back. Still, jotting down a few lines is always useful, it helps you reflect.

This will be a rather long post, but I’m writing it just for myself and for that handful of nerds who in the future will want to give the BJCP Tasting Exam a try.

Let me briefly explain how the exam works, for those who don’t already know. Six beers are evaluated, filling out the standard BJCP tasting scoresheet for each one (you fill out sheets without the details on aroma descriptors, like this one). The time given to evaluate each beer is 15 minutes, after which the next one is served.

The beers are evaluated by comparing them to a given style, which is stated when the glass arrives at the table. The scoresheet consists of a qualitative and descriptive evaluation of the five main aspects of the beer: aroma, appearance, flavor, mouthfeel and overall impression.

The candidate assigns a score to each of these areas. Adding up the scores of the individual sections gives a total evaluation that can reach a maximum of 50 points.

The beers served can be commercial beers, faulty beers, homebrewers’ beers, or blends of different beers. They are evaluated at the same time by two experienced judges who don’t know the beers (the proctors). Their scoresheets will serve as a reference for evaluating the candidates’ scoresheets. The closer the participant’s scoresheet is to the proctors’ ones, both in quantitative value and in aroma descriptors and beer scoring, the better the exam outcome will be.

So it’s not just scoring accuracy that’s evaluated, also the completeness of the scoresheet and the number and correctness (again, compared to the judges’ sheet) of the aroma descriptors. If I write that I detected DMS but no judge picked it up, I’ll be penalized. Unless most of the other participants also flagged the same defect.

The actual grades with the exam results will arrive in a few months, so nothing is certain yet. I can, however, make a few thoughts about the accuracy of my scoring, since the two proctors read out their scoresheets and their scores at the end of the session.

I had quite a few surprises on this front, not exactly positive ones. As always, let’s try to pull out some lessons learned, to figure out what went wrong and which aspects still need work. I’ll go through the beers tasted one by one, with a few comments.

For anyone interested in more details on how to sign up for the exam and on the online test you need to pass before getting to the tasting, I’ll point you to this post.

First beer: Czech Premium Pale Lager 

Proctors’ score: 37/50. My score: 28/50. Deviation: -9 points.

Czech Premium Pale Lager is the new name given to Bohemian Pilsners in the BJCP 2015 guidelines. In this case we were served a commercial beer, I don’t remember now which brewery it was from (but craft and Italian anyway).

The beer was good, I’ll give it that. I liked it a lot and didn’t pick up on any particular flaws. Up to here, I was pretty much in agreement with the proctors’ scoresheets. So why did I give such a low score?

I let myself get thrown off by style compliance: from my experience (and also from what the BJCP guidelines say), Czech pilsners, compared to German ones, have a fuller body with noticeable malty notes and a less grassy, less sharp bitterness.

Since I didn’t find these characteristics in the beer, which was instead quite dry, slightly honeyish and with a rather sharp bitterness, I docked a point off the maximum score allowed for a good beer that’s out of style (which would be 29).

Did I get it wrong? I’d say yes.

German and Czech Pilsner are two styles very close to each other in terms of sensory characteristics (the former derives from the latter, historically too): treating this beer as out of style, from a numerical standpoint, was a mistake. On the scoresheet I did write that it was a good beer with no off-flavour, hopefully that’ll help me out a bit.

Second beer: Belgian Blonde Ale

Proctors’ score: 35/50. My score: 20/50. Deviation: -15 points

Here I really screwed up. The beer was a Leffe Blonde that had been left open for several days. The nose was not good: I picked up a strong phenolic and some plastic, but there was actually also a lot of oxidation/cardboard that the proctors didn’t flag but other candidates did. The color was off (too dark), the fruitiness was very much in evidence (overripe banana, too much of it).

The weird thing is that the proctors liked it.

Now, it’s not that Leffe Blonde is a bad beer, generally it’d deserve a 35/50 for style adherence. But this one had been left open (the admin told us that), in my opinion the aroma was pretty flawed.

Here I honestly just wasn’t on the same page as the proctors: I might have overdone it with a 20/50, but a 35/50 really seems like too much to me. I don’t know. This was the one I have the most doubts about, even after mulling it over a bit.

Third beer: American IPA

Proctors’ score: 29/50. My score: 37/50. Deviation: +8 points

This was an IPA brewed by an Italian homebrewer who’s placed really well in several competitions. With this beer we’re at the opposite extreme compared to the Leffe: I liked it a lot, the proctors less so.

The aroma was intense and clean, in my opinion it lacked a bit of intensity on the palate, especially when it came to the bitterness: it reminded me more of an APA than an IPA.

That said, I didn’t find any off-flavours (just like the proctors didn’t). 37/50 is maybe a bit too much, but in my opinion the 29/50 given by the proctors is too little.

Mine was probably a positioning error: the really pleasant aroma, right after that oxidized Leffe disaster, pumped up my enthusiasm a bit too much. I’m counting on the fact that the scoresheet was still accurate and complete though. I did flag the bitterness as too low, but I still stuck with a score that was too high overall.

Fourth beer: Sweet Stout

Proctors’ score: 33/50. My score: 38/50. Deviation: +5 points

I did better on this one, even though I know very little about the style (which I don’t even like, to be honest). It was the Pecora Nera from Geco brewery (an Italian craft brewery). Fairly true to style, definitely didn’t shine for intensity.

There was a lot of disagreement in the room about the lactose level: some said too little, some said too much. I found it just right.

The proctors were split on this one too: one gave a lower score, the other a higher one. The 33/50 is an average between the two. Other than that, a pleasant beer, though not exciting. Maybe I kept a bit too generous with the score, but that’s still the oxidized Leffe’s fault (ha ha, just kidding!).

Fifth beer: English Barleywine

Proctors’ score: 29/50. My score: 29/50. Deviation: 0 points

When the proctors said the score I got so hyped, like I’d won the lottery. Weighed down by utter sadness over the gaps on the other scores, it felt like a miracle.

This barleywine was homemade, aged for three years if I remember right.

Strong oxidized flavors that really reminded me of fruit preserved in spirits like cherries or strawberries. It wasn’t bad, the alcohol was well hidden but it was really too fruity. One of the proctors said it almost reminded him of a fruit beer.

My analysis was definitely a bit poorer in descriptors compared to the previous scoresheets, but I was starting to get tired. At least this time the score gave me some satisfaction. A stroke of luck? 🙂

Sixth beer: Imperial Stout

Proctors’ score: 35/50. My score: 44/50. Deviation: +9 points

I screwed up again. I got carried away by enthusiasm and by the fact that the beer had no apparent faults. In fact it wasn’t very intense, luckily I did write that down. But then I can’t really explain why I gave it such a high score, I honestly don’t remember.

It was a homebrewed beer. It wasn’t bad, don’t get me wrong, but 44/50 is really too much. I don’t know how I ended up there, a 40/50 would have been more fitting. I was probably tired and, above all, I was looking for the standout beer that’s usually always among the 6 you get to judge. It was actually supposed to be the first one, but I’d fumbled it because of the not-quite-perfect style adherence.

Conclusions

Having written this (long) post has already cheered me up a bit. It didn’t go as well as I expected, but maybe not that badly either. We’ll see.

What’s certain is that I underestimated the quantitative side during my preparation. After all, becoming a good judge takes a lot of practice. I’ve done plenty of it, but always qualitative.

I trained a lot on recognizing off-flavours, getting a lot of hands-on experience, especially with my own homebrewed beers. I pushed myself to fill out lots of scoresheets to practice with the descriptors; I trained a lot with my English and always tried to fill out the scoresheets in the best possible way. I know the styles well, I’ve studied them a lot, but evidently that wasn’t enough.

I was still missing a piece: confidence in the numerical scoring.

I don’t have much experience as a judge (actually, very little I’d say), which left me without the confidence in the scoring metrics needed to land on a “reasonably” realistic score.

Unfortunately, I didn’t have the support of a study group for the exam: getting input from other people to compare notes with after filling out the scoresheets is essential. It always is, but even more so when it comes to the numerical side of the evaluation. Then again, we were all scattered across Italy, it was hard even just to keep in touch regularly. This is something worth keeping in mind for anyone planning to prep for the exam.

As for the rest, what can I say. It was a really formative experience. It was great meeting aspiring judges, sharing the pre-exam jitters and the post-exam comments with them. I had fun. If it goes badly, oh well: I’ll try again. Now I’ve got another three hours of train ahead of me, maybe I’ll read a book that has nothing to do with beer and chill out a bit.

To read the breakdown of the score I received for this exam, click here.

---

Il mio primo esame BJCP: impressioni a caldo

 PREMESSA  Questo post racconta il mio primo esame BJCP, il primo organizzato in Italia nell’ormai lontano 2017. Alla fine lo passai con 77/100, che non è nemmeno male come voto considerando che si trattava del mio primo tentativo e che, all’epoca, le risorse su cui studiare erano davvero poche in Italia. Rileggerlo oggi che sono arrivato al livello Grand Master mi fa sorridere. Lo ritengo un racconto che merita ancora di essere letto, perché trasmette le emozioni sincere che si provano quando ci si trova di fronte a una prova difficile che non è andata secondo le attese. Ma non bisogna mollare: i risultati piano piano arrivano.

Sul treno regionale veloce. Tratta Ancona-Roma. Di veloce ha poco o nulla, ma almeno c’è tempo per riflettere. E dato che la presa della corrente miracolosamente funziona, ho deciso di aprire il pc e buttare giù qualche riflessione a caldo sull’esame BJCP che ho sostenuto questa mattina a Rimini. Fa sempre strano quando qualcosa che hai atteso per tanto tempo (mi sono iscritto più di un anno fa) si esaurisce in poco più di un’ora: sei birre bevute, tante parole scritte su un foglio e qualche numero buttato qui e là. Fa ancora più strano se non sei soddisfatto di come è andata e un filo di delusione ti accompagna in questo viaggio di ritorno. Buttare giù qualche riga è sempre utile però, aiuta a riflettere. Sarà un post un po’ lungo, ma lo scrivo giusto per me e per quella manciata di nerd che in futuro vorrà tentare questa impegnativa e per certi versi assurda prova.

Spiego brevemente come funziona l’esame, per chi non lo sapesse già. Si valutano sei birre, compilando per ciascuna la scheda di degustazione standard del BJCP (in realtà si compilano delle schede prive dei dettagli sui descrittori aromatici, come questa). Il tempo per la valutazione di ogni birra è di 15 minuti, dopodiché viene servita la successiva. Le birre si valutano confrontandole con un determinato stile, che viene comunicato quando il bicchiere arriva al tavolo. La scheda consiste in una valutazione qualitativa e descrittiva dei cinque principali aspetti della birra: aroma, aspetto visivo, flavour, mouthfeel e valutazione generale. A ciascuno di questi ambiti il giudice assegna un voto. Sommando i voti delle singole voci si arriva a una valutazione totale che può raggiungere un massimo di 50 punti. Le birre servite possono essere birre commerciali, birre difettate, birre di homebrewers, mix di diverse birre. Vengono valutate contestualmente da due giudici esperti che non conoscono le birre. Le loro schede serviranno da riferimento per la valutazione delle schede dei partecipanti (sarà una terza commissione a valutare le schede, successivamente). Più la scheda del partecipante è vicina a quella dei giudici, sia come valore quantitativo che come descrittori aromatici e percezione dei difetti, migliore sarà l’esito dell’esame.

Non viene quindi valutata solo l’accuratezza nello scoring, ma anche la completezza della scheda e la numerosità e la correttezza (sempre rispetto alla scheda dei giudici) dei descrittori aromatici. Se io scrivo che ho sentito DMS ma nessun giudice lo ha percepito, verrò penalizzato. A meno che anche la maggior parte dei partecipanti non evidenzi lo stesso difetto.

I voti veri e propri con l’esito dell’esame arriveranno tra qualche mese, quindi nulla è ancora certo. Posso però fare qualche considerazione sull’accuratezza dei miei scoring, dato che i due giudici hanno letto le loro schede e i loro voti alla fine della prova. Ho avuto diverse sorprese da questo punto di vista, non proprio positive. Come sempre, cerchiamo di prendere degli spunti di miglioramento per capire cosa è andato storto e su quali aspetti si deve ancora lavorare. Ripercorro le birre assaggiate una per una, con qualche commento.

Per chi fosse interessato ad avere maggiori dettagli sulle modalità di iscrizione all’esame e sulla prova online che va sostenuta per arrivare a quella scritta, rimando a un post precedente.

Prima birra: Czech Premium Pale Lager 

Voto dei giudici: 37/50. Il mio: 28/50. Scarto: -9 punti.

Czech Premium Pale Lager è il nuovo nome che è stato dato alle Bohemian Pilsner nel BJCP 2015. In questo caso ci è stata servita una birra commerciale, non ricordo ora di quale birrificio si trattasse (ma comunque craft e italiano). La birra era buona, c’è da dirlo. Mi è piaciuta molto e non ho avvertito difetti particolari. Fin qui, ero piuttosto in accordo con le schede dei giudici. Come mai ho dato allora un voto così basso? Mi sono fatto condizionare dall’aderenza allo stile: per la mia esperienza (e anche per quello che scrive il BJCP), le pilsner ceche, rispetto alle tedesche, hanno un corpo più pieno con evidenti note maltate e un amaro meno erbaceo e tagliente. Non avendo trovato queste caratteristiche nella birra, che invece era molto secca, leggermente mielosa e con un amaro piuttosto tagliente, ho dato un punto in meno rispetto al massimo voto consentito per una buona birra fuori stile (che sarebbe 29). Ho sbagliato? Direi di sì. German e Czech Pilsner sono due stili molto vicini tra loro per caratteristiche organolettiche (la prima deriva dalla seconda, anche storicamente): considerare questa birra fuori stile, da un punto di vista numerico, è stato un errore. Nella scheda ho scritto comunque che si trattava di una buona birra senza difetti, spero che questo mi aiuti un pò.

Seconda birra: Belgian Blonde Ale

Voto dei giudici: 35/50. Il mio: 20/50. Scarto: -15 punti.

Qui ho toppato di brutto. La birra era una Leffe Blonde che era stata lasciata aperta per diversi giorni. Il naso era pieno di difetti: io ho sentito un fenolico forte e della plastica, ma in realtà c’era anche molta ossidazione/cartone che i giudici non hanno evidenziato ma altri partecipanti sì. Il colore era sbagliato (troppo scura), il fruttato era molto in evidenza (banana matura, troppa). La cosa strana è che ai giudici è piaciuta. Ora, non è che la Leffe Blonde sia una cattiva birra, in generale un 35/50 se lo meriterebbe per aderenza allo stile. Ma questa era stata tenuta aperta, secondo me l’aroma era piuttosto fallato. Qui non mi sono molto ritrovato sinceramente: io avrò esagerato con un 20, ma secondo me un 35 è davvero troppo. Non so. Questa è stata quella su cui ho più perplessità, anche dopo averci riflettuto un po’ su.

Terza birra: American IPA

Voto dei giudici: 29/50. Il mio: 37/50. Scarto: +8 punti.

Questa era una IPA fatta da un homebrewer che molti di voi conosceranno, e che si è piazzato molto bene in diversi concorsi: Christian Ciarlo. Con questa birra ci troviamo all’estremo opposto rispetto alla Leffe: a me è piaciuta molto, ai giudici meno. L’aroma era intenso e pulito, secondo me peccava un po’ di intensità al palato, soprattutto per quanto riguarda l’amaro: ricordava una APA piuttosto che una IPA. Detto ciò, non ho trovato difetti (come non ne hanno trovati i giudici). 37 forse è un po’ troppo, ma secondo me il 29 assegnato dai giudici è poco. Probabilmente il mio è stato un errore di posizionamento: l’aroma molto piacevole al naso, dopo quella ciofeca della Leffe ossidata, ha fomentato un po’ troppo il mio entusiasmo. Confido anche in questo caso nella scheda che era comunque accurata e completa. Ho evidenziato anche l’amaro troppo basso, ma mi sono tenuto su un punteggio comunque troppo alto.

Quarta Birra: Sweet Stout

Voto dei giudici: 33/50. Il mio: 38/50. Scarto: +5 punti.

Su questa sono andato meglio, nonostante conosca pochissimo lo stile (che nemmeno mi piace, a dire la verità). Si trattava della Pecora Nera del birrificio Geco. Abbastanza fedele allo stile, sicuramente non brillava per intensità. C’è stata molta divisione in aula sul livello del lattosio: chi diceva che era poco, chi diceva che era troppo. Io l’ho trovato giusto. Su questa birra si sono divisi anche i giudici: uno ha dato un voto più basso, l’altro più alto. Il 33 è una media tra i due. Per il resto una birra piacevole, anche se non entusiasmante. Forse mi sono tenuto un po’ troppo largo con il voto, ma la colpa è sempre della Leffe ossidata (ah ah, scherzo!).

Quinta Birra: English Barley Wine

Voto dei giudici: 29/50. Il mio: 29/50. Scarto: +0 punti.

Quando i giudici hanno detto il voto mi sono esaltato, come se avessi vinto la lotteria. Preso dalla depressione per le discordanze sugli altri voti, mi è sembrato un miracolo. Questo barley wine era fatto in casa, lasciato maturare per tre anni se non ricordo male. Forti sapori ossidati che ricordavano molto la frutta sotto spirito, le ciliegie, per me anche le fragole. Non era male, l’alcol era ben nascosto ma era davvero troppo fruttato. Uno dei giudici ha detto che ricordava quasi una fruit beer. La mia analisi è stata sicuramente un po’ più povera di descrittori rispetto alle schede precedenti, ma iniziavo a essere stanco. Almeno stavolta il voto mi ha dato soddisfazione. Una botta di culo? 🙂

Sesta Birra: Imperial Stout

Voto dei giudici: 35/50. Il mio: 44/50. Scarto: +9 punti.

Qui, di nuovo, ho toppato. Mi sono fatto prendere dall’entusiasmo e dal fatto che la birra non presentava difetti. In effetti non era molto intensa, fortunatamente l’ho anche scritto. Poi però non so spiegarmi perché gli ho dato un voto così alto, non ricordo proprio. Si trattava di una birra fatta in casa. Non era male, intendiamoci, ma 44 è davvero troppo. Non so come mi è uscito fuori, un 40 sarebbe stato più adatto. Probabilmente ero stanco e, soprattutto, cercavo la birra super che di solito c’è sempre tra le 6 che ti danno da analizzare. In realtà era la prima, ma io l’avevo cannata per via della non perfetta aderenza allo stile. 

Per avere un’idea di come vengono valutate le schede, consiglio di leggere questo post sul blog Homebrew Academy. Qui trovate un altro post interessante che spiega ancora meglio i criteri di valutazione. Infine, consiglio di leggere anche il resoconto di Angelo Jarret del blog BereBirra che ha sostenuto l’esame insieme a me.

CONCLUSIONI

Aver scritto questo (lungo) post mi ha già rincuorato. Non è andata bene come mi aspettavo, ma forse nemmeno così male. Vedremo. Quello che è certo è che ho sottovalutato l’aspetto quantitativo durante la mia preparazione.

Del resto, per diventare un bravo giudice serve molta pratica. Ne ho fatta parecchia, ma sempre qualitativa. Mi sono allenato molto nel riconoscere i difetti, facendo tanta esperienza, soprattutto con le mie birre casalinghe.

Mi sono sforzato a compilare tante schede per far pratica con i descrittori; mi sono allenato molto con l’inglese e ho sempre cercato di compilare le schede nella maniera ottimale. Conosco bene gli stili, li ho studiati tanto, ma evidentemente non è stato sufficiente.

Mi mancava un pezzo: la padronanza nelle valutazioni numeriche. Non ho molta esperienza come giudice (anzi, molto poca direi), il che mi ha privato di quella confidenza sulla metrica di valutazione necessaria per arrivare a un voto “ragionevolmente” realistico.

Purtroppo, mi è mancato il supporto di un gruppo di studio per l’esame: il contributo di altre persone con cui potersi confrontare dopo la compilazione delle schede è essenziale. Lo è sempre, ma ancor di più per quanto riguarda la componente numerica della valutazione. Del resto eravamo tutti sparsi per l’Italia, è stato difficile anche solo sentirsi con regolarità. Un aspetto, questo, da tenere bene a mente per chi volesse prepararsi all’esame.

Per il resto, che dire. È stata un’esperienza molto formativa. È stato bello incontrare aspiranti giudici, condividere con loro la trepidazione per l’esame e i commenti post esame. Mi sono divertito. Se andrà male, amen: ci riproverò. Ora mi faccio queste altre tre ore di treno, magari mi leggo un libro che non ha nulla a che fare con la birra e mi rilasso un po’.

Aggiornamento: il 13 Luglio 2017 sono arrivati i risultati dell’esame (link).

.