I remember the day of my first BJCP Tasting Exam as if it were yesterday. What’s really stuck with me is the four-hour train journey back home after the exam was done: I spent hours mulling it over, unhappy with how it had gone.

While I had no real certainty about the qualitative and descriptive side of things, when it came to the numbers there was objectively little room for debate: mine were quite off from the proctors’, which had worried me more than a little (here is the write-up).

Yesterday, finally, after 5 months of waiting, the exam results arrived. It went well, really well: beyond anything I was expecting. In the end, the quantitative side counted for less than I thought it would. Overall, I got through it decently.

In this post I am sharing the scoresheets I filled in during the exam and the assessments I got back, going through the main points. I hope what I have written can be of some use to anyone planning to sit this exam in future. It is certainly useful for me too, to work out where I can improve.

Without repeating how the exam works – I’ve already covered that at length in a previous post –, I’ll briefly sum up the logic behind the scoring.

To pass the Tasting Exam, the one where you taste and assess 6 beers in 90 minutes, a score of 60/100 or higher is needed. If the score is lower, the exam is failed. The score is built up by assessing five aspects of the scoresheets, each carrying a relative weight of 20% of the overall score.

• Sensory perception: ability to pick out the beer’s organoleptic components (e.g. phenolic character in a weizen).
• Descriptive ability: ability to accurately describe sensory perceptions (e.g. linking the phenolic character to spices, like clove or pepper, and defining their quality and intensity).
• Scoring accuracy: ability to numerically quantify how well the beer matches BJCP standards and if thery are good or not (e.g. a beer that’s out of style can’t score higher than 29/50).
• Completeness: ability to fill in every section of the scoresheet (e.g. accurately describing all aromatic components, including the ones that are absent. Sticking with the weizen example, if there’s no phenolic character it’s important to write “no phenolic character present”, since this is a defining trait of the style).
• Feedback: being able to suggest alternative methods and approaches to improve the beer under assessment (e.g. if an English bitter has a heavy phenolic presence, suggesting the use of a more suitable yeast and a review of sanitation, since phenols can also stem from an infection).

Each of these five components is assessed for every scoresheet the candidate fills in. The assessment follows this scale:

• Master (perfect)
• National (very good)
• Certified (good)
• Recognised (sufficient)
• Apprentice (failed)

The average across the results for the six beers assessed determines the judge’s ranking. However, going beyond Recognised rank takes more than just the exam result. Moving up the ranks also requires experience points, earned by judging or by helping organise BJCP sanctioned competitions. Anyone without experience points passes the exam as Recognised, regardless of their score (if not failed, obviously).

To reach Certified rank, a score of 70/100 or higher and at least 5 experience points are needed.

To move up further, on top of a score of 80/100 or higher (National) or 90/100 (Master) and the experience points (20 for National, 40 for Master), candidates also need to sit a further written exam, which is pretty tough.

Enough chat, let’s take a look at the overall result of my exam. The parts circled in red are the important ones.

The overall score is not bad at all: 77/100 on the first attempt is considered an absolutely good result. Having earned only one experience point to date, my resulting rank is, of course, Recognized.

Let’s take a closer look at the most interesting part, the table on the lower part of the above picture.

The Recognized rank for  Scoring Accuracy  stands out immediately. This does not surprise me at all: as I have said several times already (and as I described in detail here), I did not handle the numerical scores particularly well.

It makes sense, though: a good deal of practical experience is needed to calibrate score attribution properly. Preparing for the exam together with someone else helps; unfortunately, I did not have any study partners, and it shows: out of the 6 beers I assessed, 4 came out at Apprentice level, though thankfully one reached Master level (I gave the Barleywine the exact same score as the proctors) and one reached National (the Sweet Stout, which I missed by “only” 5 points). In short, this part clearly needs work. The only way to improve: judging with other people.

Now for the good news:  Completeness  sits right between Master (the top level) and National. I confess I put a lot of effort on this part, since it is one of the areas that can be easly improved to make up for shortcomings elsewhere.

It might seem like filling in every scoresheet properly should be simple. In reality, it is less straightforward than it seems. There are a lot of beers to assess (6), and little time available (15 minutes per beer): tiredness, haste and anxiety constantly threaten clarity of mind.

Each scoresheet has many fields to fill in, and it is easier than it sounds to forget one or two. Either way, it is clearly worth focusing effort on completeness to raise the overall exam score. As an example, here is my Barleywine scoresheet, which earned a Master rating for Completeness.

Here follows the complete evaluation for the Barleywine scoresheet:

Besides having landed on the exact score (sheer luck?), I wrote a complete scoresheet, filled in across every section. The perception side also went better, which is probably down to the style: more intense beers are, for obvious reasons, easier to describe.

Back to the overall score.

 Perceptive Accuracy  received a good overall assessment: Certified level. There is still a great deal of experience to gain here too, but being already a step above base level is, I think, a good result all the same.

The two beers where I did worse were the Czech Premium Pale Lager (a Czech pilsner) and the Belgian Blonde Ale. Unfortunately there is little to discuss on this point, since the BJCP did not send us the scoresheets filled in by the proctors, against which we were assessed.

Not knowing which descriptors the proctors used, I cannot say with any precision where I went wrong. From the brief chat given in the room after the exam, I recall not having identified the diacetyl in the pilsner (not everyone had picked it up, to be fair, the intensity was low).

The Belgian Blonde Ale caused a lot of discussion: it was a Leffe left open for two weeks. Both proctors rated it as a good beer (?). This left us all a little puzzled, but these things happen. Fair enough.

Perception is not an exact science: that 1 beer out of 6 led to differing opinions seems normal enough to me. To avoid gross assessment errors, the rules allow whoever grades the scoresheets to revise the proctors’ score if it differs from most of the room’s assessments. In this case, unfortunately, that did not happen: from what I understood, several other participants assessed this beer the same way as the proctors did.

The pilsner scoresheet was the worst one I produced (curious that it was the first), so it is published below for reference.

My impression is that, on the earliest scoresheets, I overthought things, producing poor results. For instance, I penalised this pilsner because it had been presented as Czech while it seemed more German to me (very dry, sharp bitterness, thin malt base). This led me to call it out of style, giving it one point less than the maximum score for an out of style beer (29/50).

Clearly a rookie mistake, given how close the two styles are and how much they overlap in many respects. I also think I got the oxidation wrong, which was not present at all. For the record, the beer was the pilsner from the Vetra brewery. I have had it again several times since: it is excellent (although I still consider it not very Czech and more German, but these are minor details).

Here follows the complete evaluation I got for this beer:

Score is completely botched. Perceptive accuracy sufficient. I did nonetheless describe the perceptions I picked up quite well (even if they were wrong, and this matters for the perception scoring) and I filled in the scoresheet well.

I cannot understand why the feedback on this one came out as Certified, since I seem to have given it consistently with the sensory characteristics I picked up (even if some of those were wrong to begin with). Well, amen. Lesson learned: don’t overthink the beer! In other words, do not overdo the mental gymnastics over styles.

Let’s get back to the overall exam score.

 Descriptive Ability  went very well: I received a National assessment. I was right to sit the exam in English (Italian was also an option): having studied mostly from English language texts, this made my writing easier and more fluent. For this component I got National rank on every beer, even the ones assessed poorly. I dropped an “s” here and there on third person singular verb endings towards the end, but I believe they let it slide. 🙂

Lastly,  Feedback  left me a little disappointed. As a homebrewer and the author of this blog, I would have expected at least a National assessment. Instead I was rated somewhere between National and Certified.

Honestly, even rereading the individual scoresheets, I cannot quite make sense of this assessment. One example above all is the the Pilsner scoresheet: the feedback seems very good to me, I would not have known what else to suggest. I still need to think this over a little and perhaps compare notes with others. Curiously, the author of another well known blog in America, Homebrew Academy, quite similar to Brewing Bad, received an assessment on feedback that he found unsatisfactory (link).

Conclusions 

Assessing individual sensory qualities is no easy task. Organoleptic analysis is not an exact science, and it is difficult, if not impossible, to define universally valid standards against which individual exam performances can be assessed.

While initially I thought having six beers assessed one after another seemed excessive, I have since changed my mind. The larger number gives each exam a minimum degree of statistical validity, guarding against cases like the faulty Belgian Blonde in my session, where individual assessments (even from experienced judges) were wildly inconsistent with one another. In the end there are another five beers to assess, so disagreement over a single case does not affect the final score all that much.

It is also worth remembering that proctors are people too: however experienced (at least on paper), they can still make mistakes. The exam methodology as a whole seems reasonably solid and objective, within the limits of how subjective the subject itself is. After all, this is an exam for judges of homebrewing competitions, and it should be taken for what it is: its main aim is to train judges to assess home produced beers and give advice on how to improve them.

Summing up my personal experience, I can say I am very satisfied with how the exam went. An overall score of 77/100 is a good starting point. The whole experience was a solid test.

The exam itself was fairly demanding, but, all things considered, it is not extremely difficult to pass. Getting a good score, on the other hand, is harder, though the positive side is that it can be attempted again and again, aiming to improve each time. For this reason, registration is already done for next year’s session, to be held on 10 March in Monza, at the Birrificio del Carrobiolo. It will be another chance to be tested again, but also to meet new friends and share in this great adventure.

The one genuinely negative note is how slowly the scoresheets get corrected: 5 months seems really too long, even for a volunteer run organisation. This is something the BJCP should address, perhaps by streamlining the exam structure a little. Either way, there is nothing for it but to make peace with the wait, the results arrive sooner or later.

Below, my full RTP (Report To Participant, the assessment) is available, along with the scoresheets I filled in during the exam.

---

Come è andato il mio primo Tasting Exam BJCP

Ricordo il giorno dell’esame BJCP come fosse ieri. Mi è rimasto impresso particolarmente il viaggio di ritorno da Rimini a Roma, in treno: ho passato diverse ore a rimuginare, non ero contento di come era andata.

Mentre sulle componenti qualitative e descrittive non avevo certezze, sui numeri c’era obiettivamente poco da discutere: i miei si discostavano parecchio da quelli dei proctor, il che mi aveva preoccupato non poco (qui il resoconto).

Ieri, finalmente, dopo 5 mesi di attesa, sono arrivati i risultati dell’esame. È andato bene, molto bene: oltre ogni mia aspettativa. Alla fine la componente quantitativa ha influito meno di quanto pensassi. Nel complesso, me la sono cavata.

In questo post condivido le schede che ho compilato in sede d’esame e le valutazioni che ho ricevuto, discutendone i punti salienti. Spero che quanto scritto possa essere d’aiuto a chi vorrà sostenere questo esame in futuro. Sicuramente è utile al sottoscritto per capire dove poter migliorare.

Senza ripetere come funziona l’esame (ne ho parlato diffusamente in un post precedente ), riassumo brevemente le logiche alla base della valutazione. Per passare il Tasting Exam, ovvero l’esame che prevede l’assaggio e la valutazione di 6 birre in 90 minuti, bisogna ricevere un punteggio maggiore o uguale a 60/100. Se il punteggio è inferiore, l’esame non è passato. Il voto viene costruito valutando cinque aspetti degli elaborati, ciascuno con un peso relativo del 20% sul voto complessivo.

• Percezione sensoriale: l’abilità nel saper individuare le componenti organolettiche della birra sotto esame (es. riportare il carattere fenolico in una weizen).
• Abilità descrittiva: capacità di saper descrivere accuratamente le percezioni sensoriali (es. associare il carattere fenolico alle spezie, come il chiodo di garofano o il pepe, e definirne qualità e intensità).
• Accuratezza nell’attribuzione del punteggio: saper quantificare numericamente l’aderenza della birra sotto esame agli standard BJCP (es. una birra fuori stile non può ricevere un punteggio maggiore di 29/50).
• Completezza nella compilazione della scheda di valutazione: capacità di compilare la scheda in tutte le sue parti (es. descrivere accuratamente tutte le componenti aromatiche, anche quelle assenti. Sempre pensando alla weizen, in assenza di componente fenolica è importante scrivere “assenza della componente fenolica”, essendo questa una caratteristica fondamentale dello stile).
• Feedback: essere in grado di suggerire metodi e approcci alternativi per migliorare la birra oggetto di valutazione (es. nel caso di presenza massiccia di fenoli in una bitter inglese, suggerire di utilizzare un lievito adatto e di rivedere la sanitizzazione, in quanto i fenoli potrebbero originare da una infezione).

Ciascuna di queste cinque componenti viene analizzata per ogni scheda compilata dall’esaminando. La valutazione segue la seguente scala:

• Master (perfetta)
• National (molto buona)
• Certified (buona)
• Recognized (sufficiente)
• Apprentice (non sufficiente, da rivedere).

La media tra i risultati delle sei birre esaminate determinerà il ranking potenziale del giudice. Attenzione, però, perché per andare oltre il rank Recognized il solo risultato dell’esame non è sufficiente. Per salire servono punti esperienza. Questi si guadagnano facendo il giudice o aiutando nell’organizzazione di competizioni sancite dal BJCP (io, per esempio, ho all’attivo un punto esperienza come giudice nei primi round della MoBI European Competition). Chi non ha punti esperienza passa l’esame come Recognized, indipendetemente dal voto.

Per arrivare al rango Certified, bisogna aver preso un voto uguale o maggiore a 70/100 e avere almeno 5 punti esperienza.

Per salire ancora, oltre a un voto maggiore o uguale a 80/100 (National) o 90/100 (Master) e ai punti esperienza (20 per National, 40 per Master), occorre sostenere un ulteriore esame scritto piuttosto complicato.

Bando alle ciance, vediamo (e discutiamo insieme) il risultato complessivo del mio esame. Le parti cerchiate in rosso sono quelle importanti.

Il voto complessivo non è per niente male: 77 al primo tentativo lo considero assolutamente un buon risultato. Avendo guadagnato fino ad oggi un solo punto esperienza, il mio rank è ovviamente Recognized.

Analizziamo meglio la parte più interessante, ovvero la tabella in basso.

Salta subito all’occhio il rank Recognized per la  Scoring Accuracy. Questo non mi sorprende affatto: come ho detto più volte (e come ho descritto nel dettaglio qui), con i voti numerici non me la sono cavata benissimo. Del resto ci sta: serve molta esperienza pratica per arrivare a calibrare l’attribuzione dei punteggi. Prepararsi per l’esame insieme a qualcun altro aiuta; io, purtroppo, non ho avuto compagni di studio e si vede: su 6 birre valutate, 4 sono risultate a livello Apprentice, ma per fortuna una è a livello Master (al Barley Wine ho attribuito lo stesso voto dei proctor) e una National (la Sweet Stout, che ho sbagliato per “soli” 5 punti). Insomma, questa parte è decisamente da rivedere. Unico modo per recuperare: fare esperienza.

Passiamo ora alle buone notizie: la  Completeness  è a cavallo tra il livello Master (il massimo) e National. Ci vuole poco, direte voi. Sì e no. Confesso di aver puntato molto su questa componente, dato che è una di quelle che può essere gestita per compensare lacune da altre parti. Si può pensare: che ci vuole a compilare bene tutte le schede? Nella realtà è meno facile di quanto si pensi. Le birre da valutare sono tante (6), il tempo a disposizione è poco (15 minuti a birra): la stanchezza, la fretta e l’ansia minacciano continuamente la lucidità. Le voci da compilare per ogni scheda sono tante, dimenticarsene qualcuna è più facile di quanto sembri. A ogni modo, è chiaro che conviene impegnarsi su questa voce per alzare il voto finale dell’esame. Riporto come esempio la mia scheda del Barley Wine su cui ho preso Master nella Completeness.

Questa la valutazione che ho ricevuto su questa scheda:

Oltre ad aver beccato il voto esatto (botta di culo), ho scritto una scheda completa e compilata in tutte le sue parti. Anche la parte della percezione è andata meglio, il che probabilmente è da attribuirsi allo stile: le birre maggiormente intense sono per ovvie ragioni più semplici da descrivere.

La  Perceptive Accuracy  ha ricevuto una valutazione complessiva buona: livello Certifed. Anche qui c’è molta esperienza da fare ancora, ma essere già un gradino sopra al livello base lo considero comunque un buon risultato. Le due birre dove sono andato peggio sono la Czech Premium Pale Lager (ovvero una pilsner ceca) e la Belgian Blonde Ale. Purtroppo su questo aspetto c’è poco da discutere visto che il BJCP non ci ha inviato le schede compilate dai proctor, rispetto alle quali siamo stati valutati. Non potendo sapere quali descrittori hanno utilizzato i proctor, non so dire bene dove ho sbagliato. Dalla lettura che ci hanno fatto in aula post esame, ricordo di non aver identificato il diacetile nella pilsner (non tutti lo avevano percepito, a dire la varità, l’intensità era bassa).

La Belgian Blonde Ale ha fatto molto discutere: era una Leffe tenuta aperta per due settimane. I due proctor la hanno valutata come una buona birra (?). Questo ci ha lasciato un po’ perplessi, ma sono cose che capitano. Ci sta.

La percezione non è una scienza esatta: che 1 birra su 6 dia luogo a pareri discordanti mi sembra nella norma. Per evitare errori di valutazione grossolani, da regolamento chi corregge le schede può rivedere il voto dei proctor nel caso in cui sia differente dalla maggior parte delle valutazioni dell’aula. Nel nostro caso, purtroppo, non è stato così: da quello che ho capito, diversi altri partecipanti hanno valutato questa birra come i proctor, quindi il voto è rimasto quello.

La scheda della pilsner è stata la peggiore che ho fatto (curioso che fosse la prima), quindi la pubblico qui sotto per riferimento. La mia impressione è che nelle prime schede ho pensato troppo, producendo risultati scarsi. Per esempio, questa pilsner l’ho penalizzata perché era stata presentata come ceca mentre a me sembrava più tedesca (molto secca, amaro tagliente, base maltata esile). Questo mi ha portato a definirla fuori stile, attribuendole un punto in meno rispetto al voto massimo per una birra fuori stile, ovvero 29. Evidentemente una stronzata colossale, visto che i due stili sono vicini e per molti versi sovrapponibili. Credo anche di aver toppato sull’ossidazione che non era affatto presente. Per la cronaca, la birra era la pilsner del birrificio Vetra. L’ho ribevuta varie volte: è buonissima (anche se continuo a ritenerla poco ceca e più tedesca, ma sono sottigliezze).

La valutazione di questa scheda è la seguente:

Voto toppato completamente. Accuretazza percettiva sufficiente. Ho descritto comunque bene le percezioni rilevate (anche se sbagliate, e questo è importante) e ho compilato bene la scheda. Non capisco come mai il feedback sia Certified, dato che mi sembra di averlo dato coerentemente con le caratteristiche sensoriali rilevate (anche se alcune sbagliate in partenza). Vabbè, amen. Lezione da imparare: don’t overthink the beer! ovvero “non esagerare con le pippe mentali sugli stili”.

La componente  Descriptive Ability  è andata molto bene: ho ricevuto una valutazione National. Questo significa che la padronanza della materia è molto buona. Ho fatto bene a sostenere l’esame in inglese (si poteva fare anche in italiano): avendo studiato per la maggior parte su testi inglesi, mi ha reso più semplice e fluida la scrittura. Per questa componente ho preso il rank di National su tutte le birre, anche quelle valutate male. Ho saltato qualche esse qui e là sul finale dei verbi in terza persona singolare, ma credo se ne siano fatti una ragione. 🙂

Infine, la componente  Feedback  mi ha lasciato un po’ deluso. Da homebrewer e autore di questo blog, mi sarei aspettato quantomeno una valutazione National. E invece sono stato valutato a cavallo tra National e Certified. Sinceramente, anche rileggendo le singole schede, non riesco a comprendere bene questa valutazione. Un esempio su tutti è la scheda che ho pubblicato sopra, quella della Pilsner: a me il feedback sembra molto buono, non avrei saputo cosa altro consigliare. Su questo aspetto devo ancora riflettere un po’ e magari confrontarmi con gli altri. Curioso come l’autore di un altro blog molto conosciuto in america, Homebrew Academy, molto simile a Brewing Bad, abbia ricevuto una valutazione per lui non soddisfacente sul feedback (link).

CONCLUSIONI 

Valutare le qualità sensoriali dei singoli individui non è impresa facile. L’analisi organolettica non è una scienza esatta ed è difficile, se non impossibile, definire degli standard validi universalmente rispetto ai quali valutare le singole prove d’esame.

Se inizialmente pensavo che far valutare 6 birre una dietro l’altra fosse eccessivo, alla fine mi sono ricreduto. La numerosità garantisce un minimo di valenza statistica a ogni esame, mettendo al riparo da casi come quello delle Belgian Blonde difettata nella mia sessione, dove le valutazioni dei singoli individui (anche di quelli esperti) sono state estremamente discordanti tra loro. Alla fine ci sono altre 5 birre da valutare, la discordanza su un singolo caso non pregiudica più di tanto il voto finale.

Bisogna ricordare infine che anche i proctor sono persone: seppur esperte (almeno sulla carta), possono sempre commettere degli errori. La metodologia d’esame nel complesso mi pare abbastanza solida e oggettiva, nei limiti della soggettività della materia. Del resto, si tratta di un esame per giudici di concorsi per homebrewers che va preso per quello che è: il suo obiettivo principale è formare giudici per valutare birre prodotte in casa e dare consigli su come migliorarle.

Tirando le somme sulla mia personale esperienza, posso affermare che sono molto soddisfatto dall’esito dell’esame. La valutazione complessiva di 77/100 è un buon punto di partenza. L’esperienza complessiva è stata un buon banco di prova. L’organizzazione MoBI è stata ottima: abbiamo fatto gruppo e tutto è filato per il verso giusto.

L’esame in se’ è stato abbastanza impegnativo, ma devo dire che tutto sommato non è difficilissimo da superare. Più difficile è ottenere un buon punteggio, invece, ma l’aspetto positivo è che si può provare all’infinito cercando di migliorarsi ogni volta. Per questa ragione mi sono già prenotato per la sessione del prossimo anno che si terrà il 10 marzo a Monza, presso il birrificio del Carrobiolo. Sarà un’occasione per mettersi di nuovo alla prova ma anche per incontrare nuovi amici e vivere insieme questa bella avventura.

L’unica nota veramente negativa è la lentezza con cui vengono corretti gli elaborati: 5 mesi mi sembrano davvero troppi, anche per un’organizzazione di volontari. Su questo aspetto il BJCP dovrebbe fare qualcosa, magari snellendo un po’ la struttura dell’esame. A ogni modo basta mettersi l’anima in pace, prima o poi i risultati arrivano.

In un prossimo post cercherò di mettere insieme alcuni consigli pratici per chi volesse sostenere l’esame in futuro, indicando anche alcune fonti per prepararsi a dovere (link).

Qui sotto metto a disposizione il mio RTP completo (Report To Partecipant, ovvero la valutazione) e le schede che ho compilato in sede d’esame.