Grading BJCP exams (the Tasting Exam in particular) has always been the bottleneck of the certification process, the step where everything seems to stall and frustrations mount. It’s a serious undertaking that relies almost entirely on the goodwill of judges who volunteer their time as graders.
Each exam session can host up to 12 candidates plus 2–3 proctors. Every candidate fills in a detailed scoresheet (by hand) for each of the six beers. That means graders end up reading, analysing, comparing and scoring somewhere between 70 and 90 scoresheets per set. No picnic.
I’ve been grading for over two years now. I find it genuinely rewarding, a continuous source of learning (and yes, occasionally of creative swearing at what I find on some scoresheets, but that’s learning too). I wrote about why I think grading is such a valuable experience in a previous post, and I’d encourage any eligible judge to give it a go.
Today I’d like to shed some light on how the grading process works, in an attempt to better explain the timelines and roles involved. The documents describing the process in detail are easily available on the BJCP website, so I won’t be saying anything new. However, they are lengthy and difficult to read, so a summary may be useful.
These documents are also partially outdated: in my years of hands-on grading experience, I’ve found that some timelines and activities no longer reflect how things actually work. What I will write below therefore differs, in some minor respects, from what is reported in the officially published documents. I do feel confident saying, however, that it more closely reflects the current reality of things.
The key roles
There are essentially three key figures involved in the grading process: the Graders, the Associate Exam Director (AD), and the Exam Director (ED). There is also the Assistant Exam Director (AED), who handles the more operational tasks, such as the initial entry of exam data into the BJCP database.
Grader
Graders are BJCP judges who grade exams. Any judge at the National level or above can apply to become a grader (here I explain how). The grading process is fairly complex; describing it in detail is not the goal of this post. Let us, however, look at the key steps that have an impact on grading timelines.
Each exam is gradaed by two BJCP judges: a Grader and a Lead Grader. The latter is an experienced grader who has demonstrated outstanding communication, organizational, and mentorship skills in managing the grading process. Advancing to this role involves a structured path that includes hands-on grading and a consistent track record of excellence in both evaluation and supporting peers.
Both graders fill out the EGF (Exam Grading Form) Excel file, which collects and compares the detailed evaluations of the two Graders.
At the end of the grading process, once the file has been filled in, the graders discuss the score to assign to each candidate: this could simply be the average of their individual scores, or it may need further discussion to reach a shared consensus score if the two scores differ significantly. The EGF automatically highlights the areas where the two graders’ scores diverge by 3 or more points (on a scale from 0 to 20, 20 being Master-level).
Associate Exam Director (AD)
The AD coordinates the graders, offers support where needed, and reviews the grading once it’s complete. They can validate the scores or suggest adjustments, with particular attention to exams sitting right on the boundary between rank thresholds.
Exam Director (ED)
The ED is the highest-level figure in the chain. There are currently six EDs, led by Managing Director Greg Toothaker. EDs assign exam sets to graders, perform the final review, close out each session, and have the final word on every candidate’s score.
The timeline
The timelines associated with the various stages of the grading process are clearly defined in the documentation published on the BJCP website. Here are the main steps.
Initial Scoring (2 weeks)
The official document states that the AD carries out a preliminary review of the exams before they are assigned to graders. I’m not sure whether this step is still in use (I don’t think it is).
Either way, the grading timelines I work out in this post start from the moment the set is assigned to graders. Before that point, timelines can vary: one or two weeks in the best cases, noticeably longer if, for example, no graders are available.
Grading (4 to 6 weeks)
The two graders work independently through the full set, comparing notes only at the end. If one of them is grading for the first time, there may be a mid-process check-in to align on evaluation criteria. Four weeks is the standard, and while I’ve occasionally wrapped up in three, you generally need the full allocation. In case of unexpected issues, the Lead Grader can request up to two extra weeks, but that should remain an exception, not the norm.
According to the manual, once the two graders reach consensus, the Lead Grader has another two weeks to write up the Reports to Participants (RTPs), the individual feedback documents sent to candidates along with their final scores. Since I’ve never been asked to write an RTP, I suspect this step has been phased out in practice. The RTPs are likely filled in by the ED.
Associate Exam Director Review (3 weeks)
The Lead Grader sends the completed EGF to the AD, who has three weeks to review it and provide feedback. The AD can approve the scores or propose changes. Particular attention goes to borderline cases, meaning exams hovering near rank thresholds. For example, if a candidate’s average lands at 79, there’s a discussion about whether to round up to 80 or pull back to 78, since a final score of 79 is unusual. If the Lead Grader and the AD can’t agree, it goes to the ED.
Exam Director Final Review (2 weeks)
The ED receives the EGF with the graders’ and AD’s proposed scores, along with any notes on points of contention. The ED has two weeks to complete the final review and officially close the session. After that, scores become visible to candidates in the Bravo platform, and graders receive their experience points and GMSR (Grand Master Service Requirements) credits.
Adding up the estimated times for each individual phase, we reach a minimum total of 9 weeks (based on the standard breakdown of 4 weeks for grading + 3 for AD + 2 for ED). On top of that, at least two weeks pass before the exam is even assigned, sometimes longer if no graders are available.
As a result, the standard time required to complete the entire grading process overall sits between three and four months.
Where things could slow down
The first and most common bottleneck is graders availability. It’s not enough to find two willing judges: you need the specific combination of a Lead Grader and a Grader, and both need to be available at the same time. Availability is managed through an online form.
When I started grading, over two years ago, there was a significant backlog. Complaints about waiting times were common and loud. I remember being assigned sets from exams taken several months earlier, a clear sign of structural strain in the system. Thankfully, things have improved considerably. The last set I graded was assigned to me in late March for an exam that had been taken that same month. That’s a big step forward.
Delays can also occur at the AD and ED stages, though in my experience those phases tend to stay pretty close to schedule. Add to this the optional two-week extension for graders, and timelines can stretch further.
A less obvious but significant factor is translation. To grade exams in their original language, everyone in the grading chain needs to speak that language, a setup currently supported only for English and Spanish (I reckon). All other exams need to be translated (usually into English) by bilingual BJCP judges. AI-assisted translation is being explored, but a qualified human review is always required. If even a single exam in a set needs translation, the entire set goes on hold until that translation is done. There’s no formal deadline for translations, but they typically add at least a couple of extra weeks.
Ultimately, grading BJCP exams is a complex process that requires time, expertise, and coordination across multiple roles. Three to four months may seem like a long time, but given the workload and the fact that the whole process runs on volunteering, it’s hard to ask for much less.
The whole system depends on the availability of volunteers. So, if you hold a National rank or above, step up and get involved!
Come vengono corretti gli esami BJCP: ruoli, tempistiche e colli di bottiglia
La correzione degli esami BJCP, soprattutto del Tasting Exam, è da sempre un punto critico nel processo di certificazione. Si tratta di un’attività piuttosto impegnativa e complicata che poggia sulla buona volontà dei giudici che si offrono come grader, ovvero come correttori degli esami.
Ogni esame può accogliere fino a 12 partecipanti oltre a 2-3 proctor, ciascuno dei quali compila una scheda dettagliata (a mano) per ognuna delle sei birre oggetto di esame. I grader devono leggere, analizzare, confrontare e correggere ogni volta tra le 70 e le 90 schede. Un’impresa non facile che richiede i suoi tempi.
Da più di due anni faccio il grader, attività che trovo molto stimolante e che è per me fonte di apprendimento continuo (anche fonte di imprecazioni, spesso, a causa di quello che trovo scritto sulle schede, ma anche questo è apprendimento). In un post di qualche tempo fa ho raccontato perché, secondo me, fare il grader è un’esperienza preziosa che consiglio di fare.
Oggi vorrei provare a chiarire come funziona l’attività di correzione, cercando di far capire meglio quali sono tempi e ruoli. I documenti che descrivono il processo sono facilmente reperibili dal sito del BJCP, quindi non dirò niente di nuovo. Sono però documenti lunghi e difficili da leggere, una sintesi può essere utile.
Si tratta anche di documenti datati: da quello che ho potuto verificare nella pratica alcune tempistiche e attività non sono più attuali. Quello che scriverò nel seguito è quindi diverso, per alcuni aspetti minoritari, a quanto riportato nei documenti ufficiali pubblicati. Mi sento però di dire che è più vicino alla realtà attuale delle cose.
Le principali figure coinvolte nel processo di correzione
Sono sostanzialmente tre le figure coinvolte nel processo di correzione: i Grader, l’Associate Exam Director (AD) e l’Exam Director (ED). Esiste anche la figura dell’Assistant Exam Director (AED) che si occupa delle attività più operative come ad esempio l’inserimento iniziale dei dati degli esami nel database BJCP.
Graders
I graders sono giudici BJCP che correggono gli esami. Può proporsi come grader qualsiasi giudice dal livello National in su (qui spiego come). Il processo di correzione è abbastanza complesso, non è obiettivo di questo post descriverlo nel dettaglio. Vediamo però quali sono i passaggi fondamentali che hanno impatto sulle tempistiche di correzione.
Ogni esame viene valutato da due figure: un Grader e un Lead Grader. Quest’ultimo è un grader esperto che ha dimostrato spiccate capacità comunicative, organizzative e di mentorship nella gestione delle correzioni. Per accedere a questo ruolo si segue un percorso che prevede pratica sul campo e una costante eccellenza nella correzione e nel supporto ai colleghi.
Entrambi i grader compilano il file excel EGF (Exam Grading Form) che raccoglie e confronta nel dettaglio le valutazioni dei due Grader.
Alla fine della correzione, una volta compilato il file, i grader si confrontano per valutare il voto da assegnare a ciascun candidato: questo potrebbe essere banalmente la media dei loro voti, o meritare un ulteriore approfondimento per arrivare a un voto di consensus condiviso nel caso i due voti si discostino molto. L’EGF evidenzia in automatico gli ambiti dove i voti dei due grader si discostano di 3 o più punti (nella scala che va da 0 a 20, dove 20 corrisponde al livello Master).
Associate Exam Director (AD)
Coordina le attività dei grader, offrendo supporto dove necessario. Si occupa della revisione della correzione effettuata dai grader, proponendo variazioni ai voti assegnati ove ritenuto opportuno.
Exam Director (ED)
È la figura di livello più alto nell’Exam Directorate. Al momento della stesura di questo articolo, gli ED sono 6, guidati da Greg Toothaker, che è il Managing Director. Gli Exam Director assegnano gli esami ai grader. L’ED effettua l’ultima revisione dell’esame, chiude la correzione e ha la parola finale sui voti assegnati ai candidati.
Tempistiche
Le tempistiche associate alle varie fasi della correzione sono ben definite all’interno della documentazione pubblicata sul sito del BJCP. Questi i passaggi principali.
Initial Scoring (2 settimane)
Il documento ufficiale prevede che l’AD effettui una valutazione preliminare degli esami prima che questi vengano assegnati ai grader. Non mi è chiaro se questo passaggio sia tuttora in uso (credo di no).
In ogni caso, i tempi di correzione che calcolo in questo post partono dal momento in cui il set viene assegnato ai grader. Prima di questo momento, le tempistiche possono variare: una o due settimane nei casi migliori, sensibilmente di più se, ad esempio, non ci sono grader disponibili.
Grading (4-6 settimane)
Una volta ricevuto il materiale, i due Grader procedono alla correzione del set di esami in totale autonomia, confrontandosi solo al termine del processo. Se uno dei valutatori è alla sua prima esperienza, può essere previsto un passaggio intermedio di allineamento per condividere e validare i principali criteri di valutazione adottati.
La correzione è un’attività decisamente impegnativa, per la quale le quattro settimane standard si rivelano necessarie, anche se in alcune occasioni siamo riusciti a concluderla in tre. In presenza di imprevisti, il Lead Grader può richiedere una proroga fino a un massimo di due settimane, che dovrebbe comunque rimanere un’eccezione.
Secondo il manuale, una volta raggiunto il consenso tra i correttori, il Lead Grader ha a disposizione altre due settimane per compilare i Report to Participants (RTP), ovvero le schede di valutazione che vengono inviate ai candidati insieme al voto finale. Poiché non mi è mai stato richiesto di redigere un RTP, ritengo che questo passaggio sia ormai superato. Probabilmente le RTP vengono compilate dall’ED.
In totale, quindi, la correzione dei Grader richiede dalle 4 alle 6 settimane.
Associate Exam Director Review (3 settimane)
A questo punto, il Lead Grader invia l’EGF all’AD, il quale ha tre settimane di tempo per esaminarlo e fornire il proprio feedback ai Grader. L’AD può convalidare i punteggi o proporre delle modifiche; oggetto di particolare approfondimento sono gli esami che si collocano al limite tra i diversi rank, ovvero quelli con votazioni prossime alle soglie di passaggio.
Per esempio, se un esame si attesta su una media matematica di 79, si valuta se portarlo a 80 o se mantenerlo a 78: è infatti insolito che venga assegnato un punteggio finale di 79/100. In questa fase possono emergere divergenze d’opinione tra il Lead Grader e l’AD; qualora non si riesca a raggiungere un accordo, la decisione finale viene rimessa all’Exam Director (ED).
Exam Director final review (2 settimane)
Successivamente, l’ED riceve dall’AD il file EGF contenente le valutazioni proposte dai Grader e dall’AD, corredato da eventuali note in caso di divergenze significative o punti di attenzione. L’ED ha a disposizione due settimane per revisionare l’esame e decretare i voti finali, dopodiché la sessione viene ufficialmente chiusa.
A questo punto, i voti diventano visibili sulla piattaforma Bravo per i candidati. Ai giudici che hanno partecipato alla correzione vengono accreditati i punti esperienza e i relativi punti GMSR (Grand Master Service Requirements).
Sommando i tempi previsti per le singole fasi, si arriva a un totale minimo di 9 settimane (calcolate sullo schema standard di 4 settimane di grading + 3 di AD + 2 di ED). A questi si aggiungono almeno due settimane prima che l’esame venga assegnato, a volte qualcosa in più se non ci sono grader disponibili.
Di conseguenza, il tempo standard necessario per completare l’intero processo di correzione si attesta complessivamente tra i tre e i quattro mesi.
Dove e perché i tempi possono allungarsi
Il primo collo di bottiglia per le tempistiche è legato alla disponibilità delle figure coinvolte, in particolare dei grader, sui quali grava la parte più analitica del lavoro. Non basta infatti trovare due grader, è necessaria la combinazione specifica di un Lead grader e di un Grader; tale disponibilità viene comunicata dai grader tramite la compilazione di un apposito modulo online.
Quando ho iniziato l’attività di correzione, oltre due anni fa, si erano accumulati ritardi consistenti. In quel periodo le proteste a livello globale per i tempi di attesa biblici erano frequenti. Ricordo che mi vennero assegnati come grader set di esami sostenuti svariati mesi prima, a testimonianza di una seria criticità strutturale nel sistema.
Fortunatamente, nel corso dei mesi questa situazione si è normalizzata. L’ultimo set che ho valutato mi è stato assegnato a fine marzo per un esame sostenuto nello stesso mese. Direi ottimo.
Eventuali ritardi possono verificarsi nelle altre fasi dell’iter. Può accadere, ad esempio, che l’ED o l’AD siano sovraccarichi e dilatino leggermente i tempi per fornire i rispettivi feedback. Per gli esami che ho corretto, le scadenze di AD ed ED vengono solitamente rispettate. A questo si aggiunge la possibilità che i grader richiedano, per qualche imprevisto, la proroga di due settimane, estendendo di conseguenza la durata della correzione.
Un altro fattore che incide sensibilmente sulle tempistiche è legato alla traduzione degli esami. Per correggere gli esami in lingua originale, è necessario che l’intera catena di correzione parli quella stessa lingua, un’opzione che al momento mi risulta attiva solo per l’inglese e lo spagnolo. Di conseguenza, gli esami scritti in qualsiasi altra lingua devono essere tradotti, solitamente in inglese, da giudici BJCP che conoscono bene entrambe le lingue.
Si stanno sperimentando traduzioni basate sull’Intelligenza Artificiale, ma è sempre imprescindibile la revisione finale da parte di un giudice esperto che conosca bene la lingua di partenza e l’inglese. In questo contesto, basta che un solo esame del set richieda una traduzione per mettere in stand-by l’intero blocco fino al completamento della traduzione. Non mi pare esistano tempi standard per le traduzioni, ma sicuramente aggiungono almeno un paio di settimane all’iter di correzione.
In definitiva, la correzione degli esami BJCP è un processo complesso che richiede tempo, competenza e coordinamento tra più figure. Tre o quattro mesi possono sembrare tanti, ma considerata la mole di lavoro coinvolta e il fatto che si regge interamente sul volontariato, è un risultato tutt’altro che scontato.
Tutto il processo, in ultima analisi, si basa sulla disponibilità dei grader. Quindi, cari giudici con rango National o superiore, fatevi avanti e proponetevi!
