Proefpanel samenstelling

Hier kun je proefnotities plaatsen, een cijfer (score) geven en vergelijken met proefervaringen van anderen. De notities zijn gecategoriseerd naar afkomst. Onderwerpen m.b.t. organoleptische eigenschappen vallen hier ook onder.
Gebruikersavatar
Piet
Moderator
Moderator
Berichten: 8294
Lid geworden op: 31 Jul 2009, 00:51
Locatie: Vught

Proefpanel samenstelling

Ongelezen berichtdoor Piet » 19 Apr 2012, 21:46

HWF VBT-1 #2 legt een interessant fenomeen bloot. Namelijk dat het begrip of de verzamelnaam "whisky" voor een aantal zaken té breed en té algemeen is om bruikbaar te zijn.

Ondanks alle voorzorgsmaatregelen en een goed bedoelde instelling blijft proeven een subjectieve bezigheid.
Het scoren en zo "objectief" (zie later) mogelijk beoordelen van een whisky is wel degelijk gebonden aan persoonlijke smaak. Hoewel ik zelf ook de ene whisky, maar ook whisky-soort, lekkerder vind dan de ander, ben ik er nog geen tegengekomen die ik vies vind en probeer ik altijd een objectieve score te geven, ook al is een whisky "niet mijn ding" ( Nut en interpretatie van Whisky scores ).

De Kentucky Bourbon Vintage Small Batch van Kentucky Bourbon Distillers, Ltd. uit HWF VBT-1 #2 toont aan dat niet elke whisky-liefhebber aan elk (whisky)panel deel kan nemen. Althans indien het gaat om een proefpanel ter "objectieve" beoordeling van de kwaliteit van een whisky.
In contests en zaken als Whisky lintjes, medailles, awards en bijbels, wil je zo min mogelijk risico nemen. Dat doe je door een team van proevers aan te stellen ter beoordeling van de kwaliteit. Ook dan kunnen proevers zich vergissen maar de kans dat ze zich allemaal vergissen, en op dezelfde manier, is aanmerkelijk kleiner.
Meerdere beoordelingen door een panel van één whisky zullen dan ook meer op elkaar lijken dan bij individuele proevers. Maar, er is een groot voorbehoud. En dat is dat alle panelleden hetgeen te beoordelen indien dat van goede kwaliteit is, lekker vinden en ook als zodanig waarderen.

Whisky wordt vaak dus té veel in algemene termen benaderd. Voor een dergelijke situatie als deze dienen we wel degelijk een onderscheid te maken tussen Bourbons en Malts. En wellicht evenzo tussen Blends en Malts en wellicht zelfs Islay. Als de laatstgenoemde onderdeel uit maken van een tasting van b.v. alleen malts, dan nog kun je je niet permitteren dat in het proefpanel personen zitten die zwaar geturfd vies vinden.

De kwaliteit van een proefpanel is direct gerelateerd aan de mate waarin panelleden een gelijkluidend oordeel vellen. Hierbij kan de homogeniteit worden uitgedrukt als de standaarddeviatie.

Als voorbeeld nemen we de scores van HWF VBT-1 #2 met en zonder de grootste negatieve uitschieters (afgerond naar de bovenmarges).
Algemeen panel: A: 56, 56; 75, 80, 80, 7 x 85. Gemiddelde score = 942/12 = 78,5
Alleen liefhebbers: B: 75, 80, 80, 7 x 85. Gemiddelde score = 830/10 = 83

Eigenlijk hadden de twee 56-scorers veel lager willen scoren.
Als we die niet mee rekenen komen we zelfs op 830/12=69,2.

Niet alleen is de gemiddelde score van de liefhebbers aanzienlijk hoger ook is de marge aanmerkelijk smaller met een variatiebreedte van 10 bij B tegenover 29 (of meer) bij A.
Omdat de variatiebreedte alleen betrekking heeft op de twee uiterste waarden wordt de standaarddeviatie meestal als spreidingsmaat gebruikt.
Mocht je e.e.a. verder uit willen werken dan staat hier de volledige formule: Wiswijzer standaarddeviatie.
Afbeelding

Voor mij staat vast dat als het gaat om een kwaliteitsoordeel, een proefpanel moet zijn samengesteld uit personen die de te proeven waar kunnen waarderen wanneer die werkelijk van goede kwaliteit is. Want ook het begrip "van goede kwaliteit" staat anders voortdurend ter discussie. En het gaat bij een warentest per slot om het keuren van de waar en minder om het keuren van de keurmeesters.

Overigens is de standaarddeviatie ook te bepalen voor onderdelen van een beoordeling, bijvoorbeeld als een score van 100 is opgebouwd uit 4 delen van 25. Dan zou kunnen dat juist op één specifiek onderdeel er grote overeenkomsten of juist afwijkingen zijn tussen de proevers.

PS: Opletten welk magazine dit als eerste zal publiceren! Hoewel deze opmerking daar wel weer invloed op kan hebben.
0 x
Piet, voor whisky-intimi Peat in de Zen-tuin.

Gebruikersavatar
Matti
Moderator
Moderator
Berichten: 4405
Lid geworden op: 25 Okt 2011, 23:00
Locatie: Zutphen

Re: Proefpanel samenstelling

Ongelezen berichtdoor Matti » 19 Apr 2012, 22:35

Een duidelijk betoog, maar ik wil toch een kleine kanttekening plaatsen:

Dit gaat alleen op als inderdaad het doel is een objectief oordeel te vellen over de whisky in kwestie (als dit het doel is, kan ik volledig mee met bovenstaande redenering). Ik denk dat de Virtual Blind Tasting hier een slecht voorbeeld van is omdat het nu juist een laagdrempelig en non-elitair geheel is waar het niet gaat om het precies proeven van alle nuances maar juist om wat iedereen (ervaren of niet, liefhebber van een bepaalde stijl of niet) eruit kan halen.

Het is wat mij betreft binnen een dergelijke laagdrempelige context veel interessanter uit te vinden waarom iemand een 35 (of juist een 95) geeft terwijl het gemiddelde op 80 ligt dan te zien dat iedereen binnen een marge van 3 punten scoort.
0 x
Matthijs, whiskynerd.

Blogt zo af en toe via The Lyne Arm

Gebruikersavatar
Piet
Moderator
Moderator
Berichten: 8294
Lid geworden op: 31 Jul 2009, 00:51
Locatie: Vught

Re: Proefpanel samenstelling

Ongelezen berichtdoor Piet » 20 Apr 2012, 00:13

Matti schreef:Een duidelijk betoog, maar ik wil toch een kleine kanttekening plaatsen:
Dit gaat alleen op als inderdaad het doel is een objectief oordeel te vellen over de whisky in kwestie (als dit het doel is, kan ik volledig mee met bovenstaande redenering).

Dit is ook absoluut de kern van mijn betoog. Wat heet kanttekening ? Een kwaliteitsoordeel was mijn uitgangspunt (maal 2 !).

De VBT "uitslag" voor de #2 Bourbon was puur en alleen de trigger voor dit relaas.
Hier gaat hier bij de VBT's zeker niet om een objectief kwaliteitsoordeel maar om de persoonlijke meningen, ervaringen en beschrijvingen.
Sterker nog mijn betoog is er juist op gericht duidelijk te maken dat door het bonte proefpanelgezelschap, het geven van een algeheel kwaliteitsoordeel eigenlijk onmogelijk is.
Wat we nu zien met Bourbon zou ook kunnen gebeuren met een blend of een uitgesproken Islay :hoedaf
Matti schreef:...Het is wat mij betreft binnen een dergelijke laagdrempelige context veel interessanter uit te vinden waarom iemand een 35 (of juist een 95) geeft terwijl het gemiddelde op 80 ligt dan te zien dat iedereen binnen een marge van 3 punten scoort.

Daarover zou ik inderdaad ook nog wel meer willen horen !
0 x
Piet, voor whisky-intimi Peat in de Zen-tuin.

Gebruikersavatar
totalatool
Forum goeroe
Forum goeroe
Berichten: 2444
Lid geworden op: 08 Jun 2011, 13:59

Re: Proefpanel samenstelling

Ongelezen berichtdoor totalatool » 20 Apr 2012, 09:36

Piet, volgens mij wil je iets dat onmogelijk is. Kwaliteit van whisky objectief beoordelen kan volgens mij gewoon niet.
0 x
Afbeelding

Gebruikersavatar
Piet
Moderator
Moderator
Berichten: 8294
Lid geworden op: 31 Jul 2009, 00:51
Locatie: Vught

Re: Proefpanel samenstelling

Ongelezen berichtdoor Piet » 20 Apr 2012, 10:21

totalatool schreef:Piet, volgens mij wil je iets dat onmogelijk is. Kwaliteit van whisky objectief beoordelen kan volgens mij gewoon niet.

Tsja, dat hoor ik hier steeds weer. Voor mij geen reden mijn betoog hierover te staken 8-)

Dat is ook niet waar het mij om gaat, sec "objectief" maar wel om "zo objectief mogelijk". In sommige gevallen wil je een zo objectief mogelijk kwaliteitsoordeel geven. Dat zou ook het geval moeten zijn in al die contests, comités, awards, en what-have-you. Dat wordt wereldwijd met van alles en nog wat gedaan met allerhande voedingswaren, door producenten, consumenten en wetenschappers, en daarover bestaat ook een wetenschap (het begin lees je hieronder). Alleen in Nederland en België lijkt dat met whisky opeens onmogelijk (zie de vele discussies in de betreffende onderwerpen).

Dan hebben we het nog niet eens gehad over de signaalsterkte van een panel en de signaalsterkte en kwaliteit van de afzonderlijke proefpanelleden.
In b.v. Frankrijk is men daar vrij serieus mee bezig als er Wijnen beoordeeld worden om de jaarlijks Gouden medailles te krijgen. Dat is zeker geen sinecure en behoorlijk objectief. In elk geval zo objectief dat er zelden aan het oordeel van een Jury wordt getwijfeld.

Dit voorbeeld maakt juist mijn punt duidelijk. Stel dat alleen Johan en, was het René (?) deze nummer-2 beoordeelden, of in elk geval de meerderheid of een substantieel deel van een proefpanel uitmaken. Dan blijven we achter met het idee van een smerig drankje. Dat terwijl de Bourbon liefhebbers, en de mensen die er niet vies van zijn, het gemiddeld genomen een prima Bourbon vinden.
0 x
Piet, voor whisky-intimi Peat in de Zen-tuin.

Gebruikersavatar
Yapi
Forum goeroe
Forum goeroe
Berichten: 3246
Lid geworden op: 03 Feb 2012, 22:50

Re: Proefpanel samenstelling

Ongelezen berichtdoor Yapi » 20 Apr 2012, 11:38

wel, inderdaad, objectief, dat zijn we nu eenmaal nooit! Maar zo objectief mogelijk moet wel kunnen. Maar dat komt inderdaad neer op zo goed mogelijk afspraken maken, zorgen dat iedereen zonder uitzondering de zelfde scoremethodiek hanteert, en liefst inderdaad opsplitsen. Al zou ik aan bv smaak nog steeds meer waarde geven dan 1/4 van je score.

Ik heb dat bij sample II geprobeerd, echt mijn ding niet door de munt, dus kan hij bij mij gewoon niet boven de 80 punten komen (vanaf dat getal is een whisky bij mij "aan te raden"), dus dit is het niet objectieve element, en tegelijk heb ik hem 74 punten gegeven, op basis van andere kwaliteiten, aanwezig, maar voor mij vergald door de smaakervaring. Dit zou je dan het objectieve gegeven kunnen noemen. Normaliter zou ik hem ergens in de 60 gescoord hebben, puur subjectief dan.

Maar het is een zeer interessant onderwerp. Ik zou zelf persoonlijk prefereren voor een mix van proefpanel met duidelijke afspraken. Zo heb ik bijvoorbeeld enorm veel gehad aan de korte review van Robert Karlsson in de MM monitor van de Glenfarclas 15. Krijgt algemeen een hoge score, maar in zijn subjectiviteit geeft Robert hem een 79 omdat er voor hem teveel sulfer in zit. Dus met pure objectiviteit was ik hier weinig, omdat ik dan misschien niet een verklaring had gehad waarom ik hem niet 80 waardig vond...

maar zeer interessant, je kunt er blijven over doorbomen! Best met een goed glas whisky :Slainte
0 x
Afbeelding


Terug naar “Proefnotities, "Tasting notes" en organoleptische onderwerpen”

Wie is er online

Gebruikers op dit forum: Geen geregistreerde gebruikers en 1 gast