Deze nieuwe instrumenten hadden tot doel de beoordelingsprocedure transparanter en inzichtelijker te maken, zodat de kwaliteit van de beoordeling gewaarborgd is. Over de ontwikkeling hebben we een paper geschreven dat op de 14th International Conference on Engineering and Design Education bekroond werd met de ‘Best Paper Award’.
Voor het eindexamen van de opleiding Communication & Multimedia Design (cmd) voeren studenten een project uit waarmee zij demonstreren dat ze voldoen aan de eindtermen zoals die gesteld worden vanuit de opleiding. Dit project bestaat uit twee onderdelen, namelijk een scriptie en een ontwerpproject. Voor hun afstudeeronderzoek realiseren studenten bij een bedrijf een ontwerp, dat het probleem oplost dat centraal staat in hun onderzoeksvraag. Gedurende vijf maanden werken studenten aan dit onderzoek en aan hun ontwerp. Deze periode wordt afgesloten met een eindpresentatie waarin de studenten hun scriptie en ontwerp toelichten voor een panel van afstudeerbegeleiders en extern gecommitteerden. Dit panel gaat hierna in overleg om vast te stellen of de student geslaagd is en zo ja, met welk resultaat. Veel van de kennis van de beoordelaars is moeilijk te verwoorden en is gebaseerd op intuïtie, de zogenaamde ‘tacit knowledge’. Hierdoor zijn examinatoren met een achtergrond als ontwerper uitstekend in staat het werk van een student te beoordelen, maar zij gaan daarbij af op hun ‘onderbuikgevoel’ en kunnen de motivatie voor hun beoordeling moeilijk expliciet maken. De recente ontwikkelingen in het Nederlandse hbo ten aanzien van kwaliteitswaarborging, maakten het noodzakelijk dat er een transparantere beoordelingsprocedure ontworpen werd voor de eindexamenbeoordeling van de opleiding Communication & Multimedia Design.
Wij zagen de noodzaak van een nieuwe beoordelingsprocedure, waarbij docenten aangemoedigd worden om hun beoordeling expliciet te maken, en het eindcijfer van de beoordeling op een transparante wijze tot stand komt. Hiertoe hebben we de beoordelingsinstrumenten herontworpen. De nieuwe instrumenten, bestaande uit een vragenlijst, beoordelingsformulier, rekenhulp en handleiding, maken de nieuwe beoordelingsprocedure mogelijk. Bij de procedure zijn de beoordeling en de vaststelling van het eindcijfer van elkaar losgekoppeld; de docenten wordt gevraagd hun beoordeling te verantwoorden op basis van de criteria die gesteld zijn aan het afstudeerproject van de opleiding cmd. De nieuwe instrumenten hebben we getest door eerder uitgevoerde projecten opnieuw te beoordelen, waarbij de aandacht specifiek gericht was op het vaststellen dat de nieuwe methode de beoogde resultaten opleverde. Na het toepassen van het instrument tijdens de examens van 2011, hebben we de uitkomsten zowel kwalitatief als kwantitatief geanalyseerd. Deze analyses toonden aan dat de nieuwe gestructureerde beoordelingsinstrumenten twee doelen dienen: ze verbeteren de mogelijkheden om een eindexamenwerk holistisch te beoordelen, en daarnaast verbeteren ze de discussie tussen de leden van het beoordelend comité.
Over de totstandkoming van dit nieuwe toetsinstrument, de inzichten die we ermee hebben opgedaan en de mogelijkheden die het biedt voor een kwalitatieve en kwantitatieve evaluatie van de examenresultaten, hebben we een paper geschreven getiteld ‘From Gut Feeling to a Summative Assessment of Design Competencies’, die we ingezonden hebben naar de 14th International Conference on Engineering and Design Education (epde12). De paper werd positief ontvangen en op 6 september 2012 gaven we voor een internationaal publiek van ontwerponderwijzers en -onderzoekers een presentatie over deze paper. Tijdens de conferentie mochten we een prijs in ontvangst nemen, de ‘Best Paper Award’, die jaarlijks uitgereikt wordt aan de paper dat de hoogste review score ontvangt van de peer reviewers die de bijdragen aan de conferentie selecteren en evalueren.