Ph.d.-kurset NTF-8001 Present your science er et kurs i vitenskapelig formidling som jeg har utviklet. Stipendiatene i kurset lærer å presentere sitt vitenskapelig arbeid på konferanser gjennom abstrakter, postere og flash-presentasjoner og å tilpasse presentasjonene til et bestemt publikum. Pedagogisk utgangspunkt for kurset er at stipendiatene hjelper hverandre til å forbedre sine presentasjoner gjennom muntlig og skriftlig medstudentvurdering. Kurset gir to studiepoeng og har mappevurdering som eksamensform. Emnebeskrivelsen for kurset er publisert på UiT sine sider.

Her begrunner jeg opprettelse, pedagogisk utgangspunkt, eksamens- og evalueringsform for kurset og reflekterer jeg over utviklingsarbeidet med utgangspunkt i relevant forskning om undervisning og læring.

Hvorfor dette kurset?

Behovet for et kurs i vitenskapelig formidling kom tydelig fram i 2018 i PhD survey som jeg har gjennomført blant stipendiater på Institutt for kjemi i 2016 og 2018. Spørreundersøkelsen tar opp flere temaer som berører stipendiatene som for eksempel trivsel, framdrift, kurstilbud, undervisningsplikt, veiledning og karriereveiledning.

Ifølge undersøkelsen i 2016 og 2018 synes stort sett alle stipendiater at både Present my research og Writing (a manuscript) er viktige ferdigheter for stipendiater og klart viktigere enn alle andre med unntak av Teaching. I 2017 organiserte jeg første kurs i akademisk skrivning for stipendiater på instituttet med en ekstern foredragsholder. Året etter i 2018 svarte 3 av 4 stipendiater at de hadde fulgt et kurs i Writing (a manuscript), mens kun 1 av 3 hadde fulgt et kurs i Present my research. I kommentarfeltet var det flere stipendiater som etterspurte et kurs i presentasjonsteknikk / kommunikasjon mellom forskere / tilpassing av presentasjoner til publikum, noe som ikke (ennå) finnes i kursporteføljen til High North Academy. Noen etterspurte også en arena for å øve presentasjoner med andre stipendiater. I spørreundersøkelsenen kom det også fram at stipendiatene er mye mer motivert til å følge et kurs i generiske ferdigheter når de får studiepoeng for kurset – noe som er mulig på Fakultet for naturvitenskap og teknologi etter en endring i regelverket høsten 2018. I høsten 2018 startet jeg derfor med utvikling av et studiepoenggivende kurs Present your science. Jeg har basert kurset på workshoper jeg tidligere har organisert for stipendiater på instituttet hvor medstudentvurdering var utgangspunkt – tidligst i 2014 da jeg selv var stipendiat. Kurset ble organisert som spesialpensum våren 2019 med ti påmeldte stipendiater og organiseres som ordinært ph.d.-kurs våren 2020 med åtte påmeldte stipendiater hvorav tre fra utenfor Institutt for kjemi.

Hvorfor medstudentvurdering?

I kurset gir studentene tilbakemelding på presentasjoner til medstudentene. Tilbakemeldingen skjer muntlig i timene og minst én gang skriftlig utenfor undervisningstimene. Her følger en begrunnelse for å bruke medstudentvurdering i dette ph.d.-emnet ut fra relevant pedagogisk litteratur.

Å analysere og å reflektere er kjerneord i læringsutbyttebeskrivelsen for eksempel i læringsmålet be able to reflect on the use of jargon in scientific presentations. Medstudentvurdering legger til rette for analyse og refleksjon. Videre er å kunne gi konstruktiv tilbakemelding og å ta i bruk peer-reviewing for å forbedre egen og andres vitenskapelige presentasjon eksplisitt del av læringsutbyttebeskrivelsen.

Evnet til å kunne gi konstruktiv tilbakemelding er en god forberedelse til yrkeslivet og andre aspekter i livet hvor man møter kontinuerlig vurdering (Allern, 2012). For å oppnå sustainable feedback er det viktig at studentene er involvert i prosessen og at læreren legger til rette for variert tilbakemelding i ulike faser av prosessen (Boud & Molloy, 2013). Tilbakemelding fra ulike medstudenter fører til mer variert tilbakemelding enn tilbakemelding kun fra faglæreren.

Fagfellevurdering spiller en viktig rolle i kvalitetssikring av vitenskap gjennom fagfellevurdering av blant annet artikler og søknader for forskningsprosjekter. Medstudentvurdering er et nyttig verktøy for å bli kjent med og vant til fagfellevurdering (Liu, Pysarchik & Taylor, 2002). I ph.d.-kurset skriver stipendiatene en formell peer-review report på et abstrakt eller en poster for å bli kjent med og øve på fagfellevurdering.

Studentene lærer minst like mye fra å gi tilbakemelding enn fra å få tilbakemelding: tilbakemeldinger studentene får er ofte på spesifikke områder med forbedringspotensial, mens utbyttet fra å gi tilbakemelding er mer generelt og inkluderer kritisk tenkning og forståelse av vurderingskriterier. Derfor er utbyttet av medstudentvurdering (mye) større enn formativ vurdering hvor kun faglæreren gir tilbakemelding (Nicol, Thomson & Breslin, 2014).

Medstudentvurdering gir muligheten for mer og raskere tilbakemelding siden alle studenter – i tillegg til læreren – er involvert i tilbakemeldingsprosessen. I tillegg kan tilbakemelding fra medstudenter være enklere å forstå enn tilbakemelding fra læreren. (Nicol, Thomson & Breslin, 2014).

Medstudentvurdering kan på sikt føre til mindre ressursbruk for læreren, men krever nøye planlegging og en god introduksjon til studentene. En god måte å gjøre dette på er å vise til intendert læringsutbytte og forventet tidsbruk av aktiviteten (Liu, Pysarchik & Taylor, 2002). Retningslinjene for vurdering må være tydelige og kommunisert i god tid til studentene (Gooblar, 2017). Ulike kilder på nettet tilbyr praktisk veiledning i planlegging og gjennomføring av medstudentvurdering (Kiefer, 2018; Guertin, 2018) og kan være til stor hjelp for faglæreren.

Hvorfor mappevurdering?

Mappevurdering er ikke vanlig i realfag, og dersom det brukes i undervisning er det ofte snakk om en samling av tidligere leverte (og korrigerte) oppgaver som leveres til eksamen. Hensikten med mappevurdering i dette emnet er å støtte læringsprosessen ved å bruke mappen som verktøy for læring: vurdering for læring og ikke vurdering av læring (Allern, 2012). Jeg velger formativ vurdering av mappen i løpet av kurset mens den endelige mappen kun blir vurdert med bestått / ikke bestått.

Mappen blir brukt som et hjelpemiddel for kritisk refleksjon av egne og andres presentasjoner. Kriteriene for mappen er samstemt med læringsaktivitetene og læringsmålene (constructive alignment, Biggs, 1996) og inkluderer derfor blant annet dokumentasjon av systematisk forbedring av egne presentasjoner ved bruk av tilbakemelding fra andre, dokumentasjon av egen konstruktiv tilbakemelding til andre og refleksjon på hvordan presentasjonene er tilpasset et bestemt publikum. Gjennom mappeevaluering er det mulig å vurdere alle læringsmålene i kurset.

Evaluering og videreutvikling

Emneevaluering er essensielt for systematisk utvikling over tid. I dette kurset består evalueringen av en selvevaluering av læreren i tillegg til en studentevaluering i to deler som komplementerer hverandre: 1) muntlig evaluering med fokus på temaer utvalgt av læreren og 2) refleksjon over oppnådd læringsutbytte i konklusjonen av mappen.

Her beskriver jeg hvordan jeg organiserer kursevalueringen og hvilken betydning selvevaluering og studentevalueringen har hatt for kvalitativ utvikling av kurset over tid.

selvevaluering

Etter hver undervisningsøkt i dette emnet og i andre emner skriver jeg en kort selvevaluering. Ofte står to spørsmål sentralt i mine notater: hvordan har læringsaktivitetene fungert? og hvordan var tidsdisponeringen? Ofte blir dette en liste over forslag til mindre endringer i øvelser og lysbilder til neste år. Selve endringer gjør jeg som forberedelse neste år og derfor er det viktig å ta litt for å skrive ned mulige forbedringer.

I dette kurset var det særlig interessant å observere tilbakemelding stipendiatene gir til hverandre. I begynnelse av kurset var det lite fokus på måten de gir tilbakemelding på. Mot slutten av kurset derimot hadde stipendiatene blitt mye bedre i å gi tilbakemelding på en positiv og konstruktiv måte. For neste kurs betyr dette på den ene siden at det er viktig å fortsette å ha fokus på måten man gir tilbakemelding, på den andre at selv øvelse i å gi tilbakemelding er viktig for å bli flink på det.

Jeg har også sammenlignet kvalitet på dokumentasjon av oppnådd læringsutbytte i mappen med kvalitet på diskusjonene i klasserommet. Det kom fram at det påvirker mappen negativt når det er for mye tid mellom læringsaktivitetene og dokumentasjon i mappen. Siden de fleste stipendiater begynte å skrive mappen mot slutten av kurset, var det lang tid fra de første aktivitetene om skrivning av vitenskapelige abstrakter. I 2020 skal jeg derfor oppfordre stipendiatene til å levere kapitler på mannen underveis. Min hypotese er at dette fører til en bedre læringsprosess.

muntlig studentevaluering

En muntlig evaluering er den beste måten å få en diskusjon rundt styrker og svakheter av kurset. I tillegg er en muntlig tilbakemelding en fin måte å få tilbakemelding på aspekter jeg som underviser ønsker å forbedre eller er usikker på. Jeg har tatt opp tre temaer: medstudentvurdering innenfor eller utenfor undervisning, gruppestørrelse og innlegg fra eksterne eksperter.

I evalueringen kom det fram at studentene har en sterk preferanse for å utføre medstudentvurdering i undervisningen og ikke utenfor. Dette ble motivert med at noen ikke ville ha gjort en like grundig jobb eller ville ikke ha tatt seg tid i det hele tatt å se på andres tekster.

Vi har også diskutert hvordan ulike gruppestørrelser ville påvirke utbytte av læringsaktivitetene. Konklusjonen var at det er behov for å lage flere mindre grupper dersom flere enn ti stipendiater deltar på kurset. Denne diskusjonen har preget kursutvikling for neste år både positivt og negativt. Positivt fordi jeg har hatt mye fokus på betydning av et godt læringsmiljø for aktivitetene i kurset. Negativt fordi det ikke var mulig å planlegge verken timeplan eller rombestilling før antall deltagere var kjent.

Til slutt har vi diskutert om det ville være bedre å ha eksterne eksperter på vitenskapelig formidling med på kurset. Her var stipendiatene litt skeptisk. Det ble begrunnet med at innlegg fra eksterne ville skifte fokus bort fra medstudentvurdering, som var en nyttig aktivitet for stipendiatene i kurset. I planlegging til neste års kurs har jeg altså ikke prøvd å få inn eksterne foredragsholdere. Jeg skal likevel prøve å knytte et foredrag om god formidling til kurset på en eller annen måte.

refleksjon over oppnådd læringsutbytte

Andersen & Søndergaard (2006) presenterer en modell for studentevaluering som har utgangspunkt i at studentene reflekterer over oppnådd læringsutbytte. Jeg krver derfor følgende som del av konklusjonen i mappen:

«A reflection on your learning outcomes in the context of the learning outcomes for the course. You can for example reflect on some of the outcomes you have reached during the course (and how) and some of the outcomes you have not reached (and why).»

Del av modellen er en mål- og forventningsavklaring i begynnelse av kurset samt en refleksjon over oppnådd læringsutbytte midt i kurset som verktøy i læringsprosessen (Andersen & Søndergaard, 2006). Dette ph.d.-kurset har en utfyllende forventningsavklaring før oppstart gjennom en digital kartlegging av stipendiatenes utviklingsbehov og erfaring med ulike presentasjons-, lærings- og vurderingsformer. En midtveisevaluering var ikke del av kurset i 2019.

Refleksjon over oppnådd læringsutbytte i konklusjon til mappen har vært av stort nytte for videreutvikling av kurset. Stipendiatene har skrevet hvilke deler av kurset har vært mest betydningsfull i læringsprosessen. Dette var stort sett de ulike måter for formell og uformell tilbakemelding på presentasjonsformer. Dette bruker i planlegging når jeg vurder hvilke læringsaktiviteter vi beholder og hvilke vi bytter ut. Det kom også flere gode refleksjoner over gruppesammensetning og gruppestørrelse i mappene, noe som øker fokus og innsats for å dannelse et godt læringsmiljø i neste kurs.

Noen stipendiater har gitt såpass nyttig konkret tilbakemelding på kurset at jeg har gjenbrukt oppgaven med refleksjon av eget læringsutbytte i mappen i et kurs i akademisk skrivning og lagt til at studentene skal gi konstruktiv tilbakemelding for neste års kurs. Dette var ikke krav for mappen i Present your Science i 2019, men etter gode erfaringer i dette kurset og kurset i akademisk skrivning skal det være del av konklusjon av mappen i 2020.

Eksempler på konkrete tilbakemeldinger fra studenter i 2019 som skal bli gjennomført i kurset i 2020 er organisering av en mini-postersesjon i stedet for presentasjon av posterne i plenum og en øvelse med samme presentasjon for ulikt publikum for å reflektere av tilpasning til publikummet. Noen anbefalinger har jeg ikke tatt over som for eksempel et forslag om å utvide kurset til fem studiepoeng.

Litteraturliste

Allern, M. (2012). Vurdering med vekt på summativ vurdering – eksamen. Forelesningsmanuskript fra kurset Digital eksamen, UiT mars 2012.

Andersen, Hanne Leth & Louise Søndergaard (2006). Undervisningsevaluering som redskab til kvalitetsudvikling af undervisningen. Dansk Universitetspædagogisk Tidsskrift 1, 22-27.

Barr, Robert B. & John Tagg (1995). From teaching to learning – a new paradigm for undergraduate education. Change 27, 12-25.

Biggs, John (1996). Enhancing teaching through constructive alignment. Higher education 32, 347-364.

Boud, David & Elizabeth Molloy (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education 38, 698-712.

Gooblar, David (2017). Why students hate peer review. The Chronicle of Higher Education. Hentet 24.10.2018.

Guertin, Laura (2018). Peer review. Hentet 1. november 2018.

Kiefer, LeCourt, Reid & Wyrick (2018). Teaching guide: Using student peer review. Hentet 1.11 2018.

Liu, Pysarchik & Taylor (2002). Peer review in the classroom. BioScience 52, 824-829.

Nicol, Thomson & Breslin (2014). Rethinking feedback practices in higher education: a peer review perspective. Assessment & Evaluation in Higher Education 39:1, 102-122.