Steeds meer trainers en procesbegeleiders gebruiken online middelen en platforms om leerprocessen te faciliteren. Dit heeft veel weg van face-to-face faciliteren maar kent ook een eigen dynamiek. Hoe weet je bijvoorbeeld of een online artikel is gelezen? Of hoeveel tijd een deelnemer besteedt aan het bekijken van een video of het maken van een opdracht? Welke deelnemers zoeken elkaar op? Waar vinden waardevolle leergesprekken plaats en wat zijn elementen die daartoe bijdragen?

In een fysieke setting stel je procesvragen aan deelnemers: “hebben jullie meer tijd nodig voor deze discussie?” en “een extra opdracht over… lijkt zinvol.” Je kunt de interactie in de groep observeren, je voert het gesprek erover en zo verzamel je informatie die van belang is om het leerproces gaandeweg bij te sturen.

In een online omgeving mis je zicht op deelnemers. Online kunnen bepaalde data je behulpzaam zijn. Data die door het systeem verzameld worden, zoals mate van online activiteit, tijd besteed aan bekijken bron, bereikte level, lengte van discussies. Waarbij de waarde vervolgens zit in het analyseren en interpreteren: learning analytics. We hebben onlangs de kracht ervaren van learning analytics en delen deze ervaring hier graag met je.

De case: food and nutrition security course

We hebben een vijf-weekse online cursus (SPOC- Small Private Online Course) “Food and Nutrition Security” ontwikkeld en gefaciliteerd. Er namen zo’n 90 mensen aan mee en we hebben met hen gewerkt in ‘Curatr’, een leerplatform dat sociaal leren ondersteunt en stimuleert. Vier van de vijf weken hadden een specifiek thema, de vijfde week bestond uit het werken aan een praktijkcase, ingebracht door deelnemers en experts. De deelnemers ontvingen een certificaat bij een minimum aantal behaalde punten per week en het schrijven van een case reflectie. 19 mensen hebben het certificaat ontvangen.

Online monitoren- onze intuïtie

Reacties van deelnemers online op het platform en per mail, zowel inhoudelijk als over het proces, vormden in het begin voor ons de belangrijkste bron van informatie. We kregen daarmee een beeld van belangrijke onderwerpen, onderwerpen die tot discussie leidden, effectieve leeractiviteiten. Zo ontvingen we veel complimenten over de wekelijks aangeboden interactieve webinars. Na een upgrade van de software ontstonden er technische problemen wat de deelnemers ontmoedigde. En een aantal deelnemers liet ons weten de inhoud heel interessant te vinden, maar in de knoop te komen met hun werk. Door het volgen van discussies en expliciete interactie met een aantal deelnemers, ontwikkelden we gevoel voor de kwaliteit van het leerproces. En een groep enthousiaste deelnemers begon ons op te vallen als heel betrokken. Intuïtief voelden we aan dat we op de goede weg zaten met dit online leertraject. Maar… wat zouden de data ons kunnen vertellen? 

Online monitoren- analytics

Het leerplatform Curatr verzamelt achter de schermen enorm veel gegevens via X-api(experience-api of tincanapi ). Buiten de algemene data zoals voornaam, achternaam, e-mail, organisatie en functie krijg je ook heel goed inzicht in de ‘User’- en ‘Usage’ data. Waar kun je dan aan denken?

Onder User Data verstaan we alle kwalitatieve data die je verzameld binnen het platform:

• Alle discussies die door deelnemers gestart worden;
• Alle reacties die in de verscheidende discussies zijn gestart;
• Alle bronnen (video’s, pdf’s, blogs, websites) die door deelnemers zijn toegevoegd;
• Alle reacties op aangeboden leeractiviteiten (e.g. reflectievragen, quiz, open vragen)

Usage Data zijn meer kwantitatieve data (zie illustratie)

• Hoeveel reacties er geplaatst zijn door deelnemers;
• Hoeveel bronnen zijn toegevoegd door een deelnemer;
• Hoeveel reacties door wie zijn geliked;
• Wie welk level wanneer heeft gehaald;
• Aantal deelnemers dat de SPOC heeft afgerond.

Learning Analytics betekent goed kijken naar de data, deze analyseren en daar actie op ondernemen. We kunnen op verschillende niveaus learning analytics uitvoeren. De diepte van de analyse heeft invloed op de betrouwbaarheid van de acties die we uiteindelijk aan onze bevindingen verbinden. Je zou kunnen zeggen dat Learning Analytics grofweg uit vijf stappen bestaat:

1. Visualiseren: Je bekijkt de data zoals ze zijn: 100 deelnemers die de SPOC hebben afgerond, 20 deelnemers die in level 1 de test met een voldoende hebben afgerond. Deze kwalitatieve data is over het algemeen zo uit de achterkant van een leerplatform te halen.
2. Clusteren: de data die je ziet kun je clusteren: alle activiteiten van een deelnemer, alle discussies die gestart zijn, alle bronnen die zijn toegevoegd. Ze vormen samen wellicht een cluster ‘betrokkenheid’ of ‘kwaliteit’.
3. Verbanden leggen: “na een mail van de facilitator is de activiteit op het leerplatform omhoog gegaan.” Of “de meeste activiteit in het leerplatform bestaat uit het discussieren met elkaar. “
4. Patronen zien: activiteiten die meerdere keren zichzelf hebben beproefd. We zien bijvoorbeeld, door naar verschillende SPOCs te kijken, dat 80% van de deelnemers na 3 minuten naar een video kijken afhaakt.
5. Acties naar de toekomst: zo kunnen we , op basis van het patroon ‘maximaal 3 minuten video’ besluiten om alleen nog gebruik te maken van video’s binnen die tijdsduur, of ervoor te zorgen dat de kern van de boodschap in de eerste 3 minuten van de video zit.

Learning analytics bij de Food and Nutrition Security SPOC

In het geval van de cursus ‘Food and Nutrition Security’ hebben we gedurende de cursus een aantal data gevolgd. Achteraf zijn we nog dieper in de data gedoken, met uitgebreidere analyse en interpretatie. Wat echt waardevol bleek en ons nieuwe inzichten heeft gegeven omtrent de wijze van participatie van deelnemers en de beweging als het gaat om sociaal leren. Een paar voorbeelden:

• Het merendeel van de deelnemers die hoog zijn geëindigd in het leadershipboard, hebben punten gehaald door bij te dragen aan de discussie. Deze groep was voor ons ook zeer zichtbaar en hadden we snel in het vizier. Echter, er bleken ook twee deelnemers te zijn die flink wat punten hadden gehaald, puur door bronnen te bestuderen. Zij hadden weinig gereageerd online en waren daardoor voor ons ook onzichtbaar gebleven. Terwijl ze op hun manier zeer actief aan de cursus hebben meegedaan.
• We waren ook nieuwsgierig naar bronnen die wel dan niet tot goede discussies leidden. Nu is ‘goed’ een kwalitatief begrip en daardoor moeilijk te meten. Maar er sprongen wel een paar discussies uit door het grote aantal reacties van deelnemers. We hebben die discussies vervolgens bekeken en een opvallend aspect daarbij was de bijdrage van een expert/coach: het feit dat deze expert zich ging mengen in de discussie middels het stellen van vragen, geven van een mening, maakte dat de discussie echt tot interactie met een aantal deelnemers heeft geleid.
• Aan deze cursus deed een divers gezelschap mee en we waren benieuwd of we verschillen zouden zien in participatie tussen bepaalde ‘groepen’ (e.g. werkzaam in Nederland versus werkzaam in Azie). Dit bleek zeker het geval. Sommige ‘groepen’ hadden een veel explicietere bijdrage aan het sociale leerproces dan andere groepen. Belangrijk om te weten bij het vormgeven van nieuwe leertrajecten! In de illustratie zie je de totale scores van de verschillende groepen gevisualiseerd.[alert type=”info” title=”Leestip: 3 waardevolle tips bij het inzetten van e-learning “] Lees het artikel

Een aantal lessen over het gebruik van learning analytics als online facilitator

• Gegevens ‘achter de schermen’ kunnen zeer ondersteunend zijn aan je rol als online facilitator. Je kunt er bevestiging in vinden voor mogelijke interventies. Als beginnend online facilitator kun je schrikken of teleurgesteld zijn over het feit dat niet alle deelnemers online actief zijn. Waar komt dat door? Zijn de opdrachten niet helder? Als data dan laten zien dat men wel uitgebreid de aangeboden bronnen bestudeert maar achterwege laat om op het platform te reageren kun je daar je reactie op aanpassen. Je kunt bv. de mensen die niet reageren specifiek uitnodigen om dit wel te doen.
• Het is waardevol om data uit ‘het systeem’ aan te vullen met eigen gevoel en observaties, zoals reacties van deelnemers per mail. Zo kunnen kwantitatieve en kwalitatieve gegevens elkaar kunnen versterken.
• Maak, voor je van start gaat met het leertraject, een inventarisatie van indicatoren en aantallen. Wat zou je willen zien? Ben je tevreden met 10 actieve deelnemers? Wat vind je ervan dat bron a en bron b er blijkbaar uitspringen qua belangstelling? Als je dit voor de start doet weet je beter welke gegevens je helpen je om daar inzicht in te krijgen. Ga in deze fase ook na hoe je aan deze gegevens kunt komen: data uit het systeem, interview deelnemers, eigen observaties.
• Maak een plan hoe je gegevens tijdens de cursus wilt gebruiken. In ‘Food and Nutrition Security’ case zijn we dieper gaan analyseren na afloop van de cursus. Natuurlijk hielden we gedurende het traject de voor de hand liggende data wel in de gaten zoals wie inloggen en wie achterblijven, maar we hadden de data nog beter kunnen gebruiken. Zo hebben we achteraf pas de activiteit in de verschillende gebruikersgroepen vergeleken. Dit hadden we ook eerder kunnen doen.
• De learning analytics zoals beschreven vond plaats op cursusniveau. Je kunt ook een stap verder gaan en de data uit de betreffende cursus vergelijken met data uit andere cursussen. Met de opbrengsten uit zo’n analyse kun je conclusies trekken die bijdragen aan toekomstige ontwerpen.
• Neem er de tijd voor. Plan het ook in! Learning analytics is toch een relatief nieuwe activiteit voor veel online facilitators. En zeker als je gedurende de cursus wilt monitoren middels data, vraagt dit een regelmatige blik op het dashboard en analyse en meningsvorming om je komende interventies te bepalen.
• En..ga in gesprek om de data te interpreteren! Bekijk de data met nieuwsgierigheid en objectiviteit en bespreek dit met de betrokkenen. Onderzoek wat ze kunnen betekenen, kom niet te snel met je oordeel. Gevoel en intuïtie zijn cruciaal. Soms bieden juist data nieuwe perspectieven maar vaak bevestigt het een bepaalde intuitie. Dit kan dan een katalysator zijn om actie te ondernemen.

Last but not least… ga zorgvuldig om met de betreffende data. Wees transparant over het gebruik van gegevens en in je bedoeling daarmee. Vertel deelnemers heel duidelijk wat je met de data gaat doen. Uiteindelijk werk je met gegevens over het functioneren van personen in een leeromgeving.

Dit artikel is eerder uitgegeven op Social Learning Revolution. Joitske Hulsebosch en Sibrenne Wagenaar publiceren een nieuw boek genaamd: ‘Leren in tijden van tweets, apps en likes’. Het boek kunt u hier vinden.

Auteurs: François Walgering, houdt zich bezig als Learning Innovator met het adviseren van organisaties en onderwijsinstellingen op het gebied van innovatief leren zoals Learning Landscapes, Learning Record Stores (LRS), MOOCs, SPOCs, Content Curation en Gamification. François is afkomstig uit het bedrijfsleven en defensie en beschikt over een groot internationaal netwerk in de L&D-wereld.

Joitske Hulsebosch heeft haar roots in ontwikkelingssamenwerking. Haar eerste baan was in Mali waar behalve geen internet ook geen telefoon was. Ze is in Nederland al in 2005 gaan bloggen en was één van de eersten op Twitter. Sociale media leveren voor haar een nieuwe wereld op waarin je van elkaar kunt leren en bij anderen af kunt kijken. Ze werkt nu als adviseur op het gebied van online, sociaal leren. Kenmerkend voor haar is het continue verbinden van praktijkvragen aan de theorie en vice versa.

Sibrenne Wagenaar begeleidt mensen, netwerken en organisaties bij vragen over samenwerken, kennisdelen en innovatie. Hoe kunnen we de meerwaarde van sociale technologie in onze manier van werken en leren optimaal benutten? Dat boeit haar mateloos. Haar eigen praktijk is een uitstekende plek om te experimenteren: wat werkt, wat niet? Hoe maak je op zo’n manier online verbinding dat er diepgang kan ontstaan? Ze werkt veelal in de rol van adviseur, (online) facilitator en onderzoeker. Ze heeft een open, nieuwsgierige blik, zoekt altijd naar nieuwe mogelijkheden, werkend in verbinding met anderen.

De auteurs organiseren in januari 2017 een MOOC over Knowmads: Help, er zit een knowmad in mijn organisatie! Meer informatie en aanmelden via: https://www.moocademy.org/mooc/knowmad/

Mogelijk ook interessant

In het verlengde van de inhoud van de artikelen op onze website, biedt Utrecht Business de mogelijkheid op het onderwerp/vakgebied een opleiding te volgen. Hiertoe worden verschillende varianten aangeboden.