In het verleden ben ik wel eens minder enthousiast geweest over wat er op de IFLA-conferenties geboden werd, maar de editie dit jaar in Singapore (nog tot 23 augustus) barst van de interessante sessies. Al meteen na de openingsceremonie ging het los met een sessie over e-metrics. Hoe meet je gebruik en impact van afzonderlijke wetenschappelijke artikelen, naast de meer algemene journal impact factor die de kwaliteit van het tijdschrift-als-publicatiekanaal pretendeert uit te drukken?
Door: Frank Huysmans
Usage factor naast de impact factor
Interessant was dat de sessie twee gezichtspunten op de problematiek verenigde. Vertegenwoordiger van het ‘traditionele’, bibliometrische perspectief was Peter T. Shepherd. Hij is directeur van COUNTER, een not-for-profit-organisatie die op onafhankelijke wijze probeert tot betrouwbare tellingen van het gebruik van wetenschappelijke tijdschriften op het web te komen: de usage factor.
Shepherd liet zien hoeveel tijd en zorgvuldigheid er gaat zitten in kwalitatief goede tellingen van bijvoorbeeld het aantal downloads van een wetenschappelijk artikel. Eerst moet je vaststellen welke versies van een artikel je gaat meetellen. COUNTER identificeert er zeven. Vijf daarvan worden meegeteld (voor de liefhebbers: Accepted Manuscript (AM), Proof (P), Version of Record (VoR), Corrected Version of Record (CVoR), Enhanced Version of Record (EVoR) ). Dan zijn er nog twee die niet worden meegeteld (Author Version (AV) en het Submitted Manuscript Under Review (SMUR) ). De ‘knip’ tussen meetellen of niet zit ‘m in het peer review filter gepasseerd zijn. Pas als de reviewers en de redactie hebben besloten tot publicatie, wordt er geteld.
Dan is er het probleem van de uitgeversplatforms en de repositories. Tellingen van de bezoeken aan repositories hebben laten zien dat 90 tot 99% van de bezoeken van robots afkomstig zijn. Het betreft dus geen raadplegingen door onderzoekers maar harvesting van (meta)data door aggregatoren. Ook dit probleem blijkt oplosbaar te zijn, zodat het volgens Peter Shepherd mogelijk is om tot een goed beeld te komen van hoe vaak een artikel geraadpleegd is, in een van de getelde versies, vanaf verschillende platforms.
Voorwaarde is wel dat degenen die de data aanleveren, dat doen volgens een vaste set van afspraken (protocol) zodat het resultaat COUNTER-compliant article-level usage statistics (jawel) zijn. Shepherd noemde er twee: PIRUS en IRUS.
Altmetrics
Een heel ander, maar wel gerelateerd perspectief werd geleverd door Jason Priem. Hij is een van de vier opstellers van het Altmetrics-manifest en promovendus in Library & Information Science aan de Universiteit van North Carolina in Chapel Hill. Hij kijkt als het ware vanuit de digitale toekomst terug naar de huidige, papier-gebaseerde praktijk van publiceren. Want laten we wel zijn: een e-tijdschrift is thans nog niet veel meer dan een p-tijdschrift in een digitaal jasje.
Bij web-native publiceren ligt het voor de hand dat verschillende onderdelen van het publicatieproces – Priem noemt archivering, registratie, verspreiding en certificering – op termijn niet langer gekoppeld zullen zijn. De verschillende fasen in het publicatie- en disseminatieproces zullen door verschillende spelers in de markt uitgevoerd kunnen worden. We zullen een Decoupled Journal krijgen. In Priems woorden: “Web-native science means we can start making public, not merely ‘publishing’”.
Andere doorkijkjes naar de toekomst, die volgens Priem voor de hand liggen: niet alleen volwaardige artikelen, maar ook andere publicatievormen zullen mee gaan tellen in de evaluatie van wetenschappelijk werk. Het delen van en discussiëren over wetenschappelijk werk verhuist meer en meer naar het web. Ook commentaren op Twitter en in blogs kunnen worden geteld. Dit is het idee achter altmetrics: het in kaart brengen van wat wetenschappelijk werk beweegt – in de wetenschap zelf maar ook daarbuiten. (Zie ook mijn artikel in InformatieProfessional nummer 5 van jaargang 2013).
Samen met Heather Piwowar heeft Jason Priem ImpactStory opgezet, een not-for-profit-onderneming die het individuele onderzoekers makkelijk maakt om de reikwijdte van hun publicaties in het digitale domein te volgen. Al wat je nodig hebt is een account en de digital object identifiers (DOIs) van je publicaties.
Peer review: voor of na publicatie?
Beide sprekers deden hun best om vriendjes te blijven en benadrukten dat hun beide benaderingen naast elkaar kunnen bestaan. Zo vond Priem de usage factor een goede aanvulling op altmetrics en stelde Shepherd het omgekeerde. Toch bleken er wel wat punten van verschil te bestaan.
Jason Priem deed een goed woordje voor de open peer review en stelde dat in het webgebaseerde publiceren peer review geen filter hoeft te zijn. Je kunt heel goed je paper publiceren en andere experts vragen erop te reageren. In Shepherds benadering is peer review juist het cruciale filter tussen wat wel en wat niet als wetenschap gelden mag. Desgevraagd zei Shepherd in de discussieronde dat hij die open peer review gaat meenemen naar zijn bedrijf. Ook hem bekruipt het gevoel dat pre-publication peer review op termijn niet meer het centrale filter zal zijn.