Iedereen heeft het tegenwoordig over altmetrics. Wat zijn het, waarom zijn ze er gekomen? En lossen ze hun belofte wel in – of maken ze de problemen die ze moesten oplossen alleen maar groter?
Door: Frank Huysmans
Niemand kan nog bijhouden wat er aan wetenschappelijke publicaties verschijnt. Zeker niet in de wetenschap als geheel en ook niet meer in de meeste disciplines en subdisciplines. Om het zoeken naar goede en waardevolle publicaties te vergemakkelijken, zijn in de loop der jaren maten gecreëerd die iets zeggen over de impact die een publicatie heeft (gehad). Deze zijn gebaseerd op het aantal citaties dat een wetenschappelijke bijdrage heeft ‘gescoord’.
Nu de wetenschap meer en meer vervlochten raakt met het open en sociale web, groeit de kritiek op deze manier van impact meten. Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt. Er worden webpagina’s opgeroepen, er wordt doorgebladerd, gedownload, geüpload en gearchiveerd in persoonlijke bibliotheken zoals Mendeley, er wordt over artikelen geschreven door wetenschapsbijlages en -blogs, men attendeert er anderen op via Twitter, Google+ en Facebook.
Doordat veel van die webplatforms zulke informatie bijhouden en publiek maken via hun open application programming interface (API), kunnen maten worden berekend die een indicatie geven van deze vormen van verspreiding en (latente) impact. Wetenschap is op het sociale web gearriveerd, en dat sociale web geeft daarvoor iets terug in de vorm van altmetrics.
Waarom altmetrics?
Op 26 oktober 2010 wordt een manifest gepubliceerd op de site altmetrics.org.1 Vier relatief jonge wetenschappers, onder wie Paul Groth van de Vrije Universiteit, roepen anderen ertoe op in een gezamenlijk proces te werken aan nieuwe maten die wetenschappers kunnen helpen het kaf van het koren te scheiden. De bestaande maten, de Journal Impact Factor voorop, zijn onzuiver en te eenzijdig gericht op wetenschappelijke impact.
Het sociale web maakt dat kopieën-voor-eigen-gebruik van wetenschappelijke artikelen niet langer stof vergaren in een kast, maar op sociale platforms als Mendeley en Zotero aan een tweede leven beginnen. Zulke platforms helpen onderzoekers met het vinden van andere voor hen relevante literatuur. Als voldoende wetenschappers in je eigen veld meedoen, ontstaan recommender-achtige mogelijkheden: ‘anderen die paper X uploadden, deden dat ook met papers Y en Z’.
Er valt wat voor te zeggen om ook het delen van papers op zulke platforms als een vorm van impact te zien. En die als zodanig te gaan meten in aanvulling op citatiescores. Net als het aantal attenderingen dat wetenschappers afgeven op sociale media als Twitter, Google+ en Facebook.
Wat is er mis met de impact factor?
Het ontstaan van altmetrics kan niet los worden gezien van de groeiende ontevredenheid met de Journal Impact Factor (JIF). Deze JIF is de afgelopen decennia verworden tot de maat aller dingen in veel takken van wetenschap. Reputaties van individuele onderzoekers, onderzoeksgroepen en hele faculteiten en universiteiten worden eraan afgemeten. Dat slaat nergens op, wordt al jaren betoogd, recent ook steeds vaker door hoofdredacteuren van de tijdschriften zelf. Op 17 mei jongstleden werd de San Francisco Declaration on Research Assessment (DORA) gepubliceerd, ondersteund door onder anderen de hoofdredacteur van Science.2 Deze verklaring roept op tot het loslaten van de impact factor als wetenschappelijke maat aller dingen. Waarom?
De JIF is geïntroduceerd als een maat voor de wetenschappelijke impact van een tijdschrift.3 Het is een breuk met in de teller het aantal citaties dat artikelen in een jaargang van het tijdschrift hebben gescoord in de twee jaargangen daarna – in hetzelfde of in andere tijdschriften. In de noemer staat het aantal artikelen dat in de jaargang zelf is gepubliceerd. Hoe hoger het gemiddelde aantal citaties van artikelen in een tijdschrift, hoe hoger de impact en hoe beter het tijdschrift, is de redenering. Met als zelfversterkend effect dat de ‘betere’ wetenschappers in de betere tijdschriften zullen willen publiceren, waardoor het tijdschrift meer citaties zal blijven scoren dan andere.
Rammelende validiteit
De bezwaren tegen de JIF richten zich op de validiteit van de maat zelf en op de interpretatie en waardering van JIF in het wetenschappelijke bedrijf. Over de maat zelf vallen diverse kritiekpunten te horen. JIF is niet zelden gebaseerd op één of enkele artikelen uit het tijdschrift die heel vaak zijn geciteerd, terwijl de grote meerderheid niet of nauwelijks is geciteerd. Heel veel papers liften daardoor mee op de impact van de echte hits die min of meer toevallig in hetzelfde tijdschrift zijn gepubliceerd. Verder blijken data waarop JIFs worden berekend, bij nadere inspectie een behoorlijk aantal fouten te bevatten die door Thomson Reuters, de ‘intellectuele eigenaar’ van de maat, niet zijn gecorrigeerd.
Ook de exacte berekening van de ‘officiële’ JIF is onduidelijk. Thomson Reuters geeft de brondata niet vrij. Dit maakt de JIFs oncontroleerbaar, wat tegen de wetenschappelijke ethiek indruist. Ze blijken zelfs moeilijk of niet te reproduceren door anderen, zelfs als die over een deel van de brondata mogen beschikken. Bovendien is het interval tussen indienen en verschijnen van een artikel in aardig wat wetenschapsgebieden behoorlijk. De kans dat een artikel al in de eerste twee jaar na verschijnen wordt geciteerd – de citerende artikelen zitten nog in de publicatiepijplijn – is daardoor klein en de JIF geeft dan geen valide weergave van de impact.
Oneigenlijk gebruik
Over de interpretatie en waardering van de JIF is de kritiek ook niet mals. JIF is een maat voor de impact van tijdschriften maar wordt in het wetenschappelijk bedrijf ook gebruikt voor de waardering van individuele artikelen en auteurs, en speelt een rol in het aanstellings- en afvloeiingsbeleid van universiteiten en onderzoeksinstituten. Als zodanig ontmoedigt hij vernieuwend werk omdat dat veel investeringen in tijd en faciliteiten vraagt. Daarentegen moedigt hij het veilig volgen van gebaande paden aan. Ook nodigt de maat uit tot strategisch citeergedrag. Auteurs verwijzen onnodig naar eigen werk, dat van naaste collega’s (‘citatiekartels’) en de editors van het tijdschrift. Editors dringen er soms bij auteurs op aan om bij herziening van hun manuscripten ook verwijzingen naar eerdere artikelen in het eigen tijdschrift toe te voegen. En in hun editorials citeren ze eveneens die ‘eigen’ artikelen, zodat de JIF stijgt. Sommige editors maken hiervan gebruik en andere niet, wat de vergelijking scheef maakt.
Verder is de JIF minder goed bruikbaar in wetenschapsgebieden, met name in de geestes- en sociale wetenschappen, waar boeken minstens even belangrijke publicatiekanalen zijn. Toch worden auteurs ook daar vaak afgerekend op wat zij in tijdschriften hebben gepubliceerd en hoe zij daarin worden geciteerd. Bovendien verschillen de publicatieculturen en dus de JIFs tussen subdisciplines van één tak van wetenschap. Dit ten nadele van jonge onderzoekers die toevallig in de ‘verkeerde’ discipline hun carrière begonnen zijn
Met name in de exacte wetenschappen gaan onderzoekers steeds vaker over tot ‘pre-publicatie’ op platforms als Arxiv.org van Cornell University Library. In competitieve gebieden is het belangrijk om de eerste groep te zijn die met een opvallend resultaat naar buiten komt. De lange weg die een manuscript heeft te gaan van indienen tot publicatie is dan een hindernis. Eenmaal op Arxiv gepubliceerd heeft het stuk al impact lang vóór het in een (al dan niet hoog gerankt) tijdschrift staat. De JIF staat erbij en kijkt ernaar.
En tot slot: JIF geeft nagenoeg geen zicht op de maatschappelijke impact van wetenschappelijk werk. In de medische wetenschap bijvoorbeeld is verspreiding van veelbelovende resultaten van nieuwe medicijnen en therapieën van groot belang. Ook al citeren artsen en verpleegkundigen die artikelen niet, de impact kan in termen van geredde of verlengde mensenlevens groot zijn.
Aan een deel van deze bezwaren is Thomson Reuters tegemoetgekomen. Zo zijn er inmiddels meerdere JIFs beschikbaar, ook met een langere citeertermijn dan twee jaar. Er zijn ook gezuiverde versies waaruit zelfcitaten van auteurs en editors zijn verwijderd. Daarmee staan de grootste bezwaren nog overeind.
Wat betekent ‘altmetrics’?
Met altmetrics wordt gepoogd daar wat aan te doen. De naam wordt op twee manieren uitgelegd. Als alternative metrics, waarin het zich afzetten tegen de JIF en de verruiming van perspectief tot uitdrukking komen. En als article-level metrics, maten die de impact van de wetenschappelijke bijdrage zélf uitdrukken, niet die van het publicatiekanaal waarin ze zijn verschenen. Ze moeten worden gezien als aanvulling op en correctie van citatiescores als de JIF en het aantal views en downloads zoals die door tijdschriftuitgevers als indicatoren voor impact al worden geopenbaard.
Hoe worden altmetrics berekend?
Het concept ‘altmetrics’ bestaat nog maar kort. Er is dan ook nog geen vaststaande set van maten en waarschijnlijk komt die er ook nooit. Al was het maar omdat sociale platforms verschijnen en verdwijnen ten gunste van nieuwe, nog betere. En omdat het ontwikkelen van nieuwe maten niet wordt gestuurd maar een open proces is, waardoor er steeds betere en verfijndere kunnen komen. Op de altmetricswebsite kan worden doorgeklikt naar een reeks tools4 waarin de momenteel meest gangbare maten zijn opgenomen:
- aantal uploads van het artikel in webgebaseerde reference managers als Mendeley, Zotero en CiteULike;
- aantal vermeldingen van het artikel in wetenschappelijke blogposts;
- aantal vermeldingen van het artikel in berichten op nieuwssites;
- aantal verwijzingen naar het artikel op sociale netwerken als Twitter, Google+ en Facebook, gewogen naar maximum aantal daarmee bereikte volgers.
Hoe de maten worden berekend, wordt in redelijk detail uit de doeken gedaan op de site van het open access-publicatieplatform PLoS ONE.5 De editors, onder wie een van de manifestauteurs Cameron Neylon, benadrukken dat de maten nog verre van perfect en compleet zijn. Voor het kunnen tellen van vermeldingen op sociale media en in blogs is men afhankelijk van de API’s van de betreffende platforms of van aggregatoren (bij wetenschappelijke blogs). Werk in uitvoering dus. Maar zolang iedereen zich daarvan bewust blijft, is de kans op misinterpretaties à la de JIF niet zo groot. Omdat alles in de openbaarheid gebeurt, zijn attenderingen op fouten een kwestie van korte tijd.
Kwantiteit en kwaliteit
Ook altmetrics zijn kwantitatieve maten. Doordat die in afzonderlijke dimensies worden weergegeven, krijg je toch meer zicht op kwalitatieve aspecten. Een artikel blijkt bijvoorbeeld wel veel in reference managers te zijn opgenomen, maar weinig op sociale media en in het nieuws terechtgekomen. Dat duidt op een relatief grote wetenschappelijke en vrij geringe maatschappelijke impact van het werk, terwijl de onderzoekers wellicht juist naar dat laatste streefden. Dat kan hun ertoe bewegen voor een vaktijdschrift of een blog nog een artikel te schrijven om de zichtbaarheid in de praktijk te vergroten. Omgekeerd kunnen onderzoekers laten zien dat er op het (sociale) web veel aandacht voor hun werk is geweest, ook al was de wetenschappelijke impact gering.
Het panacee?
Altmetrics zijn een goede aanvulling op citatiescores en downloadcijfers met hun beperkte zeggingskracht. Als wetenschap vervlochten raakt met het wereldwijde web, is het ook goed dat de verspreiding op het web zelf beter in kaart wordt gebracht. Zijn de nieuwe maten daarmee het panacee voor alle problemen die met de JIF in verband zijn gebracht?
Net als bij de JIF verschillen wetenschapsgebieden en subdisciplines daarbinnen in publicatiecultuur en dat zal op het web niet anders zijn. Het citeren van andere soorten publicaties dan artikelen, zoals datasets en discussiestukken op blogposts, varieert zeker naar wetenschapsgebied. De hoogte van altmetrics vergelijken tussen die gebieden heeft dan ook even weinig zin, maar precies dat benadrukken de voorstanders zelf. Hun gaat het om het meer kwalitatief in de breedte kunnen inschatten hoe onderzoek is ‘geland’.
Zoals alle tellingen zijn ook deze gevoelig voor manipulatie. Een duizendtal likes op Facebook of mentions op Twitter is immers zo gekocht. Dit argument kan ook positief worden uitgelegd: juist omdat manipulatie mogelijk is, moet er aan de precieze hoogte van de maten weinig waarde worden gehecht – zoals dat bij de JIF eigenlijk ook had moeten gebeuren. Pessimistische waarnemers zien in dat laatste weer reden om te vrezen dat dezelfde misinterpretaties ook bij altmetrics hun lelijke kop zullen opsteken.
De praktijk zal de toegevoegde waarde van altmetrics aan het licht moeten brengen. Eerste evaluatiestudies zijn inmiddels verschenen die de traditionele en de alternatieve maten vergelijken.6 Een correctie van de eenzijdige nadruk op publicaties in tijdschriften (ten koste van boeken en andere kanalen, zoals blogposts) en op de wetenschappelijke impact (ten koste van de praktische/maatschappelijke) was hoe dan ook wenselijk. Tel daarbij op dat open publicatieplatforms als PLoS ONE inmiddels hogere JIFs behalen dan veel traditionele tijdschriften, dan dringt zich het vermoeden op dat altmetrics onderdeel zijn van een veel bredere transformatie. Wetenschap wordt opener en meer webgebaseerd. Altmetrics geven precies aan die verandering uitdrukking.
Noten
- Zie altmetrics.org/manifesto/
- Zie am.ascb.org/dora/.
- Zie thomsonreuters.com/products_services/science/free/essays/impact_factor/.
- Zie altmetrics.org/tools/en api.altmetric.com.
- Zie www.plosone.org/static/almInfo.
- Zie bijvoorbeeld doi:10.1371/journal.pone.0006022.s001 en tinyurl.com/o3z2a52.
De open API van Mendeley, een online tool voor wetenschappers om hun artikelenbibliotheek te beheren en met anderen te delen, ontving in augustus 2012 100 miljoen opvragingen per maand van externe applicaties zoals Facebook en Twitter.
arXiv.org startte in 1991 als elektronisch archief en distributieplatform voor artikelen in de bètawetenschappen. Steeds vaker worden er preprints gepost door de auteurs, dus voor het artikel ‘officieel’ verschijnt. Inmiddels worden er 7.000 à 8.000 artikelen per maand in open access gepost. In totaal zijn er bijna 850.000 artikelen te downloaden.
Frank Huysmans is redacteur van InformatieProfessional, bijzonder hoogleraar bibliotheekwetenschap aan de UvA en zelfstandig onderzoeker en adviseur.
Deze bijdrage komt uit IP nr. 5 / 2013. Het gehele nummer kun je hier lezen