Vertaisarviointi

Käsikirjoituksen vertaisarviointi eli referointi on tieteen laadunvalvontamekanismi. Julkaistavaksi tarjotut tekstit alistetaan asiantuntijapalautteelle, joka auttaa kirjoittajaa (author) parantamaan käsikirjoitustaan ja toimitusta tekemään julkaisemista koskevan päätöksen.

Julkaisun kustantaja (publisher) ja toimitus (editors, editorial team) saavat apua tiedemarkkinoille tuotavan tiedon oikeellisuuden, uutuuden ja ymmärrettävyyden varmistamisessa.

Vertaisarvioijat (peer reviewers, referees) pääsevät seuraamaan aitiopaikalta oman tieteenalansa kehitystä ja uusia ideoita. Suomalaisessa tiedeyhteisössä asiantuntijalausunnot lasketaan ansioksi.

Toimiva vertaisarviointiprosessi tukee ja toteuttaa hyvää tieteellistä käytäntöä monin tavoin. Tavoitteena on mahdollisimman laadukas julkaisu, joka vie tietoa ja tiedettä eteenpäin, kehittää käytettyä kieltä tieteen kielenä ja lisää saatavilla olevan luotettavan tiedon määrää.

Harkitut, johdonmukaiset, selkeät ja julkiset kustannus- ja toimituspoliittiset linjaukset ovat toimitustyön apuvälineitä, jotka kestävät aikaa ja sujuvoittavat arkea. Niihin perustuvat rutiinit tukevat tasaista laatua tekijästä riippumatta. Ne auttavat uusien tekijöiden perehdyttämisessä ja tukevat toimitustyön jatkuvuutta.

Mietitty, lehden verkkosivulle sijoitettu vertaisarviointilinjaus ja -ohjeet tehostavat arviointiprosessin osapuolten ajankäyttöä ja säästävät resursseja. Vaatimukset ja odotukset on kerrottu selvästi ja vastaus tavallisimpiin kysymyksiin on valmiina.

Linjaukset ja ohjeistus auttavat ihmisten sitouttamisessa ja tasapuolisessa kohtelussa. Ne tekevät prosesseista ja lausunnoista vertailukelpoisempia. Ne auttavat ongelmanratkaisussa ja ulkoisten paineiden edessä. Tasapuolisuus tukee eettisyyttä, ennakoitavuutta ja uskottavuutta, ja siten konkretisoi hyvää tieteellistä käytäntöä.

Kustantajan tai julkaisukanavan linjasta ja käytännöistä on tärkeää kertoa avoimesti, koska ne voivat vaikuttaa julkaisukanavan valintaan. Yleensä ajatellaan, että kirjoittaja hyväksyy kustantajan tai julkaisun vertaisarviointimenettelyn tarjotessaan tekstiään julkaistavaksi.

Kun ohjeet vertaisarvioijille ovat saatavissa ennakolta, kirjoittaja voi ottaa ohjeistuksen huomioon jo ennen käsikirjoituksen tarjoamista. Arvioija tietää mihin sitoutuu hyväksyessään lausuntopyynnön. Kustantaja tai toimitus voi ohjeilla kiinnittää arviointiprosessin osapuolten huomion tärkeänä pitämiinsä seikkoihin.

Kirjalliset, ymmärrettävät linjaukset ja ohjeet vähentävät väärinkäsitysten mahdollisuutta ja auttavat kustantajaa tai toimitusta niiden selvittämisessä – ja samalla suojaavat heitä. Apu on lähellä ja hermoja säästetään, jos tarvittavat työkalut ovat valmiina käden ulottuvilla.

Selkeä linja ja informatiiviset verkkosivut tukevat myönteistä vaikutelmaa kustantajasta tai julkaisusta. Ne vaikuttavat imagoon ja mielikuviin ammattimaisuudesta, luotettavuudesta ja uskottavuudesta. Myönteiset maine, imago ja mielikuvat auttavat kilpailussa osaavista kirjoittajista ja arvioijista sekä kiinnostavista käsikirjoituksista.

Vertaisarviointiprosessi (”referointi”) käynnistyy, kun päätoimittaja, kustantaja tai muu kustantajan edustaja tutustuu tarjottuun käsikirjoitukseen (manuscript) tai kirjan hankesuunnitelmaan (book proposal).

Hän voi lukemansa perusteella hylätä tarjouksen (desk rejection) tai pyytää kirjoittajalta muutoksia tekstiin ennen sen alistamista toimituksen ulkopuoliseen asiantuntija-arviointiin. Näin toimittaessa ratkaisu on syytä perustella kirjoittajalle.

Vaihtoehtoisesti hän valitsee tekstille asiantuntijalukijat, mahdollisesti konsultoituaan julkaisunsa toimitusneuvostoa (Editorial Board) tai muita toimittajia eli toimituskuntaa (editors, editorial team).

Prosessi voidaan toteuttaa kaksoissokkona, jolloin kirjoittaja(t) ja arvioija(t) eivät tiedä toistensa henkilöllisyyttä (double blind review). Toinen ääripää on täysin avoin arviointi (open peer review), jossa kaikki tietävät toistensa henkilöllisyyden. Myös välimuotoja käytetään, esimerkiksi niin, että kirjakäsikirjoituksen arvioija tietää kirjoittajan henkilöllisyyden mutta arvioija jää tuntemattomaksi (single blind review).

Avoimessa arvioinnissa arvioijien nimet ja lausunnot sekä toisinaan myös kirjoittajien vastineet julkaistaan valmiin julkaisun yhteydessä. Arviointiprosessi on osallistava: suljetun kutsumenettelyn sijasta lausuntoja pyydetään lukijoiden kollegiaalisesta joukosta. Ketju saatetaan avata jatkokeskustelulle.

Kaksoissokossa prosessissa osapuolten henkilöllisyys voidaan paljastaa vain molempien suostumuksella. Tämä voi tulla kyseeseen esimerkiksi silloin, kun referee ehdottaa suoraa yhteydenottoa kirjoittajaan käsikirjoituksen kehittämiseksi tai kirjoittaja haluaa kiittää erityisen hyödylliseksi kokemastaan lausunnosta anonyymiä kiitosta painavammin.

Kun kirjalliset asiantuntijalausunnot saapuvat, kustantajan edustaja kokoaa ne yhteen ja päättää etenemisestä. Hän voi pyytää kirjoittajaa muokkaamaan käsikirjoitusta vastineeksi palautteeseen, hylätä käsikirjoituksen tai hyväksyä sen sellaisenaan.

Päätös perustellaan kirjoittajalle ja häntä ohjataan eteenpäin. (Pää)toimittaja voi esimerkiksi suositella vaihtoehtoista lehteä tai pyytää painottamaan muokkauksissa julkaisukanavan kannalta kiinnostavimpia asioita. Hänen tehtävänsä on tukea kirjoittajaa keskenään ristiriitaisten lausuntojen palautteeseen vastaamisessa perustellulla tavalla.

Kun palautteeseen on vastattu, toimitus päättää lähetetäänkö muokattu käsikirjoitus uudelleen asiantuntijoille vai voidaanko päätös tehdä ilman toista lausuntokierrosta. Arviointikierroksia on tavallisimmin yhdestä kahteen ja enintään kolme.

Kustantaja valitsee kanavassaan julkaistavan materiaalin. Kustantajalla ei ole velvollisuutta arvioittaa (saati julkaista) sille tarjottua materiaalia. Päätökset tekee (tai niistä on vastuussa) julkaisun vastaava toimittaja, eli yleensä lehden päätoimittaja tai kirjan kustantaja.

Käsikirjoituksen tai hankesuunnitelman laadun lisäksi päätökseen voi vaikuttaa sopivuus ko. kanavaan. Lupaavakin artikkelikäsikirjoitus voidaan hylätä siksi, että kirjoittaja on lähettänyt sen esimerkiksi tematiikaltaan tai lähestymistavoiltaan väärään lehteen. Voi myös olla, että käsikirjoitus on periaatteessa laadukas, mutta ei täytä lehden vaatimustasoa esimerkiksi teoreettisen tai metodologisen uutuuden osalta.

Kullakin lehden osastolla voi olla oma vertaisarviointikäytäntönsä.

Kustantaja tai päätoimittaja päättää tarvittavien asiantuntijalausuntojen määrästä julkaisunsa vaatimustason ja käsikirjoituksen tyypin perusteella. Vertaisarvioidulla tutkimusartikkelilla on yleensä 2–3 toimituksen ulkopuolista asiantuntijalukijaa.

Kansainvälisellä JUFO-luokitusta 3 vastaavalla tai sen ylittävällä tasolla ulkopuolisia asiantuntijalausuntoja pyydetään tyypillisesti 3–4, minkä lisäksi käsikirjoituksesta vastaava toimittaja tai toimitusneuvoston jäsen saattaa kirjoittaa oman ohjeistuksensa.

Esimerkiksi lehdessä X tutkimusartikkelit (A1) arvioitetaan aina vähintään kahdella toimituksen ulkopuolisella asiantuntijalla. Sen sijaan lyhyemmät katsaukset luetaan toimituksessa ja toimitusneuvostossa, tarvittaessa konsultoidaan yhtä ulkopuolista asiantuntijaa. Kirja-arvostelujen ja vierailevien pääkirjoittajien tekstien kohtalosta päätetään toimituksessa. Tehtäviä jaetaan toimitusneuvoston kanssa tarpeen mukaan, mutta lehden vastaava toimittaja (päätoimittaja) tai kirjan kustantaja on viime kädessä vastuussa julkaisupäätöksistä.

”Vertaisarvioija” on sananmukaisesti vertainen. Tieteellisessä julkaisutoiminnassa vertaisena pidetään yleensä tutkijakoulutuksen saanutta eli väitellyttä arvioijaa. Joissakin tapauksissa edellytetään vähintään dosentin arvonimeä.

Kustantaja tai päätoimittaja voi kuitenkin perustellusti poiketa tästä linjauksesta. Yksi vaihtoehto on katsoa vertaisiksi kaikki, jotka kykenevät julkaisemaan samalla vaatimustasolla. Esimerkiksi samassa lehdessä täysin referoidun tutkimustekstin julkaissut muu asiantuntija tai opiskelija on tällöin vertainen, oppiarvostaan riippumatta.

Käsikirjoituksessa esitettyjen tietojen luotettavuuden arviointi saattaa edellyttää pitkälle erikoistunutta osaamista tai kokemusta. Tällöin voi olla perusteltua valita arvioija, joka tuntee aihepiirin sovellukset ja käytännöt. Tämä voi tarkoittaa kääntymistä esimerkiksi viranomaisen tai soveltuvaa käytännön työtä tekevän asiantuntijan puoleen.

Lausuntopyyntöä voi tarvittaessa kohdentaa. Arviota pyydetään tällöin vaikkapa käsikirjoituksessa esitettyjen hallintoa, lainsäädäntöä tai opetustyön arkea koskevien havaintojen ja väittämien oikeellisuudesta ja uskottavuudesta.

Asiantuntija-arvioijan voi siis löytää myös tiede- ja tutkimusmaailman ulkopuolelta.

Vaihtoehtojen kirjo riippuu usein kustantajan tai (pää)toimittajan asiantuntemuksesta, taustasta, kekseliäisyydestä ja verkostoista. Niiden kehittäminen on tärkeä osa julkaisupäätösten tekijän (vastaavan toimittajan) ja hänen alaistensa ammattitaidon ja (itse)kriittisyyden jalostamista.

Käytettävissä oleva vaihtoehtojen kirjo riippuu usein kustantajan tai (pää)toimittajan asiantuntemuksesta, taustasta, kekseliäisyydestä ja verkostoista. Niiden kehittäminen on tärkeä osa julkaisupäätösten tekijän (vastaavan toimittajan) ja hänen alaistensa ammattitaidon ja (itse)kriittisyyden jalostamista.

Sopiva arvioija voi löytyä alan kirjallisuudesta, tarjotun tekstin bibliografiasta, teemaan liittyvästä tietokannasta, kustantajan tai julkaisun omasta ”refereepoolista” tai googlettamalla.

Pooliin voidaan kutsua kiinnostuneita tutkija-kirjoittajia avoimella kutsulla. Sopiva arvioija saattaa työskennellä muuallakin kuin yliopistossa tai tutkimuslaitoksessa (ks. Kohta 5: Kuka kelpaa tieteellisen käsikirjoituksen arvioijaksi?)

Konferenssit, tiedekustannuskentän ja kilpailevien julkaisujen seuraaminen sekä uusiin väitöskirjoihin tutustuminen auttavat eteenpäin. Esimerkiksi kiinnostavia esitelmöitsijöitä voi henkilökohtaisesti kutsua refereepooliin ja tarjoamaan käsikirjoitusta.

Usein varsinkin nuoret tutkijat ottavat arviointitehtävän vastaan halukkaasti. He myös suorittavat sen huolellisesti, koska onnistuminen kasvattaa heidän kokemustaan, näkyvyyttään ja ansioitaan.

Aktiivinen, asiantunteva toimitusneuvosto (Editorial Board) laajentaa toimituksen verkostoja merkittävällä tavalla. Sopiva asiantuntija-arvioija voi löytyä myös toimitusneuvostosta. Toimittajat konsultoivat usein toisia toimittajia ja tutkijakollegoitaan tunnistaakseen ja tavoittaakseen sopivia arvioijaehdokkaita.

Kirjoittajilta voi myös pyytää näkemyksiä ja ehdotuksia käsikirjoituksen mukana. Toimitus voi harkintansa mukaan noudattaa tai olla noudattamatta saamiaan ehdotuksia (myös silloin, kun kirjoittaja ilmoittaa koulukuntaeroista).

Joskus päätoimittaja edellyttää, että hänen lehdessään julkaisevat tutkija-kirjoittajat kirjoittavat vastineeksi vertaisarviointilausuntoja. Toistuva kieltäytyminen voi estää heidän käsikirjoitustensa ottamisen arviointiin (ks. Kohta 9. Lähteitä ja lisälukemista: Elden 2008).

Jatkuvuuden, kokonaisuuden hahmottamisen ja linjan kriittisen tarkastelun kannalta edullista on pitää arvioijista kirjaa. Nimen, organisaation ja yhteystietojen lisäksi kirjataan esimerkiksi asiantuntemusta koskevia avainsanoja. Myös tehdyt arviot ja niiden laatu kannattaa kirjata. Loki syntyy vaikkapa excelissä, ellei tietoja voi tallentaa käytössä olevaan toimitusjärjestelmään.

Arvioijaa valitessa on syytä miettiä myös jääviyskysymyksiä. Ne korostuvat Suomen kaltaisissa pienissä tiede- ja kieliyhteisöissä (ks. Kohta 8: Luottamuksellisuus, jääviydet ja etiikka).

Kustantaja tai julkaisun (pää)toimittaja kutsuu vertaisarvioijan (peer reviewer) tehtäväänsä kirjallisesti, tavallisimmin sähköpostitse suoraan tai toimitusjärjestelmän kautta. Kutsussa hän kertoo, millaisesta käsikirjoituksesta ja lausunnosta on kyse, kenelle se laaditaan ja millä aikataululla.

Helpointa on laatia kutsulle mallipohja, jota voi muokata tarpeen mukaan.

Kutsuun kannattaa liittää julkaisun vertaisarviointilinjaukset ja ohjeet vertaisarvioijalle sekä käsikirjoituksen tai kirjan hankesuunnitelman tiivistelmä (abstrakti). Myös linkki kustantajan tai julkaisun esittelyyn auttaa tehtävän hahmottamisessa, samoin tieto prosessin avoimuuden asteesta.

Kutsussa on hyvä kertoa, millaista lausuntoa arvioijalta odotetaan. Palaute on yleensä vapaamuotoista, mutta käytössä on myös lomakkeita tärkeimpien pääkohtien numeeriseen arviointiin. Vertaisarvioija voi halutessaan palauttaa myös käsikirjoituksen merkintöineen.

Mikäli julkaisussa käytetään anonyymiä arviointia, toimitus varmistaa, etteivät lähetettävät tiedostot sisällä henkilöllisyyden paljastavia tunnisteita. Tämä koskee myös viittauksia kirjoittajan omiin julkaisuihin.

Mikäli tehtävästä maksetaan palkkio, asia kannattaa mainita kutsussa. Suomessa tämä on harvinaista, mutta asiantuntija-arviointitehtävät lasketaan tieteelliseksi ansioksi. Ne on syytä raportoida anonyymisti (julkaisun tai kustantajan nimi, käsikirjoituksen tyyppi, EI käsikirjoituksen nimeä), vaikka yliopiston raportointijärjestelmä muuta kysyisi.

Kutsuttua arvioijaa on hyvä pyytää ilmoittamaan mahdollisesta jääviydestä.

Toimituksen linja voi sisältää oikeuden ohittaa lausunto tai muokata sitä, mikäli sen tyyli katsotaan asiattomaksi. Onpa käynyt niinkin, että päätoimittaja on kehottanut arvioijaa editoimaan lausuntoaan kysymällä: ”Hyväksyisitkö itse tällaisen palautteen?”

Esimerkiksi lehdessä X vastaava toimittaja (päätoimittaja) lähettää valitsemalleen asiantuntijalle sähköpostin, johon hän laittaa valmiin pohjan linkkeineen mutta muokkaa viestiä mm. henkilökohtaisella tervehdyksellä.

Kutsupohja kertaa lehden verkkosivulta löytyvän vertaisarviointilinjan ja -ohjeiden tärkeimmät kohdat: Lehdessä prosessi on nimetön molempiin suuntiin, ja kaikki tutkimusartikkelit arvioitetaan vähintään kahdella ulkopuolisella asiantuntijalla. Lehden lausunto on vapaamuotoinen ja tyypillisesti 1–2 liuskan mittainen.

Arvioijaa pyydetään kiinnittämään erityistä huomiota kirjoittajan keskusteluun aiemman tutkimuskirjallisuuden kanssa, asian uutuuteen, analyysin vahvuuteen sekä luettavuuteen. Lehdessä suositaan havainnollista, laadukasta kuvitusta.

Lisäksi kerrotaan, että aikaa lausunnon laatimiseen on kuukausi (takarajan pvm), mutta muustakin voidaan sopia. Muokkausehdotukset on hyvä kohdentaa ja perustella. Lausunnon tyylin tulee olla kohtelias ja rakentava, eli tavoitteena on rohkaista kirjoittajaa parantamaan kirjoitustaan.

Arvioijaa voi sisällyttää lausuntonsa saatteeseen suosituksen käsikirjoituksen kohtalosta: Onko teksti on julkaistavissa sellaisenaan (accept) / pieniä muokkauksia edellyttäen (minor revisions) / laajoja muokkauksia edellyttäen (major revisions) / vai hylättävä (reject)?

Arvioijan näkemykset ja suositukset ovat ohjenuoria ja neuvoja, joita toimitus voi noudattaa tai olla noudattamatta. Julkaisupäätökset tekee (tai niistä on viime kädessä vastuussa) lehden vastaava toimittaja (päätoimittaja tai kustantaja).

Vertaisarviointiprosessin anonyymiyden aste vaihtelee. Kukin kustantaja ja kanava valitsee itselleen sopivimman käytännön, jonka kirjoittajat hyväksyvät tarjotessaan käsikirjoitustaan julkaistavaksi.

Siksi linjasta ja ohjeista on hyvä kertoa kustantajan tai kanavan verkkosivuilla (Ks. Kysymys 2: Mihin tarvitaan vertaisarviointilinjaa ja -politiikkaa?).

Täysin avoin arviointi (open review) on esimerkiksi väitöskirjoilla ja yhä useammin myös tutkimusartikkeleilla. Tällöin kirjoittajat ja arvioijat tietävät toistensa henkilöllisyyden. Lausunnot ja toisinaan myös kirjoittajien vastineet julkaistaan, ja kokonaisuus voidaan avata jatkokeskustelulle (ks. Kysymys 3: Miten vertaisarviointiprosessi etenee?).

Kirjakäsikirjoituksia ja kirjojen hankesuunnitelmia (book proposals) arvioidaan usein puoliavoimesti siten, että arvioija tietää kirjoittajan henkilöllisyyden mutta lausunto on nimetön (single blind review).

Tieteellisten sarjojen kattava vertaisarviointi on yleensä kaksoissokko eli anonyymi molempiin suuntiin (double blind review). Tällöin asiantuntija saa kommentoitavakseen nimettömän käsikirjoituksen, eikä hänen henkilöllisyyttään paljasteta kirjoittajalle.

Toimitus varmistaa tiedostoja lähettäessään, että niistä puuttuvat henkilöllisyyden paljastavat tunnisteet ja kirjoittaja on anonymisoinut viittaukset omiin julkaisuihinsa (esim. Kirjoittaja, 2021). Tekstiviitteet ja bibliografiset tiedot voidaan lisätä hyväksytyn tekstin editointivaiheessa.

Jos arvioija uskoo tunnistavansa kirjoittajan, hänen tulisi kertoa tästä kustantajan edustajalle viipymättä. Tämän harkinnassa on keskustelun jälkeen, voidaanko prosessia jatkaa.

Kaikkia käsikirjoituksia ja niihin liittyvää materiaalia suojaa tekijänoikeus. Kaikki arvioitavat käsikirjoitukset ja suunnitelmat ovat luottamuksellisia, ja tiedostoja ja tulosteita tulee käsitellä tämän mukaisesti. Niistä ei saa keskustella eikä niitä saa näyttää ulkopuolisille, ellei asiasta perustellusti sovita.

Julkaisemattoman käsikirjoituksen sisältöä ei saa käyttää omaksi edukseen ilman lupaa. Lupa on syytä pyytää ja antaa kirjallisesti.

Jos asiantuntijalla on eturistiriita käsikirjoituksen sisällön tai (olettamansa) kirjoittajan kanssa tai hän on muuten osallinen asiaan, tästä pitää kertoa kustantajan edustajalle. Tämä ratkaisee, korvataanko arvioija kollegallaan vai voiko prosessi edetä tasapainoisesti tästä huolimatta.

Suomen tiede- ja kieliyhteisön pienuus asettaa vertaisarviointiprosessien nimettömyydelle omat haasteensa.

Asiantuntijalausunto kirjoitetaan asiallisesti, rohkaisevasti, kohdennetusti ja perustellusti. Ilkeily ja tarpeeton tylyys ovat sopimattomia. Sama pätee toimituksen palautteeseen kirjoittajalle – ja kirjoittajan vastineisiin ja viestintään.

Prosessia ohjaavat käsikirjoituksen tai kirjan hankesuunnitelman parantamisen ja julkaisukuntoon saattamisen tavoitteet sekä kysymys: ”Millaista kritiikkiä itse haluaisin saada työni tueksi?”

Tekoälystä

Committee on Publication Ethics COPE.

Elden, Stuart (2008). Editorial: The exchange economy of peer review. Environment and Planning D: Society and Space 26, 951–953.

Ethical Guidelines for Peer Reviews. Committee on Publication Ethics COPE.

Hietanen, Päivi (2012). Vertaisarviointi inkvisiittoritoimitusten apuna. Lääkärilehti 67: 7, 475.

Hyvä tieteellinen käytäntö (HTK). Tutkimuseettinen neuvottelukunta TENK.

Jansson, Marianne (2008). Vertaisarviointi pysyy luottamuksellisena. Lääkärilehti 26.3.2008.

Julkaisufoorumi.

Jytilä, Riitta & Mikael Laakso (2019). Selvitys avoimesta vertaisarvioinnista kotimaisen tiedejulkaisemisen kentällä. Tieteellisten seurain valtuuskunnan verkkojulkaisuja 4.

Kleemola, Olli (2020). ”Vertaisarviointi on rikki?” Ennen ja Nyt -lehden kokemuksia avoimesta vertaisarvioinnista. Vastuullinen tiede -verkkosivu.

Laakso, Mikael & Riitta Jytilä (2019). Avoin tiede muuttaa vertaisarvioinnin käytäntöjä. Vastuullinen tiede -verkkosivu.

Laakso, Mikael, Riitta Jytilä, Susanna Nykyri & Riitta Koikkalainen (2018). Avoin vertaisarviointi: hyötyjen ja haasteiden tasapainottelua. Informaatiotutkimus 37: 3, 64–66.

Raento, Pauliina (2019). Hyvä käytös ilahduttaa – ja tuottaa. Vastuullinen tiede -verkkosivu.

Raento, Pauliina (2019). Hyvät käytännöt takaavat tieteen vertaisarvioinnin laadun. Vastuullinen tiede -verkkosivu.

Ruth, Anna-Sofia (2018). Tutkimuksen avulla yhdenmukaisuutta ja luotettavuutta vertaisarviointiin. Vastuullinen tiede -verkkosivu.

Saloheimo, Pertti (2017). Kenelle kunnia kuuluu? Lääkärilehti 72: 3, 96.

Saloheimo, Pertti (2017). Lääkärilehti siirtyy kaksoissokkoutettuun vertaisarviointiin. Lääkärilehti 72: 35, 1828.

Saloheimo, Pertti (2019). Vertaisarviointi on laatutyötä. Lääkärilehti 74: 50–52.

Tunnus vertaisarvioidulle tiedejulkaisulle (vertaisarviointitunnus).

Vastuullinen tiede -verkkosivu. Tieteellisten seurain valtuuskunta, Helsinki.