VERTAISARVIOIJILLE

Metodologian vertaisarviointi perustuu avoimuuteen ja yhtenäisiin laatukriteereihin. Vertaisarviointi on prosessi, jossa käsikirjoituksesta tulee kritiikin avulla paras versio itsestään.

Metodologian artikkelien ja vertaisarvioitujen esseiden kohdalla käytetään sekä avointa lausuntoa sekä arviointikaaviota. Julkaisujen muotoseikkoja voidaan aina korjata, mutta arvioinnin näkökulmasta tärkeintä on käsikirjoitusten tieteellisen sisällön laadullisuus, analyyttinen syvyys ja metodologinen käytettävyys. Tässä suhteessa tieteellisillä kriteereillä, viittaussuhteiden selkeydellä, analyysin originaalisuusarvolla sekä vanhojen teoreettisten viitekehysten uudelleenjäsentämisellä ja -ymmärryksellä on tärkeä rooli julkaisuissa.

Vertaisarvioinnin käytänteet

Vertaisarviointi tapahtuu anonyymisti lehden päätoimittajan välityksellä. Kaikissa vertaisarviointitapauksissa arvioijia on kaksi. Mikäli arvioijien näkemykset poikkeavat toisistaan päätoimittaja voi käyttää harkintaa tai ottaa käyttöön kolmannen arvioijan (tässä tapauksessa lisäarviointiprosessille annetaan aikaa noin 6-8 viikkoa, mukaan lukien arvioijan varmistaminen ja arvioijan kuukauden arviointiaika).

Kun arvioija on hyväksynyt pyynnön arvioida artikkelin tai esseen, hänelle lähetetään anonymisoitu käsikirjoitus, jonka arviointiin annetaan aikaa noin kuukausi ja arviointi lähetetään toimituksen sähköpostiin. Arvio tehdään antamalla yleinen lausunto puolesta A4 sivusta ylöspäin. Lausunnon lisäksi arvioija täyttää lehden arviointikaavakkeen, jotta kirjoittaja saa yksityiskohtaisempia ja helposti luettavia tietoja siitä miten käsikirjoitusta tulisi parantaa. (Arviointilausunto voi pitää sisällään myös kirjallisuus/tutkimuslähde ehdotuksia, kunhan arvioija pitää huolen myös omasta anonymiteetistään.) Arviointiprosessilla pyritään sekä arvioinnin selkeyteen ja analyyttisyyteen, sekä kirjoittajien kehittymiseen tieteellisinä kirjoittajina. Kirjoittajille tulisi olla selkeää mitkä asiat ovat vaikuttaneet arvioijan päätökseen lausunnossa.

Kun käsikirjoitus on saanut ensimmäisen lausunnon kirjoittajalle, hänelle annetaan yleensä noin kuukausi aikaa korjata käsikirjoitusta lausunnon mukaan. Mikäli toista tai N-kertaista lausuntoa edellytetään se tehdään pelkällä lausunnolla. Mahdolliselta kolmannelta lausunnonantajalta edellytetään koko kaavakkeen käyttöä. Arviointitilanteissa hyväksyntä julkaisuun ilman korjauksia vaatii perusteluita ja erityisesti hylkäystilanteissa lausunnon perustelut on oltava selvät.

Arvioijat saavat toimitukselta tiedon päätöksistä kaikissa tapauksissa, sekä vaikeimmissa arviointitapauksissa tietoja myös toisesta arviosta anonyymisti.

Lausunnon kirjoittaminen ja vertaisarviotaulukon täyttäminen

Koska lausunnoilla pyritään sekä käsikirjoituksen tieteellisyyden kriittiseen takaamiseen, sekä kirjoittajan kehittymiseen lausunnonantajalla on tärkeä rooli vertaisarvioinnin antajana. Lausunnossa kannattaa pyrkiä selkeään perustelu/väite suhteeseen lausunnossa esitettyjen argumenttien ja käsikirjoituksen välillä.

Vaikka arviointikaavake helpottaa seuraavien kohtien arviointia, arvioija voi huomioida lausunnossaan seuraavia aspekteja:

1. Novelty ja uutuusarvo: mitkä tekijät kirjoituksessa ovat tieteellisesti uusia tai uudella tavalla käsitteellistettyjä tai rakennettuja ideoita ja kuka havainnot on tehnyt.

2. Analyysin syvällisyys ja selkeys: koska kyse on metodologiasta aiheen syvällisyys voi nostaa aiheen tieteellistä arvoa, mutta myös selkeydellä on oma paikkansa metodologisessa käytettävyydessä.

3. Aineisto ja järkeily: minkä aineiston ja järkeilyn varassa kirjoitus on tehty, onko tässä asetelmassa puutoksia tai epäselkeyttä? (järkeily samaistuu tässä menetelmiin, koska menetelmien kehittämiseen ja luomiseen ei ole yksiselitteistä menetelmää.)

4. Kontekstin rajaus: onko käsikirjoituksen käsittelemä konteksti rajattu riittävällä selkeydellä tai muuten pohdittu aiheen kriteerejä.

5. Parannusehdotukset: millaisilla parannuksilla, laajennuksilla tai leikkauksilla käsikirjoitus voisi olla julkaistavissa?

6. Metodologisen pohdinnan rajallisuuden osoittaminen: Miten metodologisteoreettiset väitteet ovat tuettu? Onko argumenteilla tarttumispintaa varsinkin yhteenvedossa?

7. Yleinen julkaisukelpoisuus: Onko käsikirjoituksessa joitakin kohtia , joiden vuoksi sitä ei voida julkaista?

8. Onko käsikirjoituksen viesti johdonmukainen?

9. Lausunnossa kannattaa myös mainita mikäli jokin aspekti tai aihe on oman osaamisen ulkopuolella. Tämä auttaa toimituksen käsikirjoituksen arviointia.