AntroBlogin toimitusprosessiin kuuluu, että artikkelisisältö käy läpi antropologisen arvioinnin. Miten populaarin tiedemedian sisällön arviointi eroaa tieteellisestä vertaisarvioinnista, ja ketkä sitä tekevät?
Pyrimme AntroBlogissa julkaisemaan mahdollisimman laajalle yleisölle ymmärrettäviä ja kiinnostavia sisältöjä. Toimintamme perusidea on akateemiseen tutkimukseen pohjaavan antropologisen tiedon ja näkökulmien suodattaminen lähestyttävään, selkokieliseen muotoon.
Journalistisesta otteesta huolimatta pidämme sisältöjemme tieteellistä uskottavuutta kunnia-asiana. Tasoa ylläpidetään artikkeleiden antropologisella arvionnilla, joka on ollut osa AntroBlogin toimitusprosessia alusta saakka.
Käytännön toi meille perustajajäseniimme kuuluva, AntroBlogin alkutaipaleella merkittävänä henkisenä tukena toiminut dosentti Miia Halme-Tuomisaari. Hänen ja antropologi Julie Billaudin vuonna 2012 perustama kansainvälinen verkkojulkaisu Allegralaboratory.net käyttää tekstien arviointia osana omaa toimitusprosessiaan. Miian vahvasta suosituksesta käytäntö omaksuttiin myös AntroBlogiin.
Arviointi tarkoittaa sitä, että kaikki meillä julkaistavat artikkelit käyvät läpi paitsi journalistisen muokkauksen, myös tutkijoiden suorittaman kommentointi- ja korjauskierroksen. Tätä työtä meille tekevät tällä hetkellä VTT Marianna Keisalo, joka on ollut mukana lähes alusta saakka, sekä FT Tuomas Järvenpää, joka liittyi tiimiin vuoden 2018 alussa.
Halme-Tuomisaaren kanssa ensimmäisenä tieteellisenä arvioijanamme toimi alkuperäiseen toimitustiimimme kuulunut VTT Timo Kallinen, joka työskentelee nykyään uskontotieteen professorina Itä-Suomen yliopistossa. Tässä artikkelissa päästämme ääneen myös arvioijat itsensä.
Tieteellisestä vertaisarvioinnista
Tieteellinen vertaisarviointi on tieteellisissä julkaisuissa laajalti käytössä oleva metodi. Sen avulla pyritään varmistamaan julkaistavan sisällön tieteellisyys ja eettisyys. Tieteellisellä vertaisarvioinnilla tarkoitetaan tiedemaailmassa sitä, että julkaistavaksi ehdotetun artikkelin arvostelee yksi tai useampia henkilöitä, joiden asiantuntemus on kyseisen artikkelin aihepiiriä vastaava.
Vertaisarvioijan tulee pystyä antamaan rakentavaa ja ajan tasalla olevaa palautetta tekstin sisällön tieteellisestä uskottavuudesta ja laadusta. Tiedejulkaisun kentällä tieteellinen vertaisarviointi viittaa siis tutkijayhteisössä tapahtuvaan itsearviointiin, jossa saman tutkimusaiheen parissa työskentelevät tutkijat vastaavat julkaistavan aineiston tieteellisestä integriteetistä. Vaikka se on vallitseva käytäntö, menetelmä ei ole säästynyt kritiikiltä.
Esimerkiksi kulttuurin tutkimuksen alalla vaikuttava emeritusprofessori Mieke Bal on esittänyt kritiikkiä vertaisarviointia kohtaan. Balin kymmenosainen kritiikki kohdistuu muun muassa arvioinnin laatuun ja luotettavuuteen, jonka sen rutiininomaisuus ja ajanpuute hänen mielestään asettavat kyseenalaiseksi. Lisäksi Bal kritisoi vertaisarviointia asetelmasta, jossa usein samanmieliset tutkijat arvostelevat toistensa artikkeleita. Tämän voi nähdä ylläpitävän koulukunta-ajattelua.
Kritiikistä ja ongelmakohdista huolimatta vertaisarviointi on tieteellisen laadun takaamisen kannalta olennainen osa tieteellistä julkaisemista. Se erottaa tieteen esimerkiksi tietokirjallisuudesta, ja on toistaiseksi paras systeemi, joka tiedekentällä on käytössä.
AntroBlogin artikkelien arviointiprosessi
Marianna Keisalo
Miten AntroBlogin arviointi eroaa tiedejulkaisujen vertaisarvioinnista, ja millaisia haasteita siihen liittyy? Kysyimme aiheesta tekstien arviointia meille tekeviltä tutkijoilta.
“Akateemisessa maailmassa tieteelliseksi vertaisarvioijaksi pyritään saamaan usein juuri artikkelikäsikirjoituksen alan erityisasiantuntija. AntroBlogin tekstien teemat saattavat kuitenkin vaihdella esimerkiksi Etelä-Amerikan muinaisten sivilisaatioiden arkeologisesta tutkimuksesta suomalaisten poliisikoirien koulutukseen. AntroBlogin ”seniorilukija” ei siis mitenkään voi olla näiden kaikkien erityisalojen asiantuntija. Tässä mielessä arviointiprosessi on hyvin erilainen kuin tieteellinen vertaisarviointi”, toteaa Tuomas Järvenpää.
Myös Timo Kallinen painottaa vertaisarvioinnin ja AntroBlogille tehtävän arvioinnin eroja. “AntroBlogissa arvioijat lukevat tutkimusta popularisoivia tekstejä – eivätkä itse tutkimusta. Pelkästään niiden pohjalta tutkimuksen tieteellistä pätevyyttä ei voi arvioida, sillä populaarit tekstit eivät sisällä sellaisia selontekoja metodeista ja lähteistä, että arvioija voisi muodostaa tutkimusprosessista järkevän kuvan, ja siten arvioida kriittisesti itse tuloksia. Toiseksi, tutkimukset, joihin populaarit tekstit perustuvat, on jo kertaalleen arvioitu tieteellisin perustein. AntroBlogin arvioijat eivät ole riippumattomia ”ulkopuolisia” arvioijia vaan osa toimitusta.“Marianna Keisalo muistuttaa, että toisin kuin tieteellinen vertaisarviointi, AntroBlogille tehtävä arviointi ei ole anonyymiä.
“Vertaisarvioinnissa voi tavallaan lähestyä tekstiä vahvemmin omien tutkimuskäsitysten kautta, koska tehtävä on arvioida tutkimuksen sisältöä ja muotoa suhteessa tietyn aiheen tutkimukseen. Vertaisarvioinnissa keskeinen kysymys on, kannattaako tekstiä julkaista ollenkaan: mikä sen anti tutkimukselle on. AntroBlogissa tarkoitus on tuoda antropologista tietoa laajemmalle yleisölle, ja arvioinnin tarkoitus on varmistaa tekstin laatu antropologisesta näkökulmasta”, Keisalo jatkaa.
Entäpä Balin ja muiden esittämä kritiikki vertaisarviointia kohtaan? Tuomas Järvenpää on eri linjoilla esitetyn kritiikin kanssa.
“Toisin kuin Bal, näen, että vertaisarviointi on oleellinen osa tutkijan työtä ja mahdollisuus tutustua uusimpaan tutkimukseen. Nuoremmille tutkijoille vertaisarviointi on myös mahdollisuus saada akateemisia meriittejä, ja toisinaan arvioitsijana toimimisesta saa myös erillisen palkan.”
“Lopulta arvioitsijana toimimisessa on kuitenkin kyse eettisestä velvollisuudesta. Eettisyyttä voisi jossain tapauksissa lisätä anonyymistä arvioinnista luopuminen niin, että arvioitsija joutuisi kirjoittamaan arvion omalla nimellään. Balin hahmottelema vaihtoehto esimerkiksi siitä, että ”kirjoittaja itse etsii palautetta työlleen”, ei kuulosta kovin vakuuttavalta vaihtoehdolta vertaisarvioinnille.” Järvenpää summaa.
Timo Kallinen puolestaan ymmärtää kritiikkiä. “Kritiikki on minusta hyvin aiheellista. Balin kohdalla vertaisarvioinnille esitetty vaihtoehto on kuitenkin niin alkutekijöissään, että on vaikea sanoa, olisiko siitä enemmän haittaa vai hyötyä.”
Miten arviointi meillä toimii
Antropologia, kuten muutkin erityisesti ihmistieteisiin keskittyvät tieteenalat, on luonteeltaan jatkuvaa keskustelua. Tekstien arviointi ei siksi ole pelkkää faktojen tarkistamista. Arvioijat, tai “seniorit”, kuten heitä toimituksessa kutsumme, lukevat artikkelit omalla tutkimuksellisella asiantuntemuksellaan.
Arvioijat kommentoivat esimerkiksi kohtia, joissa teksti olisi hyvä juurruttaa teoriaan, tai joissa käytetty teoria ei välttämättä ole tarkoitukseensa paras mahdollinen. Heidän työnsä on tarkastaa, että teksti on tarpeeksi antropologinen, eikä esitä perustelemattomia väitteitä tai virheellistä tietoa. Millaisia asioita seniorit pitävät teksteissä silmällä?
Keisalo kertoo kiinnittävänsä teksteissä huomiota antropologiseen uskottavuuteen ja tekstin selkeyteen. “Katson, onko väitteet esitelty ja perusteltu riittävästi, ja onko teksti sellainen, että antropologiaa ennestään tuntematon lukija saa oikean kuvan. Kaikissa teksteissä, joita arvioin (myös opiskelijaesseet, opinnäytetöt ja vertaisarviointi) mietin kahta asiaa: mitkä ovat tietyn genren tai julkaisupaikan vaatimukset, ja mihin kirjoittaja pyrkii näiden vaatimusten puitteissa?”
“AntroBlogissa vaatimuksiin kuuluu, että teksti tuo esiin antropologista näkökulmaa, on yleistajuinen ja selkeä. Kirjoittajalla voi näissä puitteissa olla päämääränä vaikka esitellä jotain antropologista aihetta kattavasti eri puolilta, tehdä poliittinen kannanotto tai kertoa viihdyttävästi kokemuksistaan kentällä. Jos en ole aiheen erityisasiantuntija, voin eläytyä aihetta tuntemattomaan lukijaan, joka myöskään ei tunne aihetta, ja osoittaa missä kohtaa teksti kaipaa selvennystä.”, Keisalo huomauttaa.Myös Järvenpää katsoo tekstejä yleisön näkökulmasta. “Koska yleensä en ole seniorilukijanakaan tekstin aihepiirin erikoisasiantuntija, kiinnitän huomiota tekstin yleiseen loogisuuteen ja tutkimukselliseen rakenteeseen: onko tekstin väitteitä perusteltu ja käykö tekstistä ilmi mihin lähteeseen tai päättelyyn ne perustuvat. Yritän myös kiinnittää huomiota siihen, että teksti on luettavaa ja yleistajuista. Tarkistan esimerkiksi, että kirjoittajan oman alan erikoistermit on avattu yleistajuisiksi. Nämä eri alojen erikoistermit ovat usein myös minulle ”seniorilukijana” tuntemattomia.”
Kallinen mainitsee, että myös tekstien antropologisuuden arviointi on tärkeää. “AntroBlogin arvioinnissa kyse on ollut minun mielestäni lähinnä kahdenlaisista asioista. Arvioidaan, millaisia yleisen tason väitteitä jonkun melko spesifin rajattuun aiheeseen liittyvän tutkimuksen pohjalta voi tehdä. Vaihtoehtoisesti pyritään ohjaamaan kirjoittajaa miettimään tutkimuksensa tuloksia joltakin sellaiselta kannalta, jota hän ei tekstin perusteella näytä tulleen ajatelleeksi. Toiseksi, muilta tieteenaloilta tulevien tekstien kohdalla on arvioitava, missä määrin ne ovat mielenkiintoisia antropologiselta kannalta.”
Tuomas Järvenpää
Arviointityön haasteet
Sivusimme tekstien työstämiseen liittyviä haasteita kolumnisarjamme edellisessä osassa, joka käsitteli sitä ketkä meille tuottavat sisältöjä. Mikä artikkelien arvioinnissa on senioreille haastavinta? Onko arviointia vaikea sovittaa osaksi muuta elämää?
Timo Kallinen
Kallinen muistelee työn olleen melko leppoisaa. “En ainakaan muista, että minun aikanani yhtään tekstiä olisi kokonaan hylätty arvioinnissa – tai että olisi edes ikinä ollut kiistaa muutosten tekemisestä. Tällainen potentiaali arviontityössä kuitenkin aina on, ja se voi olla stressaavaa. Muistelisin, että AntroBlogissa työtahti vaihteli paljon: oli hyvin kiireisiä aikoja ja sitten jaksoja, jolloin ei ollut hirveästi tekemistä.”
Keisalo kertoo, että jotkut tekstit voivat olla hankaliakin kommentoitavia. “Haastavinta työ on silloin, jos teksti on vielä kovin sekavassa vaiheessa, pointtia ei löydy, tai jos siinä esitetään antropologisesti kyseenalaisia väitteitä. Tällaisia ovat esim. voimakkaat yleistykset, jotka tuntuvat nousevan jostain omasta ääneenlausumattomasta taustanäkemyksestä. Haastavaa on myös miettiä, miten antaa rakentavia kommentteja, jotka osoittavat ongelmat lannistamatta kirjoittajaa.“
Järvenpää on sisällyttänyt arviointityön osaksi työnkuvaansa, joten ajankäytöllisiä haasteita hänellä ei juuri ole. “Olen ajatellut, että AntroBlogissa toimiminen kuuluu suoraan osaksi yliopisto-opettajan toimenkuvaani. Työsopimuksen yhteydessä laadittavassa työsuunnitelmassa on mahdollisuus sijoittaa työaikaa kohtaan ”asiantuntijatehtävät ja yhteiskunnallinen toiminta”, johon kuuluvat tehtävät esimerkiksi erilaisissa tieteellisissä julkaisuissa. AntroBlogissa toimiminen onkin yksi mukavimmista työtehtävistäni ja mielekäs tapa toteuttaa yliopisto-opettajan yhteiskunnallista toimintaa.”
Uutistoimitus ja muut poikkeukset
Artikkelisisältömme arvioinnista on tähän saakka vastannut kahden hengen tiimi. Julkaisemme kuitenkin vilkkaimmillaan jopa 6-7 tekstiä viikossa. Arvioijamme käsittelevät niistä ainoastaan artikkelisisältöä ja antropologian erikoisaloja esittelevää sarjaa. Arvioinnin ulkopuolelle rajautuvat uutiskommentit, Kulttuurishokki-sarja sekä sellaiset epätieteelliset kolumnit, joissa kerrotaan vaikkapa toimituksen kuulumisista.
Uutistoimituksessa on käytössä oma, hieman vastaava arviointiprosessi. Uutistoimitus koostuu väitöskirjatutkijoista ja jo väitelleistä. Jokainen heidän tuottamansa teksti menee koko muun uutistoimituksen luettavaksi ja kommentoitavaksi. Vähimmäisvaatimus on, että kaksi kollegaa lukee ja kommentoi jokaisen tekstin. Käytännössä kommentteja tulee usein paljon useammalta. Kirjoittaja päättää kuitenkin itse, mitkä kommentit ja muutosehdotukset hän huomioi.
Uutistoimituksen kohdalla arviointiprosessi on artikkelipuolta keskustelevampi. Tekstien ongelmakohdista ja muista paljon kysymyksiä tai ajatuksia herättävistä osista keskustellaan vilkkaasti uutistoimituksen keskustelukanavalla. Tekstejä pallotellaan toisinaan runsaastikin, mutta ei koskaan kovin pitkään: ajankohtaisuuteen tähtäävä uutistoimitus pyrkii saamaan tekstejä julkaistuksi nopealla tahdilla.
Poikkeuksen arvioinnin sääntöön tekee myös Kulttuurishokki-sarja. Huhtikuussa 2016 alkanut sunnuntaisarja koostuu lyhyistä tietoiskuista, joissa esitellään käytäntöjä, uskomuksia ja elämisen tapoja maailman eri yhteisöjen parissa. Sosiaalisen median kanavien kevyeksi sisällöksi alun perin suunniteltu sarja pyörii kahden kirjoittajansa keskinäisenä projektina. Kirjoittajat lukevat ja kommentoivat toistensa tekstejä työstövaiheessa.
Vaikka seniorien luettavaksi menee siis vain osa sisällöstämme, on tähän myös poikkeuksia. Pyydämme heitä toisinaan vilkaisemaan myös arvioinnin ulkopuolelle tavallisesti jääviä tekstejä. Työtaakasta huolimatta, he ehtivät poikkeustapauksessa lukaista myös muita sisältöjä.
Mitä mieltä arvioijat ovat siitä, että monet julkaisemamme tekstit eivät käy läpi arviointia?
Keisalo kertoo, ettei hän näe asiassa ongelmaa: “Tämä on minusta ihan ok, koska tekijät ovat vastuullisia, ja AntroBlogia tehdään ryhmässä. Eri tekstit on myös selkeästi kuvattu ja kehystetty erilaisiksi. Tekstithän myös altistuvat julkaistuessaan laajemmalle kritiikille ja kommentaarille – joskus on muistaakseni kirjoitettu myös vastineita.”
Järvenpää jatkaa samalla linjalla. “Tieteellisen arvioinnin ja toimitustyön välinen raja on AntroBlogissa joka tapauksessa hyvin häilyvä. En ole osallistunut esimerkiksi uutisjuttujen arviointiin, mutta käsittääkseni nämäkin jutut käyvät läpi prosessin, jossa toimitustyöhön osallistuvat ovat saaneet antropologisen koulutuksen.”
Kallinen toteaa, ettei kaikkia tekstejä voisikaan arvioida: “Niin sen pitääkin olla. Mukana on kuitenkin jonkin verran mielipidekirjoituksen kaltaista sisältöä. Miten mielipiteitä voisi arvioida?“
Uusi tieteellinen arvioija haussa
Kun AntroBlogin toiminta kasvaa, niin tekee myös arvioijien työmäärä. Keväällä 2019 olemme resurssien puutteen vuoksi joutuneet supistamaan julkaisutoimintaamme hieman.
Tästä huolimatta pohjaton ideavarastomme synnyttää jatkuvasti uudenlaisia toimintamuotoja – ja myös lisää työtä arvioijille. Yksi esimerkki tästä on pian julkaistava, lukio-opetukseen suunnattu oppimateriaalien kokonaisuus, jonka arvioinnista vastaa Marianna Keisalo.
Tällä hetkellä meillä on haussa uusi antropologinen arvioija täydentämään tiimiämme. Arvioijalta vaaditaan kokemusta antropologian parista tohtorintutkintoa pidemmälle. Kokemus antropologian opetuksesta, tekstien kanssa työskentelystä ja niiden kommentoinnista on suureksi hyödyksi. Jos tunnistat kuvauksessa itsesi ja olet kiinnostunut sitoutumaan toimitustyöhön ainakin vuodeksi, ota meihin yhteyttä! 
Jos et vielä vakuuttunut, tässä senioreiden antamat suositukset pestille:
Järvenpää: “Työssä tulee tutustuttua kattavasti uusiin tutkimuksiin antropologian eri aloilta. Tähän ei välttämättä muutoin olisi yliopistotyössä aikaa tai mahdollisuuksia. Tieteellisten tekstien lukeminen ja muiden teksteihin perehtyminen on minulle tarpeellinen kivijalka myös omien ajatuksien kehittelylle.”
Keisalo: “AntroBlogin arviointien tekeminen on kivaa! Pääsee kiinnostavasti tutustumaan erilaisiin aiheisiin ja arvioimalla toisten tekstejä oppii paljon myös omaan kirjoittamiseen liittyen.”
Kallinen: “Kaikessa julkaisemistyössä oppii paljon uutta ja tulee perehtyneeksi sellaisiin aihepiireihin, joihin ei muissa töissään törmää. Tämä saattaa myöhemmin osoittautua hyvin arvokkaaksi. AntroBlogi on hyvin ainutlaatuinen yhteistyön muoto, jossa on mukana erilaista porukkaa melkein ihan alkuvaiheen opiskelijoista lähtien. Se, että se on vielä kasvanut näin paljon ja saanut huomiota kaikenlaisissa yhteyksissä, on oikeastaan historiallista. Eli siinä pääsee todistamaan jotakin harvinaislaatuista. AntroBlogin kannalta olisi mielestäni hyvä, jos arvioijalla on kokemusta antropologian opetuksesta. Tämä takaa sen, että hän on joutunut perehtymään semmoisiinkin aiheisiin, joita ei itse tutki, sekä on joutunut pohtimaan sitä, miten tutkimuksesta puhutaan yleistajuisesti.“Autoetnografisessa kolumnisarjassa lukija on kutsuttu kylään AntroBlogin toimitukseen, tutustumaan itsenäisen tiedemedian tekemiseen. Autoetnografia on osallistuvaa havainnointia, jossa tarkastelijan oma kokemus otetaan tulkinnan keskiöön. Kolumnisarjan tarkoitus on tehdä toimitukselliset prosessit ja ajatuksenkulkumme läpinäkyviksi, ja kertoa avoimesti kohtaamistamme ongelmista ja haasteista.
Toimitus
- Podcast-lukija: Milla Heikkinen
- Verkkotaitto: Aino Pohjola
- Artikkelikuva: João Silas/ Unsplash
Lukemista
- Mieke Bal: Let’s Abolish the Peer-Review System, Media Theory Journal.
