Kaikki työt

Generatiivisen tekoälyn tuoma laadunparannus 2024

Lyhyesti hankkeesta

Media-alan tutkimussäätiön mahdollistama tutkimushanke ”Kaupallisen sisällöntuotannon ansaintalogiikan paradigmamuutos: Generatiivisen tekoälyn tuoma laadunparannus” on valmistunut.

Vuoden 2024 aikana tehtiin aineistonkeruu eri käyttäjäprofiileilla, joissa kaikkia yhdistävä tekijä oli toimiminen kaupallisen sisällöntuotannon parissa. Hankkeessa olivat mukana mediakumppaneina Bauer Media ja MTV Oy. Aineisto koostui alkukyselystä, tyypillisistä kaupallisen sisällön tehtävistä tekoälyavusteisesti, loppukyselystä, palautettujen tehtävien asiantuntija-arvioista ja arvioitsijoiden haastatteluista. Tutkimuksen tekoälytehtävät tehtiin Grew Oy:n tutkimusta varten valmistamalla tekoälyalustalla.

Tulokset esiteltiin ensimmäisen kerran Media-alan tutkimussäätiön ”Uutta kasvua” tilaisuudessa 27. maaliskuuta 2025. Tutkimuksessa jätetyt tehtävien palautukset on arvioitu anonymisoituna ja ovat luottamuksellisia.

Hankkeessa mukana

MATS2024:ssa mukana, logot

Lähtökohta ja tavoite

Media-alan tutkimussäätiön mahdollistaman tutkimushankkeen päätavoite oli selvittää, voidaanko tekoälyä hyödyntämällä saada laatuhyötyjä ammattimaisten sisällöntuottajien toimiessa syötesuunnittelijoina eli promptaajina.

Eli käytännössä: miten generatiivinen tekoäly (myöhemmin vain tekoäly) vaikuttaa kaupallisen sisällöntuotannon laatuun erilaisilla kaupallisen sisällöntuotannon työkokemusprofiileilla (aloittelija vs keskitaso vs ekspertti). Tutkimukseen osallistujat olivat sisällöntuotannon opiskelijoita ja ammattilaisia eri oppilaitoksista ja kaupallista sisällöntuotantoa tekevistä yrityksistä.

Tehtäviä palauttaneiden aineisto

Kutsu tutkimukseen lähti yli 500:lle henkilölle. Tutkimukseen halukkaita ja taustoiltaan sopivia kaupallisen sisällöntuotannon parista ilmoittautui 49. Heistä 36 palautti hyväksytysti tehtäviä.

Tutkimuksen päänäkökulmaksi valikoitui aiempi relevantti kaupallisen sisällöntuotannon työkokemus. Alkukyselyn pohjalta tunnistettiin seuraavat segmentit: 

  • aloittelija (ei alan työkokemusta)
  • keskitasolla (alle viisi vuotta alan työkokemusta)
  • ekspertti (viisi tai enemmän vuotta alan työkokemusta)

Tehtävät

Tekoälyavusteisesti tehtyjä tyypillisiä kaupallisen sisällöntuotannon tehtäviä palautettiin yhteensä 356 kappaletta. Palautettuja tehtäviä arvioitiin kolmen kaupallisen sisällöntuotannon kokeneen ammattilaisen toimesta yhteensä 474 kertaa. Arvioitsijat pisteyttivät anonymisoituja ja satunnaisesti heille valittuja palautuksia:

  • briefin noudattamisessa
  • ambitiotasossa / luovuudessa
  • ehdotetun toteuttamisen realistisuudessa.

Lisäksi arvioitsijat antoivat näkemyksensä jokaisen arvioimansa tehtävän ammattitaidon tasosta. Vertaamalla tätä arvioitua ammattitaidon tasoa tekijän itseilmoitettuun ammatilliseen kokemukseen voitiin analysoida, toimiko tekoäly osaamista tasoittavana, nostavana vai neutraalina tekijänä sisällöntuotannossa. Tämä vertailu auttoi selvittämään, hyötyivätkö eri kokemustasojen tekijät tekoälyn käytöstä.

Tehtävien palauttamisen onnistuminen

Tutkimuksessa arvioitiin myös onko palautus teknisesti hyväksyttävissä vai ei. Tällä tarkasteltiin kykyä käyttää tekoälyjä onnistuneesti ja onko esimerkiksi tutkimusalusta onnistumisen este.

Tekoälyn käyttö oli teknisesti onnistunutta 90 % osassa palautuksia.

Loppukyselyssä palautuksia tehneistä 77 % koki tehtävien palauttamisen helpoksi ja 23 % hankalaksi.

Tutkimusalustan tekoälyn käyttöä voidaan pitää enemmän helppona kuin vaikeana, eikä alusta ollut onnistumisen este.

Tutkimuksen sisällöntuotantotehtävät

Tutkimukseen osallistujat (eli eri sisällöntuotannon ammattilaiset ja opiskelijat) saivat tehtäväksi mediayhtiöiden, MTV & Bauer Media, kanssa yhteistyössä suunniteltuja tehtäviä. Tutkimusta varten suunnitellut tehtävät olivat tekstipohjaisia ja tyypillistä kaupallisen sisällöntuotantoa vastaavia. Tehtäviin oli hyvin aikaa ja niitä sai palauttaa haluamansa määrän. Vain palautuksien laatua arvioitiin ja palautusta sai työstää vapaasti palauttamiseen asti. Tehtävissä käytettiin Grew Oy:n tutkimukseen valmistettua tutkimusympäristöä, jossa algoritmina oli GPT-4o. 

Muiden tekoälyjen käyttö palautuksissa oli kielletty tasamittaisen vertailun mahdollistamiseksi.

Yhteenveto tehtäviä palauttaneiden kokemuksista

Tehtäviä palauttaneiden loppukyselytulosten (n=31) pohjalta tekoälyt koettiin:

  1. soveltuvan hyvin kaupalliseen sisällöntuotantoon 
  2. nopeuttavan rutiinitehtävien tekemistä
  3. olevan oleellinen osa kaupallisen sisällöntuotannon työn tulevaisuutta ja 
  4. se mitä työnantajat painottavat tulevaisuudessa palkkauksessa.

Tekoälyjen käyttö vähensi niitä kohtaan kohdistuvia negatiivisia asenteita. Tekoälyn vaikutuksesta sisältöjen laatuun oltiin huolissaan. Ekspertit eivät olleet huolissaan asiantuntemuksensa arvosta. Aloittelijat ja keskitasolla olevat olivat jonkin verran huolissaan asiantuntemuksensa arvosta.

Arvioitsijoiden näkemyksiä palautuksista

Arvioitsija 1

Pitää tekoälyä enemmän tuotannollisesti hyödyllisenä PR:än / viestinnän / liiketoiminnan tuen tehtävissä. Luovassa ideoinnissa vahvuus on määrällisessä ideoiden saamisessa ja sparrauksessa. Näkee tekoälyn potentiaalin mutta korostaa käyttäjän osaamisen ja koulutuksen merkitystä.

Arvioitsija 2

Tunnistaa tekoälyn mahdollisuudet monipuolisena työkaluna. Pohtii työn laadun kehitystä, painottaa ammattilaisen roolia faktojen kanssa ja on huolissaan ihmisen kyvystä arvioida lopputuotteita kiireessä. Korostaa ihmisen asiantuntemuksen jatkuvaa tarvetta. Ei koe koulutukselle suurta tarvetta, motivaatio kokeilla ratkaisevampaa.

Arvioitsija 3

Arvostaa tekoälyn tuomaa selkeyttä ja jäsentelyä sisällöntuotantoon, mutta muistuttaa kriittisen ajattelun ja asiantuntemuksen merkityksestä. Uskoo tekoälyjen kehittyvän ja parantavan kykyään tuottaa laadukasta sisältöä ajan myötä tutuksi tulleeseen trendiin perustuen. Uskoo AI-koulutuksen auttavan mahdollisuuksien ja riskien tunnistamisessa.

Arvioitsijoiden haastattelujen yhteenvedot palautuksista

  1. Tekoälyllä saa aina vastauksia briefeihin → tekoäly voi auttaa jäsentelemään ajatuksia ja tehostaa alkuunpääsemistä.
  2. Tekoälyllä voi laskea luovuuden tasoa merkittävästi → eli tekoälyn käyttö ja tuotoksen (output) arviointi / säätäminen vaatii luovuutta, substanssin tuntemusta ja AI-osaamista.
  3. Tekoäly voi johtaa keskimääräistä heikommin toteutuskelpoisiin ideoihin → eli ammattitaitoa tarvitaan kontekstin ymmärtämiseen ja outputin validointiin.
  4. Aiempi kaupallisen sisällöntuotannon työkokemus ei automaattisesti tarkoita parempaa laatua tekoälyn kanssa työskennellessä → eli 2/3 arvioitsijaa koki kaikkien voivan hyötyä erikseen tekoälyjen käyttökoulutuksesta. Yksi kolmesta arvioitsijasta koki itsenäisen käytön ja kokeilun hyödyllisemmäksi generatiivisten tekoälyjen ollessa helppokäyttöisiä.

Tutkimuksen tulosten yhteenveto

Generatiivisten tekoälyjen käyttö on sekä uhka että mahdollisuus kaupallisessa sisällöntuotannossa. 

Uhka: Mikäli vastausten laatuun ei kiinnitetä erityistä huomiota – tai koitetaan lisätä sisällöntuotannon tehokkuutta ammattitaidon kustannuksella – on “negatiivinen tasapäistäminen” iso riski. 

Mahdollisuus: Mikäli tekoälyjen rajoitukset ovat tunnistettuja ja laatua valvotaan ihmisen toimesta, nähdään niissä potentiaalia saada enemmän ideoita, tuottaa perusanalyysejä, prosesseja ja sisältöjä pienemmällä työmäärällä. Tekoälyjen käyttö vähentää epäluuloja niitä kohtaan.

Tutkimuksen rajoituksia ja sidonnaisuudet

Tutkimus kohdistui vain yhteen generatiivisen tekoälyn malliin (GPT-4o) tutkimusta varten kehitetyllä alustalla, mikä rajoittaa yleistettävyyttä muihin alustoihin tai algoritmeihin. Osallistujajoukko ei ollut täysin satunnaistettu, vaan koostui itse ilmoittautuneista henkilöistä kaupallisen sisällöntuotannon yrityksistä ja oppilaitoksista. Esimerkiksi voi olla, että tekoälyyn ehdottoman negatiivisesti suhtautuvat tai sen käytössä jo erityisen edistyneet eivät halunneet olla mukana tutkimuksessa. Tutkimuksessa ei myöskään ollut erillistä kontrolliryhmää, joka olisi suorittanut tehtävät ilman tekoälyä, mikä rajaa mahdollisuuksia tehdä johtopäätöksiä tekoälyn vaikutuksesta suorituksiin.

Sherpa tarjoaa muun toimintansa ohella generatiivisten tekoälyjen valmennuksia ja käyttöopastusta. Tämän hankkeen raportin suositukset perustuvat kuitenkin yksinomaan tutkimuksessa kerättyyn aineistoon, toteutettuihin haastatteluihin ja niistä tehtyihin analyyseihin, eivät raportin kirjoittajan tai hänen työnantajansa kaupallisiin intresseihin. 

Tutkimuksen on rahoittanut Media-alan tutkimussäätiö.

Lisätietoja tutkimushankkeesta ja tarkemmat tutkimuksen esittelypyynnöt

Jukka Niittymaa

Tutkimuksen johtaja, Sherpan tekoäly- ja innovaatiojohtaja

jukka@sherpa.fi

#mats2024genai #tekoäly #generatiivinentekoäly #media

 

Päivitykset

  • 18.4.2025 kielellisiä tarkistuksia.
  • 22.4.2025 lisätty tarkennus palautuksien arviointivektoreista ammattitaidon osalta.