Koulutus ja EdTech — EU:n tekoälysäädöksen vaatimustenmukaisuus

EU:n tekoälysäädöksen velvoitteet koulutuksen tekoälyjärjestelmille: opiskelijavalinnat, automatisoitu arviointi, valvontajärjestelmät ja oppimisalustat. Käsitellään Annex III:n kategoriaa 3 sekä opiskelijoihin kohdistuvia erityissuojia.

Koulutussektori ja EU:n tekoälysäädös — miksi opiskelijoiden oikeudet ovat keskeisiä

EU:n tekoälysäädös (asetus (EU) 2024/1689) tunnistaa koulutuksen ja ammatillisen koulutuksen kohonneen riskin toimialaksi ja luokittelee tietyt sen tekoälysovellukset korkeariskisiksi Annex III:n kategorian 3 nojalla. Tämä luokittelu heijastaa Euroopan lainsäätäjän perustavanlaatuista arviota: tekoälyjärjestelmät, jotka muokkaavat pääsyä koulutusmahdollisuuksiin tai määrittävät akateemisia tuloksia, koskevat syvästi yksilöllisesti merkittäviä oikeuksia — oikeutta koulutukseen (Art. 14, EU:n perusoikeuskirja), oikeutta syrjimättömyyteen (Art. 21) sekä, suuren opiskelijajoukon ollessa alaikäisiä, GDPR:n Art. 8:n ja kansainvälisten kehysten, kuten YK:n lapsen oikeuksien sopimuksen (UNCRC), vahvistettuja suojia.

Koulutussektori esittää erityislaatuisen vaatimustenmukaisuusprofiilin. Useimmat oppilaitokset — yliopistot, koulut ja ammatilliset oppilaitokset — toimivat EU:n tekoälysäädöksessä käyttöönottajan roolissa: ne hankkivat ja käyttävät EdTech-toimittajien rakentamia tekoälyjärjestelmiä omien järjestelmien kehittämisen sijaan. Tämä ero ei vähennä niiden velvoitteita. Art. 26:n nojalla korkeariskisen tekoälyn käyttöönottajilla on itsenäisiä oikeudellisia velvoitteita, joita ei voida täyttää pelkästään CE-merkityn tuotteen ostamisella. Samaan aikaan EU:n markkinoille tekoälyjärjestelmiä kehittävät ja saattavat EdTech-yritykset ovat toimittajia, joihin sovelletaan luvun III, jakson 2 mukaista täysimääräistä vaatimustenmukaisuuden arviointimenettelyä.

Sektoria luonnehtii myös merkittävä arkaluonteisen henkilötiedon keskittyminen. Opiskelijoiden käyttäytymistiedot, arviointitulokset, osallistumismallit, oppimisvaikeudet ja demografiset profiilit käsitellään laajamittaisesti adaptiivisilla oppimisalustoilla ja analytiikkatyökaluilla. Tämä tietojen keskittyminen tarkoittaa, ettei EU:n tekoälysäädöksen mukaista vaatimustenmukaisuutta koulutuksessa voida suunnitella erillään GDPR:stä — molemmat kehykset on käsiteltävä yhtenäisenä vaatimustenmukaisuusvelvoitteena.

Korkeariskinen tekoäly koulutuksessa — opiskelijavalinta, arviointi ja valvonta

Annex III:n kategoria 3 määrittelee kaksi erillistä korkeariskisen koulutus-tekoälyn kategoriaa. Kummankin kategorian soveltamisalan ymmärtäminen on olennaista luokittelupäätösten kannalta.

Opiskelijavalinta-tekoäly — pääsyn määrittäminen oppilaitoksiin

Annex III:n kategoria 3(a) kattaa tekoälyjärjestelmät, jotka on tarkoitettu pääsyn tai sijoittumisen määrittämiseen koulutus- ja ammatillisen koulutuksen laitoksiin tai ohjelmiin. Tämä kategoria sisältää tekoälyn, joka pisteyttää, listaa tai suodattaa hakijoita yliopistojen valintaprosesseissa, tekoälyn, joka arvioi aiempia tutkintoja tai ammatillisten pätevyyksien tunnustamista, sekä tekoälyn, joka määrittää kelpoisuuden tiettyihin akateemisiin suuntauksiin tai erityisohjelmiin.

Korkeariskinen luokittelu koskee tilanteita, joissa tekoälyjärjestelmän tulosteella on merkittävä vaikutus hakijan pääsyyn koulutusmahdollisuuteen. Tämä kynnys täyttyy useimmissa toiminnallisesti käyttöönotetuissa opiskelijavalinta-tekoälyjärjestelmissä: pisteytysmallin tulosteet, joihin valintahenkilöstö tukeutuu ilman järjestelmällistä uudelleenarviointia, määrittävät tehokkaasti tulokset, vaikka ihminen muodollisesti hyväksyisikin jokaisen päätöksen. Tällaisten järjestelmien toimittajien on noudatettava Art. 9–15:ä (tietohallinto, tekninen dokumentaatio, lokikirjaus, läpinäkyvyys, ihmisen valvonta, tarkkuus ja kestävyys). Käyttöönottavien laitosten on varmistettava vaatimustenmukaisuus ja toteutettava Art. 26:n mukaiset käyttöönottajavelvoitteet ennen järjestelmän käyttämistä missään valintakierroksessa.

Harhaisuuden riski on erityisen akuutti opiskelijavalinta-tekoälyssä. Historiallisiin valintatieto- ja akateemisen menestymisen aineistoihin koulutetut järjestelmät voivat kodifioida olemassa olevia eriarvoisuuksia — sukupuolijakaumia tietyillä tieteenaloilla, sosioekonomisia eroja akateemisessa valmistautumisessa sekä suorituskyvyn eroja kotimaisten ja kansainvälisten hakijoiden välillä. Art. 10 edellyttää, että koulutusaineistot ovat hallintokäytäntöjen alaisia, jotka käsittelevät tunnettuja harhaisuuksia, ja Art. 9 velvoittaa riskinhallintaan, joka on suhteutettu potentiaalisen haitan vakavuuteen — tässä yhteydessä tähän kuuluu pätevien hakijoiden epääminen heikommassa asemassa olevilta ryhmiltä.

Automaattinen arviointi-tekoäly — arvostelu ja akateemisten opintopolkujen osoittaminen

Annex III:n kategoria 3(b) kattaa tekoälyjärjestelmät, jotka arvioivat ja testaavat opiskelijoita, mukaan lukien tekoälypohjaiset arvostelutyökalut ja järjestelmät, jotka sijoittavat opiskelijoita eriytettyihin akateemisiin suuntauksiin suoritustietojen perusteella, kun näillä järjestelmillä on merkittävä vaikutus heidän opintopolkuihinsa. Automatisoitu essee-arviointityökalu, joka tuottaa lopulliset arvosanat, joiden perusteella määräytyy, läpäiseekö opiskelija kurssin, saako hän tutkinnon tai eteneekö hän seuraavalle opintoasteelle, on korkeariskinen. Samoin tekoäly, joka sijoittaa opiskelijoita tukiopetus-, normaali- tai edistyneiden suuntauksiin suoritustietojen perusteella, vaikuttaa merkittävästi opintopolkuihin ja kuuluu tähän kategoriaan.

Formatiivisiin arviointityökaluihin sovellettava raja — yksinomaan opiskelijoille palautteen antamiseen käytettyihin välineisiin, joissa opettaja säilyttää täyden ja tehokkaan määräysvallan kaikkiin arvioituihin tuloksiin — on kapeampi. Tällaiset työkalut saattavat jäädä kategorian 3(b) ulkopuolelle, mutta tämä luokittelu on dokumentoitava ja perusteltava, ja laitosten on varmistettava, että ihmisen valvonta on aidosti merkityksellistä eikä pelkästään muodollista tekoälyn tuottamien tulosten kumileimasimista.

Etätenttivalvonnan tekoäly

Etätenttivalvontajärjestelmät, jotka seuraavat opiskelijoiden käyttäytymistä arviointitilanteissa videoanalyysin, silmänseurannan, selaimen lukituksen, näppäinpainallusten kirjaamisen tai käyttäytymispoikkeamien havaitsemisen avulla, ovat yksi koulutuksen oikeudellisesti monimutkaisimmista tekoälysovelluksista. Kun tällaiset järjestelmät merkitsevät tai hylkäävät opiskelijoita automatisoidun analyysinsä perusteella — tai kun niiden tulosteita käyttävät ihmisarvioijat tavalla, joka ratkaisevasti määrittää tulokset — ne muodostavat korkeariskisen tekoälyn Annex III:n kategorian 3 nojalla tekoälynä, joka arvioi opiskelijoita ja vaikuttaa merkittävästi heidän opintopolkuihinsa.

Proctoring-tekoäly koskee myös Art. 5(1)(d):n kieltoa reaaliaikaisesta etäbiometrisestä tunnistamisesta yleisesti käytettävissä tiloissa. Kun proctoring-järjestelmät käyttävät kasvojentunnistusta opiskelijan henkilöllisyyden jatkuvaan todentamiseen tentin aikana reaaliajassa, kyseessä on kielletty biometrinen tunnistaminen, ellei sovelleta hyvin kapeaa Art. 5(2)–(6):n mukaista jäsenvaltion lainsäädäntöön perustuvaa poikkeusta. Proctoring-tekoälyä käyttöönottavien laitosten on tehtävä huolellinen ero tentin alkaessa tapahtuvan henkilöllisyyden todentamisen (potentiaalisesti laillinen, jos vaatimustenmukaisuus on varmistettu) ja koko tenttisession kattavan jatkuvan reaaliaikaisen biometrisen valvonnan välillä (Art. 5:n kiellon alainen).

Toimittaja vastaan käyttöönottaja — EdTech-yritykset ja oppilaitokset

EU:n tekoälysäädös jakaa velvoitteet epäsymmetrisesti toimittajien ja käyttöönottajien välillä. Tämän jaon ymmärtäminen on välttämätöntä vaatimustenmukaisuussuunnittelun kannalta sekä EdTech-toimittajille että laitoksille, jotka käyttävät heidän tuotteitaan.

EdTech-toimittajan velvoitteet

EdTech-yritykset, jotka kehittävät ja saattavat korkeariskisiä tekoälyjärjestelmiä EU:n markkinoille, ovat Art. 3(3):n mukaisia toimittajia ja niiden on noudatettava kaikkia luvun III, jakson 2 mukaisia korkeariskisen tekoälyn vaatimuksia:

• Art. 9 — Luoda ja ylläpitää riskinhallintajärjestelmä tekoälyjärjestelmän koko elinkaaren ajan
• Art. 10 — Toteuttaa tietohallinto koulutus-, validointi- ja testausaineistoille käsitellen harhaisuutta, edustavuutta ja tilastollisia rajoituksia
• Art. 11 ja Annex IV — Ylläpitää kattavaa teknistä dokumentaatiota vaatimustenmukaisuuden osoittamiseksi
• Art. 12 — Varmistaa järjestelmän toiminnan automaattinen lokikirjaus, joka mahdollistaa tekoälypäätösten jälkikäteisen tarkastelun
• Art. 13 — Toimittaa läpinäkyvyystiedot, jotka mahdollistavat käyttöönottajien ymmärtää järjestelmän kyvyt ja rajoitukset
• Art. 14 — Suunnitella järjestelmä siten, että käyttöönottajien tehokas ihmisvalvonta on mahdollista
• Art. 15 — Saavuttaa asianmukainen tarkkuus, kestävyys ja kyberturvallisuus aiottuun koulutuskontekstiin
• Art. 49 — Rekisteröidä järjestelmä EU:n tekoälytietokantaan ennen markkinoille saattamista tai sen yhteydessä

Toimittajien on myös toimitettava käyttöönottaville laitoksille riittävän yksityiskohtaiset käyttöohjeet, jotta laitokset voivat täyttää omat käyttöönottajavelvoitteensa — mukaan lukien tiedot opiskelijaväestön alaryhmistä, joilla järjestelmä on testattu, tunnetuista suorituskyvyn rajoituksista, harhaisuuden testaustuloksista ja lokien hallintamenettelyistä.

Laitoksen käyttöönottajan velvoitteet

Yliopistot, koulut ja ammatilliset oppilaitokset, jotka ottavat käyttöön korkeariskistä EdTech-tekoälyä Art. 26:n nojalla, on:

• Varmistettava, että tekoälyjärjestelmässä on CE-merkintä ja että EU-vaatimustenmukaisuusvakuutus on saatavilla
• Toteutettava toimittajan käyttöohjeet täysimääräisesti
• Varmistettava, että pätevä henkilöstö on nimetty vastuuseen ihmisvalvonnasta riittävällä teknisellä osaamisella ja käytännön toimivallalla puuttua tekoälyn tuottamiin tuloksiin
• Säilytettävä toimintalokit vähimmäisajan ja asetettava ne kansallisten valvontaviranomaisten saataville pyydettäessä
• Raportoitava vakavista häiriöistä tai toimintahäiriöistä toimittajalle ja tapauksen mukaan kansallisille tekoälyn valvontaviranomaisille
• Toteutettava tai tilattava Art. 27:n mukainen perusoikeusvaikutusten arviointi (FRIA) ennen tekoälypohjaisten arviointi- tai opiskelijavalintajärjestelmien käyttöönottoa
• Vältettävä korkeariskisten tekoälyjärjestelmien muuttamista tavalla, joka muuttaa niiden aiottua käyttötarkoitusta ilman, että toimittaja tekee uuden arvioinnin

Vuorovaikutus GDPR:n, lasten oikeuksien ja kansallisen koulutuslainsäädännön kanssa

GDPR ja opiskelijatietojen käsittely

Koulutuksen tekoäly toimii lähtökohtaisesti arkaluonteisella tiedolla. Oppimisanalytiikka-alustat, adaptiiviset tutoring-järjestelmät ja käyttäytymistä valvovat proctoring-työkalut käsittelevät tietoja, jotka voivat sisältää akateemisten suoritusten tiedot, osallistumismittarit, käyttäytymissignaalit ja viestinnän — kaikki yksilöitäviin opiskelijoihin yhdistettynä.

Kun opiskelijat ovat alaikäisiä, GDPR:n Art. 8 rajoittaa henkilötietojen käsittelyä suostumukseen perustuen: jäsenvaltiot ovat asettaneet iän, jonka alle vanhempien tai huoltajan suostumus vaaditaan, 13 ja 16 vuoden välille. EdTech-alustojen, jotka perustuvat opiskelijan suostumukseen käsittelyn oikeusperusteena, on ikäportaistettava järjestelmänsä ja toteutettava mekanismit vanhempien suostumuksen todentamiseksi ja kirjaamiseksi tarvittaessa. GDPR:n mukaisina rekisterinpitäjinä toimivien laitosten on varmistettava, että niiden sopimukset EdTech-toimittajien kanssa sisältävät asianmukaiset GDPR:n Art. 28:n mukaiset tietojenkäsittelysopimukset ja ettei opiskelijatietoja siirretä ETA-alueen ulkopuolelle ilman asianmukaisia suojatoimia.

Erityisten henkilötietokategorioiden käsittely — jota saattaa esiintyä, kun kyse on oppimisvaikeuksien arvioinnista, mielenterveysseulonnasta tai demografisesta profiloinnista — edellyttää nimenomaista oikeusperustaa GDPR:n Art. 9(2):n nojalla ja tyypillisesti Art. 35:n mukaista tietosuojaa koskevaa vaikutustenarviointia.

Art. 50 — Läpinäkyvyys tekoälypohjaisille tutor-chatboteille

EU:n tekoälysäädöksen Art. 50 asettaa erityisen läpinäkyvyysvelvoitteen tekoälyjärjestelmille, jotka on tarkoitettu toimimaan suoraan vuorovaikutuksessa luonnollisten henkilöiden kanssa. Koulutusympäristöihin käyttöönotetuissa tekoälypohjaisten tutoring-chatbottien, virtuaalisten oppimisassistenttien ja tekoälyn tuottamien palautetyökalujen on selkeästi ilmoitettava opiskelijoille tekoälystä jokaisen vuorovaikutuksen alussa. Kun opiskelijayleisöön kuuluu alaikäisiä, ilmoitus on mukautettava ikäasianmukaiseksi ja aidosti ymmärrettäväksi. Tekoälypohjaisia tutoring-työkaluja käyttöönottavien laitosten on varmistettava, että toimittajan toteutus täyttää tämän velvoitteen, eivätkä ne saa konfiguroida järjestelmää tavalla, joka estää tai hämärtää tekoälyilmoituksen.

Kansallinen koulutuslainsäädäntö

EU:n jäsenvaltioiden kansallinen koulutuslainsäädäntö saattaa asettaa lisävelvoitteita tekoälyn käytölle akateemisissa yhteyksissä — esimerkiksi tenttien eheyteen, akateemisten asiakirjojen säilyttämiseen ja opiskelijavalinnan muutoksenhakumenettelyihin liittyviä vaatimuksia. Koulutusinstituutioiden vaatimustenmukaisuusohjelmat on kartoitettava EU:n tekoälysäädöksen ja GDPR:n velvoitteet suhteessa sovellettavaan kansalliseen lainsäädäntöön, mukaan lukien kansallisten opetusministeriöiden antama alakohtainen ministeriöohjeistus. Kun tekoälyjärjestelmien tulosteita käytetään muodollisesti säännetyissä prosesseissa (valtiolliset kokeet, akkreditoidut tutkinnot), tekoälysäädöksen velvoitteiden ja kansallisen tenttilainsäädännön rajapinta edellyttää erityistä oikeudellista analyysiä.

Täytäntöönpano — tietosuojaviranomaiset ja koulutusviranomaiset

Koulutussektorin täytäntöönpano sisältää monitasoisen toimivaltaisen viranomaisen rakenteen. Kansalliset tekoälyn valvontaviranomaiset (nimetty Art. 70:n nojalla) ovat ensisijaisesti toimivaltaisia EU:n tekoälysäädöksen noudattamisen valvonnassa, mukaan lukien vaatimustenmukaisuuden arviointi, markkinavalvonta ja seuraamukset. Oppilaitosten osalta tämä viranomainen voi olla yleinen tekoälyn valvontaviranomainen tai joissakin jäsenvaltioissa nimetty alakohtainen elin.

Tietosuojaviranomaisilla (DPA) on merkittävä itsenäinen täytäntöönpanorooli. Koulutuksen tekoälyn käsittelemien opiskelijatietojen suuren määrän ja arkaluonteisuuden vuoksi tietosuojaviranomaiset valvovat aktiivisesti tekoälyn käyttöönottoja kouluissa ja yliopistoissa. Koulutuksen tekoälyyn liittyvistä GDPR-rikkomuksista — lasten tietojen lainvastaisesta käsittelystä, riittämättömistä tietojenkäsittelysopimuksista EdTech-toimittajien kanssa, vaadittavien tietosuojaa koskevien vaikutustenarviointien laiminlyönnistä — voidaan määrätä GDPR:n Art. 83:n mukaisia tietosuojaviranomaisen sakkoja enintään 20 miljoonaa euroa tai 4 % globaalista vuotuisesta liikevaihdosta. Tietosuojaviranomaisten täytäntöönpanotoimet ovat historiallisesti edeltäneet muodollista tekoälysäädöksen täytäntöönpanoa säädellyillä aloilla, ja koulutussektorin tekoäly on suunniteltava tietosuojaviranomaisten valvonta lähitulevaisuuden riskitekijänä huomioiden.

Yliopistojen hallintoelimet ja kansalliset akkreditointiviranomaiset voivat asettaa institutionaalisia seuraamuksia — mukaan lukien maineeseen kohdistuvat seuraamukset, automatisoitujen prosessien keskeyttäminen ja vaatimukset riippumattomista auditoinneista — kun tekoälyn käytön opiskelijavalinnassa tai arvioinnissa todetaan tuottaneen epäoikeudenmukaisia tai syrjiviä tuloksia. Institutionaalinen akateeminen hallinto, mukaan lukien opiskelijoiden muutoksenhakuprosessit, on suunniteltava siten, että se mahdollistaa tekoälyn vaikuttamiin päätöksiin kohdistuvat muutoksenhaut.

Vaatimustenmukaisuuden etenemissuunnitelma koulutusinstituutioille ja EdTech-toimittajille

EdTech-toimittajille

1. Luokittele jokainen tuote Annex III:n kategoriaa 3 vasten — dokumentoi luokitteluperusteet viitaten nimenomaisesti järjestelmän aiottuun käyttötarkoitukseen ja sen vaikutuksen merkittävyyteen koulutustuloksiin.
2. Toteuta täysi korkeariskinen vaatimustenmukaisuuden arviointimenettely Art. 9–15:n mukaisesti kaikille korkeariskisiksi luokitelluille tuotteille, mukaan lukien harhaisuuden testaus EU:n opiskelijaväestöä edustavien demografisten alaryhmien osalta.
3. Rekisteröi korkeariskiset järjestelmät EU:n tekoälytietokantaan (Art. 49) ennen markkinoille saattamista.
4. Laadi täydelliset käyttöönottajille suunnatut asiakirjat: käyttöohjeet, vaatimustenmukaisuusasiakirjat, harhaisuuden ja tarkkuuden testaustulokset sekä lokien hallinnan ohjeistus.
5. Toteuta Art. 50:n mukainen läpinäkyvyys kaikissa tekoälyjärjestelmissä, jotka ovat suorassa vuorovaikutuksessa opiskelijoiden kanssa.
6. Tarkista tietojenkäsittelysopimukset GDPR:n Art. 28:n vaatimustenmukaisuuden varmistamiseksi, mukaan lukien vanhempien suostumuksen mekanismit, joita Art. 8 edellyttää.

Koulutusinstituutioille

1. Auditoi kaikki käytössä olevat tekoälyjärjestelmät — opiskelijavalinta, arvostelu, tenttitenttivalvonta, analytiikka, tutoring — ja luokittele ne Annex III:n kategoriaa 3 vasten.
2. Pyydä ja tarkasta vaatimustenmukaisuusasiakirjat kaikilta EdTech-toimittajilta kaikkien korkeariskisiksi luokiteltujen tai mahdollisesti luokiteltavien järjestelmien osalta.
3. Toteuta perusoikeusvaikutusten arvioinnit Art. 27:n mukaisesti ennen tekoälypohjaisten opiskelijavalinta- tai arviointijärjestelmien käyttöönottoa tai jatkamista.
4. Nimeä valvontavastuuseen pätevä henkilöstö jokaiselle korkeariskiselle tekoälyjärjestelmälle riittävällä teknisellä osaamisella ja institutionaalisella toimivallalla.
5. Tarkista opiskelijavalinta- ja arviointimuutoksenhakuprosessit sen varmistamiseksi, että ne mahdollistavat tekoälyn vaikuttamiin päätöksiin kohdistuvat muutoksenhaut ja takaavat merkityksellisen ihmisarvioinnin.
6. Auditoi GDPR-vaatimustenmukaisuus kaikkien EdTech-alustojen käsittelemien opiskelijatietojen osalta — vahvista, että tietojenkäsittelysopimukset, oikeusperusteet ja vanhempien suostumuksen mekanismit ovat kunnossa.
7. Varmista proctoring-tekoälyn konfiguraatioiden vaatimustenmukaisuus Art. 5:n reaaliaikaista biometristä tunnistamista koskevan kiellon suhteen — jos jokin konfiguraatio sisältää jatkuvan kasvojentunnistuksen tenttisessioiden aikana, hanki kiireellisesti oikeudellinen neuvo ennen seuraavaa tenttikautta.