Kecerdasan buatan henteu nuturkeun logika kamajuan ilmiah
Kami geus ditulis sababaraha kali dina MT ngeunaan peneliti sarta profésional anu memproklamirkan sistem learning mesin salaku "kotak hideung" (1) malah pikeun maranéhanana anu ngawangun éta. Hal ieu ngajadikeun hésé evaluate hasil tur ngagunakeun deui algoritma munculna.
Jaringan saraf - téknik anu masihan urang parobihan bot anu cerdas sareng generator téks anu séhat anu bahkan tiasa nyiptakeun puisi - tetep misteri anu teu kaharti ku pengamat luar.
Aranjeunna janten langkung ageung sareng langkung kompleks, nanganan set data ageung, sareng nganggo susunan komputasi masif. Hal ieu ngajadikeun réplikasi jeung analisis model diala ongkosna mahal sarta kadangkala teu mungkin keur peneliti séjén, iwal puseur badag kalayan budgets badag.
Seueur élmuwan anu sadar kana masalah ieu. Diantarana nyaéta Joel Pino (2), pupuhu NeurIPS, konferensi perdana ngeunaan reproducibility. Para ahli dina kapamimpinan anjeunna hoyong ngadamel "daftar pariksa reproducibility".
Gagasan, saur Pino, nyaéta pikeun nyorong panaliti pikeun nawiskeun peta jalan ka batur supados aranjeunna tiasa nyiptakeun deui sareng ngagunakeun padamelan anu parantos dilakukeun. Anjeun tiasa kagum kana kekecapan generator téks énggal atanapi ketangkasan superhuman tina robot kaulinan vidéo, tapi bahkan para ahli anu pangsaéna henteu terang kumaha keajaiban ieu jalan. Ku alatan éta, réproduksi model AI penting henteu ngan ukur pikeun ngaidentipikasi tujuan sareng arah anyar pikeun panalungtikan, tapi ogé salaku pituduh anu praktis pikeun dianggo.
Batur nyobian pikeun ngajawab masalah ieu. Panaliti Google nawiskeun "kartu modél" pikeun ngajelaskeun sacara rinci kumaha sistem diuji, kalebet hasil anu nunjukkeun poténsi bug. Panaliti di Allen Institute for Artificial Intelligence (AI2) parantos nyebarkeun makalah anu tujuanana manjangkeun Daptar pariksa reproducibility Pinot kana léngkah-léngkah sanés dina prosés ékspérimén. "Témbongkeun karya anjeun," maranéhna ngadesek.
Kadang-kadang informasi dasar leungit sabab proyék panalungtikan dipiboga, utamana ku laboratorium gawé pikeun pausahaan. Nanging, langkung sering, éta mangrupikeun tanda henteu mampuh ngajelaskeun parobihan sareng metode panalungtikan anu beuki rumit. Jaringan saraf mangrupikeun daérah anu kompleks. Pikeun meunangkeun hasil nu pangsaena, denda tuning rébuan "knobs na tombol" mindeng diperlukeun, nu sababaraha disebut "black magic". Pilihan model optimal mindeng dikaitkeun jeung angka nu gede ngarupakeun percobaan. Magic jadi mahal pisan.
Salaku conto, nalika Facebook nyobian ngulang karya AlphaGo, sistem anu dikembangkeun ku DeepMind Alphabet, tugasna kabuktian sesah pisan. Syarat komputasi anu ageung, jutaan ékspérimén dina rébuan alat salami sababaraha dinten, digabungkeun sareng kurangna kode, ngajantenkeun sistem "sesah pisan, upami henteu mungkin, pikeun nyiptakeun deui, nguji, ningkatkeun, sareng ngalegaan," numutkeun karyawan Facebook.
Masalahna sigana khusus. Sanajan kitu, lamun urang mikir salajengna, fenomena masalah jeung reproducibility hasil jeung fungsi antara hiji tim panalungtikan sarta séjén undermines sakabeh logika fungsi elmu jeung prosés panalungtikan dipikawanoh ku urang. Sakumaha aturan, hasil panalungtikan saméméhna bisa dijadikeun dadasar pikeun panalungtikan satuluyna anu ngarangsang kamekaran pangaweruh, téhnologi jeung kamajuan umum.
