Sistem interbola2 dan Protokol Penilaian Kredibilitas Bot pada Game Multipemain
kami membahas tantangan kredibilitas dalam permainan video multipemain. Kontribusi kami adalah sebuah sistem untuk menilai kredibilitas pemain komputer. Tinjauan ini mengkaji metode yang ada dan mengidentifikasi tujuh fitur pembeda yang sangat berbeda dari satu penilaian ke penilaian lainnya. Investigasi kami mengungkapkan bahwa prosedur penilaian biasanya mengubah gameplay, sehingga menimbulkan bahaya bias yang cukup besar. Ini merupakan kelemahan utama karena pemain komputer dievaluasi dalam konteks tertentu, bukan dalam konteks permainan sebagaimana seharusnya dimainkan, yang berpotensi memengaruhi temuan evaluasi. Akibatnya, kami memulai proses coba-coba, dengan setiap proposal baru dibangun berdasarkan pencapaian proposal sebelumnya sambil menghilangkan kekurangannya. Proposal baru diuji dengan penilaian baru, dan total tiga eksperimen kemudian disajikan. Kami membuat program komputer yang sebagian mengotomatiskan pelaksanaan prosedur penilaian, sehingga uji coba ini lebih mudah diimplementasikan. Pada akhirnya, berkat proposal kami, pemain game dapat menilai kredibilitas pemain komputer secara tidak langsung dengan menggunakan formulir pelaporan yang memberi tahu pengguna tentang keberadaan bot. Kami berasumsi bahwa semakin sering bot dilaporkan, semakin kurang kredibel bot tersebut. Kami melakukan percobaan terakhir untuk menguji proposal kami, yang menghasilkan hasil yang sangat menggembirakan.
1 Tentang interbola2
Popularitas sebuah video game dapat sangat dipengaruhi oleh kualitas implementasi pemain komputernya ( Scott, 2002 ). Video game multipemain modern tidak memerlukan bot yang tak terkalahkan, tujuannya sekarang adalah untuk mendapatkan perilaku yang realistis ( Livingstone, 2006 ; Soni dan Hingston, 2008 ). Berbagai pendekatan telah diadopsi untuk pengembangan bot yang realistis, seperti sistem berbasis model koneksionis ( Van Hoorn dkk., 2009 ; Llargues Asensio dkk., 2014 ), sistem produksi ( Laird dan Duchi, 2001 ; Polceanu, 2013 ) dan model probabilistik ( Le Hy dkk., 2004 ; Gorman dkk., 2006 ; Tencé dkk., 2013 ), untuk menyebutkan beberapa saja.
Secara umum, sistem yang diusulkan tidak dievaluasi. Jika dievaluasi, hasilnya tidak dapat dibandingkan karena protokol yang digunakan berbeda. Namun, banyak penulis ( Mac Namee, 2004 ; McGlinchey dan Livingstone, 2004 ; Gorman dkk., 2006 ) menunjukkan perlunya evaluasi generik dan ketat yang memungkinkan perbandingan sistem baru dengan sistem yang sudah ada. Evaluasi Kecerdasan Buatan (AI) dalam penelitian game telah diidentifikasi sebagai salah satu tantangan utama dalam penelitian AI game ( Lucas dkk., 2012 ). Meskipun evaluasi kinerja bot dapat dilakukan melalui ukuran objektif, evaluasi kredibilitas bot kompleks karena aspek subjektifnya.
Tujuan artikel ini adalah untuk memberikan solusi dalam menilai kredibilitas pemain komputer dalam permainan video multipemain. Bagian 2 menyajikan tinjauan literatur tentang protokol yang sebelumnya digunakan untuk menilai kredibilitas pemain komputer. Setelah menganalisis, kami mengidentifikasi tujuh fitur yang menjadi ciri penilaian dan yang bervariasi secara signifikan dari satu ke yang lain. Saat merancang protokol baru, fitur-fitur ini perlu dipilih dengan cermat agar tidak menimbulkan bias dalam evaluasi. Setelah analisis mendalam terhadap protokol-protokol ini, kami memberikan rekomendasi untuk fitur-fitur yang sudah mapan. interbola2
Kami juga mengidentifikasi fitur-fitur lain yang masih membutuhkan studi dan pengujian lebih lanjut untuk ditentukan. Untuk mempermudah pelaksanaan evaluasi, pada bagian 3 kami mengembangkan sistem yang sebagian mengotomatiskan proses evaluasi. Struktur dan implementasinya juga disajikan secara detail. Pada bagian 4 kami menyajikan proposal protokol pertama kami. Selama tinjauan literatur, kami menemukan bahwa gameplay permainan video dapat dipengaruhi oleh proses penilaian. Untuk menghindari hal ini, kami berusaha menyembunyikan tujuan evaluasi dengan membuat kuesioner yang mengarahkan perhatian pada beberapa aspek permainan, dengan tujuan untuk menyebarkan perhatian peserta pada keseluruhan permainan daripada hanya pada lawan mereka. Bagian 5 menyajikan evaluasi yang sempat kami selenggarakan selama kompetisi yang berlangsung di konferensi nasional. Kami memanfaatkan acara ini untuk memprofilkan para juri berdasarkan kemampuan mereka untuk membedakan bot dari pemain manusia dengan benar. interbola2 Metode yang digunakan untuk melakukan eksperimen ini serta hasil yang diperoleh dijelaskan secara rinci. Versi awal bagian ini telah dilaporkan dalam ( Even et al., 2018 ), yang tidak terkait dengan proposisi berikut. Dari pengamatan yang dapat kami lakukan selama eksperimen sebelumnya, kami menghasilkan desain yang sepenuhnya baru, yang dirinci di bagian 6. Untuk pendekatan baru ini, kami mencoba menggunakan permainan seperti yang biasanya dimainkan, dengan tujuan meminimalkan dampak penilaian pada gameplay sebisa mungkin. Kami memutuskan untuk mengambil inspirasi dari sistem pelaporan yang sudah ada di banyak video game. Sekali lagi kami menjelaskan eksperimen yang kami lakukan untuk mengevaluasi pendekatan kami dan menyajikan hasil menjanjikan yang kami peroleh. Pada bagian 7, kami menyimpulkan dengan ringkasan pekerjaan yang telah kami lakukan dan memberikan beberapa prospek untuk perbaikan.
2. Kondisi Terkini
Menurut Bates (1994) , gagasan karakter yang dapat dipercaya mengacu pada ilusi kehidupan dan memungkinkan penonton untuk menangguhkan ketidakpercayaan ( Coleridge, 1817 ). Untuk menciptakan ilusi ini, animator mendefinisikan referensi ( Thomas dan Johnston, 1981 ). Dalam permainan video, pengguna dapat berinteraksi dengan karakter dan penghuninya. Gagasan tentang kehadiran ( Schuemie dkk., 2001 ) dan kehadiran bersama ( Goffman, 1963 ) atau kehadiran sosial ( Heeter, 1992 ) sering dievaluasi dan dapat diukur menggunakan laporan diri atau ukuran perilaku ( Bailenson dkk., 2004 ). Kredibilitas agen sering dibahas ( Magnenat-Thalmann et al., 2005 ; Bosse dan Zwanenburg, 2009 ; Bevacqua et al., 2014 ), yang ditentukan oleh berbagai aspek seperti emosi, kepribadian, budaya, gaya, adaptasi terhadap konteks, dan banyak lainnya ( Poggi et al., 2005 ).
Konsep kepercayaan terhadap karakter dalam permainan video dapat dibagi menjadi dua kelas besar ( Togelius et al., 2012 ): kepercayaan karakter dan kepercayaan pemain. Kepercayaan karakter ( Loyall, 1997 ; Bogdanovych et al., 2016 ; Verhagen et al., 2013 ) mengacu pada keyakinan bahwa suatu karakter itu nyata. Dalam hal ini, gagasan kepercayaan bertepatan dengan definisi dalam seni karakter dan animasi. Di sisi lain, kepercayaan pemain mengacu pada keyakinan bahwa suatu karakter dikendalikan oleh pemain manusia ( Tencé et al., 2010 ). Perilakunya adalah hasil dari masukan berkelanjutan dari pemain manusia yang menyadari apa yang dilakukan karakter dalam permainan. Bagian selanjutnya menawarkan tinjauan metode yang ada yang digunakan untuk menilai kepercayaan pemain komputer.
2.1 Menilai Kredibilitas
2.1.1 Kompetisi
Dalam beberapa tahun terakhir, kita telah melihat munculnya kompetisi ( Togelius, 2016 ) yang berorientasi pada implementasi lawan yang menyerupai manusia (atau dapat dipercaya) seperti kompetisi 2K Botprize ( Hingston, 2009 ). Ini adalah varian dari tes Turing ( Turing, 1950 ) yang menggunakan mode permainan "Deathmatch" dari permainan video. Tujuannya adalah untuk membunuh sebanyak mungkin lawan dalam waktu yang ditentukan (dan untuk terbunuh sesedikit mungkin). Dalam dua edisi pertamanya ( Hingston, 2009 ), protokolnya mencakup lima ronde masing-masing sepuluh menit. Di setiap ronde, setiap juri manusia diadu melawan seorang rekan manusia dan sebuah bot. Para rekan tersebut diinstruksikan untuk memainkan permainan seperti biasanya. Di akhir setiap ronde, para juri diminta untuk mengevaluasi kedua lawan pada skala penilaian, dan untuk mencatat pengamatan mereka. Untuk lulus ujian, seorang kandidat (bot atau pemain manusia) diharuskan mendapatkan nilai 5 (pemain ini adalah manusia) dari empat dari lima juri. Pada tahun 2010, desain baru diimplementasikan untuk menjadikan proses penilaian sebagai bagian dari permainan. Senjata dalam permainan dapat digunakan untuk menandai lawan sebagai manusia atau bot. Jika penilaian benar, hasilnya adalah kematian target, jika salah, kematian avatar juri. Baik bot maupun manusia dilengkapi dengan senjata penilaian dan dapat memberikan suara. Modifikasi pada sistem ini memperkenalkan bias dalam proses evaluasi karena gameplay terpengaruh secara negatif ( Thawonmas dkk., 2011 ; Polceanu, 2013 ). Satu-satunya perbedaan adalah bahwa juri tidak akan mati jika mereka membuat penilaian yang salah. Mereka dapat mengubah penilaian mereka dengan menandai kandidat lagi. Hanya tanda yang ada di akhir permainan yang diperhitungkan. Dengan aturan baru ini, para juri tidak akan langsung tahu apakah mereka telah melakukan kesalahan atau tidak, yang akan mencegah mereka mengubah strategi penilaian dan membuat mereka menilai setiap kandidat dengan cara yang sama. Pada tahun 2014, hal baru yang ditambahkan adalah penilaian kredibilitas orang ketiga (yaitu, para juri mengamati permainan). Saat melakukan metode sebelumnya, pertandingan direkam di server. Klip kemudian dipilih dari video-video ini dan digunakan dengan platform crowdsourcing di mana pengguna dapat memberikan suara setelah menonton setiap klip. Berbagai pendapat muncul ketika memilih apakah penilaian harus berorientasi pada orang pertama atau orang ketiga, atau kombinasi keduanya seperti yang telah dilakukan di sini.
Dalam Acampora dkk. (2012) , tujuan permainan adalah untuk merebut bendera musuh dan mengembalikannya ke bendera tim sendiri. Para penulis menyarankan dua cara untuk menilai kredibilitas bot. Cara pertama menggunakan ukuran objektif: skor bot dan durasi pertandingan. Para penulis berasumsi bahwa bot yang kredibel harus memiliki skor sedang dan durasi pertandingan relatif tinggi. Namun, hasil yang diperoleh dapat dipertanyakan karena bot yang paling kredibel adalah bot dengan skor terendah dan yang memainkan pertandingan terlama. Penilaian kedua mereka menggunakan ukuran subjektif: 20 video direkam di mana pemain ahli bermain melawan bot dan pemain manusia dengan level berbeda (pemula, menengah, dan tinggi). Setelah menonton empat video, para juri diminta untuk mengevaluasi kemiripan dengan manusia pada skala Likert 7 poin. Laird dan Duchi (2001) dan Gorman dkk. (2006) menggunakan pendekatan serupa. Karakteristik protokol penilaian kredibilitas pemain ini dapat ditemukan pada Tabel 1 beserta referensi relevan lainnya tentang penilaian kredibilitas pemain (berwarna putih) dan kredibilitas karakter (berwarna merah).
Kesimpulan interbola2
Pada bagian ini, kami menganalisis protokol yang sebelumnya digunakan untuk menilai kredibilitas pemain komputer. Kami mengidentifikasi tujuh fitur yang menjadi ciri penilaian tersebut dan yang bervariasi secara signifikan dari satu ke yang lain.
Saat merancang protokol baru, fitur-fitur ini perlu dipilih dengan cermat agar tidak menimbulkan bias dalam evaluasi. Desain protokol baru harus mudah dan fleksibel untuk menguji berbagai konfigurasi. Dari sudut pandang implementasi, solusi saat ini tidak menawarkan alat komputer operasional seperti itu.
