A Neuro-Fuzzy approach to User Attention Recognition

Judul: A Neuro-Fuzzy approach to User Attention Recognition
Stylianos Asteriadis, Kostas Karpouzis, and Stefanos Kollias
National Technical University of Athens, School of Electrical and Computer Engineering,
Image, Video and Multimedia Systems Laboratory, GR-157 80 Zographou, Greece

Abstrak: User attention recognition in front of a monitor or a specific task is a crucial issue in many applications, ranging from e-learning to driving. Visual input is very important when extracting information regarding a user's attention when recorded with a camera. However, intrusive equipment (special helmets, glasses equipped with cameras recording the eye movements, etc.) impose constraints on users spontaneity, especially when the target group consists of under aged users. In this paper, we propose a system for inferring user attention (state) in front of a computer monitor, only with the usage of a simple camera. The system can be used for real time applications and does not need calibration in terms of camera parameters. It can function under normal lighting conditions and needs no adaptation for each user.
Key words: Head Pose, Eye Gaze, Facial Feature Detection, User Attention Estimation

Estimasi posisi kepala, tatapan mata dan jarak mata teradap monitor, merupakan hal yang esensial untuk dapat mengestimasi perhatian mata pengguna pada layar monitor komputer. Estimasi perhatin dapat dibangun dengan menggunakan Neuro Fuzzy Inference system, dengan menggunakan besaran besaran yang mempengaruhi dalam estimasi perhatian mata pengguna seperti diatas sebagai input. Hal pertama yang dilakukan sistem adalah deteksi wajah pengguna pada saat pengguna menghadap kamera. Selanjutnya adalah deteksi fitur wajah, berdasarkan gerakan fitur wajah, estimasi tentang posisi kepala pengguna dan tatapan mata diambil. Jarak pengguna dari monitor juga diestimasi. Pada penelitian ini titik poin antara dua lubang hidung juga diperhitungkan, karena lubang hidung dapat memberikan warna gelap pada kamera.

Dalam deteksi fitur wajah digunakan metode kaskade, dan untuk perbaikan estimasi posisi wajah pada frame, digunakan metode Postprocess. Penentuan pusat mata pada video dilakukan dengan algoritma Lucas-Kanade tiga level, dan jika yang dipertimbangkan hanya gerakan rotasi wajah, pergerakan titik pusat antara kedua mata akan masih dapat di tentukan dengan baik.

Untuk tatapan mata, ditentukan dengan menggunakan 4 poin disekitar mata. Prototipe area mata yang menunjukkan arah tatapan kanan, kiri, atas dan bawah digunakan untuk menghitung gambar hitam putih (greyscales) untuk setiap arah tatapan. Area dari 4 poin terdeteksi disekitar mata kemudian dikorelasikan dengan image-image ini.

Gambar 1. Prototipe arah tatapan mata

Gambar 2. Berbagai pose kepala ditangkap di depan monitor komputer menggunakan

web-kamera sederhana. Garis putih (vektor) sesuai dengan perpindahan dari titik di tengah mata sehubungan dengan pose frontal.

Gambar 3. Berbagai contoh tatapan ditangkap di depan monitor komputer menggunakan web cam sederhana. Garis hitam (tatapan vektor) menunjukkan besarnya vektor tatapan dan arahnya

Tabel berikut rangkuman hasil pendekatan. Dalam kolom dilambangkan sebagai kesalahan rata-rata, kesalahan absolut rata-rata antara output dan penjelasan yang dilaporkan, sedangkan pada kolom kedua, keputusan dianggap baik, yang berarti bahwa keadaan itu disimpulkan menjadi “perhatian” jika nilai output di atas 0,5 dan “tidak perhatian” jika di bawah 0,5
 

Gambar 4. Distribusi fraksi jarak antar-mata antara frame berturut-turut

Kelompok sasaran penelitian ini melibatkan 20 pelajar pada tingkat tertentu pendidikan usia 9 tahun + / - 18 bulan. Pemilihan anak-anak ini didasarkan pada kenyataan bahwa mereka tidak mengalami masalah pemahaman dan penggunaan bahasa tetapi mereka menghadapi hambatan untuk belajar. Salah satu tantangan yang harus kami hadapi adalah pada usia peserta percobaan ini adalah, mereka lebih aktif dalam durasi rekaman video. Pengujian eksperimental dilakukan  disekolah anak-anak tersebut. Peneliti mengumpulkan video anak-anak dari Yunani dan sebuah sekolah di Denmark. Peneliti memasang kamera web di komputer sekolah dan meminta setiap anak untuk membaca dokumen elektronik yang ditampilkan di monitor 17 '.

Keuntungan metode ini adalah bahwa itu tidak memerlukan instalasi khusus dalam hal perangkat keras, ini berjalan real-time, maka pengguna independen dan dapat bekerja secara efisien dan dapat bekerja pada kondisi pencahayaan yang tidak dikendalikan. Dengan menggunakan sistem neuro-Fuzzy menunjukkan bahwa, pembedaan antara perhatian dan tidak-perhatian tidak harus menjadi keputusan tegas tapi memperhitungkan besarnya menggunakan biometrik untuk mengkarakterisasi pengguna dengan tingkat kepastian tertentu. Masa Depan kerja harus mencakup pengukuran lebih biometrik (mulut, gerakan tangan, mengerutkan kening dari alis) untuk mengembangkan suatu sistem yang dapat membedakan untuk berbagai macam keadaan yang lebih (kelelahan, frustrasi, gangguan).

Posted in: Elektronika