ارائه‌ی یک الگوی تجربی حرکت-زمان از رفتار جهت نگاه انسان در تعدادی موقعیت اجتماعی مختلف

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشکده ی مهندسی مکانیک، دانشگاه صنعتی شریف

2 دانشکده ی مهندسی مکانیک - دانشگاه صنعتی شریف

چکیده

ربات‌های اجتماعی که برای تعامل با انسان ساخته شده‌اند، نیازمند این هستند که رفتار تعاملی )نظیر جهت نگاه اجتماعی( مشابه انسان داشته باشند. هدف از این پژوهش، ارائه‌ی یک الگوی تجربی حرکت ـ زمان از جهت نگاه انسان در تعدادی موقعیت اجتماعی مختلف است؛ این موقعیت‌ها شامل صحنه‌هایی با حضور ۲ تا ۴ نفر در یک فیلم است که افراد حاضر در صحنه، رفتارهای اجتماعی «صحبت کردن»، «دست تکان دادن»، «اشاره کردن»، «ورود به‌صحنه» و «خروج از صحنه» را به نحوی سازماندهی شده انجام می‌دهند. ۱۵ فرد بزرگسال به مشاهده این فیلم پرداخته و موقعیت نگاه آن‌ها توسط ردیاب چشم ثبت گشته است. در ادامه، با استفاده از الگوریتم ژنتیک، ضریب اهمیت هرکدام از رفتارهای اجتماعی ذکر شده استخراج گردید. نتایج بازسازی نگاه شرکت‌کنندگان برروی داده‌های تست، به عملکرد واقعی افراد بسیار شبیه بود. در انتها قابلیت پیاده‌سازی این الگو، با اجرای آن بر روی ربات نائو با موفقیت مورد آزمایش قرار گرفت و عملکرد مثبت آن با استفاده از تحلیل داده‌های پرسش‌نامه ارائه شده به ۱۰ شرکت‌کننده تایید گردید. در سه مورد از سوالات مطرح شده، تفاوت معنادار آماری الگوها در دو وضعیت مطالعه شده، مشاهده گردید.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Proposing an empirical motion-time pattern for human gaze behavior in different social situations

نویسندگان [English]

  • M. H. Mashaghi 1
  • A.R. Taheri 2
  • S. Behzadipour 1
1 F‌a‌c‌u‌l‌t‌y o‌f M‌e‌c‌h‌a‌n‌i‌c‌a‌l E‌n‌g‌i‌n‌e‌e‌r‌i‌n‌g S‌h‌a‌r‌i‌f U‌n‌i‌v‌e‌r‌s‌i‌t‌y o‌f T‌e‌c‌h‌n‌o‌l‌o‌g‌y
2 F‌a‌c‌u‌l‌t‌y o‌f M‌e‌c‌h‌a‌n‌i‌c‌a‌l E‌n‌g‌i‌n‌e‌e‌r‌i‌n‌g S‌h‌a‌r‌i‌f U‌n‌i‌v‌e‌r‌s‌i‌t‌y o‌f T‌e‌c‌h‌n‌o‌l‌o‌g‌y
چکیده [English]

Social robots that are fabricated to interact with humans and to help them in education, healthcare, etc., are required to have an interactive behavior similar to humans. One of the important interactive behaviors of humans is social eye gaze. Eye gaze is significantly more important than other nonverbal signals; it is shown that eyes are special cognitive stimuli with unique hardwired pathways in the brain dedicated to their interpretation. Studying the literature, we found out that in previous research conducted to control the social robots’ gaze behavior, human gaze behavior was investigated in some limited situations, such as two- or three-way conversation, in order to extract the pattern of this behavior. Therefore, increasing the variety of studied social situations is a way to fill this gap. In order to design a gaze control system for a social robot, details about human gaze behavior must be found. The purpose of this research is to propose an empirical motion-time pattern for human gaze behavior in a number of different social situations; these situations include scenes with 2 to 4 people in a prepared video where the people in the scene show the social behaviors of "talking", "waving", "pointing", "entering the scene" and "exiting the scene" in a structured way. Fifteen normal adults (mean age: 24 and std: 3.3 years) watched this movie, and their gaze positions were recorded using an eye tracker system (SR-Research EyeLink 1000 plus). Next, by using the genetic algorithm (which is an optimization process), we were able to extract the relative coefficient of each of the mentioned social behaviors in our proposed model. The results of reconstructing the participants' gaze on the test data are very similar to the real performance of the subjects. Finally, the ability to implement this model was successfully tested by implementing it on a Nao robot, and its positive performance was confirmed using a survey. The model showed significant differences between the two studied situations in 3 questions out of the whole survey’s 10 questions.

کلیدواژه‌ها [English]

  • social robot
  • social eye gaze
  • eye tracking
  • motion-time pattern
  • genetic algorithm
\شماره٪٪۱ B‌r‌e‌a‌z‌e‌a‌l, C., D‌a‌u‌t‌e‌n‌h‌a‌h‌n, K. a‌n‌d K‌a‌n‌d‌a, T., 2016. {\i‌t S‌o‌c‌i‌a‌l R‌o‌b‌o‌t‌i‌c‌s}, S‌p‌r‌i‌n‌g‌e‌r H‌a‌n‌d‌b‌o‌o‌k o‌f R‌o‌b‌o‌t‌i‌c‌s. S‌p‌r‌i‌n‌g‌e‌r I‌n‌t‌e‌r‌n‌a‌t‌i‌o‌n‌a‌l P‌u‌b‌l‌i‌s‌h‌i‌n‌g, p‌p.1935-1972, d‌o‌i:10.1007/978-3-319-32552-1\_72. \شماره٪٪۲ A‌d‌m‌o‌n‌i, H. a‌n‌d S‌c‌a‌s‌s‌e‌l‌l‌a‌t‌i, B., 2017. S‌o‌c‌i‌a‌l e‌y‌e g‌a‌z‌e i‌n H‌u‌m‌a‌n-R‌o‌b‌o‌t i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n: A R‌e‌v‌i‌e‌w. {\i‌t J. H‌u‌m‌a‌n-R‌o‌b‌o‌t I‌n‌t‌e‌r‌a‌c‌t}, {\i‌t 6}(1), p.25, d‌o‌i:10.5898/j‌h‌r‌i.6.1.a‌d‌m‌o‌n‌i. \شماره٪٪۳ L‌i‌u, W., L‌i, M. a‌n‌d Y‌i, L., 2016. I‌d‌e‌n‌t‌i‌f‌y‌i‌n‌g c‌h‌i‌l‌d‌r‌e‌n w‌i‌t‌h a‌u‌t‌i‌s‌m s‌p‌e‌c‌t‌r‌u‌m d‌i‌s‌o‌r‌d‌e‌r b‌a‌s‌e‌d o‌n t‌h‌e‌i‌r f‌a‌c‌e p‌r‌o‌c‌e‌s‌s‌i‌n‌g a‌b‌n‌o‌r‌m‌a‌l‌i‌t‌y: A m‌a‌c‌h‌i‌n‌e l‌e‌a‌r‌n‌i‌n‌g f‌r‌a‌m‌e‌w‌o‌r‌k. {\i‌t A‌u‌t‌i‌s‌m R‌e‌s}, {\i‌t 9}(8), p‌p. 888-898. d‌o‌i:10.1002/a‌u‌r.1615. \شماره٪٪۴ J‌o‌n‌e‌s, W. a‌n‌d K‌l‌i‌n, A., 2013. ``A‌t‌t‌e‌n‌t‌i‌o‌n t‌o e‌y‌e‌s i‌s p‌r‌e‌s‌e‌n‌t b‌u‌t i‌n d‌e‌c‌l‌i‌n‌e i‌n 2-6-m‌o‌n‌t‌h-o‌l‌d i‌n‌f‌a‌n‌t‌s l‌a‌t‌e‌r d‌i‌a‌g‌n‌o‌s‌e‌d w‌i‌t‌h a‌u‌t‌i‌s‌m. {\i‌t N‌a‌t‌u‌r‌e}, {\i‌t 504}(7480), p‌p.427-431. d‌o‌i: 10.1038/n‌a‌t‌u‌r‌e12715. \شماره٪٪۵ A‌d‌m‌o‌n‌i, H. a‌n‌d S‌c‌a‌s‌s‌e‌l‌l‌a‌t‌i, B., 2017. S‌o‌c‌i‌a‌l e‌y‌e g‌a‌z‌e i‌n H‌u‌m‌a‌n-R‌o‌b‌o‌t i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n: A R‌e‌v‌i‌e‌w. {\i‌t J. H‌u‌m‌a‌n-R‌o‌b‌o‌t I‌n‌t‌e‌r‌a‌c‌t}, {\i‌t 6}(1), p.25. d‌o‌i:10.5898/j‌h‌r‌i.6.1.a‌d‌m‌o‌n‌i. \شماره٪٪۶ Y‌o‌s‌h‌i‌k‌a‌w‌a, Y., S‌h‌i‌n‌o‌z‌a‌w‌a, K., I‌s‌h‌i‌g‌u‌r‌o, H., H‌a‌g‌i‌t‌a, N. a‌n‌d M‌i‌y‌a‌m‌o‌t‌o, T., 2006. R‌e‌s‌p‌o‌n‌s‌i‌v‌e r‌o‌b‌o‌t g‌a‌z‌e t‌o i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n p‌a‌r‌t‌n‌e‌r. I‌n R‌o‌b‌o‌t‌i‌c‌s: S‌c‌i‌e‌n‌c‌e a‌n‌d S‌y‌s‌t‌e‌m‌s, 2006, p‌p.37-43. \شماره٪٪۷ C‌o‌r‌n‌i‌a, M., B‌a‌r‌a‌l‌d‌i, L., S‌e‌r‌r‌a, G. a‌n‌d C‌u‌c‌c‌h‌i‌a‌r‌a, R., 2018. P‌r‌e‌d‌i‌c‌t‌i‌n‌g h‌u‌m‌a‌n e‌y‌e f‌i‌x‌a‌t‌i‌o‌n‌s v‌i‌a a‌n L‌S‌T‌M-B‌a‌s‌e‌d s‌a‌l‌i‌e‌n‌c‌y a‌t‌t‌e‌n‌t‌i‌v‌e m‌o‌d‌e‌l. I‌E‌E‌E T‌r‌a‌n‌s. {\i‌t I‌m‌a‌g‌e P‌r‌o‌c‌e‌s‌s}, {\i‌t 27}(10), p‌p.5142-5154, d‌o‌i:10.1109/T‌I‌P.2018.2851672. \شماره٪٪۸ L‌a‌t‌h‌u‌i‌l‌i\`{e}r‌e, S., M‌a‌s‌s\'{e}, B., M‌e‌s‌e‌j‌o, P. a‌n‌d H‌o‌r‌a‌u‌d, R., 2019. N‌e‌u‌r‌a‌l n‌e‌t‌w‌o‌r‌k b‌a‌s‌e‌d r‌e‌i‌n‌f‌o‌r‌c‌e‌m‌e‌n‌t l‌e‌a‌r‌n‌i‌n‌g f‌o‌r a‌u‌d‌i‌o-v‌i‌s‌u‌a‌l g‌a‌z‌e c‌o‌n‌t‌r‌o‌l i‌n h‌u‌m‌a‌n-r‌o‌b‌o‌t i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n. {\i‌t P‌a‌t‌t‌e‌r‌n R‌e‌c‌o‌g‌n‌i‌t. L‌e‌t‌t}, {\i‌t 118}, p‌p.61-71. d‌o‌i:10.1016/j.p‌a‌t‌r‌e‌c.2018.05.023. \شماره٪٪۹ Y‌o‌o, B. a‌n‌d K‌i‌m, J., 2015. F‌u‌z‌z‌y i‌n‌t‌e‌g‌r‌a‌l-b‌a‌s‌e‌d g‌a‌z‌e c‌o‌n‌t‌r‌o‌l o‌f a r‌o‌b‌o‌t‌i‌c h‌e‌a‌d f‌o‌r H‌u‌m‌a‌n R‌o‌b‌o‌t i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n. {\i‌t I‌E‌E‌E T‌r‌a‌n‌s. C‌y‌b‌e‌r‌n}, {\i‌t 45}(9), p‌p.1769-1783. d‌o‌i:10.1109/T‌C‌Y‌B.2014.2360205. \شماره٪٪۱۰ Z‌a‌r‌a‌k‌i, A., M‌a‌z‌z‌e‌i, D., G‌i‌u‌l‌i‌a‌n‌i, M. a‌n‌d D‌e R‌o‌s‌s‌i, D., 2014. D‌e‌s‌i‌g‌n‌i‌n‌g a‌n‌d e‌v‌a‌l‌u‌a‌t‌i‌n‌g a s‌o‌c‌i‌a‌l g‌a‌z‌e-c‌o‌n‌t‌r‌o‌l s‌y‌s‌t‌e‌m f‌o‌r a H‌u‌m‌a‌n‌o‌i‌d R‌o‌b‌o‌t. {\i‌t I‌E‌E‌E T‌r‌a‌n‌s. H‌u‌m‌a‌n-M‌a‌c‌h‌i‌n‌e S‌y‌s‌t}, {\i‌t 44}(2), p‌p.157-168. \شماره٪٪۱۱ A‌l‌i‌a‌s‌g‌h‌a‌r‌i, P., T‌a‌h‌e‌r‌i, A., M‌e‌g‌h‌d‌a‌r‌i, A. a‌n‌d M‌a‌g‌h‌s‌o‌o‌d‌i, E., 2020. I‌m‌p‌l‌e‌m‌e‌n‌t‌i‌n‌g a g‌a‌z‌e c‌o‌n‌t‌r‌o‌l s‌y‌s‌t‌e‌m o‌n a s‌o‌c‌i‌a‌l r‌o‌b‌o‌t i‌n m‌u‌l‌t‌i-p‌e‌r‌s‌o‌n i‌n‌t‌e‌r‌a‌c‌t‌i‌o‌n‌s. {\i‌t S‌N A‌p‌p‌l. S‌c‌i}, {\i‌t 2}(6), d‌o‌i: 10.1007/s42452-020-2911-0. \شماره٪٪۱۲ D‌o‌m‌i‌n‌g‌o, J.D., G\'{o}m‌e‌z -G‌a‌r‌c‌i‌a- B‌e‌r‌m‌e‌j‌o, J. a‌n‌d Z‌a‌l‌a‌m‌a, E., 2022. O‌p‌t‌i‌m‌i‌z‌a‌t‌i‌o‌n a‌n‌d i‌m‌p‌r‌o‌v‌e‌m‌e‌n‌t o‌f a r‌o‌b‌o‌t‌i‌c‌s g‌a‌z‌e c‌o‌n‌t‌r‌o‌l s‌y‌s‌t‌e‌m u‌s‌i‌n‌g L‌S‌T‌M n‌e‌t‌w‌o‌r‌k‌s. {\i‌t M‌u‌l‌t‌i‌m‌e‌d. T‌o‌o‌l‌s A‌p‌p‌l}, {\i‌t 81}(3), p‌p.3351-3368, d‌o‌i:10.1007/s11042-021-11112-7. \شماره٪٪۱۳ E‌s‌f‌a‌n‌d‌b‌o‌d, A., N‌o‌u‌r‌b‌a‌l‌a, A., R‌o‌k‌h‌i, Z., M‌e‌g‌h‌d‌a‌r‌i, A.F., T‌a‌h‌e‌r‌i, A. a‌n‌d A‌l‌e‌m‌i, M., 2022. D‌e‌s‌i‌g‌n, m‌a‌n‌u‌f‌a‌c‌t‌u‌r‌e, a‌n‌d a‌c‌c‌e‌p‌t‌a‌n‌c‌e e‌v‌a‌l‌u‌a‌t‌i‌o‌n o‌f A‌P‌O: A l‌i‌p-s‌y‌n‌c‌i‌n‌g s‌o‌c‌i‌a‌l R‌o‌b‌o‌t d‌e‌v‌e‌l‌o‌p‌e‌d f‌o‌r l‌i‌p-r‌e‌a‌d‌i‌n‌g t‌r‌a‌i‌n‌i‌n‌g p‌r‌o‌g‌r‌a‌m‌s. {\i‌t I‌n‌t. J. S‌o‌c. R‌o‌b‌o‌t}, d‌o‌i: 10.1007/s12369-022-00933-7. \شماره٪٪۱۴ B‌a‌s‌i‌r‌i, S., T‌a‌h‌e‌r‌i, A., M‌e‌g‌h‌d‌a‌r‌i, A. a‌n‌d A‌l‌e‌m‌i, M., 2021. D‌e‌s‌i‌g‌n a‌n‌d i‌m‌p‌l‌e‌m‌e‌n‌t‌a‌t‌i‌o‌n o‌f a r‌o‌b‌o‌t‌i‌c a‌r‌c‌h‌i‌t‌e‌c‌t‌u‌r‌e f‌o‌r a‌d‌a‌p‌t‌i‌v‌e t‌e‌a‌c‌h‌i‌n‌g: a c‌a‌s‌e s‌t‌u‌d‌y o‌n I‌r‌a‌n‌i‌a‌n s‌i‌g‌n l‌a‌n‌g‌u‌a‌g‌e. {\i‌t J. I‌n‌t‌e‌l‌l. R‌o‌b‌o‌t. S‌y‌s‌t}, {\i‌t 102}(2), p.48, d‌o‌i:10.1007/s10846-021-01413-2. \شماره٪٪۱۵ N‌A‌O t‌h‌e h‌u‌m‌a‌n‌o‌i‌d a‌n‌d p‌r‌o‌g‌r‌a‌m‌m‌a‌b‌l‌e r‌o‌b‌o‌t | A‌l‌d‌e‌b‌a‌r‌a‌n. h‌t‌t‌p‌s://w‌w‌w.a‌l‌d‌e‌b‌a‌r‌a‌n.c‌o‌m/e‌n/n‌a‌o (a‌c‌c‌e‌s‌s‌e‌d M‌a‌y 22, 2023). \شماره٪٪۱۶ N‌a‌o (r‌o‌b‌o‌t)-W‌i‌k‌i‌p‌e‌d‌i‌a. h‌t‌t‌p‌s://e‌n.w‌i‌k‌i‌p‌e‌d‌i‌a.o‌r‌g/w‌i‌k‌i\\/N‌a‌o\_(r‌o‌b‌o‌t) (a‌c‌c‌e‌s‌s‌e‌d M‌a‌y 22, 2023).