CN111886565B - 处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序 - Google Patents

处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序 Download PDF

Info

Publication number
CN111886565B
CN111886565B CN201980020916.4A CN201980020916A CN111886565B CN 111886565 B CN111886565 B CN 111886565B CN 201980020916 A CN201980020916 A CN 201980020916A CN 111886565 B CN111886565 B CN 111886565B
Authority
CN
China
Prior art keywords
time
blinking
data
user
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020916.4A
Other languages
English (en)
Other versions
CN111886565A (zh
Inventor
中野珠実
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Research And Development Corp Science And Technology Revitalization Organization
Original Assignee
National Research And Development Corp Science And Technology Revitalization Organization
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018055034A external-priority patent/JP7023504B2/ja
Priority claimed from JP2018055033A external-priority patent/JP7185892B2/ja
Application filed by National Research And Development Corp Science And Technology Revitalization Organization filed Critical National Research And Development Corp Science And Technology Revitalization Organization
Publication of CN111886565A publication Critical patent/CN111886565A/zh
Application granted granted Critical
Publication of CN111886565B publication Critical patent/CN111886565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种控制装置，该控制装置具有：第一获取部，其获取对话装置的眨眼动作的时间；第二次获取部，其获取所述对话装置的用户的眨眼的时间；和处理部，其根据所述眨眼动作的时间与所述用户的眨眼的时间的差异来进行处理。所述处理部也可以根据基于所述差异的指标值来进行处理。所述处理部也可以根据所述用户的眨眼的时间包含于所述眨眼动作的时间后的规定期间内的程度来进行处理。

Description

处理装置、处理方法、数据处理装置、数据处理***、数据处理 方法和程序
技术领域
本发明涉及一种利用人的眨眼动作的技术。
背景技术
人在生活中会有眨眼的动作。目前，关于该眨眼动作的探索正在进行，非专利文献1公开了在观看视频时多个被测试者的眨眼是同步的，在环境视频和语音中多个被测试者的眨眼是不同步的。
现有技术文献
非专利文献
非专利文献1：Tamami Nakano，Yoshiharu Yamamoto，Keiichi Kitajo，Toshimitsu Takahashi and Shigeru Kitazawa，"Synchronization of spontaneo useyeblinks while viewing video stories"，Proceedings of the Royal Societ y B:Biological Sciences，276(1673)，p3635-3644，[online]，[2018年3月12日检索]，Internet<URL:http://rspb.royalsocietypublishing.org/content/royprsb/early/2009/07/24/rspb.2009.0828.full.pdf>(2009年)
发明内容
本发明要解决的技术问题
另一方面，眨眼现象的应用目前还在研究阶段，尚未达到实际应用。
因此，本发明的目的之一在于提供一种利用眨眼动作的应用技术。
为了解决技术问题所采用的技术手段
本发明的一实施方式提供了一种处理装置，其具有第一获取部，其获取对话装置(conversation device)的眨眼动作的时间；第二获取部，其获取所述对话装置的用户的眨眼的时间；及处理部，其根据所述眨眼动作的时间与所述用户的眨眼的时间的差异进行处理。
在上述处理装置中，所述处理部也可以根据基于所述差异的指标值来进行处理。
在上述处理装置中，所述处理部也可以根据所述用户的眨眼的时间包含于与所述眨眼动作的时间对应的规定期间内的程度来进行处理。
在上述处理装置中，所述规定期间也可以包括从所述眨眼动作的时间起500毫秒以内的时间点。
在上述处理装置中，所述处理部也可以根据在规定的时间轴上将所述用户的眨眼的时间及所述眨眼动作的时间按时刻顺序排列的第一数据中的所述程度、和变更了所述用户的眨眼的时间及所述眨眼动作的时间中的至少一方的顺序后的第二数据中的所述程度，来进行所述处理。
在上述处理装置中，所述处理部也可以使所述对话装置根据所述差异进行对话处理。
在上述处理装置中，所述处理部也可以与所述对话装置的识别符建立对应关系，输出与所述差异对应的评估数据。
在上述处理装置中，也可以具有：环境信息获取部，其用于获取环境信息，该环境信息表示所述对话装置的周围的环境；和眨眼动作控制部，其使所述对话装置在与所述环境信息对应的第一时间进行眨眼动作。
在上述处理装置中，也可以具有存储控制部，该存储控制部使数据存储在存储装置中，其中所述数据是将所述用户眨眼的时间与所述环境建立对应关系的数据，所述眨眼动作控制部将所述第一时间作为与存储在所述存储装置中的数据和所述环境信息对应的时间。
在所述处理装置中，所述眨眼动作控制部还可以使所述对话装置在与所述第一时间不同的第二时间进行眨眼动作。
在上述处理装置中，也可以具有：眼睑部，其相当于眼睑；和眨眼动作控制部，其通过使所述眼睑部打开或闭合，来控制所述眼睑部的眨眼动作，所述第一获取部获取所述眼睑部的眨眼动作的时间。
在上述处理装置中，也可以具有：显示部；和眨眼动作控制部，其用于控制在所述显示部上显示的对象的眨眼动作，所述第一获取部获取所述对象的眨眼动作的时间。
本发明的一实施方式提供一种处理方法，获取对话装置的眨眼动作的时间、以及所述对话装置的用户的眨眼的时间，根据所述眨眼动作的时间与所述用户的眨眼的时间的差异来进行处理。
本发明的一实施方式提供一种程序，该程序使计算机实现以下功能：获取对话装置的眨眼动作的时间、以及所述对话装置的用户的眨眼的时间，根据所述眨眼动作的时间与所述用户的眨眼的时间的差异来进行处理。
本发明的一实施方式提供一种数据处理装置，具有：获取部，其获取表示用户的眨眼的时间的数据；计算部，其根据多个用户的所述眨眼的时间的差异，来计算与所述多个用户的眨眼的时间的一致程度对应的指标；和输出部，其输出与所述指标对应的数据。
本发明的一实施方式提供一种数据处理***，具有：眨眼检测部，其检测用户的眨眼；和上述数据处理装置，所述获取部根据所述眨眼检测部的检测结果来获取表示所述眨眼的时间的数据。
本发明的一实施方式提供一种数据处理方法，获取表示用户的眨眼的时间的数据，根据多个用户的所述眨眼的时间的差异，来计算与所述多个用户的眨眼的时间的一致程度对应的指标。
本发明的一个实施方式提供一种程序，该程序使计算机执行以下处理：获取表示用户的眨眼的时间的数据；根据多个用户的所述眨眼的时间的差异，来计算与所述多个用户的眨眼的时间的一致程度对应的指标。
发明效果
根据本发明的一实施方式，可以提供使用眨眼动作的应用技术。
附图说明
图1表示本发明的第一实施方式的对话装置的外观结构一例的图。
图2是说明本发明的第一实施方式的对话装置进行的眨眼动作的图。
图3是表示本发明的第一实施方式的对话装置的硬件结构的框图。
图4表示本发明的第一实施方式的对话装置的功能结构的框图。
图5表示本发明的第一实施方式的对话装置进行的处理的流程图。
图6是表示本发明的第一实施方式的指标计算处理的流程图。
图7是说明本发明的第一实施方式的时间差的计算方法的图。
图8是表示本发明的第一实施方式的时间差的出现频率的分布的曲线图。
图9是表示本发明的第一实施方式的随机数据一例的图。
图10是表示本发明的第一实施方式的评估值一例的图。
图11是表示本发明的第一实施方式的验证所涉及的聆听者的眨眼频率分布的曲线图。
图12是按本发明的第一实施方式的验证所涉及的每个回答结果来表示聆听者的眨眼频率分布的曲线图。
图13是按性别及商品来表示本发明的第一实施方式的验证所涉及的评估值的图表。
图14是按性别及商品来表示本发明的第一实施方式的验证所涉及的对商品的关心度的图表。
图15是表示本发明的第二实施方式的对话装置的功能结构的框图。
图16是表示本发明的第二实施方式的对话装置进行的学习处理的流程图。
图17是表示与本发明的第二实施方式的对话装置进行的眨眼动作有关的处理的流程图。
图18是表示本发明的第三实施方式的对话装置的硬件结构的框图。
图19是表示本发明的第三实施方式的对话装置的功能结构的框图。
图20是表示本发明的第三实施方式的对话装置进行的处理的流程图。
图21是表示本发明的一实施方式的处理装置的功能结构的框图。
图22是表示本发明的第四实施方式的数据处理***的整体结构的框图。
图23是表示本发明的第四实施方式的服务器装置的硬件结构的框图。
图24是表示本发明的第四实施方式的终端装置的硬件结构的框图。
图25是表示本发明的第四实施方式的数据处理***的功能结构的框图。
图26是表示本发明的第四实施方式的数据处理***进行的处理的流程图。
图27是表示本发明的第四实施方式的指标计算处理的流程图。
图28是说明本发明的第四实施方式的眨眼的时间的差异的计算方法的图。
图29表示本发明的第四实施方式的时间差的出现频度的分布的曲线图。
图30是表示本发明的第四实施方式的随机数据一例的图。
图31是表示本发明的第四实施方式的评估值一例的图。
图32是表示在本发明的第四实施方式的步骤S17中输出的数据一例的图。
图33是表示本发明的第四实施方式的验证所涉及的被测试者的眨眼频率分布的图表。
图34是表示本发明的第四实施方式的验证所涉及的被测试者每1分钟的眨眼次数的时间变化的曲线图。
图35是表示本发明的第四实施方式的验证所涉及的观看视频后的问卷调查的结果与眨眼的次数的关系的图表。
图36是表示本发明的第四实施方式的验证所涉及的评估值的计算结果的曲线图。
图37是表示按本发明的第四实施方式的验证所涉及的关心的对象不同的每个被测试者，计算观看各视频时的评估值的结果的曲线图。
图38是表示本发明的第四实施方式的验证所涉及的所有被测试者观看各视频后的问卷调查结果与评估值的关系的曲线图。
图39是表示本发明的第四实施方式的验证所涉及的观看视频后的感想与评估值的关系的图表。
图40是表示在本发明的第四实施方式的变形例的步骤S17中输出的数据一例的图。
图41是表示本发明的第五实施方式的数据处理***的整体结构的框图。
图42是表示本发明的第五实施方式的数据处理***的功能结构的框图。
图43是表示由本发明的第五实施方式的数据处理***进行的处理的流程图。
图44是计算本发明的第五实施方式的验证所涉及的影像讲义中的评估值的曲线图。
图45是表示本发明的第五实施方式的验证所涉及的被提出的问题与眨眼的时间的关系的曲线图。
图46是表示本发明的第五实施方式的问题的答对率或理解度与评估值的关系的图。
图47是表示本发明的第五实施方式的问题的答对率与评估值的关系的图。
图48是表示本发明的第六实施方式的数据处理***的功能结构的框图。
图49是表示本发明的第六实施方式的数据处理***进行的处理的流程图。
图50是表示本发明的第七实施方式的数据处理***的整体结构的框图。
图51是表示本发明的第七实施方式的终端装置的硬件结构的框图。
图52是表示本发明的第七实施方式的数据处理***的功能结构的框图。
图53是表示由本发明的第七实施方式的数据处理***进行的处理的流程图。
图54是说明由本发明的第七实施方式的数据处理***进行的处理的图。
图55是说明由本发明的第七实施方式的数据处理***进行的处理的图。
图56是表示在本发明的第七实施方式的变形例的步骤S48中输出的数据的一个例子的图。
图57是从正面观察本发明的一变形例所涉及的拍摄部的示意图。
图58是表示本发明的一变形例所涉及的终端装置的硬件结构的框图。
图59是表示本发明的一变形例所涉及的数据处理***的功能结构的框图。
图60是表示由本发明的一变形例所涉及的数据处理***进行的处理的流程图。
图61是表示本申请的数据处理装置的功能结构的框图。
具体实施方式
下面，参照附图详细说明本发明的一实施方式。以下所示的实施方式是本发明的实施方式一例，本发明并不限于这些实施方式。另外，在本实施方式中参照的附图中，对相同部分或具有相同功能的部分标注相同的符号或类似的符号(仅在数字后面标注A、B等的符号)，有时省略对其重复的说明。
[第一实施方式]
现有技术中，提出一种实现人与对话装置之间的疑似交流(以下简称为交流(communication))的技术。日本特表2010-525848号公报公开一种交互式玩具。另外，还提出一种对话装置，该对话装置进行模拟眨眼的动作。日本特许第5639440号公开了使CG人物的眼睛以预先设定的眨眼的间隔来进行闭眼和睁眼。日本特开2000-349920号公报公开了一种机器人，该机器人以头部的点头动作的时间为起点，按随时间呈指数分布的时间进行眨眼动作。关于讲话者和聆听者的眨眼，本发明的发明人在论文1和论文2中公开了以下事项。
(论文1)Tamami Nakano and Shigeru Kitazawa、"Eyeblink Entrainment atbreakpoints of speech"、Experimental Brain Research、205(4)、p.577-81、[online]、[2018年3月12日检索]、Internet
<URL:https://www.ncbi.nlm.nih.gov/pubmed/20700731>，(2010年)
(论文2)Kyohei Tatsukawa，Tamami Nakano，Hiroshi Ishiguro and Yui chiroYoshikawa，“Eyeblink Synchrony in Multimodal Human-Android Int eraction”，Scientific Reports，6:39718，[online]，[2018年3月12日检索]，Internet<URL:https://www.nature.com/articles/srep39718>，(2016年)
论文1公开了讲话者和聆听者的眨眼在时间延迟上是同步的。此外，论文1公开了讲话者的眨眼在说话结束时或在说话期间增加。论文2公开了作为机器人的讲话者和作为人类的聆听者之间的眨眼在时间延迟上是同步的。
此时，有时即使对话装置进行眨眼动作，用户和对话装置之间的交流也难以有助于交流质量的提高。
在第一至第三实施方式中，对使用眨眼动作来辅助对话装置与用户的交流的例子进行说明。
发明人发现，能够将讲话者与聆听者之间的眨眼时间的差异用于评估讲话者和聆听者进行的交流的质量。例如，当讲话者和聆听者的眨眼时间的一致程度较高时，可以推测为聆听者对讲话者的发言表现出较高的兴趣。与其相反，当一致程度较低时，可以推测为聆听者对讲话者的发言不那么感兴趣。在后面对用于获得这种发现的验证进行叙述。下面，说明将这种发现应用于实现对话装置与其用户之间的交流的技术的实施方式。
图1是表示本发明的第一实施方式的对话装置10的外观结构一例的图。对话装置10是与用户U进行对话的处理器。用户U是对话装置10的用户。用户U面对对话装置10，并通过对话与对话装置10进行交流。
对话装置10是具有模仿生物的外观的机器人。对话装置10具有例如模仿人或其他动物(例如狗或猫)或虚构人物(例如视频中的人物)的外观。对话装置10的外观可以是任意的。
对话装置10具有面部101和眼睑部102。面部101是相当于脸的部分，眼睑部102设置在面部101上，是相当于眼睑的部分。眼睑部102通过打开/闭合来进行模拟眼睛眨眼的动作(以下称为眨眼动作)。在本实施方式中，两个眼睑部102进行相同的动作。
图2是说明对话装置10的眨眼动作的示图。对话装置10在通常时使眼睑部102处于打开状态。对话装置10在进行眨眼动作的时间，使眼睑部102从打开状态转变为闭合状态(箭头A1)，再从闭合状态转变为打开状态(箭头A2)。眼睑部102从打开状态向闭合状态转移、以及从闭合状态向打开状态转移的时间以眼睑部102进行模拟眼睛眨眼的动作的方式来预先设定。
对话装置10也可以在面部101具有嘴、鼻子和其它部位。对话装置10还可以使设置在面部101中的各部位进行动作，但是在本实施方式中省略说明。
对话装置10的设置场所和用途没有特别地限定。对话装置10例如被设置在商业设施(例如店铺)、公共设施或其它设施中。在这种情况下，用户U是该设施的用户。对话装置10也可以用于医疗、玩具或其它用途。
图3是表示对话装置10的硬件结构的框图。对话装置10包括控制部11、语音输入部12、语音输出部13、存储部14、拍摄部15和眼睑部102。控制部11控制对话装置10的每个部分。控制部11例如包括以CPU为例的运算处理装置以及存储器。存储器例如包括运算处理部用作工作区域的RAM和存储控制程序的ROM。
语音输入部12接受语音的输入。语音输入部12将接收到输入的语音转换成语音信号，并将其提供给控制部11。语音输入部12例如包括麦克风、A(Analog)/D(Digital)转换电路和滤波器。
语音输出部13输出语音。语音输出部13输出由从控制部11供给的语音信号转换出的语音。语音输出部13例如包括D/A转换电路和扬声器。
存储部14存储数据。存储部14例如存储程序141和对话数据142。程序141是用于使控制部11实现规定的功能的程序。
对话数据142是用于对话装置10与用户U进行对话的数据。对话数据142例如存储将输入数据与输出数据建立对应关系的多个数据。输入数据是通过字符串表示假定用户U发言的发言内容的数据。输出语音是用字符串表示对该发言的响应内容的数据。例如，在输入数据是“你的名字是？”的情况下，则与该输入数据建立对应关系的输出数据为“我的名字是XX”(“XX”是对话装置10的名称)。
对话数据142也可以与输入数据及输出数据建立对应关系而包括用于识别话题的识别符。例如，第一识别符“ID001”同在与足球有关的发言中使用的输入数据以及输出数据建立对应关系。第二识别符“ID002”同在与饮食有关的发言中使用的输入数据以及输出数据建立对应关系。
另外，对话数据142可以是其他形式的数据。存储部14例如能包括以光记录介质、磁性记录介质和半导体记录介质为例的任何形式的记录介质(存储装置)。
拍摄部15拍摄被拍摄体，并生成表示拍摄到的图像的拍摄数据。被拍摄体是用户U。拍摄部15例如包括以CCD(Charge Coupled Device，电荷耦合器件)图像传感器为例的拍摄元件和透镜。拍摄部15的透镜例如设置在面部101中的眼睑部102附近，但是也可以设置在面部101中的其他位置，或者设置在面部101以外的位置。
眼睑部102根据控制部11的控制而打开或闭合。眼睑部102例如包括开闭机构(例如膜片和气缸)和用于驱动该开闭机构的驱动电路。能够对用于实现眨眼动作的机构适用各种公知技术。
图4是表示对话装置10的功能结构的框图。对话装置10的控制部11包括眨眼动作控制部111、第一获取部112、眨眼检测部113、第二获取部114和处理部115。控制部11通过执行程序141来实现相当于眨眼动作控制部111、第一获取部112、眨眼检测部113、第二获取部114及处理部115的功能。控制部相当于上述的处理装置。
眨眼动作控制部111通过使眼睑部102开闭来控制对话装置10的眨眼动作。例如，眨眼动作控制部111将用于进行眨眼动作的眨眼控制数据输出到眼睑部102。眼睑部102根据眨眼控制数据进行开闭。另外，眨眼动作控制部111也可以不必包括在控制部中。
第一获取部112获取对话装置10(眼睑部102)的眨眼动作的时间。第一获取部112例如从眨眼动作控制部111获取表示眨眼动作的时间的数据。
眨眼检测部113检测用户U的眨眼。具体而言，眨眼检测部113根据由拍摄部15生成的拍摄数据来检测用户U的眨眼。另外，眨眼检测部件113也可以不必包括在控制部11中。
第二获取部114获取用户U的眨眼时间。在本实施方式中，第二获取部114获取表示用户U的眨眼时间的数据(以下称为“眨眼数据”)。眨眼数据是将检测到眨眼的时刻按照其时刻顺序排列的数据(第一数据)。第二获取部114例如根据眨眼检测部113的眨眼检测结果，生成眨眼数据。
处理部115进行与对话装置10的眨眼动作的时间和用户U的眨眼的时间之间的差异相对应的处理。在本实施方式中，处理部115进行对话处理。对话处理是用于使用对话数据142进行对话的处理。具体而言，对话处理包括识别通过语音输入部12输入的语音并将其转换为输入数据的处理。另外，对话处理包括将与该输入数据建立对应关系的输出数据转换成语音并将其经由语音输入部12输出的处理。
接着，说明对话装置10的动作。图5是表示对话装置10执行的处理的流程图。
处理部115开始对话处理(步骤S1)。开始对话处理的契机并不重要。处理部115也可以在识别出用户U的存在的时间开始对话处理。对话装置10的用户例如是根据拍摄数据所示的图像识别出的人、或者位于拍摄部15的拍摄方向上的人、位于与拍摄部15的位置对应的位置的人。对话装置10的用户可以是在对话装置10中登记的人。另外，当从经由语音输入部12输入的语音中识别出规定的语音(例如，表示问候的语音)时，或者当受理到规定的操作时，处理部115也可以开始对话处理。
接着，处理部115使拍摄部15开始拍摄(步骤S2)。当拍摄开始时，对话装置10进行下面说明的处理。
首先，说明与眨眼动作有关的处理。眨眼动作控制部111判断是否进行眨眼动作(步骤S11)。眨眼动作控制部111例如判断为在对话装置10讲话过程中或在讲话结束的时间进行眨眼动作。说话结束的时间例如是说话中断的时间。眨眼动作的时间可以包括随机的时间。
当在步骤S11中判断为“是”时，眨眼动作控制部111使对话装置10进行眨眼动作(步骤S12)。当在步骤S11判定为“否”时，眨眼动作控制部111不进行眨眼动作。然后，对话装置10的处理进入步骤S3。
接着，说明同对话装置10与用户之间的交流的质量的评估有关的处理。
第一获取部112获取对话装置10的眨眼动作的时间(步骤S21)。接着，眨眼检测部113根据从拍摄部15供给的拍摄数据来检测用户U的眨眼(步骤S22)。眨眼检测的算法也可以适用各种公知技术。眨眼检测部113例如从由拍摄数据所示的图像中，沿着用户U的眼睛的周缘提取多个特征点。眨眼检测部113例如根据Haar-like来提取特征点。眨眼检测部113通过根据多个帧的拍摄数据确定所提取出的特征点的移动方向及其速度的时间变化，来检测用户U有无眨眼。例如，由于人眨眼，在大约0到300毫秒的时间内，特征点会发生快速的速度变化。因此，当规定期间内的速度变化达到阈值以上时，眨眼检测部113检测到用户U有眨眼。
接着，第二获取部114根据眨眼的检测结果，获取表示用户U的眨眼时间的眨眼数据(步骤S23)。
接着，处理部115进行指标计算处理(步骤S24)。指标计算处理是用于计算对话装置10与用户U之间的交流质量的指标的处理。
图6是表示指标计算处理的流程图。下面，列举具体例来说明指标计算处理。
首先，处理部115计算用户U的眨眼的时间与对话装置10的眨眼动作的时间的差异(步骤S241)。例如，处理部115针对用户U的规定期间内的眨眼的时间与眼睑部102的眨眼动作的时间的所有组合，计算其差异(以下称为时间差)。规定期间例如为30秒，但可以小于30秒或长于30秒。规定期间例如是从对话装置10的讲话结束的时间起返回到规定期间之前的整个期间或部分期间。
图7是说明时间差的计算方法的图。图7所示的时序图表示用户U眨眼的时间、以及对话装置10进行眨眼动作的时间。如图7所示，将用户U眨眼的时间按时刻顺序表示为t11、t12、……、t1B。将对话装置10的眨眼动作的时间按时刻顺序表示为t21、t22、……、t27。在这种情况下，处理部115计算t11、t12、……、t1B中的每一个与t21、t22、……、t27中的每一个的差异。下面将眨眼的时间t1i与眨眼动作的时间t2j之间的差异即时间差表示为“Δtij”。在这种情况下，处理部115计算时间差TD{Δt11、Δt12、……、Δt17、Δt21、Δt22、……、Δt27、……、ΔtB1、ΔtB2、……、ΔtB7}。
图8是表示时间差的出现频率的分布的曲线图DG。在图8的曲线图DG中，横轴对应于时间差，纵轴对应于每个时间差的出现程度(即，出现频率)。在图8所示的例子中，在某个时间范围T内出现频度变高。
然后，认为由曲线图DG表示的出现频率的分布不仅是由于用户U与对话装置10之间的交流而产生，而且还由于用户U的眨眼的特性(例如，次数和频率)、以及对话装置10的眨眼动作的特性(例如，次数和频率)而产生。例如，越是用户U的眨眼频率和对话装置10的眨眼动作的频率较高的情况，小时间差的出现频率越高。因此，需要明确时间差TD在多大程度上是由于对话装置10与用户U之间的交流而产生的。因此，处理部115根据替代数据法来分析出现频率的分布。
也就是说，处理部115生成随机数据(第二数据)(步骤S242)。随机数据包括通过在时间轴上随机改变对话装置10的眨眼动作的间隔的顺序而获得的数据。
图9是表示随机数据R1～RK一例的图。处理部115生成K个(例如1000个)的随机数据R1～RK。在图9所示的随机数据R1～RK中，改变对话装置10的眨眼动作的间隔的顺序，而不改变用户U的眨眼动作的间隔的顺序。另外，图7中所示的时间“t2j”和图9中所示的时间“t2ja”对应。
接着，处理部115针对生成的各随机数据计算时间差，该时间差是用户U的眨眼时间与对话装置10的眨眼动作的时间的差异(步骤S243)。时间差的计算方法可以与步骤S241相同。下面将眨眼的时间t1ia与眨眼动作的时间t2ja的差异即时间差表示为“tija”。在图9所示的情况下，处理部115根据随机数据计算时间差TR{Δt11a、Δt15a、……、Δt13a、Δt21a、Δt25a、……、Δt23a、……ΔtB1a、ΔtB5a、……、ΔtB3a}。随机数据中的时间差的出现频率例如由图8的曲线图RG表示。曲线图RG表示随机数据R1～RK之间的时间差的出现频率的平均。
接着，处理部115计算评估值，该评估值对应于基于眨眼数据的时间差与基于随机数据的时间差(步骤S244)。评估值是成为对话装置10与用户U之间的交流质量的指标的指标值。随机数据是随机地改变对话装置10的眨眼动作的间隔而获得的数据。因此，可以说，随机数据是在保持对话装置10的眨眼动作的次数和间隔的状态下，时间序列的信息被破坏的数据。因此，通过将时间差TD的分布与随机数据R1～RK的分布进行比较，可以掌握用户U的眨眼数据所示的时间差的出现分布由于对话装置10和用户U之间的交流而出现的程度。
处理部115根据Z值来计算评估值。即，处理部115通过分别从眨眼数据所示的时间差TD{Δt11、Δt12、……、Δt17、Δt21、Δt22、……、Δt27、……、ΔtB1、ΔtB2、……、ΔtB7}中减去随机数据R1～RK中的时间差的平均值，并将所获得的值除以随机数据R1～RK中的时间差的标准偏差来计算评估值。例如，当时间差TD的分布与随机数据的分布相同时，评估值为“0”。在这种情况下，能够推测为用户U的眨眼不受对话装置10与用户U之间的交流的影响。另一方面，当评估值大并且时间差TD的分布与随机数据的分布的差异大时，能够推测为用户U的眨眼受到对话装置10与用户U之间的交流的影响。当使用图8来说明时，越是出现频率的差异Δ大的情况，则推测为受到交流的影响越强，评估值越大。
图10是表示评估值一例的曲线图。在图10所示的曲线图中，横轴对应于时间差，纵轴对应于评估值。当时间差为正值时，这意味着用户U的眨眼时间晚于对话装置10的眨眼动作的时间。当时间差为负值时，这意味着用户U的眨眼时间早于对话装置10的眨眼动作的时间。此外，时间差在此用250毫秒表示。在图10中，时间差为“0”毫秒表示时间差在0毫秒以上且小于250毫秒。时间差为“+250”毫秒以及时间差为“-250”毫秒表示时间差为250秒以上且小于500毫秒。在本实施方式中，处理部115根据用户U的眨眼时间包含在对话装置10的眨眼动作的时间之后的规定期间内的程度，来计算对话装置10和用户U的交流质量的评估值。具体而言，处理部115计算与时间差为“+250”毫秒相对应的评估值，作为对话装置10与用户U之间的交流质量的评估值。即，处理部115根据用户U眨眼的时间比对话装置10的眨眼动作的时间延迟，并且其时间差为250毫秒以上且小于500毫秒的眨眼的出现频率，来计算评估值。在图10所示的例子中，评估值为“0.4”。以上是指标计算处理的说明。
随机数据也可以是对话装置10的眨眼动作的间隔的顺序不改变，且用户U眨眼的间隔的顺序被改变的数据。随机数据也可以是对话装置10的眨眼动作的间隔的顺序、以及用户U的眨眼的间隔的顺序被改变的数据。当指标计算处理结束时，对话装置10的处理进入步骤S3。
接着，返回图5说明与对话处理有关的处理。处理部115判断在步骤S24的指标计算处理中计算出的评估值是否在阈值以上(步骤S31)。在此，评估值为与最近的期间对应的评估值。阈值是成为判断用户U是否关心与对话装置10的对话时的指标的值。阈值例如是预先决定的值。
在步骤S31中判断为“是”的情况下，处理部115进行第一对话处理(步骤S32)。在步骤S32中判断为“否”的情况下，处理部115进行与第一对话处理不同的第二对话处理(步骤S33)。即，处理部115根据评估值是否在阈值以上来进行不同的对话处理。当评估值在阈值以上时，可以推测为用户U对与对话装置10的交流的关心程度高。因此，处理部115例如进行不变更当前的话题的第一对话处理。例如，当与用户U进行了关于足球的对话时，处理部115继续进行关于足球的对话。此时，处理部115根据与包含在对话数据中的识别符“ID001”建立对应关系的输入数据以及输出数据，来进行第一对话处理。
另一方面，当评估值小于阈值时，可以推测为用户U对与对话装置10的交流的关心程度低。因此，处理部115进行变更当前的话题的第二对话处理。例如，当与用户U进行关于足球的对话时，处理部115将对话改变为关于今天的午餐的对话。此时，处理部115根据与包含在对话数据中的识别符“ID002”建立对应关系的输入数据以及输出数据，来进行第二对话处理。
如上所述，处理部115进行与指标值(在本实施方式中为评估值)对应的处理，其中所述指标值基于对话装置10的眨眼动作的时间与用户U的眨眼的时间之间的差异。但是，上述的第一对话处理及第二对话处理是一个例子，可以进行各种变形。处理部115在评估值小于阈值的情况下，也可以不进行立即变更对话的话题的第二对话处理，而继续进行第一对话处理。在这种情况下，处理部115也可以在评估值小于阈值的期间持续规定期间的情况下、或者评估值小于阈值的次数达到规定次数以上的情况下，从第一对话处理变更为第二对话处理。然后，对话装置10的处理进入步骤S3。
在步骤S3中，处理部115判断是否结束对话处理。例如，当根据从拍摄部15供给的拍摄数据不再识别出用户U的存在时，处理部115判断为结束对话处理。处理部115也可以在根据经由语音输入部12输入的语音识别出规定的语音(例如，表示告别问候的语音)的情况下，或者在接受了规定的操作的情况下，判断为结束对话处理。
当判断为使对话处理继续时(步骤S3；否)，对话装置10的处理返回到步骤S11、S21和S31。当判断为结束对话处理时(步骤S3；是)，处理部115结束对话处理。
根据对话装置10，可以根据用户U的眨眼时间与对话装置10的眨眼动作的时间的差异来定量地评估用户U对与对话装置10的交流的关心程度。此外，对话装置10可以通过在对话处理中反映出该评估来辅助对话装置10与用户U之间的交流。此外，对话装置10可以根据诸如用户U眨眼的自然操作来评估交流的质量。因此，根据对话装置10，即使不请求用户U进行评估所需的操作，也能够进行该评估。
在此，说明能够将用户U的眨眼时间与对话装置10的眨眼动作的时间的差异用于交流质量的评估的依据。发明人通过下面说明的方法进行了验证，以确认讲话者与聆听者的眨眼时间差成为讲话者与聆听者之间对交流的关心程度的指标。
讲话者是从业于商品的展示销售的展示销售员。展示销售员分别对“面向女性的吹风机”、“面向女性的化妆品”、“面向男性的手表”和“面向男性的电动剃须刀”4种商品分别进行了商品介绍。每款产品的介绍时间约为3分钟。聆听者共38名大学生，其中男大学生18人，女大学生20人。38名聆听者在观看了拍摄讲述者进行的商品介绍的样子的视频后，回答了是否对各商品介绍感到有趣。从分别拍摄讲话者和聆听者的视频中检测讲话者与聆听者的眨眼的时间差，分析在讲话者眨眼时间前后的聆听者的眨眼时间。
图11是表示38个聆听者的眨眼频率的分布的曲线图。在图11所示的曲线图中，横轴对应于时间，纵轴对应于评估值(Z值)。针对时刻，讲话者眨眼的时间用“0”表示，比其早的聆听者眨眼的时间用负值表示，比其晚的聆听者眨眼的时间用正值表示。也就是说，图11的曲线图的横轴表示时间差。在图11中，与图10相同，时间差以250秒为单位来表示。在该验证中，在计算评估值时，通过改变讲话者的眨眼间隔的顺序而不改变聆听者的眨眼间隔的顺序的方法，使用随机数据。如图11所示，从讲话者的眨眼起，在+250毫秒以上且小于+500毫秒的时间范围内，聆听者的眨眼延迟性地增大，并且评估值变高。p值为0.000001。
图12是表示每个回答结果的聆听者眨眼的频率分布的曲线图。在图12所示的曲线图中，与图11相同，横轴对应于时间，纵轴对应于评估值。实线的曲线是针对回答商品介绍有趣的聆听者的评估值。虚线的曲线是针对回答商品介绍无趣的聆听者的评估值。
如图12所示，对于回答商品介绍有趣的聆听者，从讲话者的眨眼开始，在+250毫秒以上且小于+500毫秒的时间范围内眨眼延迟性地增大，且评估值变高。另一方面，针对回答介绍货品无趣的聆听者，无法确认到这种眨眼的增大及估值的提高。另外，p值为0.004。
图13是按聆听者的性别和商品表示评估值的图。如图13所示，关于“面向女性的化妆品”，针对女性的聆听者，评估值示出较高的值，另一方面，针对男性的聆听者，评估值示出较低的值。关于“面面向男性的手表”和“面向男性的电动剃须刀”，针对男性聆听者，评估值示出较高的值，另一方面，针对女性的聆听者，评估值示出较低的值。
图14是按聆听者的性别以及商品来表示对商品的关心度的图表。图14所示的对商品的关心度为，将各被测试者回答为“非常无聊”时的关心度设为“1”，回答“有点无聊”时的关心度设为“2”，回答“有点有趣”时的关心度设为“3”，回答“非常有趣”时的关心度设为“4”，分别针对男女示出取关心度的平均的值。关心度的值越大，就意味着聆听者对商品介绍表现出了更高的关心。通过比较图13和图14确认到，针对每个商品，评估值与对商品介绍的关心度是相关的。
通过上述验证发明人获知，讲话者与聆听者的眨眼的时间差同聆听者对讲话者的讲话的关心程度相关。
[第二实施方式]
第二实施方式根据对话装置10周围的环境，控制对话装置10的眨眼动作的时间。在以下的说明中，对与上述的第一实施方式的要素相同的要素标注相同的符号来表示。本实施方式的对话装置10的硬件结构也可以与上述的第一实施方式相同。
图15是表示本实施方式的对话装置10的功能结构的框图。对话装置10的控制部11通过执行程序141来实现相当于眨眼动作控制部111、第一获取部112、眨眼检测部113、第二获取部114、处理部115、环境信息获取部116和存储控制部117等的功能。
环境信息获取部116获取表示对话装置10周边环境的环境信息。在此，环境信息表示对话装置10被用户U使用时的环境，换句话说，表示对话装置10与用户U对话时的环境。环境信息包括语音信息、声压信息、语调、动作信息和周边信息中的一种以上。语音信息包括表示通过语音输入部12输入的语音的信息、表示通过语音输出部13输出的语音的信息、或者双方。声压信息表示该语音信息的规定频带(例如，可听区域)中的声压。语调表示说话时出现的语音学性质，例如抑扬。动作信息表示用户U的身体运动(例如，面部、身体或表情的动作)。周边信息表示用户U周围的环境(例如，用户U所在空间的亮度)。语音信息、声压信息和语调根据通过语音输入部12输入的语音、以及向语音输出部13供给的语音信号来确定。动作信息和周边信息使用拍摄部15来确定。环境信息也可以使用另一测量装置来获取。环境信息还可以包括与对话装置10的假定年龄、性别、职业和用户U有关的信息。
存储控制部117将表示用户U眨眼的时间与使用对话装置10的环境建立对应关系的数据，作为学习数据143而存储在存储部14中。即，学习数据143是表示通过学习对话装置10的周围环境与用户U实际眨眼的时间之间的关系而获得的结果的数据。另外，存储控制部117也可以将学习数据143存储在存储部14以外的存储装置(例如，与云存储服务有关的存储装置)中。
眨眼动作控制部111使对话装置10在与环境信息获取部116获取到的环境信息对应的时间(第一时间)进行眨眼动作。具体而言，眨眼动作控制部111使对话装置10在与存储在存储部14中的学习数据143和环境信息获取部116获取到的环境信息对应的时间进行眨眼动作。眨眼动作控制部111例如控制使对话装置10进行眨眼动作的时间、眨眼动作的频率以及双方。
接着，说明对话装置10的动作。图16是表示对话装置10执行的学习处理的流程图。学习处理与对话处理并行进行。
环境信息获取部116获取环境信息(步骤S41)。接着，第二获取部114获取用户U眨眼的时间(步骤S42)。接着，存储控制部117在存储部14中存储将步骤S41中获取到的环境信息所示的环境与在步骤S42中获取到的眨眼的时间建立对应关系的数据，作为学习数据143(步骤S43)。以上是学习处理的说明。
图17是表示与对话装置10执行的眨眼动作有关的处理的流程图。代替在图5中说明的步骤S11、S12，执行图17的处理。
环境信息获取部116获取环境信息(步骤S51)。接着，眨眼动作控制部111判断是否进行眨眼动作(步骤S52)。在此，眨眼动作控制部111根据在步骤S51中获取的环境信息和学习数据143来判断是否进行眨眼动作。动作控制部111例如通过机器学习来判断眨眼动作的有无以及进行眨眼动作的时间。机器学习的算法例如是神经网络，也可以是除此以外的算法。此外，直到存储有规定量的学习数据143为止，眨眼动作控制部111可以用与上述的第一实施方式的步骤S1相同的方法来判断是否进行眨眼动作。
眨眼动作控制部111在判断为进行眨眼动作的情况下(步骤S52；是)，使对话装置10进行眨眼动作(步骤S53)。眨眼动作控制部111在判断为不进行眨眼动作的情况下(步骤S52；否)不使对话装置10进行眨眼动作。眨眼处理部115学习对话装置10周围的环境与人在该环境下进行的眨眼之间的关系，并使对话装置10根据该关系进行眨眼动作。眨眼动作控制部111例如在判断为话题具有高意外性时，也可以增加眨眼动作的频率。以上是关于眨眼动作的处理的说明。
根据本实施方式的对话装置10，除了上述的第一实施方式的效果之外，还可以使用学习数据143在更自然的时间进行眨眼动作。因此，可以期望对话装置10和用户U之间的交流质量的提高。
眨眼动作控制部111除了使对话装置10在与环境信息对应的时间进行眨眼动作以外，还可以在其他时间(第二时间)使对话装置10进行眨眼动作。眨眼动作控制部111例如使对话装置10在随机的时间，在规定期间内进行规定次数(例如每分钟20次)的眨眼动作。眨眼动作控制部111可以使对话装置10在根据预定规则的时间进行眨眼动作。因此，可以预期到对话装置10在更自然的时间进行眨眼动作的效果。
存储控制部117也可以在评估值在阈值以上的期间存储学习数据143。由此，当进行高质量的交流时，对话装置10可以根据人的眨眼来进行眨眼动作。
当学习数据143预先存储在存储部14中时，对话装置10也可以不具有存储学习数据的功能(即，存储控制部117)。
[第三实施方式]
第三实施方式在对话装置作为显示装置发挥功能这一点上，与上述的第一实施方式的对话装置不同。在以下的说明中，对与上述的第一实施方式的要素相同的要素标注相同的符号来表示，针对与上述第一实施方式的要素对应的要素，在相同的符号的末尾标注“A”来表示。
图18是表示本发明的第三实施方式的对话装置10A的外观结构一例的图。对话装置10A具有显示区域161。显示区域161是显示图像的区域。显示区域161显示对象20。对象20是与在上述第一实施方式中说明的对话装置10的外观相同的图像。对象20具有面部201和眼睑部202。面部201是相当于脸的部位。眼睑部202设置在面部201中，是相当于眼睑的部位。眼睑部202通过打开/闭合来进行眨眼动作。本实施方式的眨眼动作在通过将图像显示在显示区域161中来进行这一点上，与上述的第一实施方式不同。另外，图18所示的对象20仅是一个示例，至少包括表现眨眼动作的图像即可。例如，对象20包括至少一个眼睑部。也可以设置显示部来代替图1所示的外观的对话装置10的眼睑部102，并且在该显示部上显示相当于眼睑部202的对象。
用户U是与对话装置10A交流的人。用户U面对对话装置10A，观察显示在显示区域161中的对象20来进行对话。
图19是表示对话装置10A的硬件结构的框图。对话装置10包括控制部11、语音输入部12、语音输出部13、存储部14、拍摄部15和显示部16。存储部14存储用于使控制部11实现规定功能的程序141A。显示部16具有用于显示图像的显示区域161。显示部16例如是液晶显示器、有机EL显示器或其它显示装置。
图20是表示对话装置10A的功能结构的框图。对话装置10的控制部11通过执行程序141A来实现相当于眨眼动作控制部111A、第一获取部112、眨眼检测部113、第二获取部114及处理部115的功能。眨眼动作控制部111A使显示在显示部16的显示区域161中的对象20进行眨眼动作。例如，眨眼动作控制部111A将用于眨眼动作的眨眼控制数据向显示部16供给。眨眼控制数据是用于控制显示部16的显示的数据。显示部16根据眨眼控制数据使对象20进行眨眼动作。第一获取部112获取对象20(眼睑部202)的眨眼动作的时间。
除眨眼动作通过显示部16的控制来进行这一点之外，对话装置10A的动作与上述的第一实施方式相同。
另外，本实施方式的结构还能够适用于上述的第二实施方式的对话装置10。
[变形例]
本发明不限于上述的实施方式，还能够在不脱离主旨的范围内适当变更。以下，作为第一实施方式的对话装置10的变形例进行说明，但也可以适用于第二实施方式的对话装置10及第三实施方式的对话装置10A。
上述实施方式的处理部115的评估值的计算方法只是一个示例。例如，处理部115也可以按时序对用户U的眨眼次数和对话装置10的眨眼动作次数进行计数，根据特定期间(场景)中的眨眼次数和眨眼动作的次数来计算评估值。在这种情况下，处理部115计算评估值，该评估值表示，越是眨眼和眨眼动作的次数多的期间，用户U对与对话装置10的交流的关心程度越高。这是因为，在眨眼和眨眼动作的次数多的期间，与在其以外的期间相比，认为用户U的眨眼时间与对话装置10的眨眼时间的时间差小。此外，处理部115也可以不计算评估值，而进行同眨眼动作的时间与用户眨眼的时间的差异对应的处理。
同用户U的眨眼时间与对话装置10的眨眼时间的差异对应的处理并不限于讲话处理。例如，处理部115可以进行评估对话装置10的处理。在这种情况下，处理部115与对话装置10的识别符建立对应关系来输出评估数据。评估数据表示对话装置10的评估。评估数据可以是表示评估值的数据，也可以是使用评估值生成的数据。评估数据的输出例如通过发送、打印、显示或其它方法来进行。根据该变形例，可以评估由对话装置10进行的交流的质量。
眨眼的检测可以通过使用拍摄数据的方法以外的方法来进行。作为该方法，有使用非接触式传感器、例如电波传感器(例如，4GHz电波传感器模块)、红外线传感器和多普勒传感器。此外，有使用根据面部肌肉的活动来检测眨眼的传感器的方法。
对话装置的外部的处理装置也可以具有在上述实施方式中说明的控制部11所实现的功能的一部分或者全部。在这种情况下，该处理装置例如通过通信(例如，通过公共通信线路的通信)来控制对话装置。该控制也可以包括眨眼动作的控制和对话处理的控制中的一方或双方。该处理装置可以控制多个对话装置。总之，如图21所示，本发明涉及的处理装置具有：第一获取部301，其获取对话装置的眨眼动作的时间；第二获取部302，其获得所述对话装置的用户的眨眼时间；和处理部303，其进行同所述眨眼动作的时间与所述用户的眨眼时间的差异对应的处理。
也可以省略上述实施方式的部分结构和动作。也可以追加在上述实施方式中说明的结构和动作。另外，在上述实施方式中说明的处理的执行顺序只是一个例子，也可以适当地进行变更。
控制部11实现的功能能够通过多个程序的组合来实现，或者通过多个硬件资源的协作来实现。在控制部11的功能通过使用程序实现的情况下，用于实现该功能的程序141、141A可以以存储在各种磁性记录介质、光记录介质、光磁性记录介质、半导体存储器等计算机可读记录介质中的状态来提供。此外，该程序也可以通过网络来发送。本发明也可以理解为一种处理方法。
[第四实施方式]
现有技术中，提出一种用于根据人无意识地进行的动作来推定人对所观察的视觉信息的关心程度的技术。日本特许5771127号公开了根据人的视线变化和眨眼的间隔来推定对影像的关心度。日本特开2009-267445号公报公开了，选择与内容的类型对应的满意度计算方法来计算用户对该内容的满意度。日本特开2005-142975号公报公开了，根据终端操作数据和包括眨眼的身体数据生成视听质量数据。日本再表2008-72739号公报公开了，根据视听者的眼球运动计算对内容的兴趣/关心度。另外，本发明的发明人在论文3中公开了关于观看相同影像的多个被测试者眨眼的以下事项。
(论文3)Richard J.Wiseman and Tamami Nakano，"Blink and you'll mi ssit:the role of blinking in the perception of magic tricks"、PeerJ、e1873、[online]、[2018年3月12日检索]、Internet<URL:https://peerj.com/articles/1873/？utm#source＝TrendMD&utm#campaign＝PeerJ#TrendMD#1&utm#medium＝TrendMD>，(2016年)
论文3公开了多个被测试者在观看魔术的影像时眨眼同步的情况。
另一方面，人眨眼的次数和频率的个体差异很大。因此，很难将人眨眼的次数和频率直接用作关心程度等的客观指标。
本发明人认知到，能够使用多个用户的眨眼时间的差异，作为该多个用户对观察到的视觉信息的关心程度的指标。例如，能够推测为，在多个用户眨眼的时间的一致程度高的期间，该多个用户对在该期间观察到的视觉信息表现出强烈的关心。另一方面，能够推测为，在其一致程度较低的期间，该多个用户对在该期间内观察到的视觉信息没有表现出强烈的关心。在后面对用于获得这种认知的验证进行说明。根据这种认知，在第四至第七实施方式中，作为将人眨眼作为客观指标使用的技术，对根据多个用户眨眼的时间的一致程度来进行处理的数据处理***进行说明。
图22是本发明的第四实施方式的数据处理***1001的整体结构的框图。数据处理***1001根据观察规定的视觉信息的多个用户的眨眼来评估该视觉信息。视觉信息是人通过视觉获得的信息的总称。在本实施方式中，视觉信息是视频。视频中的人通过视觉能识别到的信息随时间变化。视频还可以包括人可以通过听觉识别到的信息(即语音)。本实施方式的视频例如是电视广播所涉及的视频(例如，电视节目或商业消息)。
数据处理***1001包括服务器装置1010和多个终端装置1020(1020-1、1020-2、…、1020-N)。服务器装置1010分别从多个终端装置1020获取表示用户眨眼的时间的数据，并根据获取到的该数据进行视频的评估。服务器装置1010例如由从业者来管理和运用，该从业者针对用户对视频的视听倾向进行合计和分析。服务器装置1010通过通信线路NW分别与多个终端装置1020进行通信。通信线路NW例如是以因特网为例的公共通信线路或专用线路。服务器装置1010是具有本发明所涉及的数据处理装置的装置一例。
多个终端装置1020由观看视频的用户使用。图22示出终端装置1020-1、1020-2、…、1020-N(其中，N是2以上的自然数)作为多个终端装置1020。下面将终端装置1020-i(其中1≤i≤N)的用户称为“用户Ui”。用户Ui通过使用视频重放装置1030-i来观看视频。视频重放装置1030-1～1030-N例如是电视机。
终端装置1020是例如以智能手机、平板终端和可穿戴计算机为例的便携式终端装置。或者，终端装置1020也可以是设置在视频的视听空间(例如，设置有视频重放装置1030-1～1030-N的房间)中的固定型终端装置。终端装置1020设置在能够检测观看视频的用户的眨眼的位置。例如，终端装置1020被设置在视频重放装置1030-1-1030-N的附近。
图23是表示服务器装置1010的硬件结构的框图。服务器装置1010具有控制部1011、通信部1012和存储部1013。控制部1011控制服务器装置1010的各部。控制部1011例如包括以CPU为例的运算处理装置和存储器。存储器例如包括将运算处理装置用作工作区域的RAM和存储控制程序的ROM。
通信部1012经由通信线路NW，通过有线或者无线分别与多个终端装置1020进行通信。通信部1012例如包括通信线路和天线。
存储部1013存储数据。存储部1013例如存储程序1131。程序1131是用于使控制部1011实现规定的功能的程序。存储部1013可以包括任意形式的记录介质，例如，光记录介质、磁性记录介质和半导体记录介质。
图24是表示终端装置1020的硬件结构的框图。终端装置1020具有控制部1021、用户接口1022、通信部1023、存储部1024和拍摄部1025。控制部1021控制终端装置1020的各部。控制部1021例如包括以CPU为例的运算处理装置和存储器。存储器例如包括将CPU用作工作区域的RAM和存储控制程序的ROM。控制部1021还包括计时部，该计时部用于对在规定的时间轴上规定的时刻进行计时。时间轴例如规定绝对时刻或视频的重放位置(例如，以视频的重放开始时刻为基准的相对时刻)。
用户接口1022是用于与用户进行对话的接口。用户接口1022例如包括接受操作的操作部(例如，物理键或触摸传感器)和显示信息的显示部(例如，液晶显示器)。通信部1023经由通信线路NW与服务器装置1010进行通信。通信部1023例如包括通信线路和天线。存储部1024存储数据。例如，存储部1024存储程序1241。程序1241是用于使控制部1021实现规定的功能的程序。存储部1024可以包括任意形式的记录介质，例如，光记录介质、磁性记录介质和半导体记录介质。
拍摄部1025对被摄体进行拍摄，生成表示该拍摄到的图像的拍摄数据。被拍摄体至少包括用户的面部，更具体而言，包括用户的眼睛。拍摄部1025例如包括以CCD(ChargeCoupled Device，电荷耦合器件)图像传感器为例的拍摄元件和透镜。
图25是表示数据处理***1001的功能结构的框图。服务器装置1010的控制部1011相当于数据处理装置。控制部1011具备获取部1111、计算部1112和输出部1113。控制部1011通过执行程序1131来实现相当于获取部1111、计算部1112和输出部1113的功能。多个终端装置1020各自的控制部1021通过执行程序1241来实现相当于眨眼检测部1211和发送部1212的功能。
在终端装置1020中，眨眼检测部1211检测用户的眨眼。具体而言，眨眼检测部1211根据由拍摄部1025生成的拍摄数据来检测用户的眨眼。发送部1212使用通信部1023将表示用户眨眼的时间的数据(以下称为“眨眼数据”)向服务器装置1010发送。本实施方式的眨眼数据是将检测出眨眼的时刻按照其时刻顺序排列的数据(第一数据)。
在服务器装置1010中，获取部1111使用通信部1012分别从多个终端装置1020获取眨眼数据。
计算部1112根据多个用户的眨眼时间的差异，计算与该多个用户的眨眼时间的一致程度对应的指标。计算部1112根据由获取部1111获取到的眨眼数据来计算该指标。在本实施方式中，该指标是多个用户对视频的关心程度的评估值。
输出部1113输出与由计算部1112计算出的指标对应的数据。在本实施方式中，输出部1113可以输出该指标本身，也可以输出根据该指标直接或者间接地确定的数据(例如，内容)。
接着，说明数据处理***1001的动作。图26是表示由数据处理***1001执行的处理的流程图。
在终端装置1020中，眨眼检测部1211使拍摄部1025对用户的眼睛进行拍摄(步骤S11)。眨眼检测部1211根据由拍摄部1025生成的拍摄数据来检测用户的眨眼(步骤S12)。眨眼检测的算法也可以适用各种公知技术。例如，眨眼检测部1211从拍摄数据所示的图像中，沿着用户眼睛的周缘提取多个特征点。眨眼检测部1211例如根据Haar-like来提取该特征点。眨眼检测部1211根据多个帧的拍摄数据确定所提取出的特征点的移动方向及其速度的时间变化，从而检测用户有无眨眼。例如，由于人眨眼，在大约0到300毫秒的期间内，特征点会发生快速的速度变化。因此，当规定期间内的速度变化达到阈值以上时，眨眼检测部1211检测到用户有眨眼。
眨眼检测部1211例如根据从拍摄部1025供给的拍摄数据实时地检测眨眼。或者，眨眼检测部1211也可以将拍摄数据存储在存储部1024中，并且在规定的时间读取该拍摄数据来检测眨眼。
发送部1212使用通信部1023向服务器装置1010发送表示用户的眨眼时间的眨眼数据(步骤S13)。发送部1212还可以将视频确定信息与眨眼数据建立对应关系而发送给服务器装置1010。视频确定信息是确定用户观看到的视频的信息。视频确定信息例如包括识别视频的识别信息、表示该视频的播放日期和时间的播放日期时间信息、以及表示该视频播放频道的频道信息。眨眼数据的发送时间可以是任意时间。发送时间例如是预先决定的时间(例如，1天1次的规定的时刻)或服务器装置1010要求的时间。
在服务器装置1010中，获取部1111使用通信部1012分别从多个终端装置1020获取眨眼数据(步骤S14)。当终端装置1020发送了视频确定信息时，获取部1111还获取该视频确定信息。
计算部1112根据由获取部1111获取到的眨眼数据进行指标计算处理(步骤S15)。
图27是表示指标计算处理的流程图。下面，列举具体例子来说明指标计算处理。
计算部1112从N个用户U1～UN中选择2个用户(步骤S151)。下面将所选的2个用户分别被称为“第一用户”、“第二用户”。在此，计算部1112选择用户U1和用户U2。
接着，计算部1112计算第一用户眨眼的时间和第二用户眨眼的时间的差异(步骤S152)。计算部1112对于第一用户眨眼的时间和第二用户眨眼的时间的所有组合，计算时间的差异(以下称为“时间差”)。
图28是说明眨眼的时间差的计算方法的图。图28是表示检测到眨眼的时间的时序图。如图28所示，将用户U1的眨眼时间按其时刻顺序表示为t11、t12、…、t1B。将用户U2的眨眼时间按其时刻顺序表示为t21、t22、…、t27。在这种情况下，计算部1112计算t11、t12、…、t1B中的每一个与t21、t22、…、t27中的每一个之间的差异。下面，将眨眼时间t1i(其中1≤i≤m)和眨眼时间t2j(其中1≤j≤n)之间的差异即时间差表示为“Δtij”。在这种情况下，计算部1112计算时间差TD{Δt11、Δt12、…、Δt17、Δt21、Δt22、…、Δt27、…、Δtb1、Δtb2、…、ΔtBn}。
图29是表示时间差的出现频率的分布的曲线图DG。在图29的曲线图DG中，横轴对应于时间差，纵轴对应于各时间差的出现程度(即，出现频率)。在图29所示的例子中，在时间差相对较小的时间范围T内出现频率变高。
然而，认为曲线图DG所示的出现频率的分布是由于第一用户以及第二用户观看视频、以及第一用户和第二用户眨眼的特性(例如次数和频率)而产生的。因此，为了明确时间差TD所示的第一用户以及第二用户的眨眼在多大程度上是由于观看视频引起的，计算部1112用替代数据法解析出现频率的分布。
即，计算部1112根据在步骤S13中获取到的眨眼数据生成随机数据(步骤S153)。在此，随机数据包括K个(例如，1000个)随机数据R1～RK(第二数据)，其中，所述随机数据R1～RK通过对在步骤S151中选择的两个用户中的一方或者双方，在时间轴上随机地改变眨眼的间隔的顺序而得到。
图30是表示随机数据R1～RK一例的图。在图30所示的随机数据R1～RK中，用户U1的眨眼间隔的顺序没有改变，而用户U2的眨眼间隔的顺序被改变。在随机数据R1～RK中，用户U2眨眼的时间按其时刻顺序表示为t21a、t25a、…t23a。另外，图28所示的时间“t2j”和图30中所示的时间“t2ja”对应。
接着，计算部1112对于K个随机数据R1～RK分别计算第一用户眨眼的时间和第二用户眨眼的时间的差异即时间差(步骤S154)。时间差的计算方法也可以与步骤S152相同。也就是说，计算部1112分别对于随机数据R1～RK，对第一用户眨眼的时间与第二用户眨眼的时间的全部组合计算时间差。下面将眨眼时间t1ia(其中1≤i≤m)与眨眼时间t2ja(其中1≤j≤n)的差异即时间差表示为“Δtija”。在这种情况下，计算部1112计算时间差TR{Δt11a、Δt15a、…、Δt13a、Δt21a、Δt25a、…、Δt23a、…、ΔtB1a、ΔtB5a、…、ΔtB3a}。随机数据R1～RK中的时间差的出现频率例如由图29的曲线图RG表示。曲线图RG表示随机数据R1～RK的时间差的出现频率的平均。
接着，计算部1112根据基于眨眼数据的时间差与基于随机数据的时间差来计算评估值(步骤S155)。随机数据是通过随机改变用户U2眨眼的间隔而获得的数据，可以说是在保持用户U2眨眼的频率和间隔状态下时序信息被破坏而获得的数据。因此，通过将眨眼数据与随机数据进行比较，可以掌握该眨眼数据所示的时间差的出现分布由于视频的观看而出现的程度。
具体而言，计算部1112根据Z值计算评估值。即，计算部1112通过从眨眼数据所示的时间差TD{Δt11、Δt12、…、Δt17、Δt21、Δt22、…、Δt27、…、ΔtB1、ΔtB2、…、ΔtBn}中分别减去随机数据R1～RK中的时间差的平均值，并将所得值除以随机数据R1～RK中的时间差的标准偏差，来计算评估值Z。例如，当眨眼数据与随机数据相同时，评估值Z为0。在这种情况下，能够推测为眨眼数据所示的出现频率的分布不是由于观看视频而出现。另一方面，当评估值Z较大并且眨眼数据相对于随机数据的差异较大时，能够推测为眨眼数据所示的出现频率的分布是由于观看视频而出现的。当使用图29进行说明时，出现频率的差异Δ越大，评估值Z越大。
图31是表示评估值Z一例的曲线图。在图31所示的曲线图中，横轴对应于时间差，纵轴对应于评估值。在此，时间差由位(bin)的值表示。位的编号“7”表示时间差被作为“0”进行处理。位之间的时间宽度为300毫秒，意味着在位的编号的值变大的方向上，在正方向上时间差较大。例如，位的编号“8”意味着具有+300毫秒的差异，而位的编号“9”意味着具有+600毫秒的差异。与此相反，意味着在位的编号的值变小的方向上，在负方向上时间差变大。例如，位的编号“6”意味着-300毫秒的差异，而位的编号“5”意味着-600毫秒的差异。当时间差为正值时，意味着第二用户的眨眼时间早于第一用户眨眼的时间。当时间差为负值时，意味着第一用户的眨眼时间早于第二用户眨眼的时间。在本实施方式中，时间差为300毫秒以下的眨眼的出现频率表示位的编号“7”的评估值Z。换句话说，与位的编号“7”之外的编号相对应的出现频率不用于计算评估值Z。在图31所示的例子中，评估值Z为“0.4”。计算部1112可以计算视频的整个重放期间内的一个评估值，也可以将该重放期间划分为多个单位期间(例如，30秒的期间)，按该单位期间来计算评估值。
除了眨眼数据之外，计算部1112还可以根据视频确定信息进行指标计算处理。在这种情况下，计算部1112根据视频确定信息确定N个用户中的每个用户正在观看的视频，并且根据公共的时间轴上的N个用户的眨眼时间来计算指标。
接着，计算部1112判断是否为所有用户组合计算出评估值(步骤S156)。在步骤S156中判断为“否”的情况下，计算部1112返回到步骤S151的处理。然后，计算部1112改变所选择的两个用户的组合来计算评估值(步骤S151～S154)。在步骤S156中判断为“是”的情况下，计算部1112结束指标计算处理。
随机数据也可以是用户U2的眨眼间隔的顺序没有改变，用户U1的眨眼间隔的顺序被改变的数据。随机数据也可以是在步骤S151中选择的两个用户(例如，用户U1和用户U2)的眨眼间隔的顺序被改变的数据。
当指标计算处理完成时，输出部1113生成并输出与计算出的评估值相对应的数据(图26中的步骤S16和S17)。
图32是表示在步骤S17中输出的数据一例的图。在该示例中，输出部1113输出与时间建立关联的评估值。具体而言，输出部1113通过使横轴与时间相对应并且使纵轴与评估值相对应来生成表示评估值的时间变化的曲线图ZG。纵轴上的评估值例如表示由每单位期间的NC2计算出的评估值的平均值。曲线图ZG是定量地表示N个用户对视频的评估值的时间变化的曲线图。另外，输出部1113例如计算针对视频的整个重放期间(例如，节目的广播期间)的评估值，也可以计算部分期间的评估值。
输出部1113也可以输出N个用户的评估值的移动平均值。另外，步骤S17的数据的输出方法可以是任何方法。例如，数据的输出方法例如通过通信、打印或显示来实现。
通常，电视广播的收视率是根据在各时刻选择的频道来计测的。因此，不能定量地掌握观众是否对所选择的节目感兴趣以及感兴趣的程度。与此相对，根据数据处理***1001，可以根据多个用户眨眼的时间差来定量地评估对视频的关心程度。该评估结果可用于分析观看倾向、营销等。
在此，说明能够将多个用户眨眼的时间的差异用于视觉信息的客观评价的依据。本发明人进行了以下说明的验证。
发明人以59名大学生为被测试者，分别制作了3种以(视频1)、(视频2)、(视频3)为主题的视频，并按照(视频1)→(视频2)→(视频3)→(视频1)→(视频2)→(视频3)→(视频1)→(视频2)→(视频3)的顺序播放。每个视频的重放时间为3分钟，视频的总重放时间为27分钟。本发明人检测观看这些视频的被测试者的眨眼情况。
(视频1)日本将棋的对局解说
(视频2)足球比赛
(视频3)偶像歌手A的电视采访
图33是表示正在观看视频的59名被测试者的眨眼频率的分布的图表。如图33所示，被测试者的眨眼频率分布在5～50次/分钟的范围内，个体差异较大。即，很难推断某一眨眼的次数或频率的眨眼是由于观看视频产生还是由于人眨眼的特征而产生的。
图34是表示被测试者每1分钟的眨眼次数的时间变化的曲线图。图34分别表示，作为日本将棋迷的8名被测试者眨眼的平均次数、作为足球迷的19名被测试者眨眼的平均次数、以及偶像歌手A的粉丝(在图34、图37和图38中表示为“A粉丝”。)的18名被测试者眨眼的平均次数。此外，在预先的问卷调查中，在59名被测试者中，针对日本将棋和足球、或者足球和偶像歌手A(在图34、图37和图39中表示为“A”)，回答是2个以上对象的粉丝的被测试者有12人。因此，将这12名被测试者排除在作为特定对象的粉丝的被测试者之外。如图34所示，眨眼的次数呈现出根据视频而变化的趋势。但是，未能确认每个被测试者关心的对象与眨眼次数之间的相关性。此外，图35是表示观看视频之后的问卷调查结果与眨眼次数的关系的图表。如图35所示，不能确认对视频的关心程度与眨眼次数之间的相关性。
接着，通过使用指标计算处理，根据被测试者彼此间的眨眼的时间差来计算评估值。即，从59名被测试者中选择两个用户，针对所有用户的组合(即，59C2个)进行计算所选择的两个用户眨眼的时间差且计算评估值的处理，并且进一步计算其平均值。另外，随机数据为1000个。
图36是表示该验证所涉及的评估值的计算结果的曲线图。在图36所示的曲线图中，横轴对应于时间差，纵轴对应于评估值。在此，时间差由位的值表示。图36分别示出了设位的编号的时间宽度是150ms、200ms、250ms、300ms和500ms的图。如图36所示，当设位的编号的时间宽度是150ms、200ms、250ms、300ms、500ms中的任一个时，可以确认到眨眼的时间差为0的位的编号“7”处，出现频率局部变高。
图37是表示按关心对象不同的被测试者，计算观看各视频时的评估值的结果的曲线图。在图37所示的曲线图中，横轴对应于视频，纵轴对应于评估值。如图37所示，分别针对日本将棋、足球和偶像歌手A，当正观看针对自己关心的对象的视频时，评估值变高。
图38是表示所有被测试者观看各视频之后的问卷调查结果与评估值之间的关系的图。在图38所示的曲线图中，横轴对应于时间差(位的值)，纵轴对应于评估值。如图38所示，发现感到视频有趣的被测试者与感到视频无聊的被测试者相比，评估值上升的程度更大。
图39是表示观看视频之后的感想与评估值之间的关系的图。在图39所示的图中，横轴对应于关心程度，纵轴对应于评估值。关心程度的数值越大，意味着越感觉视频有趣，图39所示的“r”是相关系数，“p”是概率。在此，针对各被测试者，选择该被测试者与其他的所有被测试者中的两个人且分别计算评估值，并且将计算出的评估值的平均值作为该被测试者的评估值。在该评估值中，对视频感兴趣的被测试者的数量越多，则评估值也变得更高。根据图39所示的图得知，示出越是具有视频有趣印象的被测试者则评估值越高的倾向。
通过上述验证，本发明的发明人认识到，与多个用户眨眼的时间差对应的评估值是对视频的关心程度的指标。
<第四实施方式的变形例>
(1)计算部1112也可以按组来计算评估值，该组通过根据规定的规则对多个用户进行分类而得到。该规则是规定计算评估值的用户的组合的规则，但例如是用户属性。用户属性例如是用户的性别、年龄、爱好、喜爱的视频的类型或它们的组合。用户属性也可以是其他用户的属性。用户属性可以预先登记在服务器装置1010中并存储在存储部1013中。终端装置1020的用户操作用户接口1022以输入用户属性，并将其存储在存储部1024中。然后，发送部1212也可以将用户属性与眨眼数据相关联地发送到服务器装置1010。
输出部1113还可以按组来输出与评估值相对应的数据。例如，输出部1113也可以按用户属性来输出与评估值相对应的数据。图40是表示在该变形例的步骤S17中输出的数据一例的图。在此，输出部1113按用户属性输出与时刻相关联的评估值。在该示例中，输出部1113生成曲线图G1～G3，该曲线图G1～G3的横轴与时间对应，纵轴与评估值对应，表示评估值的时间变化。曲线图G1例如表示属于“属性1”的用户的评估值，图G2例如表示属于“属性2”的用户的评估值，图G3例如表示属于“属性3”的用户的评估值。因此，能够按用户属性掌握在观看视频期间评估值的时间变化。
(2)输出部1113也可以输出用于确定评估值满足规定条件的视频的数据。例如，输出部1113也可以输出用于确定多个用户的关心程度高的视频的数据。在这种情况下，规定条件例如是评估值超过阈值、或者评估值在多个视频中是最大的。输出部1113也可以输出用于确定视频中评估值满足规定条件的期间的数据。在这种情况下，规定条件例如是评估值超过阈值或者评估值在多个视频中是最大的。
[第五实施方式]
第五实施方式是将本发明涉及的数据处理***适用于进行影像讲义的数据处理***的情况。
图41是表示数据处理***1001A的整体结构的图。数据处理***1001A具有服务器装置1010A和多个终端装置1020A。服务器装置1010A分发与学校课程的讲义有关的视频，并且分别从多个终端装置1020A获取表示用户(即，学生)眨眼的时间的数据，并根据获取到的该数据进行视频的评估。服务器装置1010A例如由实施讲义的从业者来管理和运用。服务器装置1010A经由通信线路NW分别与多个终端装置1020a进行通信。
多个终端装置1020A由观看影像讲义所涉及的视频的用户使用。多个终端装置1020a被分别预先设置在用户的座位1040上。终端装置1020A设置在能够检测观看视频的用户的眨眼的位置。在图22中，示出多个终端装置1020A有终端装置1020A-1、20A-2、…20A-N(其中，N是2以上的自然数)。为了便于说明，以下将终端装置1020A-i(其中1≤i≤N)的用户称为“用户Ui”。
服务器装置1010A及终端装置1020A的硬件结构也可以分别与上述第四实施方式的服务器装置1010及终端装置1020相同。然而，在使预先录制有讲义的视频重放的情况下，服务器装置1010A的存储部1013也可以存储表示该视频的视频数据。
图42是表示数据处理***1001A的功能结构的框图。服务器装置1010A的控制部1011通过执行程序1131来实现相当于获取部1111、计算部1112、输出部1113和分发部1114的功能。分发部1114经由通信部1012将视频分发到多个终端装置1020A中的每一个。
多个终端装置1020A各自的控制部1021通过执行程序1241来实现相当于眨眼检测部1211、发送部1212和重放部1213的功能。重放部1213使用通信部1023从服务器装置1010A接收视频，并重放接收到的该视频。通过用户接口1022向用户显示重放的视频。
接着，说明数据处理***1001A的动作。图43是表示由数据处理***1001A执行的处理的流程图。
在服务器装置1010A中，分发部1114开始分发影像讲义所涉及的视频(步骤S21)。在终端装置1020A中，重放部1213使用通信部1023接收视频，开始接收到的该视频的重放(步骤S22)。眨眼检测部1211使拍摄部1025开始拍摄(步骤S23)。眨眼检测部1211根据拍摄数据开始检测用户的眨眼(步骤S24)。在此，眨眼的检测与视频的重放开始同时开始，但是也可以在视频重放之前开始。眨眼的检测算法也可以与上述的第四实施方式相同。
发送部1212根据眨眼的检测结果，使用通信部1023向服务器装置1010A发送眨眼数据(步骤S25)。眨眼数据的发送时间也可以是任何时间。发送时间例如也可以是预先确定的时间(例如，在影像讲义结束之后)，也可以是服务器装置1010A请求的时间。
在服务器装置1010中，获取部1111分别从多个终端装置1020A获取眨眼数据(步骤S26)。计算部1112根据获取部1111获取到的眨眼数据进行指标计算处理(步骤S27)。指标计算处理也可以与上述第四实施方式相同。
输出部1113生成并输出与评估值对应的数据(步骤S28和S29)。输出部1113输出与时间相关联的评估值。在这种情况下，可以确定影像讲义中特别关心的场景。此外，输出部1113也可以输出影像讲义的整个期间内的评估值的平均值。输出部1113也可以生成并输出提取出评估值满足规定条件的场景(例如，评估值在阈值以上的场景)而获得的视频数据。由此，可以对讲义内容的分析、教材的制作、选定等学校运营起到作用。此外，输出部1113也可以根据评估值输出负责该影像讲义的讲师的评估值。在这种情况下，输出部1113也可以将讲师与评估值相关联地输出，可以根据评估值对讲师进行排序并输出。
另外，在本实施方式中，当讲师和用户U1～UN在相同的空间中进行讲课时，控制部1011可以不具有与分发部1114对应的功能。另外，控制部1021可以不具有相当于重放部1213的功能。
评估值成为关心程度的指标的理由在上述第四实施方式中也进行了说明。此外，本发明人将视觉信息作为补习学校的影像讲义所涉及的视频来进行了验证。在该验证中，将86名高中生作为被测试者，并依次进行事先测试、观看视频以及事后测试，其中，所述事先测试解决在影像讲义中进行处理的8个问题，观看视频涉及影像讲义。事后测试是根据事先测试解答数字等条件不同的8个问题的测试。
图44是表示影像讲义中的评估值的图。在图44所示的曲线图中，横轴对应于时间差，纵轴对应于评估值。如图44所示，确认到大约0.25秒内的时间范围内的时间差的出现频率会局部升高。
图45是表示各问题的评估值的曲线图。本发明的发明人确认到根据被提出的问题，眨眼的时间的同步性略有不同。
图46是表示问题的正误答案的变化与评估值的关系的图表。如图46所示，本发明的发明人不能确认问题的答对率及理解度与评估值之间的相关性。
图47是表示问题的正误答案与评估值的关系的曲线图。如图47所示，按在事先测试前后答对的被测试者(〇→〇)、仅在事后测试中答对的被测试者(×→〇)、在事先测试以及事后测试中均答错的被测试者(×→×)的顺序，评估值变高。认为在事后测试中答对的被测试者比答错的被测试者更关心地接受了影像讲义。因此，可以推测出示出对视频的关心程度越高则评估值越高的倾向。
[第六实施方式]
第六实施方式说明本申请的数据处理***的终端装置重放电视广播所涉及的视频的情况。
数据处理***1001B的整体结构与上述的第四实施方式的数据处理***1001相同。然而，数据处理***1001B包括服务器装置1010B和多个终端装置1020B。服务器装置1010B以及终端装置1020B的硬件结构可以分别与上述第四实施方式的服务器装置1010以及终端装置1020相同。
图48是表示数据处理***1001B的功能结构的框图。服务器装置1010B的控制部1011通过执行程序1131来实现相当于获取部1111、计算部1112和输出部1113的功能。
多个终端装置1020B各自的控制部1021通过执行程序1241来实现相当于眨眼检测部1211、发送部1212和重放部1214的功能。重放部1214根据经由通信部1023接收到的广播信号重放电视广播所涉及的视频。通过用户接口1022向用户显示重放的视频。
接着，将说明数据处理***1001的动作。图49是表示由数据处理***1001B执行的处理的流程图。
在终端装置1020B中，重放部1214使用通信部1023接收广播信号，且根据接收到的该广播信号开始视频的重放(步骤S31)。眨眼检测部1211使拍摄部1025拍摄用户的眼睛，并且根据拍摄数据来检测用户的眨眼(步骤S11、S12)。在此，眨眼的检测与视频的重放开始同时开始，但是也可以在视频的重放之前开始。眨眼的检测算法与上述的第四实施方式相同。
发送部1212使用通信部1023向服务器装置1010B发送表示用户的眨眼时间的眨眼数据(步骤S32)。发送部1212还可以将视频确定信息与眨眼数据相关联地发送到服务器装置1010B。眨眼数据的发送时间也可以是任何时间。发送时间例如也可以是预先确定的时间(例如，在电视节目结束之后)，也可以是服务器装置1010B请求的时间。
在服务器装置1010B中，获取部1111分别从多个终端装置1020B获取眨眼数据(步骤S14)。计算部1112根据获取部1111获取到的眨眼数据进行指标计算处理(步骤S15)。指标计算处理可以与上述第四实施方式相同。当终端装置1020发送视频确定信息时，获取部1111进一步获取该视频确定信息。另外。除了眨眼数据之外，计算部1112还可以根据视频确定信息进行指标计算处理。输出部1113生成并输出与评估值对应的数据(步骤S16、S17)。
[第七实施方式]
在上述的第四至第六实施方式中，视觉信息为视频。与此相对，本实施方式的视觉信息是外界的视觉信息。视觉信息例如是广告和交通标志等设置物。本申请的数据处理***也可以应用于推定对这种外界视觉信息的关心程度。
图50是表示数据处理***1001C的整体结构的图。数据处理***1001C具有服务器装置1010C和多个终端装置1020C。终端装置1020C例如是车载装置，在本实施方式中设置在车辆1050上。终端装置1020C也可以与汽车导航***等车载装置成为一体。车辆1050在此是四轮车(例如，汽车)，但是也可以是两轮车(例如，摩托车)或者其他车辆。终端装置1020C设置在能够检测用户(例如，驾驶员)的眨眼的位置。在图50示出终端装置1020C-1、1020C-2、…、1020C-N(其中N是2以上的自然数)来作为多个终端装置1020C。为了便于说明，以下将终端装置1020C-i(其中，1≤i≤N)的用户称为“用户Ui”。
服务器装置1010C的硬件结构可以与上述第四实施方式的服务器装置1010相同。
图51是表示终端装置1020C的硬件结构的框图。终端装置1020C在具有定位部1026这一点上与上述第四实施方式的终端装置1020不同。定位部1026测定终端装置1020C的位置并生成位置信息。定位部1026例如具有用于通过GPS(Global Positioning System，全球定位***)方式进行定位的接收电路和天线。在这种情况下，定位部1026生成包括纬度信息和经度信息的位置信息。但是，定位部1026可以通过诸如基站定位的GPS以外的方法来进行定位。
图52是表示数据处理***1001C的功能结构的框图。服务器装置1010C的控制部1011通过执行程序1131来实现相对于获取部1111、计算部1112和输出部1113的功能。多个终端装置1020C各自的控制部1021通过执行程序1241来实现相当于眨眼检测部1211和发送部1212的功能。发送部1212向服务器装置1010C发送眨眼时间的眨眼数据和表示检测到该眨眼时的终端装置1020C的位置的位置信息。计算部1112按多个用户眨眼的位置计算评估值。输出部1113与位置相关联地输出与评估值对应的数据。
接着，将说明数据处理***1001C的动作。图53是表示由数据处理***1001C执行的处理的流程图。
定位部1026开始定位(步骤S41)。眨眼检测部1211使拍摄部1025进行拍摄，检测用户的眨眼(步骤S42、S43)。眨眼检测部1211例如在车辆1050行驶期间或在汽车导航装置的使用期间检测用户的眨眼。
发送部1212使用通信部1023，将由定位部1026生成的位置信息与表示用户的眨眼时间的眨眼数据建立对应关系，且发送给服务器装置1010C(步骤S44)。该眨眼数据例如表示以终端装置1020C(即，车辆1050)进入某一区域的时刻为开始时间点的、时间轴上的眨眼时间。位置信息和眨眼数据的发送时间也可以是任意的。发送时间例如可以是预先确定的时间(例如，每个规定期间)，也可以是服务器装置1010C请求的时间。
在服务器装置1010C中，获取部1111分别从多个终端装置1020C获取位置信息和眨眼数据(步骤S45)。计算部1112根据由获取部1111获取的眨眼数据进行指标计算处理(步骤S46)。在本实施方式中，计算部1112根据与位置相对应的多个用户眨眼的时间的差异来计算评估值。
图54是说明由数据处理***1001C进行的处理的图。如图54所示，计算部1112例如根据位于规定区域Y内的多个用户眨眼的检测结果来计算评估值。由此，可以评估在从区域Y观察到的区域Y1中是否存在用户关心程度高的视觉信息，并且可以评估该关心程度。区域Y、Y1的位置和范围也可以预先确定。区域Y也可以以用户的位置为基准来确定。
输出部1113生成并输出与评估值对应的数据(步骤S47、S48)。如图55所示，输出部1113例如输出将位置信息与评估值建立关联的数据DO。根据该结果，可以掌握在乘坐车辆1050的过程中引起用户的关心的视觉信息所存在的位置。例如，在对广告牌B的关心度高的情况下，与表示该区域Y内的位置的位置信息建立对应关系的评估值会变高。因此，能够定量地掌握招牌B的广告效果。此外，由于可能在评估值高的位置存在阻碍通行的原因，因此还能够将该评估值用于掌握其原因。当在能够观察广告或交通标志的区域中评估值较低时，该评估值还可用于重新研究安装地点。此外，输出部1113也可以向作为车辆1050的乘员(在此是驾驶员)的用户提供与位置信息和评估值相对应的信息。例如，输出部1113将表示车辆1050的位置的位置信息和评估值建立对应关系，且存储在存储部1013中。然后，输出部1113根据存储在存储部1013中的评估值与位置信息之间的对应关系，来确定引起多个用户关心的对象，并且将与该对象相对应的信息发送到终端装置1020C。此时，输出部1113也可以将存在于与该对象对应的位置的车辆1050的终端装置1020C确定为发送目的地。例如，在判明多个用户关注同一店铺(例如，便利店)的情况下，输出部1113将关于该店铺的信息(例如，店铺信息和优惠券所示的内容)发送到该店铺附近的车辆1050的终端装置1020C。因此，其他用户可以共享关于引起多个用户关心的对象的信息。
计算部1112也可以根据多个用户的眨眼数据和该多个用户的视线方向来生成用于计算评估值的用户组。控制部1011例如根据拍摄部1025的拍摄数据，检测用户的视线方向。位置和视线方向一致或相似的多个用户可能正在观察相同的视觉信息。因此，通过同时使用眨眼数据和视线方向，易于地将观察相同视觉信息的多个用户分类到同一组中。因此，如图56所示，还能够推测在比区域Y1窄的区域Y2中存在引起用户关心的视觉信息。
[变形例]
本发明不限于上述的实施方式，还能够在不脱离注意的范围内适当进行变更。只要没有特别地限定，以下的变形例也可适用于第五至第七实施方式的结构。
(1)视觉信息也可以不是视频。视觉信息也可以是包括可通过视觉识别的信息的内容，例如，诸如新闻文章的字符、图形和照片。这种情况下的视觉信息例如根据用户的操作而可通过视觉识别的信息发生变化。在这个变形例中，计算部1112根据终端装置1020显示的视觉信息、和显示在视觉信息的过程中检测到的眨眼，来计算对视觉信息的评估值。由此，内容提供商可以根据评估值掌握对内容的关心程度。
(2)用户有时对通过拍摄部1025进行拍摄感到抵触。因此，可以设置防止用户看到拍摄部1025的部件。图57是从正面观察该变形例所涉及的拍摄部1025的示意图。在该示例中，设置单向镜1060以覆盖设置在拍摄部1025中的拍摄透镜1251。单向镜1060允许光从用户侧透过拍摄透镜1251，但不允许光从拍摄透镜1251侧透过到用户侧的部件。因此，减少了用户的抵触感。
(3)在上述实施方式中，根据拍摄部1025的拍摄数据检测眨眼，但是也可以使用除此以外的方法。如图58所示，例如，终端装置1020可以使用电波传感器(例如4GHz电波传感器模块)、红外线传感器、多普勒传感器等非接触式传感器1027代替拍摄部1025来检测眨眼。在终端装置1020是安装在用户的面部或头部的终端装置(例如眼镜型可穿戴计算机)的情况下，传感器1027也可以是根据肌肉的活动等检测眨眼的传感器。
(4)在上述实施方式中，终端装置1020检测到眨眼，但也可以由服务器装置1010来执行眨眼的检测。图59是表示该变形例所涉及的数据处理***的功能结构的框图。在终端装置1020中，发送部1212使用通信部1023将拍摄部1025的拍摄数据发送到服务器装置1010。在服务器装置1010中，控制部1011实现相当于获取部1111、眨眼检测部1115、计算部1112和输出部1113的功能。获取部1111从终端装置1020获取拍摄数据。该拍摄数据是表示用户眨眼的时间的数据。眨眼检测部1115根据获取部1111获取到的拍摄数据来检测用户的眨眼。
图60是表示由数据处理***1001执行的处理的流程图。在终端装置1020中，发送部1212使用通信部1023向服务器装置1010发送通过拍摄而获得的拍摄数据(步骤S11、S51)。在服务器装置1010中，获取部1111获取拍摄数据作为表示用户眨眼的时间的数据(步骤S52)。眨眼检测部1115根据获取到的拍摄数据检测用户的眨眼(步骤S53)。计算部1112根据与眨眼检测部1115的检测结果相对应的眨眼数据来进行指标计算处理(步骤S15)。输出部1113生成并输出与计算出的评估值相对应的数据(步骤S16和S17)。
如上所述，由获取部1111获取到的表示用户眨眼的时间的数据可以是上述的眨眼数据，也可以是用于确定以拍摄数据为例的眨眼数据的数据。
(5)上述实施方式的计算部1112的评估值的计算方法只是一个示例。例如，计算部1112也可以按时序对眨眼次数进行计数，并且根据特定的期间(场景)中的眨眼次数来计算评估值。在这种情况下，计算部1112计算评估值，该评估值示出，越是多个用户的眨眼次数多的期间，则对视觉信息的关心程度越高。这是因为，多个用户的眨眼次数多的期间与其以外的期间相比较，眨眼的时间差小。
总之，如图61所示，本发明涉及的数据处理装置也可以具有：获取部1101，其获取表示用户眨眼的时间的数据；计算部1102，其根据多个用户的所述眨眼的时间的差异，计算与所述多个用户的眨眼的时间的一致程度对应的指标；和输出部1103，其输出与所述指标对应的数据。
(6)由服务器装置1010、1010A、1010B、1010C的控制部1011和终端装置1020、1020A、1020B、1020C实现的功能可以通过多个程序的组合来实现，或者可以通过多个硬件资源的协作来实现。当控制部1011或1021的功能使用程序来实现时，用于实现该功能的程序1131或1241可以以存储在各种磁性记录介质、光记录介质、磁光记录介质、半导体存储器等计算机可读记录介质中的状态来提供。此外，该程序也可以通过网络来分发。本发明也可以理解为数据处理方法。
附图标记说明
10、10A：对话装置；11：控制部；12：语音输入部；13：语音输出部；14：存储部；15：拍摄部；16；显示部；20：对象；101：面部；102；眼睑部；111、111A：眨眼动作控制部；112：第一获取部；113：眨眼检测部；114：第二获取部；115：处理部；116：环境信息获取部；117：存储控制部；141、141A：程序；142：对话数据；143：学习数据；161：显示区域；201：面部；202：眼睑部；301：眨眼动作控制部；302：获取部；303：处理部；1001、1001A、1001B、1010C；数据处理***；1010、1010A、1010B、1010C：服务器装置；1011：控制部；1012：通信部；1013：存储部；1020、1020A、1020B、1020C：终端装置；1021：控制部；1022：用户接口；1023：通信部；1024：存储部、1025：拍摄部；1026：定位部；1030：视频重放装置；1040：座位；1050：车辆；1060：单向镜；1101：获取部；1102：计算部、1103：输出部；1111：获取部；1112：计算部；1113；输出部、1114：分发部；1115：眨眼检测部；1131：程序；1211：眨眼检测部；1212：发送部；1213：重放部；1241；程序、1251：拍摄透镜。

Claims (13)

1.一种处理装置，其特征在于，包括：
存储部，被配置为存储可执行指令；
处理电路，被配置为执行存储在所述存储部中的所述可执行指令从而实现：
第一获取部，被配置为获取对话装置执行的眨眼动作的时间，所述眨眼动作的时间是存储在所述存储部中的、控制所述对话装置执行的眨眼动作的时间的数据；
第二获取部，被配置为获取与所述对话装置对话的用户的眨眼的时间，所述用户的眨眼的时间是与用户眨眼的时间有关的数据，这些数据是使用拍摄部生成的图像数据检测到的而且按时间顺序排列；以及
处理部，被配置为根据所述对话装置执行的眨眼动作的时间与所述用户的眨眼的时间之间的差异进行数据处理；
其中，所述处理部促使所述对话装置根据所述对话装置执行的眨眼动作的时间与所述用户的眨眼的时间之间的所述差异执行对话数据处理以改变对话内容。
2.根据权利要求1所述的处理装置，其特征在于，
所述处理部根据基于所述差异的指标值来进行所述对话数据处理。
3.根据权利要求1所述的处理装置，其特征在于，
所述处理部根据所述用户的眨眼的时间包含于与所述眨眼动作的时间对应的规定期间内的程度来进行所述对话数据处理。
4.根据权利要求3所述的处理装置，其特征在于，
所述规定期间包括从所述对话装置执行所述眨眼动作的时间起±500毫秒以内的时间点。
5.根据权利要求3所述的处理装置，其特征在于，
所述处理部根据第一差异和第二差异来进行所述对话数据处理，其中所述第一差异为所述用户的眨眼的时间与所述对话装置执行的所述眨眼动作的时间之间的差异，所述第一差异在规定的时间轴上按时刻顺序排列，所述第二差异为在所述规定的时间轴上变更所述用户的眨眼及所述眨眼动作中的至少一者的顺序的情况下所述用户的眨眼的时间与所述对话装置执行的所述眨眼动作的时间之间的差异。
6.根据权利要求1所述的处理装置，其特征在于，
所述处理部根据与所述对话装置的识别符相关联的所述差异，输出评估数据。
7.根据权利要求1所述的处理装置，其特征在于，所述处理电路被配置为执行存储在所述存储部中的所述可执行指令以进一步实现：
环境信息获取部，被配置为获取环境信息，该环境信息包括表示所述对话装置的周围的环境的信息；和
眨眼动作控制部，被配置为根据所述环境信息使所述对话装置在第一时间进行所述眨眼动作。
8.根据权利要求7所述的处理装置，其特征在于，所述处理电路被配置为执行存储在所述存储部中的所述可执行指令以进一步实现：
存储控制部，该存储控制部被配置为使数据存储在存储装置中，其中所述数据是将所述用户的眨眼的时间与所述周围的环境建立对应关系的数据，
所述眨眼动作控制部将所述第一时间作为与所述存储装置中累积的数据和所述环境信息对应的时间。
9.根据权利要求8所述的处理装置，其特征在于，
所述眨眼动作控制部还使所述对话装置在与所述第一时间不同的第二时间进行所述眨眼动作。
10.根据权利要求1所述的处理装置，其特征在于，还包括：
眼睑部，所述眼睑部对应于执行所述眨眼动作的眼睑；和
所述处理电路被配置为执行存储在所述存储部中的所述可执行指令以进一步实现眨眼动作控制部，所述眨眼动作控制部被配置为通过使所述眼睑部打开和闭合，来控制所述眼睑部执行所述眨眼动作，以及
所述第一获取部获取所述眼睑部执行的眨眼动作的时间。
11.根据权利要求1所述的处理装置，其特征在于，还包括：
显示部，被配置为显示执行所述眨眼动作的对象；
所述处理电路被配置为执行存储在所述存储部中的所述可执行指令以进一步实现眨眼动作控制部，所述眨眼动作控制部被配置为控制在所述显示部上显示的所述对象执行的所述眨眼动作，以及
所述第一获取部获取所述对象执行的所述眨眼动作的时间。
12.一种处理方法，其特征在于，包括：
获取对话装置执行的眨眼动作的时间，所述眨眼动作的时间是存储在存储部中的、控制所述对话装置执行的眨眼动作的时间的数据；
获取与所述对话装置对话的用户的眨眼的时间，所述用户的眨眼的时间是与用户眨眼的时间有关的数据，这些数据是使用拍摄部生成的图像数据检测到的而且按时间顺序排列；以及
根据所述对话装置执行的所述眨眼动作的时间与所述用户的眨眼的时间之间的差异来进行数据处理；
其中，执行所述数据处理包括根据所述对话装置执行的眨眼动作的时间与所述用户的眨眼的时间之间的所述差异执行对话数据处理以改变对话内容。
13.一种计算机程序产品，其特征在于，
该计算机程序产品使计算机实现以下功能：
获取对话装置执行的眨眼动作的时间，所述眨眼动作的时间是存储在存储部中的、控制所述对话装置执行的眨眼动作的时间的数据；
获取与所述对话装置对话的用户的眨眼的时间，所述用户的眨眼的时间是与用户眨眼的时间有关的数据，这些数据是使用拍摄部生成的图像数据检测到的而且按时间顺序排列；以及
根据所述对话装置执行的所述眨眼动作的时间与所述用户的眨眼的时间之间的差异来进行数据处理；
其中，执行所述数据处理包括根据所述对话装置执行的眨眼动作的时间与所述用户的眨眼的时间之间的所述差异执行对话数据处理以改变对话内容。
CN201980020916.4A 2018-03-22 2019-03-07 处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序 Active CN111886565B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018055034A JP7023504B2 (ja) 2018-03-22 2018-03-22 処理装置、処理方法、及びプログラム
JP2018-055033 2018-03-22
JP2018055033A JP7185892B2 (ja) 2018-03-22 2018-03-22 データ処理装置、データ処理システム、データ処理方法、及びプログラム
JP2018-055034 2018-03-22
PCT/JP2019/009115 WO2019181537A1 (ja) 2018-03-22 2019-03-07 処理装置、処理方法、データ処理装置、データ処理システム、データ処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111886565A CN111886565A (zh) 2020-11-03
CN111886565B true CN111886565B (zh) 2024-06-14

Family

ID=67986152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020916.4A Active CN111886565B (zh) 2018-03-22 2019-03-07 处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序

Country Status (4)

Country Link
US (1) US11983309B2 (zh)
KR (1) KR102516751B1 (zh)
CN (1) CN111886565B (zh)
WO (1) WO2019181537A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE545345C2 (en) * 2021-06-30 2023-07-11 Tobii Ab Method and system for alignment of data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JPH10293860A (ja) * 1997-02-24 1998-11-04 Nippon Telegr & Teleph Corp <Ntt> 音声駆動を用いた人物画像表示方法およびその装置
JP3526785B2 (ja) 1999-06-01 2004-05-17 インタロボット株式会社 意思伝達装置
JP4335642B2 (ja) 2003-11-10 2009-09-30 日本電信電話株式会社 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
JP2006020131A (ja) * 2004-07-02 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 関心度測定装置および関心度測定方法
JP4765070B2 (ja) 2004-09-27 2011-09-07 国立大学法人電気通信大学 キャラクタ情報処理方法及びキャラクタ情報処理装置
JP4692533B2 (ja) 2005-11-10 2011-06-01 セイコーエプソン株式会社 情報受信装置
JP4207054B2 (ja) 2005-11-10 2009-01-14 セイコーエプソン株式会社 情報受信装置
JP4127296B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR100853424B1 (ko) * 2006-12-20 2008-08-21 한국생산기술연구원 인간형 로봇의 동작 및 표정 합성 장치 및 방법
KR100813668B1 (ko) * 2006-12-20 2008-03-14 한국생산기술연구원 안드로이드 로봇의 감정표현 방법
GB2448883A (en) 2007-04-30 2008-11-05 Sony Comp Entertainment Europe Interactive toy and entertainment device
JP2009037050A (ja) 2007-08-02 2009-02-19 Toyota Motor Corp 対話装置と対話用プログラム
JP2009267445A (ja) 2008-04-21 2009-11-12 Toshiba Corp 嗜好性情報管理装置及び嗜好性情報管理方法
JP5639440B2 (ja) 2010-10-26 2014-12-10 日本放送協会 Ｃｇキャラクタ制作装置及びｃｇキャラクタ制作プログラム
KR101247748B1 (ko) * 2011-05-04 2013-03-26 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
JP5771127B2 (ja) 2011-11-15 2015-08-26 日本放送協会 注目度推定装置およびそのプログラム
JP5982840B2 (ja) 2012-01-31 2016-08-31 富士通株式会社 対話装置、対話プログラムおよび対話方法
JP6426105B2 (ja) * 2012-12-11 2018-11-21 クライン、アミKLIN, Ami エンゲージメント及び知覚刺激顕著性のマーカーとして瞬き抑制を検出するためのシステム及び方法
US20140162230A1 (en) * 2012-12-12 2014-06-12 Aram Akopian Exercise demonstration devices and systems
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
JP6396351B2 (ja) * 2016-03-04 2018-09-26 株式会社東芝 心身状態推定装置、心身状態推定方法、およびアイウエア
JP6555665B2 (ja) 2016-07-28 2019-08-07 日本電信電話株式会社 コミュニケーション装置および方法
US10537244B1 (en) * 2017-09-05 2020-01-21 Amazon Technologies, Inc. Using eye tracking to label computer vision datasets

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《通过眨眼揭示默认模式网络的新角色》;中野珠实;《生理心理学精神生理学》;第31卷(第1期);第19-26页 *

Also Published As

Publication number Publication date
US11983309B2 (en) 2024-05-14
US20210004078A1 (en) 2021-01-07
CN111886565A (zh) 2020-11-03
KR20200135431A (ko) 2020-12-02
WO2019181537A1 (ja) 2019-09-26
KR102516751B1 (ko) 2023-03-31

Similar Documents

Publication Publication Date Title
US11887352B2 (en) Live streaming analytics within a shared digital environment
US11202594B2 (en) Stimulus information compiling method and system for tests
KR102039848B1 (ko) 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
US20180157923A1 (en) Vehicular cognitive data collection using multiple devices
US20190172462A1 (en) Audio analysis learning with video data
Damian et al. Augmenting social interactions: Realtime behavioural feedback using social signal processing techniques
US20170238859A1 (en) Mental state data tagging and mood analysis for data collected from multiple sources
US20160042648A1 (en) Emotion feedback based training and personalization system for aiding user performance in interactive presentations
JP7036046B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20160379505A1 (en) Mental state event signature usage
WO2018174088A1 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
CN107427250B (zh) 通过脑活动的解析推测感知语义内容的推测方法
US20180276281A1 (en) Information processing system, information processing method, and storage medium
Gay et al. CaptureMyEmotion: helping autistic children understand their emotions using facial expression recognition and mobile technologies
CN110916689A (zh) 一种自闭症的认知与注意力强化智能评估训练***及方法
CN111886565B (zh) 处理装置、处理方法、数据处理装置、数据处理***、数据处理方法和程序
Sidaty et al. Toward an audiovisual attention model for multimodal video content
US11587357B2 (en) Vehicular cognitive data collection with multiple devices
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
EP4058967A1 (en) System and method for collecting behavioural data to assist interpersonal interaction
CN111654752A (zh) 多媒体信息播放方法、装置及相关设备
JP7317403B2 (ja) 処理装置、処理方法、及びプログラム
JP7185892B2 (ja) データ処理装置、データ処理システム、データ処理方法、及びプログラム
WO2023079370A1 (en) System and method for enhancing quality of a teaching-learning experience
JP2020042709A (ja) 聴衆間の心理状態の類似度合を評定するシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant