CN101076107A - 信息处理装置和信息处理方法 - Google Patents
信息处理装置和信息处理方法 Download PDFInfo
- Publication number
- CN101076107A CN101076107A CNA2007101070660A CN200710107066A CN101076107A CN 101076107 A CN101076107 A CN 101076107A CN A2007101070660 A CNA2007101070660 A CN A2007101070660A CN 200710107066 A CN200710107066 A CN 200710107066A CN 101076107 A CN101076107 A CN 101076107A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- operator
- probability
- hobby
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims description 100
- 238000003860 storage Methods 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 description 43
- 238000000605 extraction Methods 0.000 description 20
- 230000001815 facial effect Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006403 short-term memory Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提供一种信息处理装置和信息处理方法,即使用户不进行繁杂的行动,也可以提供适合于用户的服务。操作员概率算出部(42)根据检测状态的传感器部(41)的输出,算出周围存在的作为用户的1个以上的目标分别是操作HD记录器(3)的操作员的操作员概率。交互部(14)、节目推荐部(15)根据操作员概率进行规定的处理。即,例如,进行与操作员概率最高的目标的行动相对应的动作、进行与该目标的爱好一致的节目的推荐。本发明可以应用于例如通过与用户的交互进行各种处理的交互装置。
Description
技术领域
本发明涉及一种信息处理装置、信息处理方法及程序,特别涉及一种例如即使用户不进行繁杂的行动也可以提供适合于用户的服务的信息处理装置、信息处理方法及程序。
背景技术
例如,存在一种通过与用户的交互来进行各种处理的交互装置。在交互装置中,将用户的发言及姿态(gesture)等行动作为交互信号接受,通过进行与该交互信号对应的处理,与用户的发言及姿态等行动对应来执行电视节目的推荐、频道的变更及其它动作(action)。
在此,下面适当地将存在于交互装置周围的用户称为目标。另外,下面适当地将(有意地)操作交互装置的用户称为操作员。
此外,有一种根据摄像部所拍摄的人的影像来确定人的姿态、估计人的行动/意图的方法(例如,参照专利文献1)。
另外,有一种通过在进行个人识别的同时进行姿态识别从而根据个人的姿态来控制设备的接口装置(例如,参照专利文献2)。
专利文献1:日本特开2005-242759号公报
专利文献2:国际公开第2003/025859号小册
发明内容
发明要解决的问题
然而,在现有的交互装置中,有假定周围只存在1个人的目标、将该只存在1个人的目标作为操作员进行动作的装置。
这种交互装置为了维持只存在1个人的目标的假定,将可能存在目标的空间设计为例如电话亭那样的狭小空间,使得只可能存在1个人的目标。
进而,为了对应在那种狭小空间中存在多个目标的情况,在交互装置中,使用基于其设计者的经验的试探法(例如,“在远处的人不是操作员”、“经过的人不是操作员”等),勉强从多个目标中将1个人的目标选择为操作员。
另外,也有设想了周围可能存在多个目标的交互装置,但是在这种交互装置中,例如,将周围存在的多个目标都作为操作员,将多个目标的每一个的行动都作为交互信号接受。
但是,在交互装置中,在将多个目标的每一个的行动都作为交互信号接受时,会频繁发生希望操作交互装置的真正的操作员进行的交互装置的操作被这样的不是操作员的目标的行动所妨碍的情况。
即,通常,可能成为目标的用户,如果没有意识到会成为操作员,即使在交互装置的周围也常常会忽视交互装置而行动。因此,在交互装置中会发生这样的情况:没有意识到成为操作员的目标的发言、姿态等行动会被误当作交互信号而接受(误识别),其结果,妨碍了希望成为操作员的目标所进行的交互装置的操作。
因此,在交互装置中有这种选择操作员的方法:在目标进行了明确表示是操作员的行动,即,例如进行“我是用户。”等发言、特定的姿态的情况下,将该目标选择为操作员。
但是,这种需要进行“我是用户。”等明示的发言、姿态的方法,为了开始交互装置的操作要强迫用户进行麻烦的行动,很难顺利迅速地使用交互装置。而且,其结果会使用户感到不方便。
即,例如,在交互装置具有对操作员推荐与该操作员的爱好一致的电视节目的功能的情况下,目标为了让交互装置推荐节目,必须进行“我是用户。”的发言等明确表示是操作员的行动。因此,例如,在交互装置的周围存在2个人的目标的情况下,该2个人的目标之一在另一个目标成为操作员时,为了让交互装置推荐节目,必须进行“我是用户。”的发言等明确表示是操作员的行动,非常麻烦。
另外,在交互装置中,在出现明确表示是操作员的行动的情况下,必须在交互处理所涉及的地方准备将进行了该行动的目标选择为操作员的中断处理,在通过软件实现的情况下,该软件的设计会很麻烦。
此外,例如,在如上所述对操作员推荐与该操作员的爱好一致的电视节目的交互装置中,首先,存储表示可能成为操作员的目标的爱好的爱好信息等个人信息。进而,将周围存在的目标中的1个人选择为操作员,例如,通过面部识别等传感技术来识别(确定)操作员。然后,根据该识别出的操作员的爱好信息推荐电视节目。
另一方面,例如,在如上述那样的交互装置中,将周围存在的多个目标都作为操作员,将多个目标的每一个的行动都作为交互信号接受,虽然可以通过面部识别来分别识别多个目标,但是很难提供适当利用该多个目标各自的爱好信息来推荐电视节目等的服务。
即,在将多个目标的每一个的行动都作为交互信号接受的交互装置中,在通过面部识别而分别识别了多个目标后,只能进行这种程度的处理:例如,将该多个目标中的任意一个作为所谓的主要的操作员,根据该操作员的爱好信息推荐电视节目,或者对多个目标各自的爱好信息进行所谓的平均化,根据该平均化后的爱好信息,推荐电视节目。
另外,也可以考虑对存在于交互装置周围的多个目标例如通过操作键盘等将目标的个人信息和是操作员的似然输入到交互装置中的方法,依据这种方法,例如,可以按照与多个目标的各自的似然对应的比例来使用多个目标各自的爱好信息,推荐电视节目。
但是,对于让目标将目标的个人信息和是操作员的似然输入到交互装置中的情况,在发生了存在于交互装置周围的目标的增减等状况变更的情况下难以立即对应,另外,会使用户感到不便。
在上面那样的状况下,有了这样的需求:即使作为目标的用户不进行明确表示是操作员的行动等繁杂的行动,也可以提供适合于用户的服务。
本发明是鉴于这种状况而作出的,即使用户不进行繁杂的行动,也可以提供适合于用户的服务。
用于解决问题的方案
本发明的一个侧面的信息处理装置是与用户的行动对应进行处理的信息处理装置,其具备:传感器部,其检测状态;操作员概率算出单元,其根据上述传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作上述信息处理装置的操作员的操作员概率;以及处理单元,其根据上述操作员概率进行规定的处理。
本发明的一个侧面的信息处理方法、或程序是一种与用户的行动对应进行处理的信息处理装置的信息处理方法,或者是一种使计算机执行与用户的行动对应进行处理的信息处理的程序,包括以下步骤:根据检测状态的传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作上述信息处理装置或操作上述计算机的操作员的操作员概率,根据上述操作员概率进行规定的处理。
在上述一个侧面的信息处理装置、信息处理方法或程序中,根据检测状态的传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作上述信息处理装置或操作上述计算机的操作员的操作员概率,根据上述操作员概率进行规定的处理。
发明效果
依据本发明的一个侧面,即使用户不进行繁杂的行动,也可以提供适合于用户的服务。
附图说明
图1是表示应用了本发明的AV***的一个实施方式的结构例的框图。
图2是说明交互部14的处理的流程图。
图3是说明节目推荐部15的处理的流程图。
图4是表示爱好表的图。
图5是表示推荐画面的图。
图6是表示目标信息取得部13的结构例的框图。
图7是说明图像处理部111的处理的图。
图8是说明图像处理部111的处理的图。
图9是说明图像处理部111的处理的图。
图10是说明目标信息生成部102的处理的图。
图11是说明目标信息存储部103的存储内容的图。
图12是表示用于操作员概率的算出的BN的图。
图13是表示通过学习求得网络结构和CPT的学习装置的结构例的框图。
图14是表示对在图像中拍摄的目标求得的操作员概率的图。
图15是说明操作员概率算出部42的处理的流程图。
图16是说明HD记录器3的处理的概要的图。
图17是表示应用了本发明的计算机的一个实施方式的结构例的框图。
附图标记说明
1:显示器;2:扬声器;11:记录播放部;12:TV部;13:目标信息取得部;14:交互部;15:节目推荐部;21:记录播放控制部;22:记录介质;31:节目接收部;32:信号处理部;33:EPG存储部;34:输出控制部;41:传感器部;42:操作员概率算出部;51:操作员选择部;52:动作选择部;53:动作执行部;61:爱好表存储部;62:爱好信息处理部;63:服务提供部;91:照相机;92:麦克风;101:信息抽出部;102:目标信息生成部;103:目标信息存储部;104:概率算出部;105:模型存储部;111:图像处理部;112:声音处理部;121:面部检测器;122:运动检测器;123:指向检测器;124:视线方向检测器;151:结构学习部;152:结构存储部;153:CPT学习部;154:CPT存储部;201:总线;202:CPU;203:ROM;204:RAM;205:硬盘;206:输出部;207:输入部;208:通信部;209:驱动器;210:输入输出接口;211:可移动记录介质。
具体实施方式
以下说明本发明的实施方式,下面举例说明本发明的结构要件与说明书或附图中记载的实施方式的对应关系。本说明是用于确认支持本发明的实施方式被记载在说明书或附图中。因此,即使有虽然记载在说明书或附图中但是没有作为与本发明的结构要件相对应的实施方式而记载于此的实施方式,也不表示该实施方式不是与该结构要件对应的内容。反之,即使实施方式作为与结构要件相对应的内容而记载于此,也不表示该实施方式不对应于该结构要件以外的结构要件。
本发明的一个侧面的信息处理装置是与用户的行动对应而进行处理的信息处理装置(例如,图1的HD记录器3等),具备:传感器部(例如,图1的传感器部41),其检测状态;操作员概率算出单元(例如,图1的操作员概率算出部42),其根据上述传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作上述信息处理装置的操作员的操作员概率;以及处理单元(例如,图1的交互部14、节目推荐部15),其根据上述操作员概率进行规定的处理。
在上述操作员概率算出单元中可以设有:信息抽出单元(例如,图6的信息抽出部101),其从上述传感器部的输出抽出1个以上的目标各自的信息;目标信息生成单元(例如,图6的目标信息生成部102),其对于上述信息抽出单元抽出的信息,生成对1个以上的目标分别汇总的目标信息;以及概率算出单元(例如,图6的概率算出部104),其根据上述1个以上的目标各自的目标信息,对上述1个以上的目标分别算出上述操作员概率。
在上述操作员概率算出单元中还可以设置存储单元(例如,图6的目标信息存储部103),该存储单元存储上述目标信息生成单元按时间顺序生成的目标信息,上述概率算出单元可以根据上述存储单元中存储的按时间顺序的目标信息算出上述操作员概率。
在上述处理单元中可以设置:操作员选择单元(例如,图1的操作员选择部51),其将上述操作员概率最高的目标选择为上述操作员;动作选择单元(例如,图1的动作选择部52),其与上述操作员的行动对应,选择应该进行的动作;以及动作执行单元(例如,图1的动作执行部53),其执行与上述动作选择单元所选择的动作对应的处理。
另外,在上述处理单元中可以设置:爱好信息存储单元(例如,图1的爱好表存储部61),其存储表示上述1个以上的目标各自的爱好的爱好信息;爱好信息处理单元(例如,图1的爱好信息处理部62),其基于上述1个以上的目标各自的上述操作员概率,根据上述1个以上的目标各自的爱好信息生成用于推荐节目的节目推荐用爱好信息;以及服务提供单元(例如,图1的服务提供部63),其提供根据上述节目推荐用爱好信息来推荐节目的服务。
本发明的一个侧面的信息处理方法、或程序是一种与用户的行动对应进行处理的信息处理装置的信息处理方法,或者是一种使计算机执行与用户的行动对应进行处理的信息处理的程序,包括以下步骤:根据检测状态的传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作上述信息处理装置或操作上述计算机的操作员的操作员概率(例如,图15的步骤S101至S104),根据上述操作员概率进行规定的处理(例如,图2的步骤S11至S14、图3的步骤S21至S24)。
下面参照附图说明本发明的实施方式。
图1表示应用了本发明的作为交互装置的AV(Audio Visual:影音)***的一个实施方式的结构例。
在图1中,AV***由显示器1、扬声器2及HD(Hard Disk:硬盘)记录器3构成。
显示器1由例如CRT(Cathode Ray Tube:阴极射线管)、LCD(Liquid Crystal Display:液晶显示器)等构成,显示与由HD记录器3提供的图像数据(视频数据)对应的图像。扬声器2输出与由HD记录器3提供的声音数据(音频数据)对应的声音。
HD记录器3由记录播放部11、TV(Television:电视)部12、目标信息取得部13、交互部14及节目推荐部15构成。
记录播放部11由记录播放控制部21和记录介质22构成,进行图像数据和声音数据的记录和播放。
即,记录播放控制部21将从TV部12提供的图像数据和声音数据记录到记录介质22。另外,记录播放控制部21从记录介质22播放(读取)图像数据及声音数据,提供给TV部12。
记录介质22例如是HD,由记录播放控制部21驱动,其中记录图像数据及声音数据。
另外,在记录播放控制部21中,也可以进行针对其它的、例如未图示的DVD(Digital Versatile Disc:数字化视频光盘)等可以自由装卸于HD记录器3的记录介质来进行图像数据及声音数据的记录和播放。
TV部12由节目接收部31、信号处理部32、EPG(ElectronicProgram Guide:电子节目指南)存储部33及输出控制部34构成,取得电视节目的数据等,提供给显示器1及扬声器2、记录播放部11。
即,节目接收部31例如,接收通过地面波、CATV(CableTelevision:有线电视)发送来的电视广播信号,提供给信号处理部32。或者,节目接收部31例如,从互联网上的服务器接收电视节目的数据等,提供给信号处理部32。
信号处理部32对从节目接收部31提供的数据(信号)实施必要的处理,从该数据中抽出EPG数据、作为电视节目的图像数据及声音数据。进而,信号处理部32将EPG数据提供给EPG存储部33,将作为电视节目的图像数据及声音数据提供给输出控制部34。
EP G数据存储部33存储从信号处理部32提供的EPG数据。此外,EPG数据存储部33在每次从信号处理部32提供了新的EPG数据时,用来自信号处理部32的新的EPG数据来更新其存储内容,由此总是存储最新的EPG数据。另外,通过必要的模块来适当地参照EPG数据存储部33中存储的EPG数据。
输出控制部34将从记录播放部11、信号处理部32提供的图像数据提供给显示器1,显示对应的图像,并且将声音数据提供给扬声器2,输出对应的声音。
另外,输出控制部34将从信号处理部32提供的图像数据、声音数据提供给记录播放部11进行记录。进而,输出控制部34从EPG存储部33读取EPG数据,提供给显示器1来显示对应的EPG。
另外,输出控制部34将从其它模块适当提供的数据提供给显示器1或扬声器2,显示对应的图像或输出对应的声音。
目标信息取得部13由传感器部41及操作员概率算出部42构成,其对每个目标取得与存在于HD记录器3周围的作为用户的1个以上的目标分别相关的目标信息,提供给交互部14、节目推荐部15、其它必要的功能模块。
即,传感器部41检测状态,输出其检测结果得到的传感器信号。
操作员概率算出部42根据传感器部41输出的传感器信号,对存在于HD记录器3周围的1个以上的目标分别取得表示该目标的行动(状态)等目标信息。进而,操作员概率算出部42根据传感器部41输出的传感器信号,算出存在于HD记录器3周围的1个以上的目标分别是操作员的操作员概率,包含在每个目标的目标信息中提供给交互部14、节目推荐部15、其它必要的模块。
交互部14由操作员选择部51、动作选择部52及动作执行部53构成,根据从目标信息取得部13提供的目标信息中包含的操作员概率等进行规定的处理。
即,操作员选择部51将来自目标信息取得部13的目标信息中所包含的操作员概率最高的目标选择为操作员,将该操作员的目标信息提供给动作选择部52。
动作选择部52与从操作员选择部51提供的目标信息,也就是操作员的行动相对应来选择应该进行的动作,将表示该动作的动作信息提供给动作执行部53。
动作执行部53执行与从动作选择部52提供的动作信息所表示的动作,也就是与动作选择部52所选择的动作相对应的处理。
节目推荐部15由爱好表存储部61、爱好信息处理部62及服务提供部63构成,其根据从目标信息取得部13提供的目标信息中包含的操作员概率等来进行规定的处理。
即,爱好表存储部61对每个可能成为目标的用户存储登记有表示该用户的爱好的爱好信息的爱好表。
对可能成为目标的用户,爱好信息处理部62例如根据该用户所视听的节目、或进行了预约录像(记录到记录介质22)的节目等,生成爱好信息,登记到存储在爱好表存储部61中的爱好表中。在此,用户所视听的节目包括用户实时视听的节目及录制到记录介质22中后播放视听的节目。
另外,爱好信息处理部62根据来自目标信息取得部13的目标信息中所包含的操作员概率,根据爱好表存储部61的爱好表中所登记的目标(成为目标的用户)的爱好信息生成用于推荐节目的节目推荐用爱好信息,提供给服务提供部63。
服务提供部63根据从爱好信息处理部62提供的节目推荐用爱好信息来提供推荐节目的服务。
即,服务提供部63例如生成作为推荐节目的一览图像的推荐画面,提供给TV部12的输出控制部34,显示到显示器1或者从扬声器2输出。
下面参照图2的流程图说明图1的交互部14的处理。
如上所述,目标信息取得部13对每个目标取得与存在于HD记录器3周围的1个以上的目标分别相关的目标信息并提供给交互部14,因此,交互部14的操作员选择部51等待从目标信息取得部13提供每个目标的目标信息,在步骤S11中接收来自目标信息取得部13的每个目标的目标信息,进入步骤S12。
在步骤S12中,操作员选择部51将来自目标信息取得部13的目标信息中所包含的操作员概率最高的目标选择为操作员,将该操作员的目标信息提供给动作选择部52,进入步骤S13。
在步骤S13中,动作选择部52与来自操作员选择部51的目标信息所表示的行动,即,操作员的行动对应,选择HD记录器3所应该进行的动作,将表示该动作的动作信息提供给动作执行部53,进入步骤S14。
动作执行部53执行与来自动作选择部52的动作信息所表示的动作相对应的处理。
即,例如,在动作信息表示变更接收的节目或频道的动作的情况下,动作执行部53通过控制TV部12的节目接收部31来变更节目接收部31接收的节目或频道。
其后,交互部14等待从目标信息取得部13再次提供每个目标的目标信息,返回步骤S11,后面重复同样的处理。
如上所述,在交互部14中,例如,将操作员概率最高的目标选择为操作员,与该操作员的目标信息,也就是操作员的行动对应,选择HD记录器3应该进行的动作并执行。
因此,操作员概率最高的目标以外的目标,也就是说,是操作员的可能性不高的目标的行动被忽视,因此可以减少将那样的目标的行动误识别为操作员的行动的情况,其结果,可以在HD记录器3中进行与成为操作员的用户交互的稳定的动作。
而且,在HD记录器3中,即使成为目标的用户不进行明确表示是操作员的行动等繁杂的行动,也可以提供用户所期望的频道变更等适合于用户的服务。
下面参照图3的流程图说明图1的节目推荐部15的处理。
如上所述,目标信息取得部13对每个目标取得与存在于HD记录器3周围的1个以上的目标分别相关的目标信息并提供给节目推荐部15,因此,节目推荐部15的爱好信息处理部62等待从目标信息取得部13提供每个目标的目标信息,在步骤S21中接收来自目标信息取得部13的每个目标的目标信息,进入步骤S22。
在步骤S22中,爱好信息处理部62根据来自目标信息取得部13的目标信息中所包含的操作员概率,根据爱好表存储部61的爱好表中所登记的目标(成为目标的用户)的爱好信息生成用于推荐节目的节目推荐用爱好信息,提供给服务提供部63,依次进入步骤S23、S24。
在步骤S23及S24中,服务提供部63根据从爱好信息处理部62提供的节目推荐用爱好信息来提供推荐节目的服务。
即,在步骤S23中,服务提供部63根据来自爱好信息处理部62的节目推荐用爱好信息和TV部12的EPG存储部33中存储的EPG数据,决定推荐给存在于HD记录器3周围的目标的1个以上的节目,进入步骤S24。
在步骤S24中,服务提供部63推荐在步骤S23中决定的节目。即,在步骤S24中,服务提供部63例如生成在步骤S23中决定的、作为推荐给目标的节目的一览图像的推荐画面,提供给输出控制部34,显示到显示器1中。
之后,节目推荐部15等待从目标信息取得部13再次提供每个目标的目标信息,返回步骤S21,后面重复同样的处理。
此外,在显示器1中频繁显示推荐画面时,会妨碍节目的视听,因此,可以仅在显示模式为允许推荐画面显示的模式的情况下、由用户提出推荐画面显示的请求的情况下等进行推荐画面的显示。
接着,在图1的节目推荐部15中,例如,与图1的交互部14同样,可以将操作员概率最高的1个人的目标选择为操作员,将该操作员的爱好信息直接作为节目推荐用爱好信息,推荐与该节目推荐用爱好信息一致的1个以上的节目。
另外,在图1的节目推荐部15中,可以根据多个目标的爱好信息生成节目推荐用爱好信息,推荐与该节目推荐用爱好信息一致的节目。
因此,参照图4及图5说明根据多个目标的爱好信息生成节目推荐用爱好信息并推荐与该节目推荐用爱好信息一致的节目的2个推荐方法。
在此,对于将操作员概率最高的1个人的目标选择为操作员、将该操作员的爱好信息直接作为节目推荐用爱好信息、推荐与该节目推荐用爱好信息一致的1个以上的节目的推荐方法,下面适当称为第1推荐方法。另外,下面适当地将根据多个目标的爱好信息生成节目推荐用爱好信息、推荐与该节目推荐用爱好信息一致的节目的2种推荐方法之一称为第2推荐方法,将另一个称为第3推荐方法。
图4表示了图1的节目推荐部15的爱好表存储部61中存储的爱好表。
在图4中,在爱好表中,将识别N个人的可能成为目标的用户的用户标签Ti(i=1,2,…,N)与表示该用户Ti(通过用户标签Ti识别(确定)的用户)的爱好的爱好信息vi相关联。
另外,在图4中,例如,采用将表示对节目的各种类别(类型)的爱好程度的值作为成分的向量来作为爱好信息vi。
现在为了简化说明,设在HD记录器3的周围存在N个人的目标(成为目标的用户)T1、T2、…、TN。在这种情况下,对于N个人的目标Ti,分别从目标信息取得部13向节目推荐部15提供包括该目标Ti是操作员的操作员概率Pi的目标信息。
在第2推荐方法中,节目推荐部15的爱好信息处理部62根据来自目标信息取得部13的N个人的目标Ti的目标信息中所包含的操作员概率Pi,生成将N个人的目标Ti的爱好信息vi合成后的信息作为节目推荐用爱好信息。
即,爱好信息处理部62例如将N个人的目标T1、T2、…、TN各自的操作员概率P1、P2、…、PN作为权值,对N个人的目标T1、T2、…、TN各自的爱好信息v1、v2、…、vN进行加权相加,将该加权相加的结果(P1×v1+P2×v2+…+PN×vN)作为节目推荐用爱好信息提供给服务提供部63。
在这种情况下,服务提供部63通过参照EPG存储部33中存储的EPG数据来决定与来自爱好信息处理部62的节目推荐用爱好信息一致的多个节目,通过在显示器1中显示配置了该多个节目的标题等与节目相关的推荐节目信息的推荐画面来进行节目的推荐。
依据上述第2推荐方法,进行与操作员概率高的目标的爱好一致的节目的推荐。
接着,在第3推荐方法中,爱好信息处理部62根据从目标信息取得部13提供目标信息的N个人的目标Ti中、操作员概率Pi在上位M位(M≤N)内的目标Ti的操作员概率Pi,生成将该上位M位内的目标Ti的爱好信息vi与根据该爱好信息vi而推荐的节目的数(以下适当称为推荐数)相关联后的信息作为节目推荐用爱好信息。
即,例如,将M设为3,将操作员概率Pi在上位3位内的目标Ti从上位开始表示为Tx、Ty、Tz,并且,将目标Tx、Ty、Tz的操作员概率Pi分别表示为Px、Py、Pz。进而,将目标Tx、Ty、Tz的爱好信息vi分别表示为vx、vy、vz。另外,将推荐画面中可以配置的推荐节目信息的节目的数(总数)设为k个。
在这种情况下,作为根据目标Tx的爱好信息vx推荐的节目的推荐数,爱好信息处理部62算出与该目标的Tx的操作员概率Px对应的值,即,例如在此为比例计算后的值Cx=Px×k/(Px+Py+Pz)(其中Cx的小数点以后例如舍去),并将该推荐数Cx与爱好信息vx相关联。
同样地,作为根据目标Ty的爱好信息vy推荐的节目的推荐数,爱好信息处理部62算出与该目标的Ty的操作员概率Py对应的值Cy=Py×k/(Px+Py+Pz),并将该推荐数Cy与爱好信息vy相关联,并且,作为根据目标Tz的爱好信息vz推荐的节目的推荐数,算出与该目标的Tz的操作员概率Pz对应的值Cz=Pz×k/(Px+Py+Pz),将该推荐数Cz与爱好信息vz相关联。
然后,爱好信息处理部62将推荐数Cx与爱好信息vx的组、推荐数Cy与爱好信息vy的组及推荐数Cz与爱好信息vz的组作为节目推荐用爱好信息,提供给服务提供部63。
在这种情况下,通过参照EPG存储部33中存储的EPG数据,服务提供部63将与来自爱好信息处理部62的节目推荐用爱好信息中包含的爱好信息vx一致的、个数与该爱好信息vx成组的推荐数Cx相等的节目决定为推荐的节目。
同样,服务提供部63将与爱好信息vy一致的、个数与该爱好信息vy成组的推荐数Cy相等的节目决定为推荐的节目,并且,将与爱好信息vz一致的、个数与该爱好信息vz成组的推荐数Cz相等的节目决定为推荐的节目。
然后,服务提供部63例如生成如图5所示的推荐画面,通过将该推荐画面显示到显示器1上来推荐节目。
即,图5表示了在第3推荐方法中,服务提供部63生成的推荐画面。
如图5所示,服务提供部63生成从上面开始按顺序配置有推荐数Cx个与爱好信息vx一致的节目的推荐节目信息、推荐数Cy个与爱好信息vy一致的节目的推荐节目信息、以及推荐数Cz个与爱好信息vz一致的节目的推荐节目信息的推荐画面。
依据上述第3推荐方法,对操作员概率越高的目标进行越多的节目推荐。
如上所述,在节目推荐部15中,根据操作员概率,通过推荐节目的第1至第3推荐方法中的任何方法都可以进行节目的推荐。
而且,在第1推荐方法中,将操作员概率最高的1个人的目标选择为操作员,将该操作员的爱好信息直接作为节目推荐用爱好信息,推荐与该节目推荐用爱好信息一致的节目,因此可以对操作员概率最高的1个人的目标推荐与其爱好一致的节目。
另外,在第2推荐方法中,根据存在于HD记录器3周围的多个目标的操作员概率,生成将该多个目标的爱好信息合成后的信息作为节目推荐用爱好信息,推荐与该节目推荐用爱好信息一致的节目,因此,可以进行在成为操作员概率最高的操作员的目标以外也考虑了其它目标的爱好的节目的推荐。因此,可以进行引起成为操作员的目标以外的目标的兴趣的节目推荐。
进而,在第3推荐方法中,根据存在于HD记录器3周围的多个目标的操作员概率,生成将与该操作员概率对应的推荐数和目标的爱好信息相关联的信息作为节目推荐用爱好信息,推荐与该节目推荐用爱好信息一致的节目,因此,与第2推荐方法同样,可以进行在成为操作员概率最高的操作员的目标以外也考虑了其它目标的爱好的节目推荐。因此,可以进行引起成为操作员的目标以外的目标的兴趣的节目推荐。
此外,在第2及第3推荐方法中,例如,在HD记录器3的周围存在2个人的目标、该2个人的目标的操作员概率都是例如100(1.0)这样相同的情况下,进行同等考虑了该2个人的目标的爱好的节目推荐。
即,在第2推荐方法中,根据对存在于HD记录器3周围的2个人的目标的爱好信息以同等的权值进行合成而得到的节目推荐用爱好信息,进行同等考虑了该2个人的目标的爱好的节目推荐。
另外,在第3推荐方法中,推荐与存在于HD记录器3周围的2个人的目标的爱好一致的相同推荐数的节目。
在此,操作员概率不是单纯的普通非线形的似然,因此,合成多个目标的爱好信息时的权值(合成比)等计算的亲和性高,即使不进行正规化或线性化也可以容易地应用于大范围的合成方法。
而且,通过利用这种操作员概率,可以进行考虑了多个目标的爱好信息的节目的推荐,进而可以进行其它大范围的服务的提供。
另外,在上述的第2推荐方法中,设为对操作员概率越大的目标的爱好信息,生成以越大的权值合成后的节目推荐用爱好信息,但是除此之外,节目推荐用爱好信息的生成可以设为通过对操作员概率越小的目标的爱好信息以越大的权值进行合成的方式来进行。在这种情况下,可以进行与对HD记录器3不感兴趣的用户的爱好一致的节目的推荐,引起那种用户的兴趣。
同样的,在第3推荐方法中,也可以不将大的推荐数与操作员概率大的目标的爱好信息相关联,而将大的推荐数与操作员概率小的目标的爱好信息相关联,由此进行与对HD记录器3不感兴趣的用户的爱好一致的节目的推荐,引起那样的用户的兴趣。
此外,例如,可以根据用户的操作对在节目推荐部15中用第1至第3推荐方法中的哪个方法进行节目的推荐进行设置。另外,节目推荐的方法不限于上述的第1至第3推荐方法。
下面,图6表示了图1的目标信息取得部13的传感器部41和操作员概率算出部42的结构例。
传感器部41由照相机91、麦克风(microphone)92、其它的传感器构成,其检测状态,并将其检测结果得到的传感器信号输出到操作员概率算出部42。
即,照相机91检测光(的状态),将其结果得到的图像数据作为传感器信号输出。麦克风92检测声音(的状态),将其结果得到的声音数据作为传感器信号输出。
此外,在传感器部41中也可以设置检测红外线的红外线传感器等。
操作员概率算出部42由信息抽出部101、目标信息生成部102、目标信息存储部103、概率算出部104及模型存储部105构成,根据传感器部41输出的传感器信号取得表示存在于HD记录器3周围的目标的行动等目标信息。进而,操作员概率算出部42根据从传感器部41所输出的传感器信号中取得的目标信息,算出存在于HD记录器3周围的目标是操作员的操作员概率,包含在目标信息中输出。
即,信息抽出部101由图像处理部111、声音处理部112、其它处理传感器信号的各种信号处理部构成,从来自传感器部41的传感器信号中抽出存在于HD记录器3周围的1个以上的目标各自的信息,提供给目标信息生成部102。
在此,图像处理部111由面部检测器121、运动检测器122、指向检测器123、视线方向检测器124、其它检测器或识别器构成,其处理来自传感器部41的传感器信号中的图像数据,对存在于HD记录器3周围的目标,从该图像数据中抽出各种信息,提供给目标信息生成部102。
即,面部检测器121从来自传感器部41的图像数据中检测出拍摄了目标的面部的图像内的区域,求得面部朝向的方向(面部方向)、面部的位置(面部位置)及面部的尺寸(面部尺寸),提供给目标信息生成部102。
此外,在面部检测器121中,也根据来自传感器部41的图像数据进行目标的面部的识别(面部识别),作为该识别结果,将识别用户的用户标签提供给目标信息生成部102。作为由该面部检测器121进行的面部识别的识别结果的用户标签,例如,在图1的节目推荐部15中,在从爱好表存储部61中存储的爱好表中所登记的爱好信息中确定进行了面部识别的目标的爱好信息时使用。
运动检测器122从来自传感器部41的图像数据抽出目标运动的方向(运动方向)和该运动的大小(运动量),进而,抽出表示目标的运动的运动向量的起点的位置(运动位置),提供给目标信息生成部102。
指向检测器123根据来自传感器部41的图像数据检测目标是否进行了指向的行动,在目标进行了指向的行动的情况下,进一步检测目标所指向的方向(指向方向)和进行了该指向的手的位置(指向位置),提供给目标信息生成部102。
视线方向检测器124根据来自传感器部41的图像数据,检测目标的视线的方向(视线方向),提供给目标信息生成部102。
在此,在利用了图像的交互装置中,使用各种图像处理算法抽出被认为能够用于以输入的图像为基础进行用户推测的信息,图像处理部111也与这种交互装置同样,可以抽出各种信息。
另外,在图像处理部111中,在照相机91是所谓的立体照相机的情况下,可以抽出深度方向的信息。
声音处理部112处理来自传感器部41的传感器信号中的声音数据,对于存在于HD记录器3周围的目标,从该声音数据抽出各种信息,提供给目标信息生成部102。
在此,在声音处理部112中,例如,使用声音识别器来识别目标的声音,作为该识别结果可以得到目标的声音的音韵及韵律。另外,在声音处理部112中,使用音源方向识别器,可以得到目标发出声音的方向(谈话的方向)。
此外,例如,如上所述在传感器部41中设置有红外线传感器的情况下,在信息抽出部101中设置处理该红外线传感器的输出、抽出目标的各部位的温度并提供给目标信息生成部102的信号处理部。
另外,传感器部41中设置的传感器与信息抽出部101中设置的信号处理部的组,只要是在目标信息生成部102中可以得到能够对每个目标分别汇总(综合)的信息的组即可,可以是任何种类的组。
目标信息生成部102生成将从信息抽出部101提供的信息对每个目标分别汇总后的目标信息。
即,目标信息生成部102根据来自信息抽出部101的信息,判断存在于HD记录器3周围的目标的人数(也包括在HD记录器3的周围是否存在目标的判断)。进而,目标信息生成部102判断来自信息抽出部101的信息是哪个目标的信息,将来自信息抽出部101的信息对每个目标分类,生成对每个目标分别汇总的目标信息,也就是个数与目标的人数相等的目标信息。
目标信息生成部102以规定的时间间隔如上所述生成目标信息,将该目标信息按照时间顺序提供给目标信息存储部103。
在此,如上所述,对每个目标分别汇总信息的处理可以通过在交互装置中一般进行的短期存储(STM(Short Term Memory))来进行。
另外,在STM中存在使用所输入的各种识别(检测)结果的场所信息、时间信息来进行汇总的各种技术。例如,存在使用离检测位置的远近、离经过差分时刻后的预想移动点的远近等进行汇总的STM的技术,但是,由目标信息生成部102进行的STM的技术的种类只要能够对每个存在于HD记录器3能够观测的范围内的目标汇总分别各种识别结果信息即可,不进行特别限定。
目标信息存储部103临时存储从目标信息生成部102按照时间顺序提供的每个目标的目标信息。
概率算出部104使用模型存储部105中存储的模型,根据目标信息存储部103中存储的目标信息算出每个目标的操作员概率,包含在该目标的目标信息中输出。
即,概率算出部104使用例如概率推断计算模型,具体地说,使用贝叶斯网络(BN(Bayesian Network)),将构成目标信息存储部103中存储的目标信息的各信息(以下适当称为要素信息)作为对BN的输入来进行概率计算,从而对每个目标算出(推断)操作员概率。
在此,BN分为只使用1个时刻的信息进行概率计算的静态贝叶斯网络(Static Bayesian Network)、使用从过去保存的所有时刻的信息进行概率计算的动态贝叶斯网络(DBN(DynamicBayesian Network))等。进而,在BN中有静态贝叶斯网络、对DBN进行了细分的各种模型,对操作员概率的算出中使用的BN没有特别限定。
另外,在操作员概率的算出中使用的模型在给出了每个目标的目标信息的要素信息时,只要是可以推断该目标的操作员概率的模型即可,可以是任何模型,因此,不特别限定为BN。
模型存储部105存储了概率算出部104在操作员概率的算出中使用的模型,即,例如BN。
下面参照图7至图9,进一步说明图6的图像处理部111的处理。
首先,图7表示了用照相机91拍摄的图像的例。
在图7的图像中,拍摄了3人的用户(人)作为目标。即,在图7的图像中存在前面坐着的2个人的目标和后面从左向右方向步行的1个人的目标、合计3人的目标。
图8及图9表示了在图像处理部111中从图7的图像抽出的信息。
在图像处理部111中,例如,如图8及图9所示,从图7示出的拍摄了3人的目标的图像中,对该3人的目标抽出面部方向、面部位置、面部尺寸、运动方向、运动量、指向方向、视线方向等信息的全部或一部分。
下面参照图10进一步说明图6的目标信息生成部102的处理。
例如,在从信息抽出部101对目标信息生成部102提供了从图7示出的拍摄了3人的目标的图像抽出的图8及图9示出的信息的情况下,目标信息生成部102判断图8及图9所示的各信息属于图7的图像中拍摄的3人的目标的哪个,如图10所示,根据该判断对图8及图9所示的各信息生成对图7的图像中拍摄的3人的目标各自汇总的目标信息。
如以上那样,目标信息生成部102按照时间顺序生成每个目标的目标信息,按照时间顺序提供给目标信息存储部103(图6)。
下面,图11表示了图6的目标信息存储部103的存储内容。
如图11所示,目标信息存储部103对每个目标存储从目标信息生成部102按照时间顺序提供的、将面部方向、面部位置、面部尺寸、运动方向、运动量、指向方向、视线方向等信息作为要素信息的目标信息。
下面,图12表示了图6的概率算出部104在操作员概率的算出中使用的BN,也就是在模型存储部105中存储的模型。
在图12中,采用了DBN作为在操作员概率的算出中使用的BN(以下适当称为操作员概率算出用DN)。
图12的操作员算出用BN具有与各个目标信息的要素信息(可能成为要素信息的信息)分别对应的节点。此外,在图12中,为了避免图的繁杂化,将指向方向、运动方向、面部位置、面部方向、面部尺寸、运动量及指向位置等7个信息作为目标信息的全部要素信息,图示了与作为该7个信息的指向方向、运动方向、面部位置、面部方向、面部尺寸、运动量或指向位置分别对应的节点。
操作员算出用BN在与各个目标信息的要素信息分别对应的节点(以下适当称为要素信息节点)之外,为了推断目标是操作员的概率(操作员概率),还具有作为表示目标是操作员的节点的操作员节点。
此外,操作员算出用BN只要具有要素信息节点和操作员节点即可,也可以具有其它节点,即,例如隐藏节点及表示HD记录器3的状态的节点。
在此,作为表示HD记录器3的状态的节点,例如,可以采用表示在HD记录器3中是否安装有DVD的节点等。例如,在HD记录器3中没有安装DVD的情况下,因为不会有用户以DVD为对象进行的播放、记录的操作,因此通过采用表示在HD记录器3中是否安装有DVD的节点,在HD记录器3中没有装配DVD的情况下,在存在进行以DVD为对象的播放、记录的指令的行动(姿态)的用户时,可以降低对该用户求得的操作员概率。
图12的操作员算出用BN具有:针对时刻t(当前时刻)的由要素信息节点及操作员节点构成的BN、和针对该1个时刻前的时刻t-1的由要素信息节点及操作员节点构成的BN。
另外,在图12的操作员算出用BN中,连接各节点的粗线表示初始网络(prior network),细线的箭头表示转移网络(transitionnetwork)。
在此,在图12中,针对时刻t的由要素信息节点及操作员节点构成的BN与针对时刻t-1的由要素信息节点及操作员节点构成的BN之间的关系也可以应用于针对时刻t-1的由要素信息节点及操作员节点构成的BN与针对时刻t-2的由要素信息节点及操作员节点构成的BN之间的关系,因此,图12的操作员算出用BN利用该关系,可以将针对时刻t-2的由要素信息节点及操作员节点构成的BN扩展到针对时刻t-1的由要素信息节点及操作员节点构成的BN的左侧(过去侧)。
以下同样,图12的操作员算出用BN可以扩展针对更过去的时刻的由要素信息节点及操作员节点构成的BN。根据扩展到针对过去的某个时刻t-T的由要素信息节点及操作员节点构成的BN的操作员算出用BN,例如,将从时刻t-T到当前时刻t为止的目标信息的要素信息赋予对应的要素信息节点,并且,将从时刻t-T到时刻t-1为止的操作员概率赋予对应的操作员节点,由此,可以推断与当前时刻t的操作员节点对应的信息,即,当前时刻t的操作员概率。
此外,即使不全给出从时刻t-T到当前时刻t为止的目标信息的要素信息和从时刻t-T到时刻t-1为止的操作员概率,也可以进行当前时刻t的操作员概率的推断。即,根据BN,即使只给出从时刻t-T到当前时刻t为止的目标信息的要素信息和从时刻t-T到时刻t-1为止的操作员概率的一部分,也可以进行当前时刻t的操作员概率的推断。
另外,作为使用BN进行信息的推断的推断算法,例如,有可以用静态BN求得严密解的Pearl πλ消息经过(messagepassing)法、JunctionTree(连接树)算法,作为高速求得近似解的算法,有Loopy BP、Cluster BP等。在DBN中,有1.5JunctionTree Algorithm(1.5连接树算法)、运用了这个算法的Boyen-Koller inference Algorithm(Boyen-Koller推断算法)等。根据1.5 Junction Tree Algorithm可以求得严密解,根据Boyen-Koller inference Algorithm虽然是近似解,但是可以高速求解。
另外,包括操作员算出用BN的BN通过称为网络结构和概率分布表(CPT(Conditional Probability Table))的参数进行规定。
规定操作员算出用BN的网络结构和CPT对概率算出部104(图6)求得的操作员概率有很大影响,因此对网络结构和CPT的设置必须非常注意。
这种网络结构和CPT,例如,可以由HD记录器3的设计者手动设定,也可以准备网络结构和CPT的学习用的学习数据,通过使用该学习数据进行学习来求得。
图13表示了通过学习网络结构和CPT而进行求解的学习装置的结构例。
在图13中,学习装置由结构学习部151、结构存储部152、CPT学习部153及CPT存储部154构成。
对结构学习部151提供学习数据。
在此,学习数据由与图6的目标信息生成部102生成的内容相同的目标信息与操作员标签的组构成,如下那样进行收集。
即,让多人作为目标行动,用与传感器部41同样的传感器部检测该行动,使用与信息抽出部101同样的信息抽出部及与目标信息生成部102同样的目标信息抽出部从其检测结果取得构成学习数据的目标信息。
另外,在取得构成学习数据的目标信息时,将表示目标是操作员的目标标签与在目标作为操作员行动时、从其行动得到的目标信息相关联,将表示目标不是操作员的目标标签与从操作员以外的人的行动得到的目标信息相关联。
结构学习部151将如上学习数据中的目标信息的各要素信息提供给操作员算出用BN(图12)的对应的要素信息节点,并且,将与该目标信息相关联的目标标签赋予操作员节点,由此,求得操作员算出用BN的网络结构,提供给结构存储部152并存储。
另外,结构学习部151将用于求得操作员算出用BN的网络结构的学习数据提供给CPT学习部153。
CPT学习部153根据结构存储部152中存储的网络结构和从结构学习部151提供的学习数据求得CPT,提供给CPT存储部154并存储。
在图6的模型存储部105中,如上述那样存储了用结构存储部152中存储的网络结构和CPT存储部154中存储的CPT规定的操作员算出用BN。
然后,图6的概率算出部104使用在模型存储部105中存储的操作员算出用BN和从目标信息存储部103提供的每个目标的目标信息,对每个目标求得操作员概率。
图14表示了对图7的图像中拍摄的3人的目标分别求得的操作员概率。
如上所述,在图7的图像中拍摄了前面坐着的2个人的目标和在后侧步行的1个人的目标的合计3人的目标,现在将坐着的2个人的目标中位于左侧的目标称为目标T1,将位于右侧的目标称为目标T2,将在后侧步行的1个人的目标称为目标T3,在图14中,分别求得目标T1的操作员概率为80(0.80),目标T2的操作员概率为98(0.98),目标T3的操作员概率为4(0.04)。
在这种情况下,例如,在图1的交互部14中,在操作员选择部51中,将3个人的目标T1、T2、T3中的操作员概率为98的最高的目标T2选择为操作员。因此,用户即使不进行“我是用户。”的发言等繁杂的行动,也可以成为操作员。
即,在存在2个以上成为目标的用户的情况下,不需要进行用于替换操作员的行动,所以,可以平滑地替换用户。
另外,在上述情况下,在交互部14中,设为将操作员概率最高的1个人的目标选择为操作员,但是在HD记录器3的设计时,可以对选择操作员的过程预先设定正确的操作员概率的阈值,在交互部14中,将操作员概率在该阈值以上的全部目标选择为操作员。然后,在交互部14中,可以根据选择为操作员的目标的人数来选择HD记录器3应该执行的动作。
进而,操作员概率是概率,因此可以容易地求出比,在HD记录器3中利用该比可以提供灵活的服务。
即,例如在图1的节目推荐部15中,可以将操作员概率的阈值设为50等,将操作员概率在该阈值以上的目标全部选择为操作员,进行考虑了该操作员的爱好的节目的推荐。
具体地说,例如,如图14所示,在目标T1的操作员概率是80、目标T2的操作员概率是98、目标T3的操作员概率是4的情况下,在阈值是50时,在节目推荐部15中将操作员概率在阈值(50)以上的目标T1和T2选择为操作员。
进而,在节目推荐部15中,以目标T1的操作员概率(80)与目标T2的操作员概率(98)之比80∶98对目标T1的爱好信息和目标T2的爱好信息进行合成,推荐与该合成结果的节目推荐用爱好信息一致的节目。在这种情况下,可以进行更接近当时情况的节目推荐(与进行了表示要成为操作员的意图的行为的目标T1和目标T2的爱好一致的节目的推荐)。
下面参照图15的流程图,说明图6的操作员概率算出部42的处理。
传感器部41按照规定的间隔将传感器信号输出到操作员概率算出部42,操作员概率算出部42在从传感器部41输出了传感器信号时,接收该传感器信号,提供给信息抽出部101。
在步骤S101中,信息抽出部101通过处理来自传感器部41的传感器信号,从该传感器信号中抽出存在于HD记录器3周围的目标的信息,提供给目标信息生成部102,进入步骤S102。
在步骤S102中,目标信息生成部102例如通过STM生成将从信息抽出部101提供的信息对每个目标分别汇总后的目标信息,提供给目标信息存储部103并存储,进入步骤S103。
在步骤S103中,概率算出部104使用在模型存储部105中存储的操作员算出用BN,通过将目标信息存储部103中存储的每个目标的目标信息赋予(输入)操作员算出用BN,算出每个目标的操作员概率,进入步骤S104。
在步骤S104中,概率算出部104将由步骤S103求得的每个目标的操作员概率包含到该目标的目标信息中并输出。
下面,在操作员概率算出部42中,例如,每当从传感器部41输出传感器信号时,执行步骤S101至S104的处理。
下面参照图16,说明图1的HD记录器3的处理的概要。
首先,在步骤S201中,操作员概率算出部42从传感器部41输出的传感器信号抽出面部方向及其它的存在于HD记录器3周围的目标的信息,生成对每个目标分别汇总该信息后的目标信息。
进而,在步骤S202中,操作员概率算出部42通过将每个目标的目标信息赋予操作员算出用BN来算出每个目标的操作员概率,将该目标的操作员概率包含在每个目标的目标信息中并输出。
然后,在步骤S203中,例如,交互部14将操作员概率算出部42输出的每个目标的目标信息中所包含的例如操作员概率最高的目标选择为操作员,从操作员概率算出部42输出的每个目标的目标信息中抽出操作员的目标信息。
进而,在步骤S204中,交互部14根据操作员的目标信息推测操作员的场景,也就是操作员采取怎样的行动的场面,根据该推测结果决定HD记录器3应该进行的动作。然后,交互部14执行用于进行该所决定的动作的处理。
接着,上述操作员概率算出部42、交互部14、节目推荐部15的一系列的处理可以通过硬件进行,也可以通过软件进行。在通过软件进行一系列的处理的情况下,构成该软件的程序被安装到嵌入式用的计算机或通用计算机等。
因此,图17表示了安装有执行上述一系列处理的程序的计算机的一个实施方式的结构例。
程序可以预先记录在作为计算机中内置的记录介质的硬盘205或ROM203中。
或者,程序也可以临时或永久地保存(记录)在软盘、CD-ROM(Compact Disc Read Only Memory:紧凑光盘只读存储器)、MO(Magneto Optical:磁光)盘、DVD(Digital VersatileDisc:数字化视频光盘)、磁盘、半导体存储器等可移动记录介质211中。这种可移动记录介质211可以作为所谓的封装软件来提供。
另外,程序除了从上述的可移动记录介质211安装到计算机之外,还可以从下载网站通过数字卫星广播用的人造卫星无线传输到计算机,或者通过LAN(Local Area Network:局域网)、互联网等网络有线传输到计算机,在计算机中,由通信部208接收这样传输过来的程序,安装到内置的硬盘205中。
计算机中内置有CPU(Central Processing Unit:中央处理器)202。CPU202通过总线201连接输入输出接口210,通过输入输出接口210,在由用户操作由键盘、鼠标、麦克风等构成的输入部207进行指令输入时,CPU202按照该输入执行保存在ROM(Read Only Memory:只读存储器)203中的程序。或者,CPU202还将硬盘205中保存的程序、通过卫星或网络传输、由通信部208接收并安装到硬盘205的程序、从安装在驱动器209中的可移动记录介质211读取并安装到硬盘205中的程序载入RAM(Random Access Memory:随机存取存储器)204中执行。由此,CPU202进行按照上述流程图的处理或者通过上述框图的结构进行的处理。然后,CPU202根据需要将该处理结果,例如通过输入输出接口210从由LCD(Liquid Crystal Display:液晶显示器)、扬声器等构成的输出部206输出,或者从通信部208发送,进而记录到硬盘205中等。
在此,在本说明书中,描述使计算机执行各种处理的程序的处理步骤不一定需要按照作为流程图记载的顺序按时间顺序处理,也包括并行或单独执行的处理(例如,并行处理或根据目标对象的处理)。
另外,程序可以是由1台计算机处理的内容,也可以是由多台计算机分散处理的内容。而且,程序也可以被传输到远程计算机而执行。
以上针对应用于AV***的情况,对本发明进行了说明,但是,本发明可以应用于例如将声音信号作为输入来处理的电话自动应答***、将触摸面板作为输入来处理的票预约***、以及将图像作为输入来处理的电视节目预约***等其它交互装置。
此外,根据操作员概率进行规定的处理的处理单元不限于图1所示的交互部14、节目推荐部15。
进而,在交互部14(图1)中,可以通过输出控制部34,将用于识别在操作员选择部51中选择为操作员的目标(用户)的用户标签显示到显示器1。在这种情况下,在HD记录器3的周围的目标可以容易地识别谁成为了操作员。
另外,本发明的实施方式不限于上述实施方式,在不脱离本发明的要旨的范围内,可以进行各种变更。
Claims (9)
1.一种信息处理装置,其与用户的行动对应进行处理,具备:
传感器部,其检测状态;
操作员概率算出单元,其根据所述传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作所述信息处理装置的操作员的操作员概率;以及
处理单元,其根据所述操作员概率进行规定的处理。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述操作员概率算出单元具有:
信息抽出单元,其从所述传感器部的输出抽出1个以上的目标各自的信息;
目标信息生成单元,其对于所述信息抽出单元抽出的信息,生成对1个以上的目标分别汇总的目标信息;以及
概率算出单元,其根据所述1个以上的目标各自的目标信息,对所述1个以上的目标分别算出所述操作员概率。
3.根据权利要求2所述的信息处理装置,其特征在于,
所述操作员概率算出单元还具有存储单元,该存储单元存储所述目标信息生成单元按时间顺序生成的目标信息;
所述概率算出单元根据存储在所述存储单元中的按时间顺序的目标信息算出所述操作员概率。
4.根据权利要求1所述的信息处理装置,其特征在于,
所述操作员概率算出单元利用贝叶斯网络算出所述操作员概率。
5.根据权利要求1所述的信息处理装置,其特征在于,
所述处理单元具有:
操作员选择单元,其将所述操作员概率最高的目标选择为所述操作员;
动作选择单元,其与所述操作员的行动对应,选择应该进行的动作;以及
动作执行单元,其执行与所述动作选择单元所选择的动作对应的处理。
6.根据权利要求1所述的信息处理装置,其特征在于,
所述处理单元具有:
爱好信息存储单元,其存储表示所述1个以上的目标各自的爱好的爱好信息;
爱好信息处理单元,其基于所述1个以上的目标各自的所述操作员概率,根据所述1个以上的目标各自的爱好信息生成用于推荐节目的节目推荐用爱好信息;以及
服务提供单元,其提供根据所述节目推荐用爱好信息来推荐节目的服务。
7.根据权利要求6所述的信息处理装置,其特征在于,
所述爱好信息处理单元根据所述1个以上的目标各自的所述操作员概率,生成将所述1个以上的目标各自的爱好信息合成后的信息作为所述节目推荐用爱好信息。
8.根据权利要求6所述的信息处理装置,其特征在于,
所述爱好信息处理单元根据所述1个以上的目标各自的所述操作员概率,生成将所述1个以上的目标各自的爱好信息与根据该爱好信息而推荐的节目的数量相关联的信息作为所述节目推荐用爱好信息。
9.一种信息处理方法,是一种与用户的行动对应进行处理的信息处理装置的信息处理方法,包括以下步骤:
根据检测状态的传感器部的输出,算出周围存在的作为用户的1个以上的目标分别是操作所述信息处理装置的操作员的操作员概率,
根据所述操作员概率进行规定的处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-138586 | 2006-05-18 | ||
JP2006138586 | 2006-05-18 | ||
JP2006138586A JP4162015B2 (ja) | 2006-05-18 | 2006-05-18 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101076107A true CN101076107A (zh) | 2007-11-21 |
CN101076107B CN101076107B (zh) | 2010-06-02 |
Family
ID=38608837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101070660A Expired - Fee Related CN101076107B (zh) | 2006-05-18 | 2007-05-18 | 信息处理装置和信息处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7987147B2 (zh) |
EP (1) | EP1865719B1 (zh) |
JP (1) | JP4162015B2 (zh) |
KR (1) | KR20070111999A (zh) |
CN (1) | CN101076107B (zh) |
DE (1) | DE602007001640D1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685567A (zh) * | 2011-03-18 | 2012-09-19 | 海尔集团公司 | 数字电视终端、热门频道的控制方法及服务器 |
CN102681958A (zh) * | 2011-01-28 | 2012-09-19 | 微软公司 | 使用物理姿势传输数据 |
CN103139611A (zh) * | 2011-11-30 | 2013-06-05 | 日立民用电子株式会社 | 设备协作内容推荐装置 |
CN103988514A (zh) * | 2011-07-15 | 2014-08-13 | 克劳迪奥·诺里 | 电视接收器的传感器装置 |
CN105898583A (zh) * | 2015-01-26 | 2016-08-24 | 北京搜狗科技发展有限公司 | 一种图像推荐方法及电子设备 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9986293B2 (en) * | 2007-11-21 | 2018-05-29 | Qualcomm Incorporated | Device access control |
CN101925916B (zh) * | 2007-11-21 | 2013-06-19 | 高通股份有限公司 | 基于媒体偏好控制电子设备的方法和*** |
EP2065678B1 (en) | 2007-11-30 | 2016-02-10 | Nissan Motor Co., Ltd. | Distance measurement system and distance measurement method |
US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
US8971565B2 (en) * | 2008-05-29 | 2015-03-03 | Hie-D Technologies, Llc | Human interface electronic device |
JP4775671B2 (ja) * | 2008-12-26 | 2011-09-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
CN101853623A (zh) * | 2009-04-03 | 2010-10-06 | 鸿富锦精密工业(深圳)有限公司 | 影像监控***及具有该***的资讯显示*** |
US8154615B2 (en) * | 2009-06-30 | 2012-04-10 | Eastman Kodak Company | Method and apparatus for image display control according to viewer factors and responses |
JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
ES2431016T5 (es) * | 2009-09-23 | 2022-02-24 | Rovi Guides Inc | Sistemas y métodos para detectar automáticamente usuarios con regiones de detección de dispositivos de medios |
US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
EP2421252A1 (en) | 2010-08-17 | 2012-02-22 | LG Electronics | Display device and control method thereof |
JP5598232B2 (ja) | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
US20120169583A1 (en) * | 2011-01-05 | 2012-07-05 | Primesense Ltd. | Scene profiles for non-tactile user interfaces |
CN102595075A (zh) * | 2011-01-17 | 2012-07-18 | 康佳集团股份有限公司 | 一种电视机装置及其频道控制方法 |
US20140310271A1 (en) * | 2011-04-11 | 2014-10-16 | Jiqiang Song | Personalized program selection system and method |
JP2013092911A (ja) * | 2011-10-26 | 2013-05-16 | Sony Corp | 情報処理装置、情報処理方法、および、プログラム |
KR101885295B1 (ko) | 2011-12-26 | 2018-09-11 | 엘지전자 주식회사 | 전자기기 및 그 제어방법 |
US20130205312A1 (en) * | 2012-02-03 | 2013-08-08 | Novatek Microelectronics Corp. | Image display device and operation method therefor |
JP2013250882A (ja) * | 2012-06-01 | 2013-12-12 | Sharp Corp | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
JP6221535B2 (ja) * | 2013-09-11 | 2017-11-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US9630317B2 (en) | 2014-04-03 | 2017-04-25 | Brain Corporation | Learning apparatus and methods for control of robotic devices via spoofing |
US9613308B2 (en) | 2014-04-03 | 2017-04-04 | Brain Corporation | Spoofing remote control apparatus and methods |
KR20150137499A (ko) * | 2014-05-29 | 2015-12-09 | 엘지전자 주식회사 | 영상 표시 기기 및 그의 동작 방법 |
US9821470B2 (en) | 2014-09-17 | 2017-11-21 | Brain Corporation | Apparatus and methods for context determination using real time sensor data |
US9579790B2 (en) * | 2014-09-17 | 2017-02-28 | Brain Corporation | Apparatus and methods for removal of learned behaviors in robots |
US9860077B2 (en) | 2014-09-17 | 2018-01-02 | Brain Corporation | Home animation apparatus and methods |
US9849588B2 (en) | 2014-09-17 | 2017-12-26 | Brain Corporation | Apparatus and methods for remotely controlling robotic devices |
US10295972B2 (en) | 2016-04-29 | 2019-05-21 | Brain Corporation | Systems and methods to operate controllable devices with gestures and/or noises |
EP3931720A1 (en) * | 2019-02-25 | 2022-01-05 | Liveperson, Inc. | Intent-driven contact center |
WO2021152748A1 (ja) * | 2020-01-29 | 2021-08-05 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
US5945988A (en) * | 1996-06-06 | 1999-08-31 | Intel Corporation | Method and apparatus for automatically determining and dynamically updating user preferences in an entertainment system |
PT932398E (pt) * | 1996-06-28 | 2006-09-29 | Ortho Mcneil Pharm Inc | Utilizacao do topiramento ou dos seus derivados para a producao de um medicamento para o tratamento de disturbios bipolares maniaco- depressivos |
JPH11327753A (ja) | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
CN1395797A (zh) * | 2000-10-10 | 2003-02-05 | 皇家菲利浦电子有限公司 | 通过基于图象的识别的设备控制 |
US20020194586A1 (en) * | 2001-06-15 | 2002-12-19 | Srinivas Gutta | Method and system and article of manufacture for multi-user profile generation |
US7680295B2 (en) | 2001-09-17 | 2010-03-16 | National Institute Of Advanced Industrial Science And Technology | Hand-gesture based interface apparatus |
CA2480551A1 (en) * | 2002-03-28 | 2003-10-09 | Robertshaw Controls Company | Energy management system and method |
US7298871B2 (en) * | 2002-06-07 | 2007-11-20 | Koninklijke Philips Electronics N.V. | System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment |
JP2005236354A (ja) | 2004-02-17 | 2005-09-02 | Sony Corp | 受信装置 |
JP2005242759A (ja) | 2004-02-27 | 2005-09-08 | National Institute Of Information & Communication Technology | 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006309448A (ja) | 2005-04-27 | 2006-11-09 | Sony Corp | ユーザインターフェース装置及び方法 |
-
2006
- 2006-05-18 JP JP2006138586A patent/JP4162015B2/ja not_active Expired - Fee Related
-
2007
- 2007-05-15 KR KR1020070047253A patent/KR20070111999A/ko not_active Application Discontinuation
- 2007-05-16 DE DE602007001640T patent/DE602007001640D1/de active Active
- 2007-05-16 EP EP07009858A patent/EP1865719B1/en not_active Expired - Fee Related
- 2007-05-17 US US11/750,206 patent/US7987147B2/en not_active Expired - Fee Related
- 2007-05-18 CN CN2007101070660A patent/CN101076107B/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681958A (zh) * | 2011-01-28 | 2012-09-19 | 微软公司 | 使用物理姿势传输数据 |
CN102681958B (zh) * | 2011-01-28 | 2016-03-09 | 微软技术许可有限责任公司 | 使用物理姿势传输数据 |
CN102685567A (zh) * | 2011-03-18 | 2012-09-19 | 海尔集团公司 | 数字电视终端、热门频道的控制方法及服务器 |
CN103988514A (zh) * | 2011-07-15 | 2014-08-13 | 克劳迪奥·诺里 | 电视接收器的传感器装置 |
CN103139611A (zh) * | 2011-11-30 | 2013-06-05 | 日立民用电子株式会社 | 设备协作内容推荐装置 |
CN103139611B (zh) * | 2011-11-30 | 2016-03-30 | 日立麦克赛尔株式会社 | 设备协作内容推荐装置 |
CN105898583A (zh) * | 2015-01-26 | 2016-08-24 | 北京搜狗科技发展有限公司 | 一种图像推荐方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP1865719A2 (en) | 2007-12-12 |
KR20070111999A (ko) | 2007-11-22 |
DE602007001640D1 (de) | 2009-09-03 |
US20070276690A1 (en) | 2007-11-29 |
EP1865719A3 (en) | 2007-12-19 |
CN101076107B (zh) | 2010-06-02 |
JP4162015B2 (ja) | 2008-10-08 |
JP2007310620A (ja) | 2007-11-29 |
EP1865719B1 (en) | 2009-07-22 |
US7987147B2 (en) | 2011-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101076107A (zh) | 信息处理装置和信息处理方法 | |
CN1849818A (zh) | 内容选择方法和内容选择设备 | |
CN1251504C (zh) | 图像数据分发方法、图像数据分发装置及*** | |
CN101047827A (zh) | 用于采集广播节目信息的电子设备、方法和***以及存储介质 | |
CN1284368C (zh) | 用于再现内容的装置和用于接收内容的装置 | |
CN101047826A (zh) | 电子设备、其信息浏览方法以及存储介质 | |
CN1901638A (zh) | 信息处理装置、方法和程序 | |
CN1199453C (zh) | 信息提供***、信息提供方法和信息处理方法 | |
CN100351750C (zh) | 信息处理设备,信息处理方法,记录介质,以及程序 | |
CN1933586A (zh) | 信息处理装置、方法和程序 | |
CN1530926A (zh) | 语音识别词典制作装置及信息检索装置 | |
CN1298160C (zh) | 广播接收方法和*** | |
CN1928888A (zh) | 信息处理设备和信息处理方法 | |
CN1902911A (zh) | 节目推荐装置、节目推荐装置的节目推荐方法以及计算机程序 | |
CN1260958C (zh) | 数据处理设备、数据处理方法和数据处理*** | |
CN1768373A (zh) | 信息处理装置、信息处理方法、及计算机程序 | |
CN101036386A (zh) | 频道订约建议装置、方法、程序和集成电路 | |
CN1206912A (zh) | 处理节目信息的*** | |
CN1816879A (zh) | 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序 | |
CN1728816A (zh) | 信息处理装置、信息处理方法、记录媒体及程序 | |
CN1756337A (zh) | 记录和/或回放内容数据的方法、设备和程序 | |
CN1801908A (zh) | 信息处理装置、信息处理方法、及程序 | |
CN101031054A (zh) | 图像处理设备、***和方法、摄像设备和方法 | |
CN1922652A (zh) | 信息显示方法以及信息显示装置 | |
CN1898950A (zh) | 推荐节目通知方法及推荐节目通知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 |
|
CF01 | Termination of patent right due to non-payment of annual fee |