CN1461451A - 管理关于一个人的信息的方法和设备 - Google Patents
管理关于一个人的信息的方法和设备 Download PDFInfo
- Publication number
- CN1461451A CN1461451A CN02801235A CN02801235A CN1461451A CN 1461451 A CN1461451 A CN 1461451A CN 02801235 A CN02801235 A CN 02801235A CN 02801235 A CN02801235 A CN 02801235A CN 1461451 A CN1461451 A CN 1461451A
- Authority
- CN
- China
- Prior art keywords
- information
- people
- user
- expression
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008451 emotion Effects 0.000 claims description 33
- 230000014509 gene expression Effects 0.000 claims description 20
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims 1
- 230000036651 mood Effects 0.000 abstract description 9
- 230000002996 emotional effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003755 preservative agent Substances 0.000 description 1
- 230000002335 preservative effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Television Signal Processing For Recording (AREA)
- Collating Specific Patterns (AREA)
Abstract
一种用于提供关于一个自然人的信息的方法和电子设备(优选一个个人数字助理,PDA或掌状计算机)包括:一个用于记录音频数据的麦克风(606)和/或用于记录自然人的图像数据的照相机(602)。提供了具有一个存储器的处理器(603,607,604),用于处理识别该自然人的身份的音频和/或视频数据和检索关于该识别的身份的储存的信息。一个用户接口(605)用来将该储存的信息传送到一个用户。该信息可包括关于该人的交易卡信息和/或其他的信息。此外,通过该用户接口(605)可以记录,检索并对用户提供代表该人的情感/个人状态/心情的信息。
Description
本发明涉及用于提供关于一个自然人的信息的设备,包括用于记录该自然人的音频和/或图像数据的记录器。
此外,本发明涉及提供关于一个自然人的信息的方法,包括记录该自然人的音频/图像数据的步骤。
在现有技术中已推荐了各种技术方案去处理记录人们的面部和声音的表示。处理结果已用来识别人-尤其用于选取控制应用。这样的一些应用例如已基于在话音(说话人识别)或面部识别技术基础上识别用户。此外,已推荐了各种技术用于识别一个人的心情或情感状态。
ICICS 1997的会议录,信息,通信和信号国际会议录(IEEE,Vol.1,PP.397-401)公开了一种计算机多媒体方法,它使用组合视频和音频来记录面部和声音的表示,用于文化间的情感传送。
DE 195 02 627 A1公开了一种方法和一个发射机/接收机设备,它对想要同每个其他人建立接触的人提供用于启动这种接触的装置。一个接触-寻求人可以发送能够由自愿地或准备建立个人接触的人接收的信号,这个人可以按序用声音的或视频的信号通知。
DE 198 01 666 A1公开了一种用予储存特征信息检测接收的特征信息和适配接收的特征信息的方法,以检测和指示完全的或部分的匹配。
然而,现有技术对该问题未推荐任何解决方案,即大多数人对记忆不经常见面的人具有难度。对于某些典型的与交易相关的情况,人们可以具有个人交易卡来帮助他们记住那个特定人的细节。然而,他们不能调用这个人以注意他,即使他们具有他或她前面的商务卡。
为获得与并不经常见面的人的良好关系,最重要的是能够重新调用以前我们已见过的人在我们的头脑中的印象。
当在开始章节中述及的电子设备还包括一个具有存储器的处理器时将解决上述问题,该处理器用于处理音频和/或视频数据,以识别该自然人的身份,和用于检索关于被识别的身份的存储的信息;和一个用户接口,用于对一个用户提供储存的信息。
因此该电子设备能帮助用户记忆该用户不经常见面的人。由此可以帮助获得改善的交易关系或改善的人际关系。
由此由于为记住而调用人是较容易的事,所以迫切想知道谁是谁将花费不大的努力。此外,可以减少用户在消除由不同人的模糊信息引起的误解方面的努力。这将由此可以导致更有效地使用时间。
在一个有利的实施例中,该设备包括用于采集音频数据的麦克风;以及用于采集图像数据的照相机。由于麦克风和照相机都可在市场上买到,它们具有很小的物理尺寸,所以它们能同很小的便携式设备整体地组合在一起。
此外,可配置该处理器来处理音频数据以确定这个人的话音音调,和储存该话音音调的表示。方便之处在于话音音调一般包括关于这个人的大量信息,特别地包括一个正在说话人的心情状态或情感。
再者,能配置该处理器以使话音音调的表示与一种情感表示相关。因此一种给定的话音音调能够同一个预定的情感相关。
此外,能配置该处理器来处理图像数据以确定一个人的面部表情,并储存该面部表情的表示。通常面部表情与一个人的情感或心情状态紧密相关。这样又提供一种设备,其具有寄存或识别一个人的情感或心情状态的良好基础。
当配置该处理器以便使一种面部表情的表示与一种情感表示相关时,则一个面部表情就可以同一种预定型情感相链接。
能配置该处理器使得将一种面部表情的表示和一种话音音调的表示同一种情感表示的结合起来。由此可得到一种情感的更详细的或增强的寄存/识别。
在一优选实施例中,话音音调的表示包括代表说话速率,等音调线,或话音强度的值。
处理音频/图像数据包括产生是一个人的特征的数据。由此可以根据记录的数据来识别一个人。
在一个最佳实施例中该设备被配置来对用户提供储存关于一个人的信息和使该信息与是那个人的特征的数据相关的选项。由此一个用户能补充他或她自己的特征或与一个给定人相关的其他类型的信息。
当这种信息包括文本,照片,或图像序列时这是特别有利的。
当设备配置来储存面部表情表示和/或话音音调表示的历史时,用户可以编辑一个人的历史。由此又可帮助用户更好地了解这个人。
当该设备配置来储存情感表示的历史时,可以得到对这个人的更多的个人了解。
该设备能配置来将一个目前的情感表示同在该情感表示的历史中以前储存的表示相比较;并将关于该比较的信息传送到用户。这可帮助该用户比采用详细观看历史记录更快地得到关于这个人的信息。
本发明还涉及到一种方法。
以下结合优选实施例和参照附图更全面地说明本发明,其中:
图1表示检索有关一个人的信息的方法的第一流程图;
图2表示检索有关一个人的信息的方法的第二流程图;
图3表示检索有关一个人的信息的设备的第一流程图;
图4表示检索有关一个人的信息的设备的第二流程图;
图5表示储存和检索有关一个人信息的设备的一个方块图;
图6表示用于处理有关一个人信息的设备的第二个方块图;以及
图7表示具有照相机单元和麦克风的便携式数字助理(PDA)。
图1表示用于检索有关一个人的信息的一种方法的第一流程图。该流程开始于步骤101,领先于该方法中的第一步骤,步骤102,其中一个携带个人数字助理(PDA)的用户会见一个人。该用户开始对这个人谈话,同时对他是否以前碰见这个人主意不定。接着,当会话继续的同时,在步骤103,该用户使得在他的PDA中的个人信息检索,PIR功能起动。
当会话继续时,在步骤109,PDA记录这个人的话音以得到音频数据。音频数据在PDA中进行处理,以便借助他或她的话音来识别这个人。如果能识别这个人,PDA询问数据库以求得关于这个人的信息。这在步骤108执行。如果询问的结果表示求得关于欲识别的人的信息,用户被通知求得关于用户目前正在交谈的那个人的信息。在步骤107该信息被提供给该用户。接着在步骤105,用户可以不感到奇怪他以前是否曾见过此人,因为他被用关于那个人的信息更新。该信息可包括用户自己的相对于那个人的特点。接着在步骤106,会话可以继续或在其结束前终止。因此,该用户被用相对于那个人的信息所更新-例如通过提供电子商务卡,该卡具有那个人的姓名,(商务)地址,等等。
图2表示用于检索有关一个人的信息的一种方法的第二流程图。该流程始于步骤201,领先于该方法中的第一步骤,步骤202,其中一个用户会见一个人。该用户开始与这个人交谈,同时想他以前必定见过这个人,但他并没有把握。在步骤203,用户再次启动在他的PDA中的个人信息检索功能。这涉及到在步骤204用户正记录那个人的音频数据,同时会话继续。相应地,在步骤210由该PDA记录音频数据。当然也可记录图像/视频。
在该记录期间或为识别这个人而此后不久处理该数据,为的是借助他的话音来识别这个人。如果记录这个人的图像/视频数据,则可以借助他的面部或整个表现来识别这个人。
在步骤208,如果可以识别这个人,则PDA询问数据库DB以求得关于这个人的信息。在步骤207,如果询问结果表明求得关于欲识别的人的信息,则用户被通知关于用户已会见过的这个人的信息已求得和该信息被提供到该用户。接着,在步骤205,用户被用该信息更新。接着,在步骤211会话可以继续。
在会话期间或后来,在步骤212和213,用户可操作PDA以便更新,编辑,或添加在会话期间用户刚采集到的那个人的信息。
在步骤206该方法结束。除了记录音频数据之外或作为一种选择方案,用户可以记录这个人的图象或视频序列。由此,为识别这个人可以处理记录的图像数据。
图3表示用于检索关于一个人的信息的设备的第一流程图。该方法响应一个用户的命令由PDA执行,以提供用户用于重新调用关于自然人的信息的装置。
在步骤301,根据接收一个用户的指令,同时记录的音频和图像数据在步骤303和302分别执行。在该记录期间或在刚完成记录之后,处理该视频和图像数据,以便从能用来识别一个给定人的音频和视频数据提取特征。
在步骤307将验证所提取的配置在特征简档中的特征是否与在先储存的特征简档相匹配。如果检测到的是匹配(是),在步骤308识别与那个简档相关的人和检索在先储存的与这个人相关的信息。接着,在步骤305,由一个用户接口将该信息提供到用户。
另外,如果检测到的是不匹配(否),在步骤309将创建一个临时的无名人。即储存该特征简档然而不将一个用户指定的名与该简档相关。在步骤310,对该临时的无名人创建一个引用以便由该用户继续增加信息。这是有利的,因为之后当与这个人的会话结束时允许用户输入关于一个人的信息。
图4表示用于检索关于一个人的信息的设备的第二流程图。同样,该方法响应一个用户的命令由PDA执行,以提供用户用于重新调用关于自然人的信息的装置。在该流程图中,用户备有储存和检索关于一个人的情感和/或心情/个人状态的选项。
在步骤401根据接收一个用户的指令,同时记录的音频和图像数据在步骤403和402分别执行。在该记录期间或在刚停止记录之后,在步骤404处理该视频和图像数据,以便从能用来识别一个给定人的音频和视频数据提取特征。
在步骤407将验证所提取的配置在特征简档中的特征是否与在先储存的特征简档相匹配。如果检则到的是匹配(是),在步骤408识别与那个简档相关的人和检索在先储存的与这个人相关的信息。在接着的步骤411中处理该视频和图像数据,以便从能用来识别被识别人的情感或心情/个人状态的音频和视频数据提取特征。
接着,在步骤405,关于这个人的信息和他或她的情感或心情/个人状态由一个用户接口提供到该用户。
另外,如果检测的是不匹配(否-在步骤407),则在步骤409创建一个临时无名人。在步骤410对该临时的无名人用户创建一个引用,以便继续增添信息。
在接着的步骤412中,用户有机会利用一个用户接口,该接口使他或她去编辑和/或更新关于一个人的信息。如果该用户选择这样的选项,则在步骤413打开一个编辑程序。
同样,在步骤414,用户备有编辑和/或更新关于一个人的情感或心情/个人状态的选项。在步骤415,如果用户选择改变该信息,则在步骤415打开一个编辑程序。
在步骤406,该方法结束。
图5表示用于储存和检索关于一个人的信息的设备的方块图。
参考数字501通常指定一个个人数字助理(PDA)PDA包括一个中央处理器509,用于执行基本操作***(OS)处理和应用程序处理/包括用于实施按本发明方法的程序的程序。
为处理图像数据,该处理器可操作地连接到一个图像处理器503,用于预处理来自照相机502的图像数据。
同样,为处理音频数据,该处理器还可操作地连接到一个音频处理器505,用于预处理来自一个麦克风504的音频数据。
为使一个用户同PDA相互作用,PDA包括一个具有一个人机对话的显示器506的用户接口装置和一个扬声器507。该人机对话显示器能通过显示包括图像和视频序列的文本和图对一个用户提供信息。
PDA能从用户接收输入在于人机对话显示是触敏式的。由此有可能形成呈现在该人机对话显示器上的一个键盘。另外地,或附加地,能解释在该显示器上的用户的手写入。
为储存关于一个人的信息,PDA包括一个数据库508,用于以一种结构的和可搜索的方式储存该信息。
为了同一个固定的计算机,因特网上的计算机,其他的PDA,或包括移动电话的其他的电子设备通信,PDA包括一个输入/输出(I/O)接口510。I/O接口可以是一个无线接口,例如所谓的IrDa或一个蓝牙接口。
由于PDA是一个便携式的或移动设备,所以主要由一个可充电电池511供电。
图6表示用于处理关于一个人信息的设备的第二方块图。
该方块图包括四个主要处理装置;图像处理器603,音频预处理器607,个人识别处理器604,和情感识别处理器608。此外,图像预处理器603从照相机602采集图像数据,和音频预处理器607从麦克风606采集音频数据。通过用户接口605一个用户备有一个装置,用于寄存关于被识别人的身份或被识别的/被寄存的情感。该信息储存在数据库609中。
在一优选实施例中,图像预处理器603配置来处理代表人面部(表情)的图像数据。这是有利的,因为人的面部包括许多信息,其可用来1)识别特定的人和2)确定这个人的情感。
音频预处理器607配置来处理代表人的话音和他们的话音的音调的音频数据。这是有利的,因为人的话音包括能由信号处理技术提取的信息和是对单个人的特性的信息。同样,对于多数情况,一个人的话音的音调是这个人的情感的表示。
这样,预处理器603和607配置来提取可以用来1)识别一个具体的人和2)确定该人的情感的特征。
与识别一个具体人相关的特征被施加到人-识别处理器604;而与确定该人的情感相关的特征被施加到情感-识别处理器608。由此一个给定的图像和/或音频记录能够用来识别人的身份和确定该人的情感。
虽然上述处理器在处理图像和音频数据以鉴别对一个给定人的不同的情感或话音音调是很有效的,但是简便的是一个用户能修改寄存的情感信息。由此一个用户能改变话音音调和该相关人的情感之间的关系。用户接口605提供用于该功能的装置。
此外,用户接口605可用来寄存,更新,或编辑关于一个人的信息。
该方块图可以由一个PDA,一个移动电话,一台个人计算机,一台膝上型计算机,一个客户-服务器计算机***或其他类型电子设备实施。
图7表示一种便携式数字助理(PDA),具有照相机单元和麦克风。在该PDA实施例中通常由参考数701表示,它包括一个人机对话显示器703,一个麦克风708和按钮704。PDA具有一个接口705,用于连接到照相机单元702。该照相机单元702包括一台照相机709,它可以直接由照相机单元操作或由PDA操作。照相机记录的图像通过该接口705传送到PDA。
应指出储存关于个人的信息可包括商务卡,其具有姓名,地址,公司名,e-mail地址,网址,位置,专长等等。此外该信息可包括关于同那个人相会的内容的特征,等。
此外,应指出,交替地或除了储存/处理一个人的话音音调外,该人的话音的印录可以储存/处理。一个人的话音印录可以由处理语音数据加以提取,从而基于该语音数据识别这个人。一个人的话音印录可考虑对一个人是唯一的;话音印录是其中包括由这个人的自然话音***的尺度所确定的特征,例如由他的发音***的长度和宽度所确定。
Claims (12)
1.一种提供关于一个自然人的信息的方法,该方法包括步骤:
记录该自然人的音频和/或图像数据;
处理音频和/或可视数据,以识别该自然人的身份;
检索储存的关于被识别身份的信息;以及
将该储存的信息提供给一个用户。
2.按权利要求1的方法还包括步骤:处理音频数据以确定这个人的话音印录和/或话音音调;并储存话音印录和/或话音音调的表示。
3.按权利要求2的方法还包括将话音的音调的表示与一种情感的表示相关的步骤。
4.按权利要求1的方法还包括步骤:处理图像数据以确定这个人的面部表情;并储存该面部表情的表示。
5.按权利要求4的方法还包括将面部表情表示同一种情感表示相关的步骤。
6.按权利要求1的方法还包括提供用户储存关于一个人的信息和将那个信息与对这个人是特征的数据相关的选项。
7.一种提供关于一个自然人的信息的设备,包括:
一个记录器,用于记录该自然人的音频和/或图像数据;
一个具有存储器的处理器,用于处理音频和/或可视数据,以识别该自然人的身份,和检索关于被识别的身份的储存的信息;以及
一个用户接口,用于将储存的信息提供给一个用户。
8.按权利要求7的设备,其中该处理器配置来将话音音调的表示与一种情感的表示相关。
9.按权利要求7的设备,其中该处理器配置来将面部表情表示与一种情感表示相关。
10.按权利要求7的设备,其中该处理器配置来将面部表情表示和话音音调表示同一种情感表示相结合。
11.按权利要求7的设备,其中该设备配置来提供用户储存关于一个人的信息和将那个信息与对那个人是特征的数据相关的选项。
12.按权利要求7的设备,配置来将目前的情感表示同在情感表示历史中在先储存的表示相比较;并将关于比较结果的信息提供到该用户。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01201393 | 2001-04-17 | ||
EP01201393.4 | 2001-04-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1461451A true CN1461451A (zh) | 2003-12-10 |
CN1307589C CN1307589C (zh) | 2007-03-28 |
Family
ID=8180161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028012356A Expired - Fee Related CN1307589C (zh) | 2001-04-17 | 2002-04-11 | 管理关于一个人的信息的方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7058208B2 (zh) |
EP (1) | EP1382003A1 (zh) |
JP (1) | JP2004533640A (zh) |
KR (1) | KR20030010729A (zh) |
CN (1) | CN1307589C (zh) |
WO (1) | WO2002086801A1 (zh) |
Families Citing this family (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7307636B2 (en) * | 2001-12-26 | 2007-12-11 | Eastman Kodak Company | Image format including affective information |
US7627143B1 (en) * | 2002-04-19 | 2009-12-01 | At&T Intellectual Property I, L.P. | Real-time remote image capture system |
US20050239511A1 (en) * | 2004-04-22 | 2005-10-27 | Motorola, Inc. | Speaker identification using a mobile communications device |
US20060013446A1 (en) * | 2004-07-16 | 2006-01-19 | Stephens Debra K | Mobile communication device with real-time biometric identification |
JP4871552B2 (ja) * | 2004-09-10 | 2012-02-08 | パナソニック株式会社 | 情報処理端末 |
US7693306B2 (en) | 2005-03-08 | 2010-04-06 | Konami Gaming, Inc. | System and method for capturing images from mobile devices for use with patron tracking system |
US7353034B2 (en) | 2005-04-04 | 2008-04-01 | X One, Inc. | Location sharing and tracking using mobile phones or other wireless devices |
US20070149222A1 (en) * | 2005-12-27 | 2007-06-28 | Berislav Hodko | Methods, application server, and terminal for directive person identification and communication |
US20070239457A1 (en) * | 2006-04-10 | 2007-10-11 | Nokia Corporation | Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management |
US20080279454A1 (en) * | 2007-05-07 | 2008-11-13 | Lev Jeffrey A | Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition |
US8144939B2 (en) | 2007-11-08 | 2012-03-27 | Sony Ericsson Mobile Communications Ab | Automatic identifying |
US20090193344A1 (en) * | 2008-01-24 | 2009-07-30 | Sony Corporation | Community mood representation |
US8447065B2 (en) | 2008-09-16 | 2013-05-21 | Cyberlink Corp. | Method of facial image reproduction and related device |
KR101471204B1 (ko) * | 2008-12-19 | 2014-12-10 | 주식회사 케이티 | 이미지에서의 의류 검출 장치와 그 방법 |
CA2795812A1 (en) * | 2010-04-07 | 2011-10-13 | Max Value Solutions INTL, LLC | Method and system for name pronunciation guide services |
US11232290B2 (en) | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
US10289898B2 (en) | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
US10628741B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US10074024B2 (en) | 2010-06-07 | 2018-09-11 | Affectiva, Inc. | Mental state analysis using blink rate for vehicles |
US9503786B2 (en) | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
US10474875B2 (en) | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
US10143414B2 (en) | 2010-06-07 | 2018-12-04 | Affectiva, Inc. | Sporadic collection with mobile affect data |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US10111611B2 (en) | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US10843078B2 (en) | 2010-06-07 | 2020-11-24 | Affectiva, Inc. | Affect usage within a gaming context |
US11823055B2 (en) | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US10517521B2 (en) | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
US10922567B2 (en) | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
US9959549B2 (en) | 2010-06-07 | 2018-05-01 | Affectiva, Inc. | Mental state analysis for norm generation |
US11410438B2 (en) | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
US9247903B2 (en) | 2010-06-07 | 2016-02-02 | Affectiva, Inc. | Using affect within a gaming context |
US10799168B2 (en) | 2010-06-07 | 2020-10-13 | Affectiva, Inc. | Individual data sharing across a social network |
US11292477B2 (en) | 2010-06-07 | 2022-04-05 | Affectiva, Inc. | Vehicle manipulation using cognitive state engineering |
US10897650B2 (en) | 2010-06-07 | 2021-01-19 | Affectiva, Inc. | Vehicle content recommendation using cognitive states |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US10779761B2 (en) | 2010-06-07 | 2020-09-22 | Affectiva, Inc. | Sporadic collection of affect data within a vehicle |
US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
US10911829B2 (en) | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US11073899B2 (en) | 2010-06-07 | 2021-07-27 | Affectiva, Inc. | Multidevice multimodal emotion services monitoring |
US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
US11017250B2 (en) | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
US9934425B2 (en) | 2010-06-07 | 2018-04-03 | Affectiva, Inc. | Collection of affect data from multiple mobile devices |
US10869626B2 (en) | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US10796176B2 (en) | 2010-06-07 | 2020-10-06 | Affectiva, Inc. | Personal emotional profile generation for vehicle manipulation |
US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
US10108852B2 (en) | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
US11067405B2 (en) | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
US11056225B2 (en) | 2010-06-07 | 2021-07-06 | Affectiva, Inc. | Analytics for livestreaming based on image analysis within a shared digital environment |
US10592757B2 (en) | 2010-06-07 | 2020-03-17 | Affectiva, Inc. | Vehicular cognitive data collection using multiple devices |
US10401860B2 (en) | 2010-06-07 | 2019-09-03 | Affectiva, Inc. | Image analysis for two-sided data hub |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US10628985B2 (en) | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
US11318949B2 (en) | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
US10627817B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Vehicle manipulation using occupant image analysis |
US9646046B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state data tagging for data collected from multiple sources |
US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US10482333B1 (en) | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
US9204836B2 (en) | 2010-06-07 | 2015-12-08 | Affectiva, Inc. | Sporadic collection of mobile affect data |
US9723992B2 (en) | 2010-06-07 | 2017-08-08 | Affectiva, Inc. | Mental state analysis using blink rate |
US9642536B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
US11151610B2 (en) | 2010-06-07 | 2021-10-19 | Affectiva, Inc. | Autonomous vehicle control using heart rate collection based on video imagery |
US9028255B2 (en) * | 2010-10-06 | 2015-05-12 | Dominic William Massaro | Method and system for acquisition of literacy |
US9484046B2 (en) | 2010-11-04 | 2016-11-01 | Digimarc Corporation | Smartphone-based methods and systems |
US9842299B2 (en) | 2011-01-25 | 2017-12-12 | Telepathy Labs, Inc. | Distributed, predictive, dichotomous decision engine for an electronic personal assistant |
US10375133B2 (en) | 2011-02-22 | 2019-08-06 | Theatro Labs, Inc. | Content distribution and data aggregation for scalability of observation platforms |
US10204524B2 (en) | 2011-02-22 | 2019-02-12 | Theatro Labs, Inc. | Observation platform for training, monitoring and mining structured communications |
US10069781B2 (en) | 2015-09-29 | 2018-09-04 | Theatro Labs, Inc. | Observation platform using structured communications with external devices and systems |
US10699313B2 (en) | 2011-02-22 | 2020-06-30 | Theatro Labs, Inc. | Observation platform for performing structured communications |
US11636420B2 (en) | 2011-02-22 | 2023-04-25 | Theatro Labs, Inc. | Configuring, deploying, and operating applications for structured communications within observation platforms |
US9542695B2 (en) | 2011-02-22 | 2017-01-10 | Theatro Labs, Inc. | Observation platform for performing structured communications |
US11605043B2 (en) | 2011-02-22 | 2023-03-14 | Theatro Labs, Inc. | Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics |
GB2501654B (en) | 2011-02-22 | 2016-03-23 | Theatro Labs Inc | Observation platform for using structured communications |
US20130060568A1 (en) * | 2011-02-22 | 2013-03-07 | Steven Paul Russell | Observation platform for performing structured communications |
US11599843B2 (en) | 2011-02-22 | 2023-03-07 | Theatro Labs, Inc. | Configuring , deploying, and operating an application for structured communications for emergency response and tracking |
US10134001B2 (en) | 2011-02-22 | 2018-11-20 | Theatro Labs, Inc. | Observation platform using structured communications for gathering and reporting employee performance information |
US9602625B2 (en) | 2011-02-22 | 2017-03-21 | Theatrolabs, Inc. | Mediating a communication in an observation platform |
US9407543B2 (en) | 2011-02-22 | 2016-08-02 | Theatrolabs, Inc. | Observation platform for using structured communications with cloud computing |
JP2014511620A (ja) | 2011-02-27 | 2014-05-15 | アフェクティヴァ,インコーポレイテッド | 感情に基づく映像推薦 |
CN107274916B (zh) * | 2012-12-05 | 2021-08-20 | 北京三星通信技术研究有限公司 | 基于声纹信息对音频/视频文件进行操作的方法及装置 |
US9530067B2 (en) | 2013-11-20 | 2016-12-27 | Ulsee Inc. | Method and apparatus for storing and retrieving personal contact information |
US20150286873A1 (en) * | 2014-04-03 | 2015-10-08 | Bruce L. Davis | Smartphone-based methods and systems |
US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
US10235990B2 (en) | 2017-01-04 | 2019-03-19 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10373515B2 (en) | 2017-01-04 | 2019-08-06 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10318639B2 (en) | 2017-02-03 | 2019-06-11 | International Business Machines Corporation | Intelligent action recommendation |
KR20180115601A (ko) * | 2017-04-13 | 2018-10-23 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
US10922566B2 (en) | 2017-05-09 | 2021-02-16 | Affectiva, Inc. | Cognitive state evaluation for vehicle navigation |
KR102364032B1 (ko) * | 2017-09-28 | 2022-02-17 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
US10607612B2 (en) * | 2017-10-19 | 2020-03-31 | International Business Machines Corporation | Hierarchical intimacy for cognitive assistants |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1257073B (it) * | 1992-08-11 | 1996-01-05 | Ist Trentino Di Cultura | Sistema di riconoscimento, particolarmente per il riconoscimento di persone. |
US5617855A (en) * | 1994-09-01 | 1997-04-08 | Waletzky; Jeremy P. | Medical testing device and associated method |
DE19502627A1 (de) | 1995-01-19 | 1996-08-08 | Peter Wolschke | Verfahren und Vorrichtung zur Kontaktaufnahme zwischen Personen |
US6320974B1 (en) * | 1997-09-25 | 2001-11-20 | Raytheon Company | Stand-alone biometric identification system |
US6173260B1 (en) * | 1997-10-29 | 2001-01-09 | Interval Research Corporation | System and method for automatic classification of speech based upon affective content |
DE19801666A1 (de) | 1998-01-17 | 1999-07-29 | Vdls Messtechnik Gmbh | Verfahren zur Detektion |
US6038333A (en) * | 1998-03-16 | 2000-03-14 | Hewlett-Packard Company | Person identifier and management system |
US6487531B1 (en) * | 1999-07-06 | 2002-11-26 | Carol A. Tosaya | Signal injection coupling into the human vocal tract for robust audible and inaudible voice recognition |
DE29914964U1 (de) * | 1999-08-26 | 1999-11-11 | Bernhardt, Wolfgang, 93051 Regensburg | Distanz-Stimmlagendetektor |
US6463415B2 (en) * | 1999-08-31 | 2002-10-08 | Accenture Llp | 69voice authentication system and method for regulating border crossing |
US6522333B1 (en) * | 1999-10-08 | 2003-02-18 | Electronic Arts Inc. | Remote communication through visual representations |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
US6795808B1 (en) * | 2000-10-30 | 2004-09-21 | Koninklijke Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and charges external database with relevant data |
US6804391B1 (en) * | 2000-11-22 | 2004-10-12 | Microsoft Corporation | Pattern detection methods and systems, and face detection methods and systems |
US6611206B2 (en) * | 2001-03-15 | 2003-08-26 | Koninklijke Philips Electronics N.V. | Automatic system for monitoring independent person requiring occasional assistance |
-
2002
- 2002-04-11 WO PCT/IB2002/001311 patent/WO2002086801A1/en not_active Application Discontinuation
- 2002-04-11 KR KR1020027017147A patent/KR20030010729A/ko not_active Application Discontinuation
- 2002-04-11 JP JP2002584244A patent/JP2004533640A/ja not_active Withdrawn
- 2002-04-11 CN CNB028012356A patent/CN1307589C/zh not_active Expired - Fee Related
- 2002-04-11 EP EP02722589A patent/EP1382003A1/en not_active Withdrawn
- 2002-04-15 US US10/122,464 patent/US7058208B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US7058208B2 (en) | 2006-06-06 |
US20030035567A1 (en) | 2003-02-20 |
WO2002086801A1 (en) | 2002-10-31 |
EP1382003A1 (en) | 2004-01-21 |
CN1307589C (zh) | 2007-03-28 |
JP2004533640A (ja) | 2004-11-04 |
KR20030010729A (ko) | 2003-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1461451A (zh) | 管理关于一个人的信息的方法和设备 | |
JP6912605B2 (ja) | 声識別特徴最適化および動的登録方法、クライアント、ならびにサーバ | |
US9767164B2 (en) | Context based data searching | |
CN1184841C (zh) | 移动通信终端、用于其的语音识别方法和记录媒体 | |
US8649776B2 (en) | Systems and methods to provide personal information assistance | |
EP2210214B1 (en) | Automatic identifying | |
CN100470540C (zh) | 在移动电话***中存储和检索多媒体数据和相关注释数据 | |
RU2383938C2 (ru) | Усовершенствованная идентификация вызывающего абонента на основе распознавания речи | |
US7606856B2 (en) | Methods, systems, and computer program products for presenting topical information referenced during a communication | |
CN102915350A (zh) | 一种查询联系人信息的方法、装置和设备 | |
EP2405365B1 (en) | Method and device for mnemonic contact image association | |
CN107169113A (zh) | 用于基于用户性格实现人工智能对话的方法及设备 | |
US20080253544A1 (en) | Automatically aggregated probabilistic personal contacts | |
US8078468B2 (en) | Speech recognition for identifying advertisements and/or web pages | |
CN1109312C (zh) | 具有代理功能的信息处理器 | |
US8788621B2 (en) | Method, device, and computer product for managing communication situation | |
JP5611155B2 (ja) | コンテンツに対するタグ付けプログラム、サーバ及び端末 | |
CN108009251A (zh) | 一种图像文件搜索方法及装置 | |
CN106331389A (zh) | 短信收信人的确定方法、装置和服务器 | |
JP2021117245A (ja) | 学習方法、評価装置、データ構造、及び評価システム | |
EP3913619A1 (en) | System and method for obtaining voiceprints for large populations | |
CN116634054B (zh) | 一种通话记录处理方法及移动通信终端 | |
KR100844494B1 (ko) | 이동통신 단말기의 특정인별 데이터 관리 방법 및 장치 | |
US20240086044A1 (en) | Computer desktop that dynamically adapts to a live multi-channel audio stream, such as for use with wireless telecommunications customer service agents | |
KR20220134959A (ko) | 업종별 음성인식 엔진 기반의 음성 데이터 처리 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |