CN100487633C - 信息处理装置、显示方法、通知方法 - Google Patents

信息处理装置、显示方法、通知方法 Download PDF

Info

Publication number
CN100487633C
CN100487633C CNB01116655XA CN01116655A CN100487633C CN 100487633 C CN100487633 C CN 100487633C CN B01116655X A CNB01116655X A CN B01116655XA CN 01116655 A CN01116655 A CN 01116655A CN 100487633 C CN100487633 C CN 100487633C
Authority
CN
China
Prior art keywords
motion
image
identifying object
user
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB01116655XA
Other languages
English (en)
Other versions
CN1320854A (zh
Inventor
稻垣岳夫
斋藤润子
井原圭吾
末吉隆彦
山口祥弘
五味信一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2000126342A external-priority patent/JP2001307108A/ja
Priority claimed from JP2000126344A external-priority patent/JP2001306049A/ja
Priority claimed from JP2000126343A external-priority patent/JP4415227B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1320854A publication Critical patent/CN1320854A/zh
Application granted granted Critical
Publication of CN100487633C publication Critical patent/CN100487633C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种信息处理装置，能够根据CCD摄像机(8)拍摄用户所得的图像，来识别用户的运动方向，然后产生与识别出的运动方向对应的命令，在表示该装置正在搜索用户的运动的搜索状态下显示手势识别画面(100)，并且将其显示在液晶显示器(10)上，以便确切地向用户通知用户的运动可识别并且它处于等待状态。

Description

信息处理装置、显示方法、通知方法
技术领域
本发明涉及信息处理装置、运动可识别等待状态显示方法、可识别运动通知方法、运动识别过程显示方法，特别适用于笔记本个人计算机(以下称为笔记本PC)。
背景技术
笔记本PC包括：液晶显示器等显示部件；以及键盘和鼠标等输入部件，用于输入命令和字符，以便根据用键操作输入的命令来执行预定的处理，并且将执行结果显示在显示部件上。
此外，作为键盘和鼠标以外的输入部件，有些最新的笔记本PC各具有预定形状的、从笔记本PC侧面略微突出的旋转控制器、即微动拨号盘(jogdial)，从而菜单项选择和命令确定等指令可以通过转动和按压该微动拨号盘来输入。
顺便指出，对于这种笔记本PC，当直接操作键盘、鼠标或微动拨号盘等输入部件来输入命令时，在预定的激活窗口画面上，激活窗口画面不一定向用户通知哪个输入部件有效、以及哪个输入部件正在等待用户的输入操作。结果，产生的问题是：对于不熟悉计算机的用户来说，它不友好，并且不易使用。
此外，这种笔记本PC的问题在于：在通过旋转微动拨号盘来选择菜单项的情况下，在用户实际操纵微动拨号盘之前，用户不能识别哪个方向有效、是左右方向还是上下方向。
还有，在这种笔记本PC中，尽管在上述键盘、鼠标和微动拨号盘之外，提出用外部连接的摄像机来拍摄用户并根据用户的运动来自动输入命令，但是因为当用户错误地输入不同命令时，他/她不能知道什么运动引起该错误识别，所以有不友好和不易使用的问题。
发明内容
鉴于上述问题，本发明的一个目的是提供一种信息处理装置、一种运动可识别等待状态显示方法，即使对不熟悉它的用户来说也更易使用。
本发明的另一个目的是提供一种信息处理装置、一种通知可识别运动的方法，能够预先向用户通知如何识别他/她的输入操作。
本发明的另一个目的是提供一种信息处理装置、一种运动识别过程显示方法，能够在识别识别对象的运动之前向用户反馈识别过程。
本发明提供一种信息处理装置，用于根据输入的命令来进行预定的处理，包括：运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向，并且产生与识别出的所述识别对象的运动方向对应的所述命令；图像产生处理部件，用于当所述运动方向识别部件没有识别出所述识别对象的运动方向时，产生表示所述运动方向识别部件正在搜索所述图像中的所述识别对象的预定的等待状态图像；以及显示处理部件，用于将该等待状态图像显示在预定的显示部件上。
本发明还提供一种在信息处理装置中显示运动可识别等待状态的方法，该信息处理装置根据通过识别预定的识别对象的运动方向而输入的命令来进行预定的处理，该方法包括：运动方向识别处理步骤，根据摄像部件拍摄所述识别对象所得的图像，来识别所述识别对象的运动方向，并且产生与识别出的所述识别对象的运动方向对应的所述命令；图像产生处理步骤，当所述运动方向识别处理步骤没有识别出所述识别对象的运动方向时，产生表示正在搜索所述图像中的所述识别对象的预定的等待状态图像；以及显示处理步骤，将所述图像产生处理步骤产生的所述等待状态图像显示在预定的显示部件上。
本发明还提供一种信息处理装置，包括：运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；图像产生处理部件，用于在所述运动方向识别部件识别所述识别对象的运动方向之前，预先产生预定的可识别运动方向图像画面，用于使得用户可看到所述运动方向识别部件可识别的所述运动方向；以及显示处理部件，用于将图像产生处理部件产生的可识别运动方向图像画面显示在预定的显示部件上。
本发明还提供一种可识别运动通知方法，包括：运动方向识别处理步骤，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；图像产生处理步骤，在所述运动方向识别处理步骤识别所述识别对象的运动方向之前，预先产生预定的可识别运动方向图像画面，用于使得用户可看到所述运动方向识别处理步骤可识别的所述运动方向；以及显示处理步骤，将所述图像产生处理步骤产生的所述可识别运动方向图像画面显示在预定的显示部件上。
本发明还提供一种信息处理装置，包括：运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；识别过程图像产生处理部件，用于产生表示所述运动方向识别部件可识别的所述识别对象的运动方向的轨迹的识别过程图像；显示处理部件，用于将识别过程图像产生处理部件产生的识别过程图像显示在预定的显示部件上。
本发明还提供一种显示运动识别过程的方法，包括：运动方向识别处理步骤，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；识别过程图像产生处理步骤，产生表示所述运动方向识别处理步骤可识别的所述识别对象的运动方向的轨迹的识别过程图像；以及显示处理步骤，将所述识别过程图像产生处理步骤产生的所述识别过程图像显示在预定的显示部件上。
附图说明
通过结合附图来阅读下述详细说明，本发明的本质、原理和用途将会变得更加明显，在附图中，相同的部件用相同的标号或字符来表示。附图的简单说明
在附图中：
图1是本发明第1实施例的笔记本个人计算机的整体结构透视图；
图2是主体左侧的结构示意图；
图3是主体后侧和底部的结构示意图；
图4是笔记本个人计算机的电路结构方框图；
图5是手势识别处理过程的流程图；
图6是激活窗口画面上重叠显示的手势识别画面的示意图；
图7是手势识别画面的结构示意图；
图8是目标的结构示意图；
图9是用于得到手位置信息的处理过程的流程图；
图10是YUV色度空间中显示的颜色区域的示意图；
图11是搜索状态下的手势识别画面的示意图；
图12是重叠有光标(pointer)和手掌区域识别框的手势识别画面的示意图；
图13是判断手势运动的处理过程的流程图；
图14是指尖运动的距离计算的示意图；
图15是作为软件的处理流程的示意图；
图16A至16C是视觉反馈画面的示意图；
图17是第2实施例中的网络***的整体结构示意图；
图18是具有摄像机的数字便携电话的外部特性透视图；
图19是摄像机部被旋转时显示部的透视图；以及
图20是具有摄像机的数字便携电话的电路结构方框图。
具体实施方式
下面参照附图来说明本发明的优选实施例：
(1)第1实施例
(1-1)笔记本个人计算机的外部特性
在图1中，标号1表示作为应用本发明的信息处理装置的整个笔记本个人计算机(以下称为“笔记本PC”)，它包括主体2和安装在主体2上可开闭的显示部3。
主体2的上面有：多个控制键4，用于输入各种字符、代码和数字；杆状定点设备(以下，简称杆)5，用于移动鼠标光标；左右点击按钮5A和5B，等价于普通鼠标的左右按钮；中心按钮5C，用于控制滚动条，而不用将鼠标光标放置在滚动按钮上；内置扬声器6A和6B；按压型电源开关7；显示部3中所设的CCD(电荷耦合器件)摄像机8的快门按钮9；LED(发光二极管)构成的电源指示灯PL、电池指示灯BL和消息指示灯ML；等等。
在显示部3中，在其正面，例如设有8.9英寸(1,024×480像素)的TFT(thinfilm transistor，薄膜晶体管)彩色液晶构成的液晶显示器10，此外，在其正面的上中心部，可旋转地设有配有作为摄像部件的CCD摄像机8的摄像部11。
在该摄像部11中，CCD摄像机8可以被旋转并位于从显示部3的正面方向到背面方向的180角度内，并且在用CCD摄像机8来拍摄所需拍摄对象时可以通过旋转摄像部11的顶部上设有的调节圈12来容易地进行调焦。
显示部3还具有设在摄像部11的正面和背面、接近其左侧的话筒13，能够通过话筒13在从显示部3的正面到背面的大范围内收集声音。
此外，显示部3具有分别设在液晶显示器10左右附近的爪14和15，孔16和17设在主体2的与爪14和15对应的预定位置上，以便爪14和15可以嵌入对应的孔16和17中，使显示部3的正面与主体2的上面接触。
这里，当与主体2接触的显示部3被抬起时，孔16和17与爪14和15的嵌入状态被解除，显示部3可以被从主体2上打开。
此外，主体2在其右侧具有：基于IrDA(Infrared Data Association，红外线数据协会)的红外线端口18；头戴受话器端子19；话筒输入端子20；USB(通用串行总线)端子21；外部电源连接器22；外部显示输出连接器23；微动拨号盘24，能够通过旋转和按压旋转控制器来输入用于执行预定处理的指令；以及用于模块插座的调制解调器端子25。
另一方面，如图2所示，主体2在其左侧具有：排气孔26；用于基于PCMCIA(Personal Computer Memory Card Int ernational Association)的PC卡的个人计算机卡插槽27；以及用于4针的IEEE(Institute of Electrical andElectronics Engineers，电气和电子工程师协会)1394端子28。
此外，如图3所示，主体2在其后侧具有电池连接器29，在其顶部具有：滑动拆卸杆31，用于拆卸电池组30(图1)；锁定杆32，用于锁定滑动拆卸杆31；以及复位开关33，用于中断主体2的操作，并且重建其上电时的环境。电池组30被可拆卸地连接到电池连接器29。
(1-2)笔记本个人计算机的电路结构
接着，参照图4来详细说明笔记本PC 1的电路结构。在笔记本PC 1的主体2中，用于控制主体2的整体功能的CPU(中央处理单元)50与主总线52相连。CPU 50以基于时钟产生器60给出的***时钟的预定操作速度，根据加载到RAM(随机访问存储器)53中的程序和应用软件来执行处理，以便实现各种功能。
此外，主总线52被连接到高速缓冲存储器51，以便高速缓冲存储CPU 59所用的数据，并实现高速访问。
主总线52通过主PCI桥54被连接到PCI(peripheral componentinterconnect，***部件互连)总线55，而PCI总线55被连接到视频控制器56、IEEE1349接口57、视频捕获处理芯片83、以及PC卡接口58。
这里，主PCI桥54控制各种数据在CPU 50与视频控制器56、视频捕获处理芯片83、IEEE1349接口57以及PC卡接口58之间的发送和接收，还进行与存储器总线59连接的RAM 53的存储器控制。
此外，主PCI桥54通过AGP(accelerated graphics port，加速图形端口)被连接到视频控制器56，从而能够在视频控制器56和主PCI桥54之间高速传送图像数据。
视频捕获处理芯片83与串行总线I2C总线82(通常也称为***管理(system management，SM总线)相连，并且如果CCD摄像机8拍摄的图像数据通过I2C总线82来提供，则它被暂时存储到内置帧存储器(未图示)中以通过基于JPEG(joint photographic experts group，联合图像专家组)标准的图像压缩处理来产生JPEG图像数据，然后将JPEG图像数据再次存储到帧存储器中。
然后，视频捕获处理芯片83根据来自CPU 50的请求用总线主控功能将帧存储器中存储的JPEG图像数据传送到RAM 53中，然后将JPEG图像数据传送到HDD(硬盘驱动器)67作为JPEG图像(静止图像)数据或运动JPEG(运动图像)数据。
此外，视频控制器56将基于适时提供的各种应用软件的图像数据和CCD摄像机8拍摄的图像数据输出到显示部3的液晶显示器10以便显示多个窗口画面。
IEEE1349接口57被直接连接到IEEE1394端子28，并且可以通过IEEE1394端子28被连接到另一个计算机装置和数字摄像机等外部装置。
当任选功能被添加时，PC卡接口58被连接到PC卡插槽27中加载的PC卡(未图示)，并且能够通过PC卡被连接到CD-ROM(光盘只读存储器)驱动器或DVD(数字通用盘)驱动器等外部设备。
PCI总线55通过PCI-ISA桥66被连接到ISA(industrial standardarchitecture，工业标准结构)总线65，而PCI-ISA桥66被连接到HDD 67和USB端子21。
这里，PCI-ISA桥66包括IDE(integrated drive electronics，集成电路设备)接口、配置寄存器、RTC(real-time clock，实时时钟)电路、USB接口等，
它根据时钟产生器60给出的***时钟经IDE接口控制HDD 67。
HDD 67的硬盘存储Windows98(商标)等操作***(OS)、电子邮件程序、自动导航程序、微动拨号盘服务器程序、微动拨号盘驱动程序、捕获软件、数字地图软件以及其他各种应用软件，在开始过程中被适时传送并加载到RAM 53。
此外，PCI-ISA桥66经USB接口(未图示)控制软盘驱动器、打印机以及连接到USB端子21上的USB鼠标等外部设备，还控制通过ISA总线65连接的调制解调器69和声音控制器79。
调制解调器69用调制解调器端子25通过公用电话线路(未图示)被连接到因特网服务提供者(以下称为提供者)。并且经提供者拨号IP连接到因特网。
声音控制器70通过将话筒13收集的音频信号转换为模拟形式来产生音频数据，并且将其输出到CPU 50，还将CPU 50提供的音频数据转换为模拟形式以便产生音频信号，经内置扬声器6输出到外部。
此外，ISA总线65被连接到输入/输出(I/O)控制器73，并且它接收从外部电源经外部电源连接器22和电源及充电控制电路85提供的电源，当电源开关7被接通时向每个电路提供电源。注意，I/O控制器73也根据时钟产生器60给出的***时钟来操作。
此外，电源及充电控制电路85在I/O控制器73的控制下控制连接到电池连接器29(图3)上的电池组30的充电。
I/O控制器73包括微控制器、I/O接口、CPU、ROM等，并且根据闪速存储器(flash memory)79中存储的BIOS(basic input/output system，基本输入/输出***)来控制OS、应用软件和液晶显示器10、HDD 67等各种***设备之间的数据的输入/输出。
此外，I/O控制器73被连接到红外线端口18，并且能够与例如其他计算机装置进行红外线通信。
此外，I/O控制器73被连接到反转开关77，当摄像部11以180度被旋转到液晶显示器10的后侧时，反转开关77被接通。然后，I/O控制器73经PCI-ISA桥66和主PCI桥54向CPU 50通知此情况。
此外，I/O控制器73被连接到全/半按下开关78，而当主体2上面所设的快门按钮9被半按下时，全/半按下开关78处于半按下状态。然后，I/O控制器73向CPU 50通知此情况。另一方面，当按钮9被全按下时，开关78处于全按下状态，然后I/O控制器73向CPU 50通知此情况。
具体地说，在捕获软件从HDD 67启动到RAM 53中的状态下，当快门按钮9被用户半按下时，CPU 50进入静止图像模式，并且它控制CCD摄像机8以冻结静止图像，然后当快门按钮9被全按下时，它捕获冻结的静止图像数据并将其发送到视频控制器56。
相反，在没有启动捕获软件的情况下，当快门按钮9被用户全按下时，CPU 50进入运动图像模式，它捕获最大60秒的运动图像并将其发送到视频控制器56。
顺便指出，I/O控制器73的ROM存储唤醒程序、键输入监视程序、LED控制程序、微动拨号盘状态监视程序以及其他各种控制程序。
这里，微动拨号盘状态监视程序是与HDD 67的硬盘中存储的微动拨号盘服务器程序一起使用的程序，并且用于监视微动拨号盘24是否被旋转或按压。
唤醒程序是当来自PCI-ISA桥66中的RTC电路的当前时刻与预设的开始时刻一致时在CPU 50的控制下执行给定处理的程序。键输入监视程序是用于监视来自控制键4和其他各种键开关的输入的程序。LED控制程序是用于控制电源指示灯PL、电池指示灯BL以及消息指示灯ML(图1)等各种指示灯的发光的程序。
此外，I/O控制器73的RAM具有用于微动拨号盘状态监视程序的I/O寄存器、用于唤醒程序的设定时刻寄存器、用于键输入监视程序的键输入监视寄存器、用于LED控制程序的LED控制寄存器以及用于其他各种程序的寄存器。
设定时刻寄存器存储用户预设的开始时刻的时刻信息以便在唤醒程序中使用。因此，I/O控制器73判定来自RTC电路的当前时刻是否与基于唤醒程序的预设开始时刻一致，并且当它们一致时，寄存器向CPU 50通知此情况。
然后，CPU 50在预设的开始时刻启动预定的应用软件，并且根据该应用软件来执行预定的处理。
此外，键输入监视寄存器存储与控制键4、杆5、左点击按钮5A、右点击按钮5B、中心按钮5C等的输入操作对应的控制键标志。
因此，I/O控制器73按照控制键标志，根据键输入监视程序来判定杆5是否被定点，或者左点击按钮5A、右点击按钮5B或中心按钮5C被点击，并且当进行了定点或点击操作时，I/O控制器73向CPU 50通知此情况。
这里，该定点操作是用手指上下和左右操纵杆5以便将鼠标光标移动到屏幕上的所需位置的操作，而点击操作是用手指迅速按下并释放左点击按钮5A或右点击按钮5B的操作。
然后，CPU 50根据定点操作或点击操作造成的光标的移动来执行预定的处理。
此外，LED控制寄存器存储用于指示电源指示灯PL、电池指示灯BL以及消息指示灯ML等各种指示灯的发光状态的发光标志。
因此，I/O控制器73存储发光标志并根据发光标志来控制LED 81，并且例如，当CPU 50根据微动拨号盘24的按压操作从HDD 67的硬盘中启动电子邮件程序时点亮消息指示灯ML，并且根据电子邮件程序来接收电子邮件。
此外，用于微动拨号盘状态监视程序的I/O寄存器存储与微动拨号盘24的旋转或按压操作对应的旋转标志和按压标志。
因此，当用户通过旋转和按压连接到旋转检测部88上的微动拨号盘24而从多个菜单项中选择所需菜单项时，I/O控制器73将I/O寄存器中存储的旋转标志和按压标志置位，并且向CPU 50通知此情况。
这样，CPU 50根据从HDD 67读出并在RAM 53中启动的微动拨号盘服务器程序，启动与通过旋转和按压微动拨号盘24而确定的菜单项对应的应用程序以执行预定的处理。
这里，I/O控制器73始终在电源及充电控制电路85的控制下进行操作，即使电源开关7断开或OS未激活，从而用户所需的应用软件或脚本文件可以通过按压处于节电状态或断电状态的微动拨号盘24来启动，而不用提供特殊键。
此外，I/O控制器73也与I2C总线82相连，并且通过I2C总线82来提供控制键4或微动拨号盘24设定的用于CCD摄像机8的各种设定参数来调节CCD摄像机8中的亮度和对比度。
(1-3)手势识别处理
除了上述结构之外，笔记本PC 1还从HDD 67的硬盘中启动称为CYBERGESTURE程序的应用软件来识别CCD摄像机8拍摄的用户手的运动(手势)，根据CYBERGESTURE来识别CCD摄像机8拍摄的用户手的运动，并且在基于应用软件的激活窗口画面上根据识别结果来执行预定的处理。
具体地说，例如，在启动能够处理拍摄的静止图像的图像编辑程序并依次将HDD 67的硬盘中存储的多个静止图像显示在液晶显示器10上以便选择要处理的静止图像的情况下，笔记本PC 1根据用户旋转微动拨号盘24的操作来进行逐个前进或后退液晶显示器10上显示的静止图像的图像前进操作。然而，本发明通过使CPU 50识别CCD摄像机8拍摄的用户手的运动，允许不用接触微动拨号盘24而在CPU 50的控制下执行上述图像前进操作。
这里，当从用户侧向纵深方向以比预定角度大的角度进一步旋转微动拨号盘24时，笔记本PC 1在液晶显示器10上只前进一个静止图像，相反，当向用户侧以比预定角度大的角度旋转微动拨号盘24时，在液晶显示器10上只后退一个静止图像。
实际上，笔记本PC 1的CPU 50在图5的开始步骤进入例程RT1，移至下一个步骤SP1，并且通过用户的操作从HDD 67的硬盘中启动CYBERGESTURE程序，根据CYBERGESTURE程序来创建图6所示的手势识别画面100，然后在根据图像编辑程序将其重叠显示在激活画面的静止图像上后，移至下一个步骤SP2。
这里，如图7所示，手势识别画面100具有164×136像素的画面大小，其中在顶部设有表示CYBERGESURE程序的标题字符部101“CYBERGESTURE”(索尼公司的商标)、用于任选地选择功能的选项按钮102、帮助按钮103、最小化按钮104以及关闭按钮105。
以远小于液晶显示器10(1,024×480像素)的屏幕大小来形成该手势识别画面100，使得掩盖手势识别画面100后面显示的激活窗口画面上的静止图像的区域尽可能小。
此外，当鼠标光标被放置到手势识别画面100上的选项按钮102、帮助按钮103、最小化按钮104以及关闭按钮105中的任一个上时，笔记本PC 1的CPU 50以凸的状态显示放置的按钮，而在通过点击进行选择后以凹的状态来显示它，使得能够容易地、可视地识别按钮的选择和确定操作。
此外，笔记本PC 1的CPU 50将手势识别显示区域106显示在256级灰度的手势识别画面100上，并显示手势识别显示区域106的中心附近沿水平线排列的5个方块目标107A至107E构成的目标部107。
这样，CPU 50用手势识别画面100上的手势识别显示区域106中显示的目标部107能够容易地使他/她想像笔记本PC 1可识别用户手的左右运动。
此外，每个目标107A至107E具有8×8像素的大小，有1个像素宽的框107AF至107EF。框107AF至107EF被附加红色，以便使目标107A至107E在灰度显示背景上更醒目。
此外，手势识别画面100上的手势识别显示区域106每隔两条水平扫描线有一条黑线(未图示)，以便用户能够容易地将该区域识别为手势识别画面100，它与显示普通图像的画面不同。
在步骤SP2，CPU 50用CCD摄像机8拍摄显示部3前的用户，并且将产生的输入图像显示在手势识别画面100上的手势识别显示区域106上，然后移至下一个子例程SRT2。
如图9所示，在子例程SRT2的步骤SP21中，CPU 50根据颜色分量将手势识别画面100上的手势识别显示区域106中显示的输入图像分割为多个颜色区域，然后移至下一个步骤SP22。
这里，颜色区域用预定的YUV色度空间来表现，如图10所示，例如，YUV色度空间中用斜线表示的象限+Y、-U和-V的预定区域被作为与用户的手掌颜色等价的颜色区域R(以下称为肤色区域R)。
在步骤SP22中，CPU 50比较与YUV(亮度、色差)色度空间中的肤色区域R对应的预定的肤色表和输入图像的相应颜色区域，然后移至下一个步骤SP23。
在此情况下，输入图像的颜色区域被大致分割为用户的面部区域和手掌区域等肤色区域R和衣服等非肤色区域。
在步骤SP23中，CPU 50通过比较肤色表和输入图像的颜色区域，来判定在输入图像中是否存在识别为肤色的肤色区域R。
如果在这里得到否定结果，则表示在输入图像中不存在与肤色表对应的肤色区域R，然后CPU 50移至下一个步骤SP29。
在步骤SP29中，由于在输入图像中不存在肤色区域R，并且不能识别用户手的运动，所以CPU 50移至下一帧输入图像，并且返回到上述步骤SP21。
相反，如果在步骤SP23中得到肯定结果，则表示存在与肤色表对应的肤色区域R，然后CPU 50移至下一个步骤SP24。
在步骤SP24中，CPU 50根据当前帧和前一帧之间的坐标值的变化来检测当前帧的输入图像中的肤色区域R的运动，然后移至下一个步骤SP25。
在步骤SP25中，CPU 50判定在输入图像中是否存在运动的肤色区域R。如果在这里得到否定结果，则表示在输入图像中不存在运动的肤色区域R，然后CPU 50移至下一个步骤SP29，进至下一帧输入图像，并且返回到上述步骤SP21。
相反，如果在步骤SP25中得到肯定结果，则表示在输入图像中存在运动的肤色区域R，然后CPU 50移至下一个步骤SP26。
在步骤SP26中，CPU 50从运动的肤色区域R中检测最大的肤色区域R，将其作为手掌区域，然后移至下一个步骤SP27。
在步骤SP27中，CPU 50获得步骤SP26中确定的整个手掌区域的坐标值，然后移至下一个步骤SP28。
在步骤SP28中，CPU 50根据步骤SP27中得到的整个手掌区域的坐标值来计算手掌区域的重心，在相当于重心的垂直方向上检测手掌区域的最高坐标，作为等价于手指尖的重心上部数据，完成子例程SRT2中得到手位置信息的处理，然后返回到例程RT1的步骤SP3(图5)。
在步骤SP3中，CPU 50根据子例程SRT2中得到的重心上部数据来判定用户的手是否存在于手势识别画面100上的手势识别显示区域106中。
如果在这里得到否定结果，则表示在子例程SRT2中没有得到重心上部数据，即，用户的手不存在于手势识别画面100上的手势识别显示区域106中，然后CPU 50移至下一个步骤SP4。
在步骤SP4中，CPU 50显示表示正在搜索用户的手的动画，因为手没有被显示在手势识别画面100上的手势识别显示区域106中，然后返回到上述步骤SP2。
在此情况下，如图11所示，CPU 50可以用目标部107来显示动画，使得用户能容易地识别正在搜索肤色区域R，因为用户的肤色部分几乎未被显示在手势识别画面100上的手势识别显示区域106中，还没有识别出用户的手。
具体地说，CPU 50通过沿箭头A和B所示的左右方向交替地依次对目标107A至107E的框107AF至107EF中的区域附加红色，使得用户能够容易地想像CYBERGESTURE程序已经启动并且正在搜索用户的手。
相反，如果在步骤SP3中得到肯定结果，则表示在子例程SRT2中已经得到重心上部数据，即，用户的手存在于手势识别画面100上的手势识别显示区域106中，然后CPU 50移至下一个步骤SP5。
在步骤SP5中，如图12所示，CPU 50在与得到的重心上部数据对应的位置上显示预定形状的光标108，还在手势识别显示区域106中的输入图像上重叠显示包括光标108并覆盖用户整个手掌区域的手掌区域识别框109，并且移至下一个子例程SRT3。
这里，CPU 50对1个像素宽的手掌区域识别框109附加白色，而对与目标部107的107A至107E形状和大小相同的光标108的1个像素宽的光标框108F附加白色而对其内部附加红色。
结果，CPU 50能够通过对目标107A至107E的框107AF至107EF附加红色而对光标108的光标框108F附加白色，使用户清楚地区分目标107A至107E和光标108。
此外，CPU 50显示手掌区域识别框109和光标108，同时随着用户手的运动来移动它们。
接着，如图13所示，在子例程SRT3的步骤SP31中，CPU 50根据相邻帧、即RAM 53中以环形缓冲器形式存储的当前帧和与当前帧相邻的前一帧之间的重心上部数据的坐标值之差来得到指尖运动的距离，然后移至下一个步骤SP32。
在步骤SP32中，CPU 50判定步骤SP31中算出的指尖运动距离是否等于或小于预定的最大阈值。如果在这里得到否定结果，则表示指尖运动距离不足以作为识别手运动的数据，因为前一帧中表示指尖的位置和当前帧中表示指尖的位置之间的距离极远，然后CPU 50移至下一个步骤SP33。
在步骤SP33中，由于指尖运动距离不足以用作数据，所以CPU 50在步骤SP34之后停止计算相邻帧之间的指尖运动距离，并返回到例程RT1的步骤SP2(图5)以重复上述处理。
相反，如果在步骤SP32中得到肯定结果，则表示指尖运动距离足以作为识别手运动的数据，因为前一帧中表示指尖的位置和当前帧中表示指尖的位置之间的距离不太远，然后CPU 50移至下一个步骤SP34。
在步骤SP34中，如图14所示，CPU 50得到表示当前帧中的指尖的重心上部数据和表示在预定时间内从过去几帧中任意选择出的一个过去帧中的重心上部数据之间的坐标值的最大长度，作为指尖运动的最大距离，将其依次以环形缓冲器形式来存储，并且判定指尖运动的最大距离是否大于预定的最小阈值。
如果在这里得到否定结果，则表示基于多个帧中输入图像状态迁移的指尖运动的最大距离小于预定的最小阈值，即，手的运动不足以被识别，然后CPU 50从识别处理中排除指尖运动的最大距离，并且返回到步骤SP31以重复上述处理。
相反，如果在步骤SP34中得到肯定结果，则表示指尖运动的最大距离大于预定的最小阈值，即，指尖肯定左右运动，然后CPU 50移至下一个步骤SP35。
在步骤SP35中，CPU 50根据计算指尖运动的最大距离时使用的表示当前帧中的指尖的重心上部数据和表示过去帧中的指尖的重心上部数据之间的运动矢量来检测方向(向右还是向左)，然后返回到例程RT1的步骤SP6(图5)。
当CPU 50在步骤SP6中检测出指尖运动的最大距离及其运动方向时，它根据检测出的整个手掌区域的当前帧的像素数据和前一帧的像素数据之间的坐标值在单位时间内的变化，来判定检测出的整个手掌区域的运动速度是否超过预定的速度。
如果在这里得到否定结果，则它判定检测出的整个手掌区域的运动速度未超过预定的速度，即，实际上它可能是面部区域而不是手掌区域，因为它运动得相当慢，并且再次返回到步骤SP2以重复上述处理。
相反，如果在步骤SP6中得到肯定结果，则它判定检测出的整个手掌区域的运动速度超过预定的速度，即，更可能是手掌区域，因为它运动得相当快，并且移至下一个步骤SP7。
在上述处理中，在有两个或多个可能是手掌区域的候选的情况下，CPU50可以更正确地判定手掌区域和面部区域。
在步骤SP7中，如图15所示，CPU 50经用于微动拨号盘181的API(application programming interface，应用编程接口)向微动拨号盘服务器程序182提供CYBERGESTURE程序180识别出的手掌区域的手势运动的识别结果，还在手势识别画面100上进行表示用户移动手的运动(手势)的轨迹和表示笔记本PC 1如何识别出该手势的识别过程的视觉反馈显示，并且移至下一个步骤SP8。
这里，API是OS对应用软件的程序接口，其中应用软件基本上经API执行所有处理。这里，目前一般的OS的API采用函数的形式，而应用软件指定适当的变元(argument)(参数(parameter))以调用API的函数。
顺便指出，CPU 50以相同的输入形式取入微动拨号盘24的操作和CYBERGESTURE程序的识别结果，并且将它们经用于微动拨号盘181的公用API提供给微动拨号盘服务器程序182，以便简化软件处理。
实际上，CPU 50产生图16A所示的视觉反馈画面191，并且根据表示用户移动手的运动(手势)的轨迹，在轨迹显示框120中预先倾斜放置的目标107A至107E上重叠光标108，一边沿箭头C的方向移动一边进行显示，使得用户能够在视觉反馈画面191上可视地查看用户手的运动的实际识别过程。
接着，CPU 50创建图16B所示的视觉反馈画面192，并且通过用其取代视觉反馈画面191来对其进行显示。
视觉反馈画面192将视觉反馈画面191中的轨迹显示框120变形，以形成方向显示框121，其中目标107A至107E沿水平线来排列，并且在方向显示框121的右端显示目标107E，在左端显示光标108，以便用方向显示框121来概略地表示用户的手沿箭头D(从右到左)的方向运动。
最后，CPU 50产生图16C所示的视觉反馈画面193，并且通过用其取代视觉反馈画面192来对其进行显示。
该视觉反馈画面193擦除视觉反馈画面192上的方向显示框121，接着移动并显示以箭头D所示的方向沿水平线排列的目标107A至107E上的光标108，以便用户能容易地识别笔记本PC 1已经识别出用户的手从右端运动到左端(箭头D所示的方向)的运动。
此外，在沿箭头D所示的方向来移动并显示目标107A至107E上的光标108的情况下，CPU 50以与识别出的用户手的运动相同的速度来移动光标108，以便用户能够知道笔记本PC 1可以处理的手的运动速度。
在步骤SP8中，CPU 50识别用户手的运动，然后将与手的运动对应的预定的命令从微动拨号盘服务器程序182(图15)提供给应用软件183，以执行预定的处理。然而，CPU 50正在根据识别结果执行预定的处理，所以在识别出手的运动后不立即执行几个帧的输入图像的手势识别处理，并且再次返回到步骤SP2以重复上述处理。
这样，CPU 50能够根据激活窗口上用户手的运动来执行处理，而不会有任何误操作，然后根据用户手的下一个运动来执行处理。
如上所述，笔记本PC 1的CPU 50用CYBERGESTURE程序180来识别用户手的运动，然后由微动拨号盘服务器程序182将与识别结果对应的预定的命令提供给应用软件183，以便根据该命令按照应用软件183在激活窗口上执行预定的图像前进操作。
实际上，在识别出手的手势是从左侧向右侧的运动(箭头D的相反方向)的情况下，笔记本PC 1的CPU 50使手势识别画面100的背景上显示的激活窗口画面上的静止图像前进1页，另一方面，在识别出手的手势是从右侧向左侧的运动(箭头D所示的方向)的情况下，使手势识别画面100的背景上显示的激活窗口画面上的静止图像后退1页。
这样，用户即使不直接操纵微动拨号盘24，也只需将手放置在摄像部11的CCD摄像机8上方并向右或向左移动，就能够使手势识别画面100的背景上显示的激活窗口画面上的静止图像前进或后退。
(1-4)第1实施例的操作和效果
在上述结构中，笔记本PC 1的CPU 50通过在图像编辑程序已经启动并且激活窗口画面已经被显示在液晶显示器10上的状态下启动CYBERGESTURE程序180，将重叠有手势识别画面100的静止图像显示在激活窗口画面上。
并且笔记本PC 1的CPU 50用摄像部11的CCD摄像机8来拍摄显示部3前面的用户，并且将产生的输入图像显示在手势识别画面100上的手势识别显示区域106中。
此时，为了识别用户手的运动，笔记本PC 1的CPU 50首先将手势识别显示区域106中的输入图像分割为多个颜色区域，以便在其中搜索肤色区域R。如果CPU 50不能检测出肤色区域R，则它通过在箭头A和B所示的左右方向上依次交替地对目标部107中的目标107A至107E的框107AF至107EF内部的区域附加红色来产生浓淡效果，以便向用户确切地通知它正在搜索用户的手。
这样，笔记本PC 1的CPU 50可以使用户识别出它还未识别出手的运动，所以它能够立即提示用户进行输入操作，例如将他/她的手放置在CCD摄像机8上并且向右或向左运动。
这样，笔记本PC 1的CPU 50能够在短时间内识别用户手的运动，根据识别出的手的运动来产生命令，并且根据该命令使激活窗口画面上显示的静止图像前进或后退。
根据上述结构，在笔记本PC 1未识别CCD摄像机8拍摄的用户手的运动的情况下，它能够通过在箭头A和B所示的左右方向上依次交替地对目标107A至107E的框107AF至107EF内部的区域附加红色，来确切地向用户通知它正在搜索用户的手并且处于可识别等待状态。
此外，在上述结构中，笔记本PC 1的CPU 50通过在图像编辑程序已经启动并且激活窗口画面已经被显示在液晶显示器10上的状态下启动CYBERGESTURE程序180，将重叠有手势识别画面100的静止图像显示在激活窗口画面上。
此时，笔记本PC 1的CPU 50显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线依次排列的5个方块目标107A至107E构成的目标部107。
从而，笔记本PC 1的CPU 50使得用户能够容易地想像笔记本PC 1可识别用户手的运动方向中的左右运动，所以CPU 50能够确切地向用户预先通知可识别的运动方向。
此外，CPU 50能够通过对目标107A至107E的框107AF至107EF附加红色而使用户可视地从作为背景的灰度显示中区分目标107A至107E。
根据上述结构，笔记本PC 1能够根据CYBERGESTURE程序180显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线依次排列的5个方块目标107A至107E构成的目标部107，来确切地向用户预先通知笔记本PC 1可识别用户手的运动方向中的左右方向。
此外，在上述结构中，笔记本PC 1的CPU50在图像编辑程序已经启动并且激活窗口画面已经被显示在液晶显示器10上的状态下将重叠有手势识别画面100的静止图像显示在激活窗口画面上。
并且笔记本PC 1的CPU 50用摄像部11的CCD摄像机8来拍摄显示部3前面的用户，并且将产生的输入图像显示在手势识别画面100上的手势识别显示区域106中，还识别用户手的运动以根据该识别出的手的运动来产生命令。
此时，如图16A所示，笔记本PC 1的CPU 50根据表示用户手实际运动(手势)的轨迹，预先将目标107A至107E放置在轨迹显示框120中，以便通过沿箭头C所示的方向依次交替地在目标107A至107E上移动并显示光标108，使用户能够可视地查看用户手的运动的识别过程的轨迹。
然后，在目标107A至107E沿水平线来排列的状态下，CPU 50将图16B所示的轨迹显示框120变形，以形成方向显示框121，并且在方向显示框121的右端显示目标107E，在左端显示光标108，以便概略地表示用户的手沿箭头D(向左)的方向运动。
最后，如图16C所示，CPU 50擦除方向显示框121，以可识别的用户手的运动速度沿箭头D的方向移动并显示目标107A至107E上的光标108，以便确切地向用户通知它已经识别出用户的手从右端运动到左端(箭头D所示的方向)的运动。
根据上述结构，笔记本PC 1能够用目标107A至107E和光标108将识别过程的轨迹和CCD摄像机8拍摄的用户手的运动的识别结果显示为动画，以便通过反馈使用户知道用户手的运动如何被识别及其识别过程。
这样，用户使笔记本PC 1识别他/她手的运动，考虑手运动的方向和速度，从而能够在短时间内进行例如使图像前进的命令的输入操作。
(2)第2实施例
(2-1)网络***的整体结构
在图17中，标号200表示包括应用本发明的便携电话MS3的整个网络***，其中作为固定无线台的基站CS1至CS4被设置在将通信服务区分割为所需大小所得的区域中。
这些基站CS1至CS4通过例如称为宽带码分多址(W-CDMA)的码分多址方法被无线连接到作为移动无线台的个人数字助理MS1、MS2、以及具有摄像机MS3和MS4的数字便携电话，并且能够用2GHz频带以最大2Mbps的数据传输速率来进行大容量数据的高速数据通信。
这样，个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话能够通过W-CDMA方法来进行大容量数据的高速数据通信，从而在无线通信之外，它们还能够实现收发电子邮件、查看简单主页、收发图像等各种数据通信。
此外，基站CS1至CS4通过无线电路被连接到公用线路网络INW，而公用线路网络INW与因特网ITN和多个未图示的用户的有线终端、计算机网络、局域网等相连。
公用线路网络INW还被连接到因特网服务提供者的接入服务器AS，而接入服务器被连接到因特网服务提供者拥有的内容服务器TS。
该内容服务器TS根据来自用户的有线终端、个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话的请求，提供作为HTML(hypertext markup language，超文本标记语言)格式文件的简单主页。
顺便指出，因特网ITN被连接到多个WWW服务器WS1至WSn，从而可以从用户的有线终端、个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话以TCP/IP协议来访问WWW服务器WS1至WSn。
这里，当个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话进行通信时，装置MS1至MS4和基站CS1至CS4之间的通信以2Mbps简单传输协议来进行，并且基站CS1至CS4和WWW服务器WS1至WSn之间经因特网ITN的通信以TCP/IP协议来进行。
此外，管理控制单元MCU通过公用线路网络INW被连接到用户的有线终端、个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话，以便对用户的有线终端、个人数字助理MS1和MS2以及具有摄像机MS3和MS4的数字便携电话进行识别和计费处理。
(2-2)具有摄像机的数字便携电话的外部特性
接着，说明使用本发明的具有摄像机MS3的数字便携电话的外部特性。如图18所示，具有摄像机MS3的数字便携电话以中间的铰链部211为界，分为显示部212和主体213，可沿铰链部211折叠。
显示部212具有安装在上左部、可伸缩的发送接收天线214，从而可以经天线214向基站CS3发送或从基站CS3接收无线电波。
显示部212还具有安装在上中部、可在大约180°的角度范围旋转的摄像部215，从而可以用摄像部215的CCD摄像机216来拍摄所需的拍摄对象。
这里，在用户将摄像部215旋转大约180°并定位的情况下，图19所示的背面重心所设的显示部212的扬声器217位于前面，从而切换到正常无线通信状态。
此外，显示部212具有设在前面的液晶显示器218，能够显示无线电波接收状态、电池残量、作为电话簿电路的对方名字、电话号码、发送历史、以及电子邮件内容、简单主页、摄像部215的CCD摄像机216拍摄的图像。
另一方面，主体213在其正面具有控制键219，包括数字键“0”至“9”、呼叫键、重拨键、拆线(clearing)和电源键、清除键、电子邮件键，从而可以用控制键219来输入各种指令。
主体213在控制键219下方还具有备忘录(memo)按钮220和话筒221，从而可以用备忘录按钮220来记录对方的声音，并且在通话过程中用话筒221来收集用户的声音。
此外，主体213在控制键219上方具有从主体213略微突出、可旋转的微动拨号盘222，以便通过微动拨号盘222的旋转操作来进行各种操作，包括电话簿列表、液晶显示器218上显示的电子邮件的滚动操作、简单主页的翻页操作以及图像前进操作。
例如，对于主体213，如果用户通过微动拨号盘222的旋转操作从液晶显示器218上显示的电话簿列表上的多个电话号码中选择出所需的电话号码，并且微动拨号盘222被推向主体213，则它确定选择出的电话号码，并且自动呼叫该电话号码。
此外，主体213具有放置在其背面的电池组(未图示)，如果拆线和电源键处于接通(ON)状态，则从电池组向每个电路部提供电源，并且启动为可操作的状态。
顺便指出，主体213在左侧的上部具有存储棒插槽224，用于向其中***可拆卸的存储棒(Memory Stick(索尼公司的商标))223，从而如果按下备忘录按钮220，则它能够通过用户的操作将通话对方的声音以及电子邮件、简单主页以及CCD摄像机216拍摄的图像记录到存储棒223上。
这里，存储棒223是本申请人索尼公司开发的一种闪速存储器卡(flashmemory card)。该存储棒223是21.5mm高×50mm宽×2.8mm厚的狭小塑料壳体，包含闪速存储器元件，它是一种电可擦除可编程只读存储器(EEPROM)，即能够电重写和擦除的非易失性存储器，它允许通过10针端子来写入和读出图像、声音以及音乐等各种数据。
此外，存储棒223采用独特的串行协议，即使在内置闪速存储器的规格变化例如容量增大的情况下，也能够确保与使用的装置的兼容性，从而实现1.5MB/S的最大写入速度和2.45MB/S的最大读出速度这样的高性能，并且通过提供错误擦除防止开关来确保高可靠性。
如上所述，具有摄像机MS3的数字便携电话可以在其中***这种存储棒223，从而它能够与其他电子装置经存储棒223来共享数据。
(2-3)具有摄像机的数字便携电话的电路结构
如图20所示，具有摄像机MS3的数字便携电话将对显示部212和主体213进行中央控制的主控制部250通过主总线260连接到电源电路部251、操作输入控制部252、图像编码器253、摄像机接口部254、液晶显示器(LCD)控制部255、图像解码器256、分用部257、记录再现部262、调制解调电路部258以及音频CODEC(编解码器)259，还通过同步总线261连接到图像编码器253、图像解码器256、分用部257、调制解调电路部258以及音频CODEC259。
当用户接通拆线及电源键时，电源电路部251通过从电池组向各部提供电源，将具有摄像机MS3的数字便携电话启动到可操作状态。
在包括CPU、ROM、RAM等的主控制部250的控制下，具有摄像机MS3的数字便携电话在音频通信模式中通过音频CODEC 259将话筒221收集的音频信号转换为数字音频信号，在调制解调电路部258中对其进行扩频处理，并且在发送接收电路部263中进行数模转换和变频处理，然后经天线214对其进行发送。
此外，具有摄像机MS3的数字便携电话在音频通信模式中放大天线214接收到的接收信号，进行变频和数模转换处理，在调制解调电路部258中进行解扩处理，由音频CODEC 259将其转换为模拟音频信号，然后经扬声器217对其进行输出。
此外，在数据通信模式中发送电子邮件的情况下，具有摄像机MS3的数字便携电话将通过操作控制键219和微动拨号盘222而输入的电子邮件的文本数据经操作输入控制部252发送到主控制部250。
主控制部250在调制解调电路部258中对文本数据进行扩频处理，在发送接收电路部263中进行数模转换和变频处理，然后将其经天线214发送到基站CS3(图17)。
另一方面，在数据通信模式中接收电子邮件的情况下，具有摄像机MS3的数字便携电话在调制解调电路部258中对从基站CS3经天线214接收到的接收信号进行解扩处理，然后将其作为电子邮件经LCD控制部255显示在液晶显示器218上。
然后，具有摄像机MS3的数字便携电话也可以按照用户的操作将接收到的电子邮件经记录再现部262记录到存储棒223上。
另一方面，在数据通信模式中发送图像数据的情况下，具有摄像机MS3的数字便携电话将CCD摄像机216拍摄的图像数据经摄像机接口部254提供给图像编码器253。
这里，在不发送图像数据的情况下，具有摄像机MS3的数字便携电话也可以将CCD摄像机216拍摄的图像数据经摄像机接口部254和LCD控制部255直接显示在液晶显示器218上。
图像编码器253通过MPEG(moving picture experts group)2或MPEG4等预定的编码方法对从CCD摄像机216提供的图像数据进行压缩编码而将其转换为编码图像数据，并且将结果发送到分用部257。
此时，具有摄像机MS3的数字便携电话在用CCD摄像机216进行拍摄的过程中同时将话筒221收集的声音作为数字音频数据经音频CODED 259发送到分用部257。
分用部257用规定的方法来复用从图像编码器253提供的编码图像数据和从音频CODEC 259提供的音频数据，在调制解调电路部258中对产生的复用数据进行扩频处理，并且在发送接收电路部263中对其进行数模转换和变频处理，然后经天线214对结果进行发送。
另一方面，在数据通信模式中接收简单主页等图像数据的情况下，具有摄像机MS3的数字便携电话在调制解调电路部258中对从基站CS3经天线214接收到的接收信号进行解扩处理，并且将产生的复用数据发送到分用部257。
分用部257对复用数据进行分用，将其分离为编码图像数据和音频数据，并且通过同步总线261将编码图像数据提供给图像解码器256，而将音频数据提供给音频CODEC 259。
图像解码器256通过用与MPEG2或MPEG4等预定的编码方法对应的解码方法对编码图像数据进行解码来产生再现图像数据，并且将其作为例如连接到简单主页的图像经LCD控制部255显示在液晶显示器218上。
此时，音频CODEC 259将音频数据转换为模拟音频数据，然后将其作为例如连接到简单主页的声音经扬声器217输出。
在此情况下也和电子邮件的情况同样，具有摄像机MS3的数字便携电话可以按照用户的操作经记录再现部262将简单主页的接收图像数据记录到存储棒223上。
除了这种结构之外，具有摄像机MS3的数字便携电话在主控制部250的ROM中具有与实施例1相同的CYBERGESTURE程序180(图15)和微动拨号盘服务器程序182，它可以用CYBERGESTURE程序180在激活窗口画面上重叠显示手势识别画面100(图6)，在根据预定的应用软件183在液晶显示器218上显示激活窗口画面的同时，还显示CCD摄像机216拍摄的用户图像。
接着，与第1实施例同样，如图5至16所示，具有摄像机MS3的数字便携电话在主控制部250的控制下检测手势识别画面100上的手势识别显示区域106中显示的用户图像中的肤色区域R，并且在其中将运动肤色区域R识别为手掌区域，然后它通过微动拨号盘服务器程序182将与手掌区域的手势运动对应的预定的命令提供给应用软件183。
这样，与第1实施例中的笔记本PC 1同样，具有摄像机MS3的数字便携电话能够在主控制部250的控制下，根据应用软件183，按照该命令来前进或后退手势识别画面100上作为背景显示的激活窗口画面上的静止图像。(2-4)第2实施例的操作和效果
在上述结构中，主控制部250启动CYBERGESTURE程序180，并且具有摄像机MS3的数字便携电话显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线排列的5个方块目标107A至107E构成的目标部107。
此时，与第1实施例同样，在具有摄像机MS3的数字便携电话不能识别用户手的左右运动的情况下，它通过在箭头A和B所示的左右方向上依次交替地对目标107A至107E的框107AF至107EF内部的区域附加红色来产生浓淡效果，以便向用户确切地通知它正在搜索用户的手。
这样，具有摄像机MS3的数字便携电话能够提示用户进行输入操作以识别他/她手的运动，以便它能够在短时间内识别用户手的运动，并且能够根据识别出的手的运动来产生命令，然后根据该命令来前进或后退激活窗口画面上显示的静止图像。
根据上述结构，在具有摄像机MS3的数字便携电话未识别出CCD摄像机216拍摄的用户手的运动的情况下，它能够通过在箭头A和B所示的左右方向上依次交替地对目标107A至107E的框107AF至107EF内部的区域附加红色，来确切地向用户通知它正在搜索用户的手并且处于可识别等待状态。
此外，在上述结构中，主控制部250启动CYBERGESTURE程序180，并且具有摄像机MS3的数字便携电话显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线依次排列的5个方块目标107A至107E构成的目标部107。
从而，与第1实施例同样，具有摄像机MS3的数字便携电话使得用户能够容易地想像具有摄像机MS3的数字便携电话可识别用户手的左右运动，所以用户能够预先确切地识别可识别的运动方向。
此外，具有摄像机MS3的数字便携电话能够通过对目标107A至107E的框107AF至107EF附加红色而使作为背景的灰度显示上的目标107A至107E和光标108在视觉上更明显。
根据上述结构，具有摄像机MS3的数字便携电话能够根据CYBERGESTURE程序180显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线依次排列的5个方块目标107A至107E构成的目标部107，来确切地向用户预先通知具有摄像机MS3的数字便携电话可识别用户手的的左右运动。
此外，在上述结构中，主控制部250启动CYBERGESTURE程序180，并且具有摄像机MS3的数字便携电话显示显示手势识别画面100上的手势识别显示区域106的中心附近沿水平线依次排列的5个方块目标107A至107E构成的目标部107。
然后，与第1实施例同样，具有摄像机MS3的数字便携电话能够识别用户手的左右运动，并且通过根据手的运动依次移动显示目标107A至107E上的光标108，使用户能够查看手运动的轨迹和识别结果。
这样，具有摄像机MS3的数字便携电话能够通过反馈识别出的用户手的运动的识别结果使用户学习如何移动他/她的手，以便他/她的手能够容易地由具有摄像机MS3的数字便携电话识别，结果，能够缩短用户输入命令的时间。
根据上述结构，作为CCD摄像机216拍摄的手的运动的识别结果，具有摄像机MS3的数字便携电话通过使用目标107A至107E和光标108的动画，能够显示用户手的运动的轨迹和识别结果，能够通过反馈手的运动的轨迹和识别结果使用户进行学习。
(3)其他实施例
此外，尽管上述第1和第2实施例说明了下述情况：当笔记本PC 1和具有摄像机MS3的数字便携电话未识别出用户手沿左右方向运动时，它能够在通过在作为等待状态图像的搜索状态下的手势识别画面100上的箭头A和B所示的左右方向上依次交替地对目标107A至107E的框107AF至107EF内部的区域附加红色(图11)，来向用户通知它不识别手的运动，但是本发明不限于此，也可以在箭头A和B所示的左右方向上依次闪烁目标107A至107E，或者在液晶显示器10上直接显示“不能识别您手的运动”。
此外，尽管上述第1和第2实施例说明了下述情况：笔记本PC 1和具有摄像机MS3的数字便携电话在作为可识别运动方向图像画面的手势识别画面100上可视地向用户通知它们可识别用户手的左右运动，但是本发明不限于此，也可以通过包括沿垂直线排列的目标部107的手势识别画面可视地向用户通知可识别上下运动。
此外，尽管上述第1和第2实施例说明了下述情况：方块目标107A至107E被用作手势识别画面100上显示的预定形状的标记，但是本发明不限于此，也可以使用圆圈等各种其他形状的目标、或任意的动画图像。
此外，尽管上述第1和第2实施例说明了下述情况：用户的运动被识别为识别对象，但是本发明不限于此，也可以识别机器人或动物等用户之外的各种识别对象的运动。
此外，尽管上述第1和第2实施例说明了下述情况：作为运动方向识别部件和控制部件的CPU 50和250根据HDD 67的硬盘或ROM中预先存储的CYBERGESTURE程序180用手势识别画面100来向用户通知它们处于可识别等待状态，但是本发明不限于此，也可以通过将存储CYBERGESTURE程序180的程序存储媒体***到笔记本PC 1和具有摄像机MS3的数字便携电话中，来向用户通知它们处于可识别等待状态。
此外，尽管上述第1和第2实施例说明了下述情况：作为运动方向识别部件和控制部件的CPU 50和250根据HDD 67的硬盘或ROM中预先存储的CYBERGESTURE程序180通过显示手势识别画面100来向用户预先通知可识别的运动方向，但是本发明不限于此，也可以通过将存储CYBERGESTURE程序180的程序存储媒体***到笔记本PC 1和具有摄像机MS3的数字便携电话中，来显示上述手势识别画面100。
此外，尽管上述第1和第2实施例说明了下述情况：作为运动方向识别部件和控制部件的CPU 50和250根据HDD 67的硬盘或ROM中预先存储的CYBERGESTURE程序180，按照他/她手的运动，通过显示光标108被移动并重叠在目标107A至107E上的动画，来向用户通知用户手的运动的轨迹和识别结果，但是本发明不限于此，也可以通过将存储CYBERGESTURE程序180的程序存储媒体***到笔记本PC 1和具有摄像机MS3的数字便携电话中，来显示动画，以便向用户通知用户手的运动和识别结果。
作为用于在笔记本PC 1和具有摄像机MS3的数字便携电话中安装进行上述一系列处理的CYBERGESTURE程序180以便在笔记本PC 1和具有摄像机MS3的数字便携电话中执行它的程序存储媒体，不仅可以使用软盘、光盘只读存储器(compact disc-read only memory，CD-ROM)以及DVD(digitalversatile disc)，也可以使用临时或永久存储CYBERGESTURE程序180的半导体存储器或磁盘。此外，作为用于在这些程序存储媒体上存储CYBERGESTURE程序180的部件，可以使用局域网、因特网以及数字卫星广播等无线通信媒体，也可以经路由器或调制解调器等其他各种通信接口来存储。
此外，尽管上述第1和第2实施例说明了下述情况：本发明的信息处理装置被应用于笔记本PC 1和具有摄像机MS3的数字便携电话中，但是它们也可以被应用于个人数字助理MS1和MS2等其他各种信息处理装置中。
如上所述，本发明能够根据摄像部件拍摄识别对象所得的图像来识别识别对象的运动方向，然后产生与识别出的识别对象的运动方向对应的预定的命令，而当未识别出识别对象的运动方向时创建预定的等待状态图像，表示在图像中搜索识别对象的情况，并且将其显示在预定的显示部件上，以便确切地向用户通知可识别识别对象的运动方向并且该装置处于等待状态。
此外，如上所述，本发明能够在根据摄像部件拍摄识别对象所得的图像来识别识别对象的运动方向之前，产生预定的可识别运动方向图像，使得用户能够预先想像可识别的运动方向，并且将其显示在预定的显示部件上，以便能够用可识别运动方向图像画面来确切地向用户通知可识别的运动方向。
此外，如上所述，本发明能够根据摄像部件拍摄识别对象所得的图像来识别图像中的识别对象的运动方向，并且产生表示识别出的识别对象的运动方向的轨迹的识别过程图像，然后将其显示在预定的显示部件上，以便用户能够通过反馈来知道如何识别识别对象的运动。
尽管结合本发明的优选实施例进行了说明，但是本领域的技术人员应该理解，可以进行各种修改和变形，因此，所附权利要求书覆盖了所有这些落在本发明的真正精神和范围内的变形和修改。

Claims (10)

1、一种信息处理装置，用于根据输入的命令来进行预定的处理，包括：
运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向，并且产生与识别出的所述识别对象的运动方向对应的所述命令；
图像产生处理部件，用于当所述运动方向识别部件没有识别出所述识别对象的运动方向时，产生表示所述运动方向识别部件正在搜索所述图像中的所述识别对象的预定的等待状态图像；以及
显示处理部件，用于将该等待状态图像显示在预定的显示部件上。
2、如权利要求1所述的信息处理装置，其中，
所述显示处理部件顺序显示沿预定的方向依次排列的多个预定形状的标记作为所述等待状态图像，所述显示是沿该预定的方向和与该预定的方向相反的方向交替地进行的。
3、一种在信息处理装置中显示运动可识别等待状态的方法，该信息处理装置根据通过识别预定的识别对象的运动方向而输入的命令来进行预定的处理，该方法包括：
运动方向识别处理步骤，根据摄像部件拍摄所述识别对象所得的图像，来识别所述识别对象的运动方向，并且产生与识别出的所述识别对象的运动方向对应的所述命令；
图像产生处理步骤，当所述运动方向识别处理步骤没有识别出所述识别对象的运动方向时，产生表示正在搜索所述图像中的所述识别对象的预定的等待状态图像；以及
显示处理步骤，将所述图像产生处理步骤产生的所述等待状态图像显示在预定的显示部件上。
4、一种信息处理装置，包括：
运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；
图像产生处理部件，用于在所述运动方向识别部件识别所述识别对象的运动方向之前，预先产生预定的可识别运动方向图像画面，用于使得用户可看到所述运动方向识别部件可识别的所述运动方向；以及
显示处理部件，用于将图像产生处理部件产生的可识别运动方向图像画面显示在预定的显示部件上。
5、如权利要求4所述的信息处理装置，其中，
所述图像产生处理部件通过将沿预定的方向依次排列的多个预定形状的标记显示在所述显示部件上作为所述可识别运动方向图像画面，向所述用户通知所述运动方向识别部件可识别所述识别对象沿所述预定方向的运动方向。
6、如权利要求5所述的信息处理装置，其中，
所述图像产生处理部件对所述预定形状的标记附加与所述显示标记上的背景图像的颜色不同的颜色。
7、一种可识别运动通知方法，包括：
运动方向识别处理步骤，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；
图像产生处理步骤，在所述运动方向识别处理步骤识别所述识别对象的运动方向之前，预先产生预定的可识别运动方向图像画面，用于使得用户可看到所述运动方向识别处理步骤可识别的所述运动方向；以及
显示处理步骤，将所述图像产生处理步骤产生的所述可识别运动方向图像画面显示在预定的显示部件上。
8、一种信息处理装置，包括：
运动方向识别部件，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；
识别过程图像产生处理部件，用于产生表示所述运动方向识别部件可识别的所述识别对象的运动方向的轨迹的识别过程图像；
显示处理部件，用于将识别过程图像产生处理部件产生的识别过程图像显示在预定的显示部件上。
9、如权利要求8所述的信息处理装置，其中，
所述识别过程图像产生处理部件交替地显示沿所述识别对象的所述运动方向依次排列的多个预定形状的标记作为所述识别过程图像。
10、一种显示运动识别过程的方法，包括：
运动方向识别处理步骤，根据摄像部件拍摄识别对象所得的图像，来识别所述识别对象的运动方向；
识别过程图像产生处理步骤，产生表示所述运动方向识别处理步骤可识别的所述识别对象的运动方向的轨迹的识别过程图像；以及
显示处理步骤，将所述识别过程图像产生处理步骤产生的所述识别过程图像显示在预定的显示部件上。
CNB01116655XA 2000-04-21 2001-04-20 信息处理装置、显示方法、通知方法 Expired - Fee Related CN100487633C (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP126344/00 2000-04-21
JP126342/00 2000-04-21
JP2000126342A JP2001307108A (ja) 2000-04-21 2000-04-21 情報処理装置、動作認識待機状態表示方法及びプログラム格納媒体
JP2000126344A JP2001306049A (ja) 2000-04-21 2000-04-21 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
JP126343/00 2000-04-21
JP126343/2000 2000-04-21
JP2000126343A JP4415227B2 (ja) 2000-04-21 2000-04-21 情報処理装置、情報処理方法及び記録媒体
JP126344/2000 2000-04-21
JP126342/2000 2000-04-21

Publications (2)

Publication Number Publication Date
CN1320854A CN1320854A (zh) 2001-11-07
CN100487633C true CN100487633C (zh) 2009-05-13

Family

ID=27343207

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB01116655XA Expired - Fee Related CN100487633C (zh) 2000-04-21 2001-04-20 信息处理装置、显示方法、通知方法

Country Status (4)

Country Link
US (1) US7046232B2 (zh)
EP (1) EP1148411A3 (zh)
KR (1) KR100843811B1 (zh)
CN (1) CN100487633C (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901561B1 (en) * 1999-10-19 2005-05-31 International Business Machines Corporation Apparatus and method for using a target based computer vision system for user interaction
SE0103835L (sv) * 2001-11-02 2003-05-03 Neonode Ab Pekskärm realiserad av displayenhet med ljussändande och ljusmottagande enheter
US8095879B2 (en) * 2002-12-10 2012-01-10 Neonode Inc. User interface for mobile handheld computer unit
JP3948986B2 (ja) * 2002-03-14 2007-07-25 三洋電機株式会社 撮影画像表示装置及び撮影画像表示方法
US8225224B1 (en) * 2003-02-25 2012-07-17 Microsoft Corporation Computer desktop use via scaling of displayed objects with shifts to the periphery
JP2005006964A (ja) * 2003-06-19 2005-01-13 Canon Inc 画像撮影装置及び画像撮影方法
EP1671219A2 (en) * 2003-09-30 2006-06-21 Koninklijke Philips Electronics N.V. Gesture to define location, size, and/or content of content window on a display
JP4175234B2 (ja) * 2003-10-07 2008-11-05 セイコーエプソン株式会社 表示制御装置、携帯型情報端末及び表示制御方法
JP4048435B2 (ja) 2003-10-23 2008-02-20 ソニー株式会社 電子機器
US7646896B2 (en) * 2005-08-02 2010-01-12 A4Vision Apparatus and method for performing enrollment of user biometric information
WO2006031143A1 (en) * 2004-08-12 2006-03-23 A4 Vision S.A. Device for contactlessly controlling the surface profile of objects
EP1788348A4 (en) * 2004-08-12 2008-10-22 A4 Vision S A DEVICE FOR BIOMETRICALLY CONTROLLING THE SURFACE OF A FACE
JP5077977B2 (ja) * 2005-05-30 2012-11-21 ルネサスエレクトロニクス株式会社 液晶ディスプレイ駆動制御装置及び携帯端末システム
US20070047774A1 (en) * 2005-08-31 2007-03-01 Artiom Yukhin Method and apparatus for performing enrollment of 2D and 3D face biometrics
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8487750B2 (en) * 2006-08-07 2013-07-16 Koninklijke Philips Electronics N.V. Method and apparatus for monitoring user activity at a computer screen to stimulate motility
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100869950B1 (ko) * 2006-12-01 2008-11-24 삼성전자주식회사 휴대 단말기의 확장형 대기화면 배치 구조 및 표시 방법
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP5024632B2 (ja) * 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
FR2936546B1 (fr) * 2008-10-01 2017-03-10 Valeo Securite Habitacle Dispositif de deverrouillage automatique d'un ouvrant de vehicule automatique.
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
US8643628B1 (en) 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US8917239B2 (en) 2012-10-14 2014-12-23 Neonode Inc. Removable protective cover with embedded proximity sensors
EP2441254A4 (en) * 2009-04-16 2016-12-21 Hewlett Packard Development Co TRANSMISSION OF VISUAL REPRESENTATIONS IN VIRTUAL COLLABORATION SYSTEMS
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
TW201106200A (en) * 2009-08-12 2011-02-16 Inventec Appliances Corp Electronic device, operating method thereof, and computer program product thereof
US8988190B2 (en) * 2009-09-03 2015-03-24 Dell Products, Lp Gesture based electronic latch for laptop computers
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110158605A1 (en) * 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
WO2011075740A2 (en) * 2009-12-18 2011-06-23 Blipsnips, Inc. Method and system for associating an object to a moment in time in a digital video
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN102906671B (zh) * 2010-07-20 2016-03-02 松下电器（美国）知识产权公司 手势输入装置及手势输入方法
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US8620024B2 (en) 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
EP2697727A4 (en) * 2011-04-12 2014-10-01 Captimo Inc METHOD AND SYSTEM FOR RESEARCH BASED ON GESTURES
KR102086495B1 (ko) * 2011-05-27 2020-03-10 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
KR101953165B1 (ko) * 2012-02-24 2019-05-22 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
US9575652B2 (en) 2012-03-31 2017-02-21 Microsoft Technology Licensing, Llc Instantiable gesture objects
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
US12032817B2 (en) 2012-11-27 2024-07-09 Neonode Inc. Vehicle user interface
US9687730B2 (en) * 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
CN104460959B (zh) * 2013-09-18 2018-03-27 联想(北京)有限公司 信息处理方法及电子设备
CN108255300B (zh) * 2014-03-12 2023-03-21 联想(北京)有限公司 一种电子设备的控制方法和装置
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
US10146318B2 (en) 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
CN113165515B (zh) 2018-11-28 2021-11-02 内奥诺德公司 驾驶员用户界面传感器
CN115039060A (zh) 2019-12-31 2022-09-09 内奥诺德公司 非接触式触摸输入***
CN112861641B (zh) * 2021-01-15 2022-05-20 复旦大学 一种面向人机交互领域的动态手势识别硬件加速器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63291111A (ja) * 1987-05-25 1988-11-29 Fujitsu Ltd 操作ガイダンス出力制御方法
US5214414A (en) * 1991-04-12 1993-05-25 International Business Machines Corp. Cursor for lcd displays
US5682469A (en) * 1994-07-08 1997-10-28 Microsoft Corporation Software platform having a real world interface with animated characters
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
US6222538B1 (en) * 1998-02-27 2001-04-24 Flashpoint Technology, Inc. Directing image capture sequences in a digital imaging device using scripts
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement
US6388181B2 (en) * 1999-12-06 2002-05-14 Michael K. Moe Computer graphic animation, live video interactive method for playing keyboard music

Also Published As

Publication number Publication date
US20020006222A1 (en) 2002-01-17
KR100843811B1 (ko) 2008-07-04
US7046232B2 (en) 2006-05-16
EP1148411A3 (en) 2005-09-14
EP1148411A2 (en) 2001-10-24
CN1320854A (zh) 2001-11-07
KR20010098781A (ko) 2001-11-08

Similar Documents

Publication Publication Date Title
CN100487633C (zh) 信息处理装置、显示方法、通知方法
EP2249264B1 (en) Image processing apparatus, image processing method and storage medium
Siltanen et al. Implementing a natural user interface for camera phones using visual tags
CN102722517B (zh) 用于观看者选择的视频对象的增强信息
CN102037487A (zh) 媒体信号中的嵌入式标签
WO2019165905A1 (zh) 信息显示方法、图形用户接口及终端
JP2000082107A (ja) 画像処理装置、画像処理方法、および媒体
JP5592378B2 (ja) 物体検出およびユーザーセッティング
US7064742B2 (en) Input devices using infrared trackers
CN101782833B (zh) 一种智能操作***及方法
CN112232260A (zh) 字幕区域识别方法、装置、设备及存储介质
CN105393244A (zh) 信息处理装置和控制程序
CN111507122A (zh) 图形码识别方法、装置、存储介质及终端
CN111340848A (zh) 对目标区域的对象跟踪方法、***、设备及介质
CN108881979A (zh) 信息处理方法、装置、移动终端及存储介质
JP2002083302A (ja) 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP4352287B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム媒体
CN111260697A (zh) 目标对象的识别方法、***、设备及介质
CN110166815A (zh) 一种视频内容的显示方法、装置、设备及介质
JP2001306243A (ja) 情報処理装置、認識可能動作通知方法及びプログラム格納媒体
CN112887781A (zh) 字幕处理方法及装置
KR101625751B1 (ko) 바운더리 코드를 포함하는 ａｒ 마커 장치, 이를 이용한 ａｒ 제공 시스템 및 방법
CN112764601B (zh) 信息显示方法、装置及电子设备
TWI428842B (zh) 影像之應用操作方法及系統，及其電腦程式產品
JP2001306049A (ja) 情報処理装置、動作認識過程表示方法及びプログラム格納媒体

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090513

Termination date: 20200420