CN103677260A - 识别无接触用户接口动作的方法及其*** - Google Patents

识别无接触用户接口动作的方法及其*** Download PDF

Info

Publication number
CN103677260A
CN103677260A CN201310429100.1A CN201310429100A CN103677260A CN 103677260 A CN103677260 A CN 103677260A CN 201310429100 A CN201310429100 A CN 201310429100A CN 103677260 A CN103677260 A CN 103677260A
Authority
CN
China
Prior art keywords
definite
eye image
sensor
pattern
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310429100.1A
Other languages
English (en)
Other versions
CN103677260B (zh
Inventor
孔明晳
朴贤宇
申宅均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103677260A publication Critical patent/CN103677260A/zh
Application granted granted Critical
Publication of CN103677260B publication Critical patent/CN103677260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种识别无接触用户接口动作的方法及其***。所述方法包括：获得左眼图像和右眼图像；在获得的左眼图像和获得的右眼图像中确定对象的对象位置；确定对象的对象亮度；使用确定的对象亮度确定对象的深度信息；使用确定的对象位置和确定的深度信息确定对象的三维（3D）对象位置；基于确定的3D对象位置和先前的3D对象位置确定对象移动速度；基于确定的3D对象位置和确定的对象移动速度确定UI模式，并根据确定的UI模式执行操作。

Description

识别无接触用户接口动作的方法及其***
本申请要求于2012年9月18日在韩国知识产权局提交的第10-2012-0103508号韩国专利申请的优先权，该申请的整个公开通过引用包含于此。
技术领域
与示例性实施例一致的设备和方法涉及一种具有立体相机的电子装置，更具体地说，涉及一种具有立体相机的移动装置。
背景技术
随着移动装置的发展，对于移动装置中的用户接口识别及其处理方法的研究也在增加。
多数移动装置采用触摸屏用户接口。由于触摸屏用户接口可检测显示区域内的触摸的存在和位置，因此触摸屏用户接口使得用户能够直接与显示的内容进行交互。
但是由于触摸屏用户接口在二维区域中操作，因此在支持各种类型的用户接口方面，触摸屏用户接口存在限制。此外，由于用户需要触摸屏幕来操作移动装置，因此当用户处于不能容易地触摸屏幕的情况下，这样的触摸屏产生不便。
发明内容
示例性实施例解决以上缺点以及上面没有描述的其它缺点。此外，不要求示例性实施例解决上述缺点，并且示例性实施例可不解决上述任何问题。
根据示例性实施例的一方面，提供了一种控制无接触用户接口（UI）动作识别装置的方法，所述方法包括：获得左眼图像和右眼图像；在获得的左眼图像和获得的右眼图像中确定对象的对象位置；确定对象的对象亮度；使用确定的对象亮度确定对象的深度信息；使用确定的对象位置和确定的深度信息确定对象的三维（3D）对象位置；基于确定的3D对象位置和先前的3D对象位置确定对象移动速度；基于确定的3D对象位置和确定的对象移动速度确定UI模式，并根据确定的UI模式执行操作。
根据另一示例性实施例的一方面，一种控制无接触用户接口（UI）动作识别装置的方法，所述方法包括：获得左眼图像和右眼图像；在获得的左眼图像和获得的右眼图像中确定对象的对象位置；确定对象的对象亮度；使用确定的对象亮度确定对象的深度信息；使用确定的对象位置和确定的深度信息确定对象的三维（3D）对象位置；基于确定的3D对象位置确定UI模式，并根据确定的UI模式执行操作。
根据另一示例性实施例的一方面，提供了一种控制无接触用户接口（UI）动作识别装置，包括：位置和亮度计算器，在获得的左眼图像和获得的右眼图像中确定对象的对象位置，确定对象的对象亮度；深度转换器，使用确定的对象亮度确定对象的深度信息，使用确定的对象位置和确定的深度信息确定对象的三维（3D）对象位置；模式检测器，基于确定的3D对象位置确定UI模式，并根据确定的UI模式执行操作。
附图说明
从下面参照附图的描述中，以上和其它方面将变得清楚，其中，贯穿各个附图，除非另外指明，否则相同标号表示相同部件，在附图中：
图1是根据示例性实施例的无接触用户接口（UI）动作识别装置。
图2是示意地示出根据示例性实施例的无接触UI动作识别装置的框图。
图3A和图3B是示出根据示例性实施例的对象的位置和亮度的改变的示图。
图4是示出在图2中示出的无接触UI动作识别装置的操作的流程图。
图5是示出根据示例性实施例的无接触UI动作的示图。
图6是示出根据示例性实施例的在图2中示出的无接触UI动作识别装置的操作的框图。
图7是示出根据另一示例性实施例的无接触UI动作识别装置的示图。
图8是示出根据另一示例性实施例的无接触UI动作识别装置的框图。
图9是示出根据另一示例性实施例的无接触UI动作识别装置的操作的流程图。
图10是示出根据另一示例性实施例的无接触UI动作的示图。
图11是示出根据在图10中示出的无接触UI动作的无接触UI动作识别装置的操作的框图。
图12是示出根据另一示例性实施例的无接触UI动作识别装置的框图。
图13是示出在图12中示出的无接触UI动作识别装置的操作的框图。
图14是示出根据示例性实施例的无接触UI动作识别装置的***框图。
具体实施方式
将参照附图详细描述示例性实施例。然而，示例性实施例可以以各种不同形式被实现，而不应被解释为仅限于示出的示例性实施例。相反，提供这些示例性实施例作为示例，从而本公开将是彻底和完整的，并且将本公开的构思充分传达给本领域技术人员。因此，针对一些示例性实施例，不描述已知处理、元件和技术。除非另外指出，否则贯穿附图和描述，相同标号表示相同元件，因此，将不再重复描述。在附图中，为了清楚，可夸大层和区域的尺寸和相对尺寸。
将理解，虽然这里可使用术语“第一”、“第二”、“第三”等来描述各个元件、组件、区域、层和/或区间，但是这些元件、组件、区域、层和/或区间不应被这些术语限制。这些术语仅用于区分一个元件、组件、区域、层或区间与另外的元件、组件、区域、层或区间。因此，在不脱离本发明构思的教导的情况下，以下讨论的第一元件、第一组件、第一区域、第一层或第一区间可被称为第二元件、第二组件、第二区域、第二层或第二区间。
为了便于描述，这里可使用空间相对术语（诸如“在…之下”、“在…下方”、“下面的”、“在……以下”、“在……之上”、“上面的”等），来描述如在附图中示出的一个元件或特征与另外的元件或特征的关系。将理解，与空间相关的术语意图包含除了在附图中描绘的方位之外的使用或操作中的装置的不同方位。例如，如果附图中的装置翻转，则被描述为在其他元件或特征的“之下”或“下方”或“以下”的元件会随后被定位为在所述其他元件或特征“之上”。可装置朝向另外的方位（旋转90度或在其他方位），并且这里使用的空间相对描述符相应地解释。此外，还将理解，当层被表示为位于两层“之间”时，该层可以是两层之间的唯一层，或者还可以存在一个或多个中间层。
这里使用的术语仅为了描述特定示例性实施例的目的，而不是意图限制。如这里所使用的，除非上下文清楚的指出，否则单数形式意图还包括复数形式。将理解，当在此说明书中使用的术语“包括”和/或“包含”时，指示存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他的特征、整体、步骤、操作、元件、组件和/或其组合。如这里所使用的，术语“和/或”包括一个或多个相关列出的项目的任何或所有组合。此外，术语“实施例”意图表示示例或示意。
将理解，当元件或层被表示为在另一元件或层“之上”、“连接”到另一元件或层、“结合”到另一元件或层、或“邻近”另一元件或层时，其可以是直接在所述另一元件或层之上、直接连接到所述另一元件或层、直接结合到所述另一元件或层、或直接相邻所述另一元件或层，或者可以存在中间元件或层。相反，当元件被表示为“直接”在另一元件或层“之上”、“直接连接”到另一元件或层、“直接结合”到另一元件或层、或与另一元件或层“紧邻”时，不存在中间元件或层。
除非另外定义，否则这里使用的所有术语（包括技术和科学术语）具有与本领域普通技术人员所通常理解的含义相同的含义。还将理解，除非这里明确定义，否则诸如在常用字典中定义的那些术语应被解释为具有与它们在现有技术和/或本说明书中的上下文中的含义一致的含义，而不应被解释得理想化或过于正式。
图1是根据示例性实施例的无接触用户接口（UI）动作识别装置100A。无接触UI动作识别装置100A可以是移动装置、智能电话、个人数字助理（PDA）、数字相机、具有相机的移动装置、便携式多媒体播放器（PMP）、笔记本计算机、平板个人电脑。然而，应理解，无接触UI动作识别装置100A不应被解释为限于上述装置。参照图1，无接触UI动作识别装置100A包括立体相机110和屏幕120。立体相机110可捕捉三维图像。此外，在本示例性实施例中，立体相机110具有两个传感器，与左眼相应的左传感器和与右眼相应的右传感器。立体相机110可通过捕捉用户的手指的上下动作、左右动作和前后动作中的至少一个动作来识别用户的移动。虽然这里公开的示例性实施例参考具有与两眼相应的两个透镜的立体相机110，但是应理解，一个或多个其他示例性实施例不限于此，并可应用于单透镜立体相机，或应用于采用现有技术算法将二维图像转换为三维图像的装置。
图2是示意地示出根据示例性实施例的无接触UI动作识别装置100A的框图。此外，图3A示出当手指移动时由无接触UI动作识别装置100A中的两个传感器捕捉的图像。图3B是基于捕捉的两个图像计算的视差映射。
参照图2、图3A和图3B，无接触用户UI动作识别装置100A包括立体相机110、图像信号处理器（ISP）130、存储器135a/135b（例如，第一存储器135a和第二存储器135b）、视差映射计算器140、位置和亮度计算器145、深度转换器155、模式检测器150、移动速度计算器160、UI模式检测器170。立体相机110具有与左眼相应的左图像传感器111和与右眼相应的右图像传感器112。
两个图像传感器111/112捕捉二维或三维图像。两个图像传感器111/112使用例如基于从对象10反射的光的强度进行反应的光电转换装置来产生图像。左图像传感器111产生左图像（LI）、右图像传感器112产生右图像（RI）。两个图像传感器111/112（例如，第一图像传感器111和第二图像传感器112）可被实现为互补金属氧化物半导体（CMOS）图像传感器，但是不应被解释为限制于此。
ISP130接收LI和RI，处理LI和RI，并基于LI和RI产生处理后的左图像（PLI）和处理后的右图像（PRI）。例如，ISP130可执行插值、亮度和对比度的调整、量化、颜色转换、图像合成、图像配准等。此外，在被ISP130处理后，PLI和PRI被存储在处理器135a中，并且PLI和PRI被发送到视差映射计算器140。视差映射计算器140通过PLI和PRI之间的图像匹配（例如，块匹配）计算PLI和PRI之间的视差。基于计算的结果，视差映射计算器140将视差转换为亮度信息，并基于亮度信息创建视差映射（DM）。DM可被存储在存储器135b中。存储器135a和存储器135b可以是相同的存储器或不同的存储器，并可被实现为非易失性存储器。
计算的视差越大，相机110和对象10之间的距离越近，而计算的视差越小，相机110和对象10之间的距离越远。换言之，计算的视差增加，则对象10到相机110越近，而计算的视差减小，则对象10离相机110越远。因此，可通过匹配LI和RI计算视差，并且可基于计算的视差计算从相机110到对象10的距离。
参照图2，假设对象从位置10a移动到位置10b。如图3A中所示，当对象10位于位置10a时的左手指图像（PLIN）和右手指图像（PRIN）之间的视差大于当对象10远离相机110（即，位于位置10b）时的左手指图像（PLIN+1）和右手指图像（PRIN+1）之间的视差。因此，如图3B中所示，位置10（a）处的视差映射（DMN）比位置10（b）处的视差映射（DMN+1）亮。
位置和亮度计算器145可感测对象10（例如，手指）的端部，并可计算对象的端部的位置。对象10的端部可以是DM中的亮度部分。例如，对象10与相机110最接近的部分是DM中最亮的部分。因此，可基于DM计算X-Y对象位置（OP）和对象亮度（OB）。
深度转换器155可基于OB计算距离信息并产生三维对象位置（DOP）。换言之，深度转换器155可使用对象的OP和OB计算DOP。由于OB与相机110和对象10之间的距离相应，因此可由DOP指示OB。
模式检测器150可通过从存储器135a读取与OP的像素组相应的颜色信息（CI）来确定对象10的颜色是否是皮肤颜色。换言之，模式检测器150可确定对象10是否是特定的预定义对象（例如，手指），从而UI动作识别装置110A仅在对象10是特定的预定义对象时响应UI模式。模式检测器150可提供存储器地址（MA）来从存储器135a读取与MA相应的CI。
根据另一示例性实施例，模式检测器150可被省略或被设置为检测另一对象10。例如，根据另一示例性实施例，UI动作识别装置110A可在对象10是除了手指以外的对象（例如，铅笔、棒、触控笔等）时响应UI模式，并且模式检测器150可被省略或不同地设置。
移动速度计算器160可感测对象10的移动速度（OMV）。OMV可用于（例如参考预定的阈值速度）确定对象10的移动是否有意义。例如，在对象10从其原始位置快速前后移动的情况下，这可被解释为用户希望点击显示在屏幕上的与屏幕上的用户的手指的位置相应的图标。然而，如果对象的移动速度低，则这可被解释为用户不想点击显示在屏幕上的与屏幕上的用户的手指的位置相应的图标。因此，当OMV大于或等于预定的阈值速度时，对象10的移动可被解释为有意义的动作。
UI模式检测器170可基于DOP和OMV识别UI模式。UI模式检测器170可被实现为诸如中央处理单元（CPU）的处理器。在此情况下，处理器可通过执行（例如存储在计算机可读记录介质上的）UI模式识别算法或UI模式设备程序来确定UI模式，并且处理器可执行与UI模式相应的操作。例如，如果UI模式被解释为点击在屏幕上显示的由手指指示的图标时，将执行与该图标相应的操作。
如上所述，一个或多个示例性实施例使用来自立体相机的三维图像识别对象（例如手指）的位置及其移动的信息，并识别UI模式。因此，一个或多个示例性实施例减少了现有技术的二维触摸屏方法的不便和限制。
图4是示出在图2中示出的无接触UI动作识别装置的操作的流程图。
图5是示出根据示例性实施例的无接触UI动作的示图。图6是用于示出根据参照图5描述的无接触UI动作的在图2中示出的无接触UI动作识别装置100A的操作的框图。
参照图2至图6，左图像传感器111产生LI，右图像传感器112产生RI（操作S110）。ISP130处理LI和RI，并产生PLI和PRI（操作S135a）。PLI和PRI可被存储在存储器135a中。
视差映射计算器140从存储器135a（或者在另一示例性实施例中直接从ISP130）接收PLI和PRI，并计算PLI和PRI之间的DM（操作S140）。在该处理中，DM可提供从PLI和PRI之间的视差转换的亮度信息。
如图5中所示，假设第一动作①是对象从其原始位置向相机110移动的动作，第二动作②是对象返回其原始位置的动作。
视差映射计算器140可计算第N帧的DMN，第N+1帧的DMN+1，第N+2帧的DMN+2，并将计算的DM存储在存储器135a中。根据图5和图6中示出的示例性实施例，DMN是在对象在移动之前位于其原始位置时的DM，DMN+1是在对象由于第一动作①而接近相机110时的DM，DMN+2是在对象由于第二动作②而返回其原始位置时的DM。
位置和亮度计算器145可感测对象（例如手指）的端部，计算OP（操作S145），并计算与OP相应的OB。例如，位置和亮度计算器145可计算与第N帧中的手指位置相应的OPN(XN,YN)和值OBN=50，并将计算的OP和计算的OB保存在存储器135a中；计算与第N+1帧中的手指位置相应的OPN+1(XN+1,YN+1)和值OBN+1=100，并将计算的OP和计算的OB保存在存储器135a中；计算与第N+2帧中的手指位置相应的OPN+2(XN+2,YN+2)和值OBN+2=50，并将计算的OP和计算的OB保存在存储器135a中。
深度转换器155基于OB计算手指的距离信息（即，深度信息），并计算DOP。例如，深度转换器155可将与第N帧中的手指位置相应的值OBN=50转换为距离信息ZN，将与第N+1帧中的手指位置相应的值OBN+1=100转换为距离信息ZN+1，将与第N+2帧中的手指位置相应的值OBN+2=50转换为距离信息ZN+2。通过上述处理，可计算与每个帧（第N帧、第N+1帧、第N+2帧）的位置相应的三维坐标（DOPN、DOPN+1和DOPN+2）（操作S155）。
模式检测器150可通过来自存储器135a的与OP的像素组相应的CI确定对象的颜色是否是皮肤颜色（操作S150）。例如，模式检测器150从存储器135a读取与第N帧中的手指的位置相应的CI，根据读取的CI确定颜色是否是肤色，并可在颜色是肤色的情况下产生肤色匹配信号MSN。类似地，模式检测器150可在第N+1帧中的颜色是肤色的情况下产生肤色匹配信号MSN+1，并可在第N+2帧中的颜色是肤色的情况下产生肤色匹配信号MSN+2。如果第N帧、第N+1帧和第N+2帧中的手指的颜色是肤色，则匹配信号MSN、MSN+1、MSN+2被设置为指示颜色是肤色的信号值，并且MSN、MSN+1、MSN+2的值被发送到UI模式检测器170。
移动速度计算器160基于三维坐标（DOPN、DOPN+1和DOPN+2）计算OMV（操作S160）。例如，移动速度计算器160根据下面的示例性等式（1）计算第N帧和第N+1帧之间的速度OMVN，以及第N+1帧和第N+2帧之间的速度OMVN+1。
[等式1]
OMVN=(XN+1–XN,YN+1–YN,ZN+1–ZN)=(ΔXN,ΔYN,ΔZN)
OMVN+1=(XN+2–XN+1,YN+2–YN+1,ZN+2–ZN+1)=(ΔXN+1,ΔYN+1,ΔZN+1)
UI模式检测器170可基于肤色匹配信号（MSN、MSN+1、MSN+2）、对象的三维坐标（DOPN、DOPN+1和DOPN+2）以及帧之间的速度信息(OMVN和OMVN+1)（操作S170）。在匹配信号（MSN、MSN+1和MSN+2）的任何值都不对应于肤色颜色的情况下，UI模式检测器170可确定用户的UI模式不对应于手指。如果所有的匹配信号（MSN、MSN+1、MSN+2）都指示肤色颜色，则这可被解释为用户的UI模式是预定UI模式之一。
一旦UI模式被确定，就执行与确定的UI模式相应的操作（操作S180）。例如，在确定的UI模式对应于点击在屏幕上显示的图标的情况下，执行点击操作。
虽然上述示例性实施例基于三个帧（第N帧、第N+1帧和第N+2帧）确定UI模式，但是应理解一个或多个其他示例性实施例不限于此，UI模式可基于任意数量的帧。此外，虽然上述示例性实施例在所有肤色匹配信号（MSN、MSN+1、MSN+2）指示肤色颜色时确定对象对应于手指，但是应理解一个或或多个其他示例性实施例不限于此，任何预定阈值百分比或数量的指示肤色颜色的肤色匹配信号可用于确定。
图7是根据另一示例性实施例的无接触UI动作识别装置100B的示图。参照图7，由于无接触UI动作识别装置100B的操作与在图1中示出的无接触UI动作识别装置100A的操作相同或类似，因此这里将关注它们之间的区别，以避免繁冗。
与图1中示出的无接触UI动作识别装置100A相比，无接触UI动作识别装置100B还可包括温度传感器。温度传感器180测量周围温度。由温度传感器180测量的温度及其相关信息可以是用于确定用户的UI模式的因子。
图8是示出根据另一示例性实施例的无接触UI动作识别装置100B的框图。参照图8，无接触UI动作识别装置100B还可包括温度传感器180、温度到深度转换器185、温度对象检测器195、温度改变速度计算器190。
温度传感器180测量周围温度T。温度到深度转换器185将测量的周围温度T转换为深度信息（DI）。例如，在对象是手指的情况下，当手指远离温度传感器180时测量的温度相比于当手指接近温度传感器180时测量的温度较低。因此，温度到深度转换器185可将温度转换为深度信息。
温度对象检测器190可计算每小时的深度信息的变化并基于深度信息计算基于温度的速度TV。
温度对象检测器195可基于周围温度确定是否存在对象（例如，手指）。例如，温度对象检测器195确定周围温度是否在预定范围内，如果是的话，则温度对象检测器195检测对象并相应地产生温度对象检测信号（TOD）。
在另一示例性实施例中可省略温度对象检测器195。例如，在无接触UI动作识别装置被设计为响应于除手指以外的对象（诸如铅笔或触控笔）的情况下，可省略温度对象检测器195。根据另一示例性实施例，可省略图8中示出的一些元件，或者可包括图8中示出的一些元件。
UI模式检测器170'基于三维坐标（DOP）和速度（OMV）、一个或多个匹配信号（MS）、深度信息（DI）来确定UI模式，基于通过来自立体相机110的图像产生的对象的温度对象检测信号（TOD）、周围温度以及基于温度的速度（TV）计算所述深度信息（DI）。
无接触UI动作识别装置100B执行与由UI模式检测器170'确定的确定后的UI模式相应的操作。例如，如果UI模式指示点击在屏幕120上显示的由手指指示的图标的操作，则将执行与该图标相应的操作。
如上所述，一个或多个示例性实施例通过基于来自立体相机110的图像分析对象（例如，手指）的位置、速度信息和温度来准确地识别UI模式。
图9是示出根据另一示例性实施例的无接触UI动作识别装置100B的操作的流程图。可由图8中示出的无接触UI动作识别装置100B来执行图9中的操作。
图10是示出根据示例性实施例的无接触UI动作的示图。图11是示出根据图10中的无接触UI动作的无接触UI动作识别装置100B的操作的框图。
根据无接触UI动作识别装置100B的另一示例性实施例，图4中示出的无接触UI动作识别操作还可包括测量周围温度T以及基于测量的温度T计算DI和OMV的操作（图9中的操作S180至S190）。
此外，根据无接触UI动作识别装置100B的另一示例性实施例，无接触UI动作识别处理还可包括基于周围温度T检查是否存在对象的操作。
如图10中所示，假设第一动作①是对象10从原始位置接近相机110和温度传感器180的动作。此外，第二动作②是对象返回其原始位置的动作。在此情况下，如图11中所示，视差映射计算器140可计算第N帧的DMN，第N+1帧的DMN+1，第N+2帧的DMN+2，并将计算的DM存储在存储器中。假设DMN是在对象在移动之前位于其原始位置时的DM，DMN+1是在对象通过第一动作①而靠近相机110时的DM，DMN+2是在对象通过第二动作②而返回其原始位置时的DM。位置和亮度计算器145感测对象（例如手指）的端部并计算OP（操作S145）以及与OP相应的OB。例如，位置和亮度计算器145可计算第N帧中的OPN(XN,YN)以及与OPN(XN,YN)相应的值OBN=50，并将计算的OP和计算的OB保存在存储器135a中；计算第N+1帧中的OPN+1(XN+1,YN+1)以及与OPN+1(XN+1,YN+1)相应的值OBN+1=100，并将计算的OP和计算的OB保存在存储器135a中；计算第N+2帧中的OPN+2(XN+2,YN+2)以及与OPN+2(XN+2,YN+2)相应的值OBN+2=50，并将计算的OP和计算的OB保存在存储器135a中。
另一方面，假设TN是当对象在其原始位置时的温度，是在对象由于第一动作①而接近相机110时的温度，是在对象由于第二动作②而远离相机110时的温度。假设在本示例中，测量的温度TN、TNN+1和TNN+2分别是摄氏10度、20度和30度。
深度转换器155可从OB计算对象的DI，随后基于DI计算对象的DOP。例如，深度转换器155可将每帧中的对象亮度(OBN、OBN+1、OBN+2)转换为每帧中的距离信息(ZN、ZN+1、ZN+2)。基于计算的距离(ZN、ZN+1、ZN+2)，可计算每帧中的三维对象位置（DOPN、DOPN+1、DOPN+2）（操作S155）。
温度到深度转换器185可将每帧中的测量的温度(TN、TN+1、TN+2)转换为每帧中的深度信息(DIN、DIN+1、DIN+2)（操作S185）。
模式检测器150可基于每帧中的对象的颜色信息(CIN、CIN+1、CIN+2)产生每帧中的肤色匹配信号（MSN、MSN+1、MSN+2）（操作S150）。温度对象检测器195基于每帧中的测量的温度(TN、TN+1、TN+2)产生每帧中的温度对象检测信号(TODN、TODN+1、TODN+2)。
移动速度计算器160可基于每帧中的三维对象位置（DOPN、DOPN+1、DOPN+2）计算对象移动速度OMV（操作S160）。例如，移动速度计算器160可通过示例性等式1计算对象移动速度(OMVN、OMVN+1)。
温度改变速度计算器190可通过计算每帧中的深度信息(DIN、DIN+1、DIN+2)的变化来计算基于温度的速度（TV）（操作S190）。例如，温度改变速度计算器190计算深度信息DIN+1和DIN之间的差(DIN+1-DIN)，并相应地计算基于温度的速度(TVN=ΔZ'N)。此外，温度改变速度计算器190计算DIN+2和DIN+1之间的差(DIN+2-DIN+1),，并相应地计算基于温度的速度(TVN+1=ΔZ'N+1)（操作S190）。
在另一示例性实施例中，温度改变速度计算器190可计算TN+1和TN之间的温度差(TN+1-TN)，以及TN+2和TN+1之间的温度差(TN+2-TN+1)。
UI模式检测器170'可基于每帧中的肤色匹配信号（MSN、MSN+1、MSN+2）、对象移动速度(OMVN、OMVN+1)，温度对象检测信号(TODN、TODN+1、TODN+2)以及基于温度的速度(TVN、TVN+1)确定用户的UI模式（操作S170'）。
一旦确定了UI模式，就执行与UI模式相应的操作（操作S200）。例如，如果UI模式对应于点击在屏幕上显示的由手指指示的图标的操作，则执行与该图标相应的操作。
虽然上述示例性实施例基于三个帧（第N帧、第N+1帧和第N+2帧）确定UI模式，但是应理解，一个或多个其他示例性实施例不限于此，并且UI模式可以基于任意数量的帧。此外，虽然上述示例性实施例在所有肤色匹配信号（MSN、MSN+1、MSN+2）指示肤色颜色时确定对象对应于手指，但是应理解一个或多个其他示例性实施例不限于此，任何预定阈值比例或数量的指示肤色颜色的肤色匹配信号可用于确定。
图12是示出根据另一示例性实施例的无接触UI动作识别装置110C的框图。参照图12，无接触UI动作识别装置110C具有与图1中示出的无接触UI动作识别装置110A相同或相似的结果。因此，这里将关注图12中示出的无接触UI动作识别装置110C和图1中示出的无接触UI动作识别装置110A之间的区别，以避免繁冗。图12中示出的无接触UI动作识别装置110C还包括辅助识别单元200。辅助识别单元200可以是诸如热感相机或红外相机的辅助相机。如果辅助识别单元200是红外相机，则辅助识别单元200可使用红外光确定对象是否存在，并识别对象10的形状。辅助识别单元200可将其感测结果（SR）提供给UI模式检测器170"。
辅助识别单元200还可包括陀螺仪传感器、加速传感器、地磁场传感器、气压计、手势传感器、接近度传感器、亮度传感器、红绿蓝（RGB）传感器、热感/湿度传感器或握力传感器。
陀螺仪传感器可测量对象10的旋转角度速度并将测量的结果提供给UI模式检测器170"。加速传感器可测量对象的速度和动量。地磁场传感器可检测地磁场。气压计可测量海拔高度。手势传感器、接近度传感器、亮度传感器和RGB传感器可识别对象10的动作、接近、光源等。热感/湿度传感器可识别用户是否握住无接触UI动作识别装置110C或包括无接触UI动作识别装置110C的***。
辅助识别单元200可包括处理上述传感器以外的传感器，将感测结果（SR）提供给UI模式检测器170"。此外，辅助识别单元200还可包括多于一个的上述相机和传感器，并可视情况需要选择性地使用多个相机和传感器中的任何。
图13是示出根据示例性实施例的图12中示出的无接触UI动作识别装置100C的操作的框图。图13中示出的无接触UI动作识别装置110C的操作与图11中示出的无接触UI动作识别装置110C的操作相似，这里将关注它们之间的区别，以避免繁冗。
参照图13，可使用或不使用温度传感器180来实现以上示出的传感器210，诸如地磁场传感器、握力传感器等。可使用多于一个的传感器，并还可使用热感相机或红外相机来执行图13中的感测操作。
传感器210感测当对象10位于其原始位置时（参照图10的10b）的感测值SN、当对象10通过第一动作①靠近时（参照图10的10a）时的观测值SN+1、以及当对象10通过第二动作②返回其原始位置（参照图10的10b）时的感测值SN+2。假设各个感测值SN、SN+1和SN+2分别是S1、S2和S3。
感测值到深度传感器220可将感测值（SN、SN+1和SN+2）转换为深度信息（SDN、SDN+1和SDN+2）。
感测值变化计算器230可基于通过感测值到深度转换器220计算的深度信息（SDN、SDN+1和SDN+2）计算感测变化（SVN+1和SVN+2）。例如，感测值变化计算器230通过从SDN+1减去SDN来计算深度信息SDN+1和SDN之间的感测变化(SVN=ΔZ''N)，通过从SDN+2减去SDN+1来计算深度信息SDN+2和SDN+1之间的感测变化(SVN+1=ΔZ''N+1)。
根据示例性实施例的一方面，感测值变化计算器230可基于感测值（SN、SN+1和SN+2）计算感测变化（SVN+1和SVN+2）。例如，感测值变化计算器230通过从SN+1减去SN来计算感测值SN+1和SN之间的感测变化SVN，通过从SN+2减去SN+1来计算深度信息SN+2和SN+1之间的感测变化SVN+1。
另一方面，对象检测器240可基于感测值（SN、SN+1和SN+2）产生对象检测信号(ODSN、ODSN+1和ODSN+2)。即，对象检测器240可基于感测值S识别是否存在对象（例如，手指）。根据一个或多个示例性实施例，可省略对象检测器240。
UI模式检测器170"可基于匹配信号（MSN、MSN+1、MSN+2）、速度信息（OMVN和OMVN+1）、对象检测信号（ODSN、ODSN+1和ODSN+2）和感测变化（SVN+1和SVN+2）确定用户的UI模式。
传感器210、感测值到深度转换器220、感测值变化计算器230、对象检测器240可以是图12中的辅助识别单元200的组件。
虽然上述示例性实施例基于三个帧（第N帧、第N+1帧和第N+2帧）确定UI模式，但是应理解，一个或多个其他示例性实施例不限于此，UI模式可以基于任何数量的帧。
图14是示出根据示例性实施例的无接触UI动作识别装置的***框图。***400可以是个人计算机或者数据服务器。***400还可以是便携式装置，诸如移动电话、智能电话、平板个人计算机、个人数字助理、企业数字助理、数字静止相机、数字视频相机、便携式多媒体播放器、个人导航装置、便携式导航装置、手持游戏中心、电子书等。
***400可包括处理器405、电源410、存贮器420、存储器430、输入/输出端口440、扩展卡450、网络装置460、显示器470、相机模块480。根据示例性实施例，***400还可包括图像信号处理器130和温度传感器180中的至少一个。
处理器405可控制上述元件410至480中的至少一个。根据示例性实施例，处理器405可实现视差映射计算器140、位置和亮度计算器145、深度转换器155、模式检测器150、移动速度计算器160、UI模式检测器170。根据示例性实施例，处理器405还可实现温度到深度转换器185、温度对象检测器195、温度改变速度计算器190。
电源410可将向上述元件410至480中的至少一个供电。存贮器420可以时非易失性存储装置，诸如硬盘驱动、固态驱动等。存储器430可以是非易失性存储器或易失性存储器，并还可以是在图2或图8中示出的存储器135a/135b。根据示例性实施例，存储器控制器可包括在处理器405中，并且存储器控制器可控制对数据的数据访问操作（诸如读/写/擦）。存储器控制器可位于处理器405和存储器430之间。
I/O端口440是可接收用于***400的数据或者可从***400将数据发送到外部装置的端口。例如，I/O端口440可以是用于将计算机鼠标、打印机、USB驱动等连接到***400的端口。
扩展卡450可以是安全数字卡或多媒体卡。例如，扩展卡450可以是用户识别模块（SIM）、通用用户识别模块（USIM）等。
网络装置460可将***400连接到无线或有线网络。显示器470可显示从存贮器420、存储器430、I/O端口440、扩展卡450或网络装置460提供的数据。相机模块480可将光学图像转换为电图像。因此，由相机模块480转换的图像可以被存储在存贮器420、存储器430或扩展卡中。此外，相机模块480可以是立体相机110。
可通过计算机可读介质中的计算机可读代码实现一个或多个示例性实施例。计算机可读介质包括可由诸如ROM、RAM、CD-ROM、磁带、软盘或光学数据存贮器的计算机***读取的所有介质。
上面示出示例性实施例，而不被解释为限制示例性实施例。虽然已经描述了一些示例性实施例，但是本领域技术人员将容易地明白，在不实质上脱离本发明构思的新颖教导和优点的情况下，示例性实施例中的多种修改是可能的。因此，所有这样的修改被意图包括在由权利要求限定的本发明构思的范围内。因此，应理解，上面示出各种示例性实施例，而不被解释为限于公开的特定示例性实施例，并且对公开的示例性实施例的修改以及其它示例性实施例被意图包括在权利要求的范围中。

Claims (20)

1.一种控制无接触用户接口UI动作识别装置的方法，所述方法包括：
获得左眼图像和右眼图像；
在获得的左眼图像和获得的右眼图像中确定对象的对象位置；
确定对象的对象亮度；
使用确定的对象亮度确定对象的深度信息；
使用确定的对象位置和确定的深度信息确定对象的三维3D对象位置；
基于确定的3D对象位置和先前的3D对象位置确定对象移动速度；
基于确定的3D对象位置和确定的对象移动速度确定UI模式，并根据确定的UI模式执行操作。
2.根据权利要求1所述的方法，还包括：
计算获得的左眼图像和获得的右眼图像之间的视差；
将计算的视差转换为亮度信息；
基于亮度信息创建视差映射，
其中，确定对象亮度的步骤包括基于创建的视差映射确定对象亮度。
3.根据权利要求2所述的方法，其中，基于创建的视差映射确定对象亮度的步骤包括：确定与视差映射的最亮部分相应的对象亮度。
4.根据权利要求2所述的方法，其中，确定对象位置的步骤包括：确定与视差映射的最亮部分的位置相应的对象位置。
5.根据权利要求1所述的方法，其中，确定UI模式的步骤包括：确定确定的对象移动速度是否大于预定阈值，响应于确定确定的对象移动速度大于预定阈值而执行操作。
6.根据权利要求1所述的方法，其中，根据OMV=(XN+1–XN,YN+1–YN,ZN+1–ZN)确定对象移动速度，
其中，OMV是对象移动速度，XN+1是确定的3D对象位置的第一维坐标，YN+1是确定的3D对象位置的第二维坐标，ZN+1是确定的3D对象位置的第三维坐标，XN是先前的3D对象位置的第一维坐标，YN是先前的3D对象位置的第二维坐标，ZN是先前的3D对象位置的第三维坐标。
7.根据权利要求1所述的方法，还包括：
确定对象是否是预定义的对象，
其中，基于确定的3D对象位置、确定的对象移动速度以及所述对象是否被确定为预定义的对象来确定UI模式。
8.根据权利要求7所述的方法，其中，确定对象是否是预定义的对象的步骤包括：根据与确定的对象位置的像素组相应的颜色信息确定对象的颜色是否是预定义的颜色。
9.根据权利要求1所述的方法，其中，使用无接触UI动作识别装置的立体相机获得左眼图像和右眼图像。
10.根据权利要求1所述的方法，其中，确定对象位置的步骤包括：感测对象的端并确定感测的对象的端的对象位置。
11.根据权利要求10所述的方法，其中，获得的左眼图像和获得的右眼图像的最亮部分被感测为对象的端部。
12.根据权利要求1所述的方法，还包括：
测量周围的温度；
基于测量的温度检测对象，并根据所述检测获得温度对象检测信号，
其中，基于确定的3D对象位置、确定的对象移动速度和获得的温度对象检测信号确定UI模式。
13.根据权利要求12所述的方法，还包括：
将测量的温度转换为基于温度的深度信息，
其中，基于确定的3D对象位置、确定的对象移动速度、获得的温度对象检测信号和基于温度的深度信息确定UI模式。
14.根据权利要求1所述的方法，还包括：
使用传感器感测对象的感测值；
基于感测的感测值检测对象，并根据所述检测获得传感器对象检测信号，
其中，基于确定的3D对象位置、确定的对象移动速度、获得的传感器对象检测信号确定UI模式。
15.根据权利要求14所述的方法，还包括：
确定感测值随时间的变化，
其中，基于确定的3D对象位置、确定的对象移动速度、获得的传感器对象检测信号和确定的感测值的变化来确定UI模式。
16.根据权利要求14所述的方法，其中，传感器包括红外相机、热感传感器、陀螺仪传感器、加速传感器、地磁场传感器、气压计、手势传感器、接近度传感器、亮度传感器、红绿蓝RGB传感器、热感/湿度传感器和握力传感器中的至少一个。
17.一种控制无接触用户接口UI动作识别装置的方法，所述方法包括：
获得左眼图像和右眼图像；
在获得的左眼图像和获得的右眼图像中确定对象的对象位置；
确定对象的对象亮度；
使用确定的对象亮度确定对象的深度信息；
使用确定的对象位置和确定的深度信息确定对象的三维3D对象位置；
基于确定的3D对象位置确定UI模式，并根据确定的UI模式执行操作。
18.根据权利要求17所述的方法，还包括：
计算获得的左眼图像和获得的右眼图像之间的视差；
将计算的视差转换为亮度信息；
基于亮度信息创建视差映射，
其中，确定对象亮度的步骤包括基于创建的视差映射确定对象亮度。
19.根据权利要求18所述的方法，其中，基于创建的视差映射确定对象亮度的步骤包括：确定与视差映射的最大部分相应的对象亮度。
20.根据权利要求18所述的方法，其中，确定对象位置的步骤包括：确定与视差映射的最亮部分的位置相应的对象位置。
CN201310429100.1A 2012-09-18 2013-09-18 识别无接触用户接口动作的方法及其*** Active CN103677260B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120103508A KR101985674B1 (ko) 2012-09-18 2012-09-18 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
KR10-2012-0103508 2012-09-18

Publications (2)

Publication Number Publication Date
CN103677260A true CN103677260A (zh) 2014-03-26
CN103677260B CN103677260B (zh) 2018-05-04

Family

ID=50181889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310429100.1A Active CN103677260B (zh) 2012-09-18 2013-09-18 识别无接触用户接口动作的方法及其***

Country Status (4)

Country Link
US (1) US9207779B2 (zh)
KR (1) KR101985674B1 (zh)
CN (1) CN103677260B (zh)
DE (1) DE102013110208A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375637A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 触控***、触控装置、移动设备以及触控处理方法
CN104375640A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触摸设备
CN104375636A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种便携式终端
CN104375639A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种空中感应设备
CN104375717A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 便携式装置、触控***及触摸设备
CN105867685A (zh) * 2016-03-28 2016-08-17 乐视控股（北京）有限公司 终端设备的控制方法和装置
CN106681572A (zh) * 2015-11-05 2017-05-17 阿里巴巴集团控股有限公司 一种智能终端的触摸屏控制方法和装置
CN107193379A (zh) * 2017-05-23 2017-09-22 努比亚技术有限公司 应用程序启动方法、终端及计算机可读存储介质
CN111579119A (zh) * 2020-04-22 2020-08-25 深圳市优必选科技股份有限公司 一种测温方法、装置、计算机可读存储介质及机器人

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290287B1 (ko) * 2014-10-24 2021-08-17 삼성전자주식회사 이미지 신호와 근접 신호를 동시에 생성하는 이미지 센서
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
CN112771534A (zh) * 2018-06-29 2021-05-07 物流及供应链多元技术研发中心有限公司 电子设备及对象计数方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014171A1 (en) * 1996-07-01 2001-08-16 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
US20120019524A1 (en) * 2010-07-22 2012-01-26 Seiko Epson Corporation Image display device, image supply device, and image processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446236B1 (ko) 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4574323B2 (ja) * 2004-10-26 2010-11-04 キヤノン株式会社 画像処理方法、画像処理装置
KR20070062881A (ko) 2005-12-13 2007-06-18 주식회사 팬택 비접촉 인터페이스 장치를 구비한 이동통신 단말기 및비접촉 인터페이스 사용 방법
KR20090079019A (ko) 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
JP2009258884A (ja) 2008-04-15 2009-11-05 Toyota Central R&D Labs Inc ユーザインタフェイス
KR100938194B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 객체 검출 방법 및 객체 검출 장치
KR20100095951A (ko) * 2009-02-23 2010-09-01 주식회사 팬택 휴대 전자기기 및 그것의 제어방법
JP5416489B2 (ja) 2009-06-17 2014-02-12 日本電信電話株式会社 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
KR101082829B1 (ko) 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays
JP4783456B2 (ja) 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
JP5726201B2 (ja) * 2010-10-19 2015-05-27 三菱電機株式会社 ３次元立体視表示装置、３次元立体視表示制御装置、およびｌｓｉ回路
US8403390B2 (en) 2011-03-10 2013-03-26 Shiloh Industries, Inc. Vehicle panel assembly and method of attaching the same
JPWO2012153447A1 (ja) * 2011-05-11 2014-07-28 パナソニック株式会社 画像処理装置、映像処理方法、プログラム、集積回路
TWI504232B (zh) * 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
KR20140139847A (ko) * 2013-05-28 2014-12-08 삼성디스플레이 주식회사 입체영상 표시장치, 영상처리장치 및 영상처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014171A1 (en) * 1996-07-01 2001-08-16 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
US20120019524A1 (en) * 2010-07-22 2012-01-26 Seiko Epson Corporation Image display device, image supply device, and image processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375637A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 触控***、触控装置、移动设备以及触控处理方法
CN104375640A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触摸设备
CN104375636A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种便携式终端
CN104375639A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种空中感应设备
CN104375717A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 便携式装置、触控***及触摸设备
CN104375637B (zh) * 2014-07-17 2017-07-04 深圳市魔眼科技有限公司 触控***、触控装置、移动设备以及触控处理方法
CN106681572A (zh) * 2015-11-05 2017-05-17 阿里巴巴集团控股有限公司 一种智能终端的触摸屏控制方法和装置
CN105867685A (zh) * 2016-03-28 2016-08-17 乐视控股（北京）有限公司 终端设备的控制方法和装置
CN107193379A (zh) * 2017-05-23 2017-09-22 努比亚技术有限公司 应用程序启动方法、终端及计算机可读存储介质
CN107193379B (zh) * 2017-05-23 2021-01-26 努比亚技术有限公司 应用程序启动方法、终端及计算机可读存储介质
CN111579119A (zh) * 2020-04-22 2020-08-25 深圳市优必选科技股份有限公司 一种测温方法、装置、计算机可读存储介质及机器人

Also Published As

Publication number Publication date
US9207779B2 (en) 2015-12-08
KR20140036859A (ko) 2014-03-26
DE102013110208A1 (de) 2014-03-20
KR101985674B1 (ko) 2019-06-04
US20140078048A1 (en) 2014-03-20
CN103677260B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN103677260A (zh) 识别无接触用户接口动作的方法及其***
US20210096651A1 (en) Vehicle systems and methods for interaction detection
US10021371B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US11514650B2 (en) Electronic apparatus and method for controlling thereof
US9303982B1 (en) Determining object depth information using image data
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
WO2014137947A1 (en) Modifying functionality based on distances between devices
EP3366101B1 (en) Portable electronic apparatus and method for controlling thereof
CN112424832A (zh) 用于检测对象的3d关联的***与方法
US9377866B1 (en) Depth-based position mapping
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN105809664A (zh) 生成三维图像的方法和装置
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
Herbert et al. Mobile device and intelligent display interaction via scale-invariant image feature matching
US11886637B2 (en) Transparent smartphone
CN111147733B (zh) 信息处理设备、信息处理方法和存储介质
US20150042621A1 (en) Method and apparatus for controlling 3d object
CN112789621A (zh) 检测垂直平面表面的方法和设备
KR102689863B1 (ko) 전자 장치 및 그의 제어 방법
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
CN114449069A (zh) 电子设备、方法和存储介质
KR101288448B1 (ko) 레이저 포인터를 이용하여 데이터를 전송하는 디바이스 및 이의 데이터 송수신 제어 방법, 그리고 네트워크 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant