CN102968177B - 手势感测方法 - Google Patents

手势感测方法 Download PDF

Info

Publication number
CN102968177B
CN102968177B CN201110255702.0A CN201110255702A CN102968177B CN 102968177 B CN102968177 B CN 102968177B CN 201110255702 A CN201110255702 A CN 201110255702A CN 102968177 B CN102968177 B CN 102968177B
Authority
CN
China
Prior art keywords
image frame
brightness value
sensing
processing unit
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110255702.0A
Other languages
English (en)
Other versions
CN102968177A (zh
Inventor
陈盟坤
陈志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lite On Semiconductor Corp
Original Assignee
Lite On Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lite On Semiconductor Corp filed Critical Lite On Semiconductor Corp
Priority to CN201110255702.0A priority Critical patent/CN102968177B/zh
Priority to US13/470,466 priority patent/US8724852B2/en
Publication of CN102968177A publication Critical patent/CN102968177A/zh
Application granted granted Critical
Publication of CN102968177B publication Critical patent/CN102968177B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种手势感测方法及装置，所述手势感测方法包含下列步骤：(A)利用一个影像撷取单元感测连续的光强度变化以产生一连串影像帧；(B)利用一个处理单元根据所述影像帧的其中至少一个影像帧判断是否检测到一个物件；及(C)当检测到该物件时，则利用该处理单元根据在检测到该物件后的一段时间内的所述影像帧，得到该物件于一个三维座标系中对应于一个手势的一笔动作信息。

Description

手势感测方法
技术领域
本发明涉及一种与手势(gesture)相关的技术，特别是涉及一种手势感测方法及装置。
背景技术
现有的手势感测(sensing)/识别(recognition)技术，例如，美国公布第2010/0150399A1号专利所公开的“光学手势识别装置及方法”，所述光学手势识别装置包括至少一光源、至少一光接收器，及一处理器。所述光学手势识别方法主要是基于：多次测量来自一个物件的光反射系数(reflectance)以决定该物件的邻近位置(approximate position)；比较已测量到的(measured)所述光反射系数以识别该物件随着时间在该邻近位置的多个变化；及将该物件随着时间在该邻近位置的所述变化直译成(interpret as)与一特定手势相关联的动作。
由于在电子装置(例如，手机、电视、数码相机、平板电脑等)中利用手势感测/识别技术以开发各式应用有逐渐热门的趋势；相应有必要提供另一种手势感测方法及装置，并辅以将电子装置所需的其他各种延伸功能(extension function)整合于该手势感测装置中，以使其实用性更为提升。
发明内容
本发明的目的在于提供一种手势感测方法，可进一步提升其实用性。本发明的手势感测方法，利用包括一个影像撷取单元及一个处理单元的一个手势感测装置来实现；所述手势感测方法包含下列步骤：(A)利用该影像撷取单元感测连续的光强度变化以产生一连串影像帧；(B)利用该处理单元根据所述影像帧的其中至少一个影像帧判断是否检测到一个物件；及(C)当检测到该物件时，则利用该处理单元根据在检测到该物件后的一段时间内的所述影像帧，得到该物件于一个三维座标系中对应于一个手势的一笔动作信息。
较佳地，所述手势感测装置还包括一个发光单元，所述发光单元包括用于发射光线的至少一个发光模块，所述手势感测方法，还包含在步骤(B)之前的下列步骤：(D)利用所述处理单元进行模式判断以决定一操作模式；及(E)利用所述处理单元根据其所决定的所述操作模式，产生用于控制所述发光单元的所述发光模块的一笔控制信息。
较佳地，所述手势感测方法，其中步骤(D)包括下列子步骤：(d-1)根据所述影像帧的其中至少一个影像帧计算与环境光线相关的一个第一亮度值；及(d-2)根据所述第一亮度值进行模式判断，以决定所述操作模式。
较佳地，所述手势感测方法，其中在子步骤(d-2)中是根据所述第一亮度值配合预设的一个第一门槛值进行模式判断，当所述第一亮度值小于所述第一门槛值时，则所述操作模式为一第一模式；当所述操作模式为所述第一模式时，则在步骤(E)中所产生的所述控制信息用于控制所述发光单元的所述发光模块导通。
较佳地，所述手势感测方法，其中步骤(B)包括当所述操作模式为所述第一模式时所进行的下列子步骤：(b-1)根据在所述发光单元的所述发光模块导通后的所述影像帧的其中至少一个影像帧，计算一个第二亮度值；及(b-2)根据所述第二亮度值配合预设的一个第二门槛值判断是否检测到所述物件，当所述第二亮度值大于所述第二门槛值时，则检测到所述物件。
较佳地，所述手势感测方法，其中步骤(C)包括当所述操作模式为所述第一模式时所进行的下列子步骤：(c-1)根据在检测到所述物件后的所述段时间内的所述影像帧，得到一连串追踪亮度值与影像位置信息；及(c-2)根据子步骤(c-1)所得到的所述追踪亮度值与影像位置信息，得到所述物件的所述动作信息。
较佳地，所述手势感测方法，其中所述三维座标系是由一个X轴、一个Y轴，及一个Z轴所构成，所述X轴及所述Y轴界定了一个影像平面，所述Z轴垂直于所述影像平面，其中每一影像帧具有多个像素数据；在子步骤(c-1)中，分别根据时间上相近的所述影像帧的所述像素数据，计算两个平均亮度值，以作为所述追踪亮度值；在子步骤(c-2)中，当所述追踪亮度值为递减时，代表所述物件沿着所述Z轴以远离所述影像平面的所述方向移动，当所述追踪亮度值为递增时，代表所述物件沿着所述Z轴以靠近所述影像平面的所述方向移动。
较佳地，所述手势感测方法，其中在子步骤(d-2)中，当所述第一亮度值不小于所述第一门槛值时，则所述操作模式为一第二模式；当所述操作模式为所述第二模式时，则在步骤(E)中所产生的所述控制信息用于控制所述发光单元的所述发光模块截止。
较佳地，所述手势感测方法，其中步骤(B)包括当所述操作模式为所述第二模式时所进行的下列子步骤：(b-3)根据在所述发光单元的所述发光模块截止后的所述影像帧的其中至少一个影像帧，计算与环境光线相关的一个第三亮度值；及(b-4)根据所述第三亮度值配合预设的一第三门槛值判断是否检测到所述物件，当所述第三亮度值小于所述第三门槛值时，则检测到所述物件。
较佳地，所述手势感测方法，其中步骤(C)包括下列子步骤：(c-3)根据检测到所述物件后的所述段时间内的所述影像帧，得到与所述物件相关的一连串物件影像范围信息；及(c-4)根据所述物件影像范围信息，得到所述物件的所述动作信息。
较佳地，所述手势感测方法，还包含一步骤(F)：利用所述处理单元根据所述影像帧求得与环境光线相关的连续多个色温值。
较佳地，所述手势感测方法，还包含一步骤(G)：利用所述处理单元根据所述影像帧求得与环境光线相关的连续多个亮度值。
本发明的另一个目的在于提供一种手势感测装置，可进一步提升其实用性。
本发明的手势感测装置，包含一个影像撷取单元及一个处理单元。所述影像撷取单元包括一个光感测器阵列及一个模拟至数字转换器，所述光感测器阵列包括呈二维矩阵排列的多个光感测器，所述光感测器阵列感测连续的光强度变化并将其感测信号通过所述模拟至数字转换器进行转换，以产生一连串影像帧；所述处理单元根据所述影像帧的其中至少一个影像帧判断是否检测到一个物件，当检测到所述物件时，则所述处理单元还根据检测到所述物件后的一段时间内的所述影像帧，得到所述物件于一个三维座标系中对应于一个手势的一笔动作信息。
较佳地，所述手势感测装置，还包含一个发光单元，所述发光单元包括用于发射光线的至少一个发光模块，且对应所述影像撷取单元的一影像撷取范围，及对应所述发光单元的一个照明范围两者之间有一个交集区域；所述处理单元还进行模式判断以决定一操作模式，所述处理单元还根据其所决定的所述操作模式，产生用于控制所述发光单元的所述发光模块的一笔控制信息。
较佳地，所述手势感测装置，其中所述处理单元根据检测到所述物件后的所述段时间内的所述影像帧，得到与所述物件相关的一连串物件影像范围信息，再根据所述物件影像范围信息，得到所述物件的所述动作信息。
较佳地，所述手势感测装置，其中所述影像撷取单元的所述光感测器阵列的所述光感测器分别为一个色彩感测器；所述处理单元还根据所述影像帧求得与环境光线相关的连续多个色温值。
较佳地，所述手势感测装置，其中所述处理单元还根据所述影像帧求得与环境光线相关的连续多个亮度值。
本发明的有益效果在于：本发明提供了另一种手势感测方法及装置，可辅以将各种延伸功能整合于所述手势感测装置中，以使其实用性更为提升。
附图说明
图1是说明本发明一个较佳实施例的手势感测装置结构的方块示意图；
图2是说明利用本发明手势感测装置来实现的一个手势感测方法的流程图；
图3是说明在该较佳实施例中的一个范例的示意图，显示该手势感测装置的一个影像撷取单元所产生的多个影像帧经二值化后对应的多个二维影像；
图4是说明在该较佳实施例中的另一个范例的示意图，显示该影像撷取单元所产生的多个影像帧经二值化后对应的多个二维影像。
具体实施方式
下面结合附图及实施例对本发明进行详细说明：
请参阅图1，本发明的一个较佳实施例的手势感测装置1包含一个影像撷取单元11、电连接于该影像撷取单元11的一个处理单元12、电连接于该处理单元12的一个发光模块驱动器(driver)13，及电连接于该发光模块驱动器13的一个发光单元14。
该影像撷取单元11包括一个光感测器阵列(sensor array)111，及一个模拟至数字转换器(Analog to Digital Converter，简称ADC)112；该光感测器阵列111包括呈二维矩阵排列的多个光感测器113；该光感测器阵列111感测连续的光强度变化并将其感测信号通过该模拟至数字转换器112进行转换，以产生一连串(aseries of)数字的影像帧(image frame)；在本较佳实施例中，所述光感测器113分别为一个色彩感测器(polychromatic color sensor)，每一影像帧具有多个像素(pixel)数据。在本较佳实施例中，该发光单元14包括用于发射光线的多个发光模块141，所述发光模块141分别为一个发光二极管(Light-Emitting Diode，简称LED)或激光二极管(Laser Diode)。值得一提的是，该发光单元14也可以仅仅包括一个发光模块141以用于发射光线，并不限于本较佳实施例所揭示。
在本较佳实施例中，该影像撷取单元11及该发光单元14的设置关系为：使对应该影像撷取单元11的一个影像撷取范围，及对应该发光单元14的一个照明范围两者之间有一个交集区域，且使该交集区域的面积为最大。
该处理单元12接收由该影像撷取单元11所产生的所述影像帧；该处理单元12还产生至少一个控制信息以供该发光模块驱动器13据以控制该发光单元14的所述发光模块141；该处理单元12还根据所述影像帧的其中至少一个影像帧判断是否检测到一个物件(图未示)；当检测到该物件时，该处理单元12还根据检测到该物件后的一段时间内的所述影像帧，得到该物件于一个三维座标系中对应于一个手势的一笔动作(motion)信息；该处理单元12还可进一步执行与该手势相关的至少一操作，由于“如何执行与该手势相关的该操作”并非本发明的重点，且为为本技术领域的技术人员所熟知，所以不再进一步详述其细节。
值得一提的是，该手势感测装置1除了可进行上述的手势感测处理之外；该手势感测装置1的该处理单元12还可根据由该影像撷取单元11所产生的所述影像帧，进行可应用于各种电子装置(图未示)的延伸功能，所述延伸功能进一步说明如下。
在本较佳实施例中，由于所述光感测器113是采用色彩感测器来实现，所以该处理单元12还可根据所述影像帧的所述像素数据(例如，R、G、B三原色色彩值)，求得与环境光线(ambient light)相关的连续多个色温(color temperature)值；该处理单元12还可根据所述色温值进行与一个显示器(图未示)相关的校正及调整，举例来说，白平衡(white balance)校正，以让使用者获得更好的观看品质。
该处理单元12还可根据所述影像帧的所述像素数据，求得与环境光线相关的连续多个亮度(luminance)值；该处理单元12还可根据所述亮度值进行与该显示器(图未示)相关的校正及调整，举例来说，背光(backlight)亮度调整，以让使用者获得更舒适的观看效果并且达到省电的效果。
请参阅图1及图2，利用该手势感测装置1来实现的一个手势感测方法包含下列步骤；其中在以下手势感测方法进行的过程中，该影像撷取单元11会持续感测连续的光强度变化以产生一连串影像帧；而且该处理单元12还可接收并根据所述影像帧的所述像素数据，以求得与环境光线相关的连续多个色温值及多个亮度值，来作为该处理单元12进行延伸功能的依据。
在步骤201中，利用该处理单元12根据预设的一模式设定值，判断该手势感测装置1的一个操作模式是否已被设定为一个第一模式；当该操作模式已被设定为该第一模式时，至步骤204继续进行处理；否则，至步骤202继续进行处理。其中该模式设定值可由使用者来进行更改及设定，亦可为该手势感测装置1的一内建设定值(default value)。
在步骤202中，利用该处理单元12接收由该影像撷取单元11所产生的所述影像帧。
在步骤203中，利用该处理单元12进行模式(mode)判断，以决定该手势感测装置1的该操作模式。其中该处理单元12根据步骤202中接收的所述影像帧来进行模式判断，其判断方式为：该处理单元12根据步骤202中接收的所述影像帧的其中至少一个影像帧，计算与环境光线相关的一个第一亮度值，再根据该第一亮度值进行模式判断；当该第一亮度值小于该第一门槛值(代表此时的环境光线不足)时，则该操作模式为该第一模式，否则(代表此时的环境光线充足)，该操作模式为一第二模式。在本较佳实施例中，该处理单元12根据步骤202中接收的所述影像帧的其中一个影像帧的所述像素数据，求得相关于所述像素数据的一个平均亮度值，以作为该第一亮度值。
其中步骤203中所述的该第一门槛值是依据该手势感测装置1于不同环境光线下进行实验而预先求得。
当该处理单元12决定该操作模式为该第一模式时，继续进行步骤204至步骤212的处理；当该处理单元12决定该操作模式为该第二模式时，继续进行步骤213至步骤222的处理。
在步骤204中，利用该处理单元12根据其所决定的该操作模式，产生用于控制该发光单元14的所述发光模块141的一笔控制信息给该发光模块驱动器13；在该第一模式下，该控制信息用于控制该发光单元14的至少部分所述发光模块141导通(on)；在本较佳实施例中，该控制信息用于控制该发光单元14的所述发光模块141皆导通。值得一提的是，若该发光单元14所包括的发光模块141的数量只有一个，则该控制信息用于控制该发光单元14的该发光模块141导通，并不限于本较佳实施例所揭示。
在步骤205中，利用该发光模块驱动器13根据该控制信息驱动该发光单元14的至少部分所述发光模块141导通以发射光线。
在步骤206中，利用该处理单元12接收在步骤205执行完后由该影像撷取单元11所产生的所述影像帧，换句话说，该处理单元12接收在该发光单元14的至少部分所述发光模块141导通后的所述影像帧。
在步骤207中，利用该处理单元12根据步骤206接收的所述影像帧的其中至少一个影像帧，判断是否有检测到一个物件；当检测到该物件(代表该物件进入对应该影像撷取单元11的该影像撷取范围)时，则至步骤208继续进行处理；否则，回到步骤201继续进行处理。其中该处理单元12根据步骤206中接收的所述影像帧的其中至少一个影像帧计算一个第二亮度值，再根据该第二亮度值配合预设的一第二门槛值判断是否检测到该物件；当该第二亮度值大于该第二门槛值时，则检测到该物件(代表此时有该物件反射所述发光模块141导通后所发射的光线)；否则，就是未检测到该物件。在本较佳实施例中，该处理单元12根据步骤206中接收的所述影像帧的其中一个影像帧的所述像素数据，求得相关于所述像素数据的一个平均亮度值，以作为该第二亮度值。
其中步骤207中所述的该第二门槛值是预先将该手势感测装置1的该发光单元14的至少部分所述发光模块141导通后，依据此光线条件配合环境光线进行实验而预先求得。
在步骤208中，利用该处理单元12产生用于调整该发光单元14的所述发光模块141的另一笔控制信息给该发光模块驱动器13。
在步骤209中，利用该发光模块驱动器13根据该另一控制信息来调整该发光单元14的所述发光模块141发射的光线的强度；在本较佳实施例中，该发光模块驱动器13根据该另一控制信息来调整通过所述发光模块141(LED)的电流大小，以控制其等发射的光线的强度。
步骤208至步骤209的处理，主要是通过该另一控制信息来调整该发光单元14的所述发光模块141发射的光线的强度，以避免该影像撷取单元11后续产生的所述影像帧所对应的影像有过亮的情况产生。
在步骤210中，利用该处理单元12接收在步骤209执行完后的一段时间内由该影像撷取单元11所产生的所述影像帧，换句话说，该处理单元12接收在检测到该物件且所述发光模块141发射的光线已被调整后的所述影像帧。
在步骤211中，利用该处理单元12根据步骤210中接收的所述影像帧，得到该物件于该三维座标系中对应于一个手势的一笔动作信息，其中三维座标系是由一个X轴、一个Y轴，及一个Z轴所构成，该X轴、该Y轴，及该Z轴两两互相垂直。更进一步来说，该处理单元12根据步骤210中接收的所述影像帧，得到一连串追踪亮度值及一连串物件影像范围信息，再根据所述追踪亮度值及所述物件影像范围信息，得到该物件于该三维座标系中对应于该手势的该动作信息。
在本较佳实施例中，该处理单元12根据步骤210中接收的所述影像帧时间上相近的两个影像帧，得到该物件于该三维座标系中对应于该手势的该动作信息。其中步骤211包括下列子步骤：
i)分别根据时间上相近的所述影像帧的所述像素数据，计算两个平均亮度值，以作为所述追踪亮度值；
ii)分别计算所述平均亮度值的中间值，以作为两个动态门槛值；
iii)根据所述动态门槛值分别对所述影像帧进行二值化(thresholding)，以得到二值化后的所述影像帧；
iv)分别根据二值化后的所述影像帧，得到所述物件影像范围信息；
v)根据所述物件影像范围信息，得到该物件于该X轴及该Y轴中对应于该手势的该动作信息；及
vi)根据所述追踪亮度值或所述物件影像范围信息，得到该物件于该Z轴中对应于该手势的该动作信息。
值得一提的是，在步骤211中，子步骤i)至iii)也可以利用以下手段来完成：分别根据时间上相近的所述影像帧的所述像素数据的强度分布(histogram)得到两个动态门槛值，然后根据所述动态门槛值分别对所述影像帧进行二值化，以得到二值化后的所述影像帧；不过，“影像的二值化处理”为现有的技术，且非本发明的重点，此处只是揭示几种“得到二值化后的所述影像帧”的手段，并不限于此处所揭示。
以下配合以二值化后的所述影像帧对应的多个二维影像为范例，对步骤211进行说明，在以下说明中，该X轴及该Y轴界定了相关于所述二维影像的一个影像平面，该Z轴垂直于该影像平面。
请参阅图1及图3，举例来说，假设所述影像帧中，一个时间点t1的该影像帧进行二值化后对应于一个影像31，相近的另一个时间点t1+Δt1的该影像帧进行二值化后对应于一个影像32；其中所述物件影像范围信息分别对应于该影像31中的一物件影像311及该影像32中的一物件影像313；在该第一模式下，所述物件影像311、313与该光感测器阵列111所感测到的该物件反射所述发光模块141所发射的光线的光强度有关。该处理单元12根据所述物件影像范围信息，例如，所述物件影像311、313的两个重心位置312、314，求得所述重心位置312、314两者之间的一个位移信息，作为该物件于该X轴及该Y轴中对应于该手势的该动作信息。值得一提的是，在此范例中，是根据所述物件影像范围信息的所述重心位置312、314来求得该动作信息，但是，也可以根据所述物件影像范围信息的多个边缘(edge)位置来求得该动作信息；并不限于本范例所揭示。
在本较佳实施例中，当所述追踪亮度值为递减时，代表该物件沿着该Z轴以远离该影像平面的该方向移动；相反的，当所述追踪亮度值为递增时，代表该物件沿着该Z轴以靠近该影像平面的该方向移动。
值得一提的是，在此范例中，是根据所述追踪亮度值来求得该动作信息，但是，也可以根据所述物件影像范围信息的所述影像面积来求得该动作信息；请参阅图1及图4，假设所述影像帧中，一个时间点t2的该影像帧进行二值化后对应于一个影像41，相近的另一个时间点t2+Δt2的该影像帧进行二值化后对应于一个影像42；其中所述物件影像范围信息分别对应于该影像41中的一物件影像411及该影像42中的一物件影像412。该处理单元12根据所述物件影像范围信息，例如，所述物件影像411、412的两个影像面积，求得该物件于该Z轴中对应于该手势的该动作信息；由于该时间点t2的物件影像411的该影像面积，大于该时间点t2+Δt2的物件影像412的该影像面积，所以其代表该物件沿着该Z轴以远离该影像平面的一个方向移动；相反的，如果该时间点t2的物件影像411的该影像面积，小于该时间点t2+Δt2的物件影像412的该影像面积，则代表该物件沿着该Z轴以靠近该影像平面的一个方向移动；并不限于本较佳实施例所揭示。
请参阅图1及图2，在步骤212中，利用该处理单元12根据所述追踪亮度值配合预设的一个下限值，判断该物件是否离开对应该影像撷取单元11的该影像撷取范围；当该物件已离开该影像撷取范围，则回到步骤201继续进行处理；否则，回到步骤208继续进行处理。在本较佳实施例中，该处理单元12根据目前的该追踪亮度值(也就是所述追踪亮度值中最后一个追踪亮度值)配合该下限值进行判断；当目前的该追踪亮度值小于该下限值，则代表该物件已离开该影像撷取范围；否则，代表该物件未离开该影像撷取范围。
其中步骤212中所述的该下限值是预先将该手势感测装置1的该发光单元14的所述发光模块141进行各种调整后，依据调整后的光线条件配合环境光线进行实验而预先求得。
在步骤213中，利用该处理单元12根据其所决定的该操作模式，产生用于控制该发光单元14的所述发光模块141的一笔控制信息给该发光模块驱动器13；在该第二模式下，由于环境光线充足，因此该控制信息用于控制该发光单元14的所述发光模块141皆截止(off)。
在步骤214中，利用该发光模块驱动器13根据该控制信息驱动该发光单元14的所述发光模块141截止(不发射光线)。
在步骤215中，利用该处理单元12接收在步骤214执行完后由该影像撷取单元11所产生的所述影像帧，换句话说，该处理单元12接收在该发光单元14的所述发光模块141截止后的所述影像帧。
在步骤216中，利用该处理单元12产生用于调整该影像撷取单元11的该光感测器阵列111的所述光感测器113的一笔曝光(exposure)设定信息给该影像撷取单元11，以设定所述光感测器113的曝光参数。
在步骤217中，利用该影像撷取单元11调整所述光感测器113的曝光条件(例如，曝光量)。
步骤216至步骤217之处理，主要是通过该曝光设定信息来调整所述光感测器113的曝光条件，以避免该影像撷取单元11后续产生的所述影像帧所对应的影像有过暗(曝光量不足)的情况产生。
在步骤218中，利用该处理单元12接收在步骤217执行完后的所述影像帧，换句话说，该处理单元12接收在该发光单元14的所述发光模块141截止且所述光感测器113的曝光条件已被调整后的所述影像帧。
在步骤219中，利用该处理单元12根据步骤218接收的所述影像帧的其中至少一个影像帧，判断是否有检测到一个物件；当有检测到该物件(代表该物件进入对应该影像撷取单元11的该影像撷取范围)时，则至步骤220继续进行处理；否则，回到步骤201继续进行处理。其中该处理单元12根据步骤218中接收的所述影像帧的其中至少一个影像帧计算与环境光线相关的一个第三亮度值，再根据该第三亮度值配合预设的一第三门槛值判断是否有检测到该物件；当该第三亮度值小于该第三门槛值时，则检测到该物件(代表此时有该物件遮断环境光线，感测到的光强度较弱)；否则，就是未检测到该物件。在本较佳实施例中，该处理单元12根据步骤218中接收的所述影像帧的其中一个影像帧的所述像素数据，求得相关于所述像素数据的一个平均亮度值，以作为该第三亮度值。
其中步骤219中所述的该第三门槛值是预先将该手势感测装置1的该发光单元14的所述发光模块141截止后，依据各种环境光线进行实验而预先求得。
在步骤220中，利用该处理单元12接收在步骤219执行完后的一段时间内由该影像撷取单元11所产生的所述影像帧，换句话说，该处理单元12接收在检测到该物件后的所述影像帧。
在步骤221中，利用该处理单元12根据步骤220中接收的所述影像帧，得到该物件于该三维座标系中对应于一个手势的一笔动作信息。更进一步来说，该处理单元12根据步骤220中接收的所述影像帧，得到一连串追踪亮度值及一连串物件影像范围信息，再根据所述追踪亮度值及所述物件影像范围信息，得到该物件于该三维座标系中对应于该手势的该动作信息。
值得一提的是，步骤221的运作原理类似于步骤211，其差别仅在于：在该第二模式下，多个物件影像范围信息分别对应的多个物件影像为该物件遮断环境光线而造成的多个阴影影像；更进一步来说，当所述追踪亮度值为递减时，代表该物件沿着该Z轴以靠近该影像平面的该方向移动；相反的，当所述追踪亮度值为递增时，代表该物件沿着该Z轴以远离该影像平面的该方向移动。
在步骤222中，利用该处理单元12根据所述追踪亮度值配合预设的一个上限值，判断该物件是否离开对应该影像撷取单元11的该影像撷取范围；当该物件已离开该影像撷取范围时，则回到步骤201继续进行处理；否则，回到步骤220继续进行处理。在本较佳实施例中，该处理单元12根据目前的该追踪亮度值(也就是所述追踪亮度值中最后一个追踪亮度值)配合该上限值进行判断；当目前的该追踪亮度值大于该上限值时，则代表该物件已离开该影像撷取范围(代表已无该物件遮断环境光线)；否则，代表该物件未离开该影像撷取范围。
其中步骤222中所述的该上限值是预先将该手势感测装置1的该发光单元14的所述发光模块141截止后，依据各种环境光线进行实验而预先求得。
归纳上述，本发明提供了另一种手势感测方法及装置1，并辅以将各种延伸功能(例如，白平衡校正、背光调整)整合于该手势感测装置1中，以使其实用性更为提升，的确可以达成本发明的目的。

Claims (8)

1.一种手势感测方法，利用包括一个影像撷取单元、一个包括用于发射光线的至少一个发光模块的发光单元及一个处理单元的一个手势感测装置来实现；其特征在于：其包含下列步骤：
(A)利用所述影像撷取单元感测连续的光强度变化以产生一连串影像帧；
(B)利用所述处理单元进行模式判断以决定一操作模式，且包括下列子步骤：
(b-1)根据所述影像帧的其中至少一个影像帧计算与环境光线相关的一个第一亮度值；及
(b-2)根据所述第一亮度值进行模式判断，以决定所述操作模式,在子步骤(b-2)中是根据所述第一亮度值配合预设的一个第一门槛值进行模式判断，当所述第一亮度值小于所述第一门槛值时，则所述操作模式为一第一模式；
(C)利用所述处理单元根据其所决定的所述操作模式，产生用于控制所述发光单元的所述发光模块的一笔控制信息,当所述操作模式为所述第一模式时，则在步骤(C)中所产生的所述控制信息用于控制所述发光单元的所述发光模块导通；
(D)利用所述处理单元根据所述影像帧的其中至少一个影像帧判断是否检测到一个物件，且当所述操作模式为所述第一模式，包括下列子步骤：
(d-1)根据在所述发光单元的所述发光模块导通后的所述影像帧的其中至少一个影像帧，计算一个第二亮度值；及
(d-2)根据所述第二亮度值配合预设的一个第二门槛值判断是否检测到所述物件，当所述第二亮度值大于所述第二门槛值时，则检测到所述物件；及
(E)当检测到所述物件时，则利用所述处理单元根据在检测到所述物件后的一段时间内的所述影像帧，得到所述物件于一个三维座标系中对应于一个手势的一笔动作信息。
2.如权利要求1所述的手势感测方法，其特征在于：步骤(E)包括当所述操作模式为所述第一模式时所进行的下列子步骤：
(e-1)根据在检测到所述物件后的所述段时间内的所述影像帧，得到一连串追踪亮度值；及
(e-2)根据子步骤(e-1)所得到的所述追踪亮度值，得到所述物件的所述动作信息。
3.如权利要求2所述的手势感测方法，其特征在于：所述三维座标系是由一个X轴、一个Y轴，及一个Z轴所构成，所述X轴及所述Y轴界定了一个影像平面，所述Z轴垂直于所述影像平面，其中每一影像帧具有多个像素数据；
在子步骤(e-1)中，分别根据时间上相近的所述影像帧的所述像素数据，计算两个平均亮度值，以作为所述追踪亮度值；
在子步骤(e-2)中，当所述追踪亮度值为递减时，代表所述物件沿着所述Z轴以远离所述影像平面的方向移动，当所述追踪亮度值为递增时，代表所述物件沿着所述Z轴以靠近所述影像平面的方向移动。
4.如权利要求1所述的手势感测方法，其特征在于：在子步骤(b-2)中，当所述第一亮度值不小于所述第一门槛值时，则所述操作模式为一第二模式；
当所述操作模式为所述第二模式时，则在步骤(C)中所产生的所述控制信息用于控制所述发光单元的所述发光模块截止。
5.如权利要求4所述的手势感测方法，其特征在于：步骤(D)包括当所述操作模式为所述第二模式时所进行的下列子步骤：
(d-3)根据在所述发光单元的所述发光模块截止后的所述影像帧的其中至少一个影像帧，计算与环境光线相关的一个第三亮度值；及
(d-4)根据所述第三亮度值配合预设的一第三门槛值判断是否检测到所述物件，当所述第三亮度值小于所述第三门槛值时，则检测到所述物件。
6.如权利要求1所述的手势感测方法，其特征在于：步骤(E)包括下列子步骤：
(e-3)根据检测到所述物件后的所述段时间内的所述影像帧，得到与所述物件相关的一连串物件影像范围信息；及
(e-4)根据所述物件影像范围信息，得到所述物件的所述动作信息。
7.如权利要求1所述的手势感测方法，其特征在于：所述手势感测方法还包含一步骤(F)：利用所述处理单元根据所述影像帧求得与环境光线相关的连续多个色温值。
8.如权利要求1所述的手势感测方法，其特征在于：所述手势感测方法还包含一步骤(G)：利用所述处理单元根据所述影像帧求得与环境光线相关的连续多个亮度值。
CN201110255702.0A 2011-08-31 2011-08-31 手势感测方法 Expired - Fee Related CN102968177B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110255702.0A CN102968177B (zh) 2011-08-31 2011-08-31 手势感测方法
US13/470,466 US8724852B2 (en) 2011-08-31 2012-05-14 Method for sensing motion and device for implementing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110255702.0A CN102968177B (zh) 2011-08-31 2011-08-31 手势感测方法

Publications (2)

Publication Number Publication Date
CN102968177A CN102968177A (zh) 2013-03-13
CN102968177B true CN102968177B (zh) 2015-10-28

Family

ID=47743791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110255702.0A Expired - Fee Related CN102968177B (zh) 2011-08-31 2011-08-31 手势感测方法

Country Status (2)

Country Link
US (1) US8724852B2 (zh)
CN (1) CN102968177B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
EP2821888B1 (en) * 2013-07-01 2019-06-12 BlackBerry Limited Gesture detection using ambient light sensors
CN103711404B (zh) * 2013-12-31 2016-01-13 南华大学 基于运动识别的厨房门***
US20150212598A1 (en) * 2014-01-28 2015-07-30 Pixart Imaging Inc. Dual mode optical navigation device and mode switching method thereof
CN106603929B (zh) * 2017-02-08 2021-03-23 惠州Tcl移动通信有限公司 一种基于移动终端的屏幕补光拍照方法及***
TWI633536B (zh) * 2017-08-01 2018-08-21 群邁通訊股份有限公司 電子設備、顯示螢幕調節方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1661621A (zh) * 2004-02-26 2005-08-31 三菱扶桑卡客车公司 手势开关装置
CN101840280A (zh) * 2009-03-17 2010-09-22 玴荣科技股份有限公司 非接触式触控板装置及其操作方法
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及***
CN102033656A (zh) * 2009-09-28 2011-04-27 原相科技股份有限公司 手势辨识方法以及使用该方法的互动***
CN102141859A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 光学式触控显示装置及其方法
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957762B2 (en) * 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US9621759B2 (en) * 2011-01-07 2017-04-11 Apple Inc. Systems and methods for providing timestamping management for electronic photographs
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1661621A (zh) * 2004-02-26 2005-08-31 三菱扶桑卡客车公司 手势开关装置
CN101840280A (zh) * 2009-03-17 2010-09-22 玴荣科技股份有限公司 非接触式触控板装置及其操作方法
CN102033656A (zh) * 2009-09-28 2011-04-27 原相科技股份有限公司 手势辨识方法以及使用该方法的互动***
CN102141859A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 光学式触控显示装置及其方法
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及***
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法

Also Published As

Publication number Publication date
US20130051617A1 (en) 2013-02-28
CN102968177A (zh) 2013-03-13
US8724852B2 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
CN102968177B (zh) 手势感测方法
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
KR102086509B1 (ko) 3차원 영상 획득 방법 및 장치
KR101966975B1 (ko) 스테레오 매칭장치
US10084967B1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
CN101937563B (zh) 一种目标检测方法和设备及其使用的图像采集装置
US20180227573A1 (en) Electronic device having dynamically controlled flashlight for image capturing and related control method
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
US20170054960A1 (en) Camera color trmperature compensation system and smart terminal employing same
CN101350933B (zh) 一种基于图像感应器拍摄显示屏幕的亮度调整方法
EP2288141B1 (en) Brightness sensing system and illumination system using same
JP5935432B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN108028895A (zh) 有缺陷的图像传感器元件的校准
CN110674667B (zh) 电子装置以及指纹感测方法
CN110516490B (zh) 手持终端及其补光灯控制方法
JP5468914B2 (ja) 大型映像表示装置の制御装置
CN109257483B (zh) 一种显示屏开合角度的调节方法及多屏终端
CN103297675A (zh) 图像提取方法与相关图像提取***
CN104183216A (zh) 一种控制显示器的显示屏亮度的方法和装置
CN101937505B (zh) 一种目标检测方法和设备及其使用的图像采集装置
CN105895057B (zh) 一种背光调节方法、装置和终端设备
WO2018225516A1 (ja) 画像処理装置
CN212543935U (zh) 一种可适应环境亮度的3d摄像头组件、控制电路
JP2001281054A (ja) 照度検知装置
CN201440274U (zh) 一种目标检测设备及其使用的图像采集装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DYNA TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: DUNNAN SCIENCE AND TECH. CO., LTD.

Effective date: 20150421

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150421

Address after: Taiwan Xindian District, New Taipei City Chinese Bao Bridge Road No. 8 Building 233-2

Applicant after: Lite-on Semiconductor Corp.

Address before: Taiwan Xindian District, New Taipei City Chinese Bao Bridge Road No. 9 building 233-2

Applicant before: Dunnan Science and Tech. Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151028

Termination date: 20190831