CN111814745A - 手势识别方法、装置、电子设备及存储介质 - Google Patents
手势识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111814745A CN111814745A CN202010765808.4A CN202010765808A CN111814745A CN 111814745 A CN111814745 A CN 111814745A CN 202010765808 A CN202010765808 A CN 202010765808A CN 111814745 A CN111814745 A CN 111814745A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- gesture
- dsp
- end interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 53
- 238000013507 mapping Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 208000001970 congenital sucrase-isomaltase deficiency Diseases 0.000 abstract 3
- 238000011156 evaluation Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种手势识别方法、装置、电子设备及存储介质，包括：电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一图像传感器连接相机串行接口解码器CSID、CSID连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一图像传感器采集的多个原始图像，根据第一预设算法将多个原始图像合成多个高动态范围HDR图像；DSP将多个HDR图像发送至主处理器；主处理器对多个HDR图像进行手势识别，得到目标手势类型，从而能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种手势识别方法、装置、电子设备及存储介质。
背景技术
目前利用图像传感器进行情境感知的厂商越来越多，手势识别为情景感知的一种功能，例如，电子设备可通过图像传感器进行手势识别，图像传感器由于需要低功耗的保持常开，才能实现快速的进行手势识别，因此，为了保持低功耗，图像传感器采集的图片质量较普通RGB相机来说差一些，尤其在暗光和逆光的场景下的质量也较差，导致影响手势识别的成功率。
发明内容
本申请实施例提供了一种手势识别方法、装置、电子设备及存储介质，能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
第一方面，本申请实施例提供一种手势识别方法，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括：
所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
所述DSP将所述多个HDR图像发送至所述主处理器；
所述主处理器对所述多个HDR图像进行手势识别，得到目标手势类型。
第二方面，本申请实施例提供一种手势识别装置，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述装置包括：
第一处理单元，用于控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
发送单元，用于控制所述DSP将所述多个高动态范围HDR图像发送至所述主处理器；
第二处理单元，用于控制所述主处理器对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型。
第三方面，一种电子设备，所述电子设备包括第一图像传感器、第二图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；其中，
所述DSP，用于通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
所述DSP，还用于将所述多个HDR图像发送至所述主处理器；
所述主处理器，用于对所述多个HDR图像进行手势识别，得到目标手势类型。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一图像传感器连接相机串行接口解码器CSID、相机串行接口解码器连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一图像传感器采集的多个原始图像，根据第一预设算法将多个原始图像合成多个高动态范围HDR图像；DSP将多个HDR图像发送至主处理器；主处理器对多个HDR图像进行手势识别，得到目标手势类型，如此，电子设备的第一图像传感器无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将多个原始图像传输至DSP，由电子设备通过DSP调用第一预设算法处理第一图像传感器采集的多个原始图像，由于轻量图像前端接口仅用于实现多个原始图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP调用硬件模块处理第一图像传感器采集的其他图像数据的性能，也不影响ISP处理第二图像传感器采集的其他图像数据的性能，由于DSP是采用的软件层面的算法进行图像数据处理，因此，使电子设备能够实现分别从软硬件层面进行图像数据处理，从而能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2A是本申请实施例提供的一种数据传输方法的流程示意图；
图2B是本申请实施例提供的一种不同类型手势的演示示意图；
图3是本申请实施例提供的另一种数据传输方法的流程示意图；
图4是本申请实施例提供的一种手势识别装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
RAW图像，RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，它包含未压缩的原始图像数据，可使用支持该格式的软件调整曝光和白平衡。
相机串行接口解码器(Camera Serial Interface Decoder，CSID)，CSID是负责图像信号处理器ISP与传感器相连接的接口，具体对传感器的原始数据进行处理以得到RAW图像数据。
图像前端IFE接口，IFE是ISP中的Mipi RAW图像数据单元。
轻量图像前端IFE_lite接口，IFE_lite是ISP中的一种轻量的IFE接口。
图像处理引擎(Image Process Engine，IPE)，IPE是ISP中的降躁及颜色编码方法YUV后处理处理单元。YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
神经网络处理器(Neural-network Processing Units，NPU)，NPU是为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机等电子设备的智能认知等应用，例如：图像美颜，图像识别，人脸识别，语音识别，手势识别等。
人工神经网络(Artificial Neural Network，ANN)，指由大量的处理单元(神经元)互相连接而形成的复杂网络结构。
卷积神经网络(Convolutional Neural Network，CNN)，是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。
目前，手机等电子设备通过第一图像传感器进行手势识别，就无法使用AON进行防偷窥等情境感知。
针对上述问题，本申请实施例提供一种手势识别方法、装置、电子设备及存储介质，下面进行详细说明。
请参阅图1，本申请实施例提供了一种电子设备10，该电子设备10包括第一图像传感器100、相机串行接口解码器CSID200、图像信号处理器ISP300、数字信号处理器DSP400和主处理器500，所述ISP300包括轻量图像前端接口310和图像前端接口320，其中，所述第一图像传感器100连接所述CSID200，所述CSID200连接所述ISP300的所述轻量图像前端接口310，所述轻量图像前端接口310连接所述DSP400；
所述DSP，用于通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
所述DSP，还用于将所述多个HDR图像发送至所述主处理器；
所述主处理器，用于对所述多个HDR图像进行手势识别，得到目标手势类型。
其中，通过在电子设备的ISP中设置轻量图像前端接口310，ISP300的轻量图像前端接口310传输来自第一图像传感器100的多个原始图像，但ISP300并不会根据多个原始图像合成多个高动态范围HDR图像，而是将多个原始图像传输至DSP，由DSP根据第一预设算法将多个原始图像合成多个高动态范围HDR图像。
可选地，电子设备还可包括第二图像传感器600，其中，ISP300可通过图像前端接口320接收第一图像传感器或者第二图像传感器600采集的其他图像数据，并调用硬件模块对该其他图像数据进行处理。由于轻量图像前端接口310仅用于实现多个原始图像的传输工作，因此，相对于现有方案中直接通过图像前端接口320传输多个原始图像，由ISP对多个原始图像进行下一步处理，轻量图像前端接口310的功耗相对更低，不会给ISP增加过多功耗，从而能够提高第一图像传感器进行图像采集的效率。
其中，上述第一图像传感器100可以是前置摄像头或者后置摄像头，上述第二图像传感器600可以是电子设备中除了第一图像传感器以外的其他摄像头。
其中，主处理器500可以为神经网络处理器NPU，也可以为中央处理器CPU等，此处不做限定，可选地，电子设备可通过NPU根据预设的人工智能算法对DSP合成的HDR图像进行手势识别，实现更佳的手势识别性能。
其中，电子设备通过第一图像传感器可采集不同的曝光值下的多个原始图像，由DSP根据第一预设算法将多个原始图像合成多个高动态范围HDR图像，从而提高多个原始图像的图像质量，通过主处理器对多个高动态范围HDR图像进行手势识别，得到目标手势类型，在具体实施中，可通过第一图像传感器实时检测用户的手势，根据识别到的目标手势类型执行对应的操作，例如，用户边做饭时边通过电子设备听音乐，当用户需要调节音量大小，但手不方便操作电子设备的屏幕或按键，则可通过手势控制电子设备调节音量大小。
可见，通过在电子设备的ISP中设置轻量图像前端接口310，电子设备不需要加大成本来提升ISP的硬件性能，仅根据普通的ISP和DSP即可实现提升第一图像传感器采集的图像效率，实现方式便捷，不用增加成本，此外可提高第一图像传感器进行图像采集的效率，从而提升用户体验。
可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一图像传感器连接相机串行接口解码器CSID、相机串行接口解码器连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一图像传感器采集的多个原始图像，根据多个原始图像合成多个高动态范围HDR图像；DSP将多个HDR图像发送至主处理器；主处理器对多个HDR图像进行手势识别，得到目标手势类型，如此，电子设备的第一图像传感器无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将多个原始图像传输至DSP，由电子设备通过DSP调用第一预设算法处理第一图像传感器采集的多个原始图像，由于轻量图像前端接口仅用于实现多个原始图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP调用硬件模块处理第一图像传感器采集的其他图像数据的性能，也不影响ISP处理第二图像传感器采集的其他图像数据的性能，由于DSP是采用的软件层面的算法进行图像数据处理，因此，使电子设备能够实现分别从软硬件层面进行图像数据处理，从而能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
可选地，所述电子设备还包括环境光传感器，所述第一预设算法包括图像增强算法，在所述根据所述多个原始图像合成多个高动态范围HDR图像方面，所述DSP具体用于：
将所述多个原始图像进行分组，得到多组原始图像；
接收来自所述环境光传感器的环境光亮度值，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数；
根据所述图像增强算法和所述控制参数对所述多组原始图像中每一组原始图像进行图像增强处理，得到处理后的多组原始图像；
将所述多组原始图像中每一组原始图像进行图像合成，得到多个HDR图像，所述每一组原始图像对应一个所述HDR图像。
其中，通过DSP根据环境光亮度值对多组原始图像进行图像增强处理，可以适应环境光生成较高质量的HDR图像，进而提升后续进行手势识别的鲁棒性。
可选地，每一组原始图像包括正常曝光原始图像、过曝光原始图像和欠曝光原始图像，所述根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数，包括：
若所述环境光亮度值大于第一亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中所述每一组原始图像中的过曝光原始图像进行亮度降低的第一控制参数；
若所述环境光亮度值小于第二亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中每一组原始图像中的欠曝光原始图像进行亮度提高的第二控制参数。
其中，具体实施中，当电子设备在暗光或者逆光等场景下进行手势识别，检测到的环境光亮度值会大于第一亮度阈值或者小于第二亮度阈值，通过在极端环境光条件下，对原始图像中的过曝光原始图像进行亮度降低处理，对欠曝光原始图像进行亮度提高处理，可以实现对第一图像传感器采集的较低质量的图像进行图像质量提升。
可选地，所述主处理器对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型，包括：
所述主处理器对所述多个HDR图像中每一HDR图像进行特征提取，得到多个手势特征集，每一所述手势特征集对应一个所述HDR图像；
将所述多个手势特征集中每一手势特征集的手势特征数据依次输入预设的人工神经网络ANN模型中，所述ANN模型包括输入层、多个中间层和输出层，所述多个中间层中每一中间层的神经元包括权值数据；
通过所述ANN模型的输入层将所述手势特征数据输入所述多个中间层，根据所述多个手势特征集的手势特征数据所述多个中间层的权值数据计算所述手势特征数据与预设手势特征模板一致的第一概率值；并通过所述输出层输出所述第一概率值；
若所述第一概率值大于预设概率阈值，根据预设的数据库中预设手势特征模板与手势类型之间的映射关系确定与所述预设手势特征模板对应的目标手势类型。
其中，通过将HDR图像对应的图像特征集输入ANN模型进行计算，根据人工智能算法对HDR图像进行手势识别，可以快速、准确地识别出用户的目标手势类型。
所述方法还包括：
所述主处理器根据所述多个HDR图像进行图像分析，得到所述手势对应的手势幅度参数；
根据预设的手势类型与控制操作之间的映射关系确定与所述目标手势类型对应的目标控制操作；
根据预设的手势参数与操作控制参数之间的映射关系确定与所述手势幅度参数对应的目标操作控制参数；
根据所述目标操作控制参数执行所述目标控制操作。
其中，所述手势幅度参数包括以下至少一种：相对移动的两个手指之间的手指间隔变化量、弯曲手指的手指弯曲角度、旋转手掌的手掌旋转角度、相对移动的两个手指之间的手指夹角。具体地，与现有技术中识别屏幕触控操作时需要检测用户手指在屏幕上滑动的幅度大小不同，在进行手势识别时，可通过检测用户的手指关节在手势操作中产生的变化幅度，从而根据变化幅度来确定进行目标控制操作的操作控制参数，例如，用户通过手势操作调节音量大小，可根据手势幅度参数来确定调节音量的大小，从而提高通过手势进行操作控制的准确度和灵活度，提升用户体验。
其中，所述目标操作控制参数包括以下任意一种：放大/缩小控制操作的放大/缩小幅度、滑动操作的滑动幅度、翻页操作的页数、亮度调节操作的亮度调节幅度、音量调节操作的亮度调节幅度。具体地，针对电子设备当前运行的不同功能的应用，可根据目标手势类型确定与应用对应的操作控制参数，从而，可以在电子设备运行不同的应用时，根据当前运行的应用灵活实现通过手势识别控制电子设备的操作。
与图1一致的，请参阅图2A，图2A是本申请实施例提供的一种手势识别方法，应用于如图1所示的电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括如下步骤：
201、所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像。
其中，电子设备的ISP中除了图像前端接口以外，还设置有轻量图像前端接口，首先，通过第一图像传感器分别设置曝光值，并在设置的曝光值下采集图像的原始数据，然后，通过CSID对原始数据进行处理，得到原始图像，接着，将该原始图像传输至ISP的轻量图像前端接口，最后，ISP的轻量图像前端接口将原始图像传输至DSP。如此，可通过ISP中的轻量图像前端接口传输多个原始图像，轻量图像前端的功耗较低，不会给ISP带来功耗负担，对ISP的性能要求不高，从而可提高第一图像传感器进行图像采集的效率。
202、DSP根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；将所述多个HDR图像发送至所述主处理器。
其中，第一预设算法可以是用于进行图像合成的算法，例如图像增强算法。
DSP在接收到连续多个不同曝光值下的多个原始图像后，将连续接收到的不同曝光值的原始图像作为一组，例如，将连续接收到的三个不同曝光值对应的原始图像作为一组，每组原始图像包括欠曝光原始图像、正常曝光原始图像和过曝光原始图像，根据每组原始图像合成HDR图像，如此，第一图像传感器在连续采集手势动作的图像时，DSP可以根据连续采集的多个原始图像依次合成多个HDR图像。如此，可通过合成HDR图像，还原原始图像中的手势细节，提高第一图像传感器采集图像的图像质量。
进一步地，DSP将多个高动态范围HDR图像发送至主处理器，主处理器可以为CPU或者NPU，由主处理器实现后续的手势识别功能。
可选地，本申请实施例中，也可由DSP自身对多个高动态范围HDR图像进行手势识别，得到目标手势类型。
可选地，所述电子设备还包括环境光传感器，所述第一预设算法包括图像增强算法，上述步骤202中，DSP根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像，可包括以下步骤：
21、所述DSP将所述多个原始图像进行分组，得到多组原始图像；
22、接收来自所述环境光传感器的环境光亮度值，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数；
23、根据所述图像增强算法和所述控制参数对所述多组原始图像中每一组原始图像进行图像增强处理，得到处理后的多组原始图像；
24、将所述多组原始图像中每一组原始图像进行图像合成，得到多个HDR图像，所述每一组原始图像对应一个所述HDR图像。
其中，图像增强算法可以为以下任意一种：维纳滤波算法、直方图均衡化算法、灰度拉伸算法、拉普拉斯算法、伽玛变换算法等等，此处不作限制。具体实施中，针对不同的图像增强算法，可根据环境光亮度值确定对应的控制参数。如此，可在环境光亮度值过低时，提高图像亮度，在环境光亮度值过高时，恢复图像中过曝部分的图像细节，从而提升图像质量。
可选地，每一组原始图像包括正常曝光原始图像、过曝光原始图像和欠曝光原始图像，上述步骤22中，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数，包括：
2201、若所述环境光亮度值大于第一亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中所述每一组原始图像中的过曝光原始图像进行亮度降低的第一控制参数；
2202、若所述环境光亮度值小于第二亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中每一组原始图像中的欠曝光原始图像进行亮度提高的第二控制参数。
其中，考虑到每一组原始图像包括正常曝光原始图像、过曝光原始图像和欠曝光原始图像，因此，可根据环境光亮度值判断当前环境光是否处于过暗或者过亮的情况，具体地，若环境光亮度值大于第一亮度阈值，表明环境光亮度值多高，进而，可针对过曝光原始图像进行亮度降低处理，从而可恢复过曝光原始图像的图像细节，若环境光亮度值小于第二亮度阈值，表明环境光亮度值多低，从而，可针对欠曝光原始图像进行亮度提高，从而可保留欠曝光原始图像的图像细节。
203、所述主处理器对所述多个HDR图像进行手势识别，得到目标手势类型。
具体实施中，可根据预设的人工神经网络ANN模型或者预设的卷积神经网络CNN模型对HDR图像进行计算，得到用户的手势操作对应的目标手势类型，如此，通过根据高质量的HDR图像进行手势识别，可提高手势识别的成功率，从而可提升通过第一图像传感器进行手势识别的性能。
可选地，上述步骤203中，主处理器对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型，可包括以下步骤：
所述主处理器对所述多个HDR图像中每一HDR图像进行特征提取，得到多个手势特征集，每一所述手势特征集对应一个所述HDR图像；
将所述多个手势特征集中每一手势特征集的手势特征数据依次输入预设的人工神经网络ANN模型中，所述ANN模型包括输入层、多个中间层和输出层，所述多个中间层中每一中间层的神经元包括权值数据；
通过所述ANN模型的输入层将所述手势特征数据输入所述多个中间层，根据所述多个手势特征集的手势特征数据所述多个中间层的权值数据计算所述手势特征数据与预设手势特征模板一致的第一概率值；并通过所述输出层输出所述第一概率值；
若所述第一概率值大于预设概率阈值，根据预设的数据库中预设手势特征模板与手势类型之间的映射关系确定与所述预设手势特征模板对应的目标手势类型。
其中，请参阅图2B，图2B为本申请实施例提供的几种目标手势类型的演示示意图，上述目标手势类型可包括以下任意一种：手指开合手势、手指摆动手势、手掌滑动手势、手指滑动手势等等，此处不作限制。在用户进行手势操作时，手指会发生移动、摆动、弯曲等变化，指尖会发生移动、摆动、旋转等变化，手掌也会发生移动、摆动、弯曲等变化，从而可根据手势过程中手指、指尖、手掌等部位的形态变化设置不同的手势类型。
具体实施中，电子设备的存储器中可预先创建包括手势特征模板与手势类型之间的映射关系的数据库，并建立手势特征模板与手势类型之间的映射关系，从而，可在通过ANN模型计算得到手势特征数据与预设手势特征模板一致的第一概率值，且第一概率值大于预设概率阈值时，根据该映射关系确定与预设手势特征模板对应的目标手势类型。
可选地，本申请实施例中，所述方法还包括：
所述主处理器根据所述多个HDR图像进行图像分析，得到所述手势对应的手势幅度参数；
根据预设的手势类型与控制操作之间的映射关系确定与所述目标手势类型对应的目标控制操作；
根据预设的手势参数与操作控制参数之间的映射关系确定与所述手势幅度参数对应的目标操作控制参数；
根据所述目标操作控制参数执行所述目标控制操作。
其中，所述手势幅度参数包括以下至少一种：相对移动的两个手指之间的手指间隔变化量、弯曲手指的手指弯曲角度、旋转手掌的手掌旋转角度、相对移动的两个手指之间的手指夹角。
其中，电子设备中可预先设置手势类型与控制操作之间的映射关系，如下表所示:
| 手势类型 | 控制操作 |
| 手指开合手势 | (音量、图像、页面、亮度)放大/减小操作 |
| 手指摆动手势 | 图标移动操作、翻页、(音量、亮度)进度条调节操作 |
| 手掌滑动手势 | 翻页、页面上下/左右滑动操作 |
| 手指滑动手势 | 翻页、页面左右移动操作 |
需要说明的是，上述表格中的手势类型和控制操作仅为可能的示例，本申请对手势类型和控制操作的具体设定不作限定。
其中，所述目标操作控制参数包括以下任意一种：放大/缩小控制操作的放大/缩小幅度、滑动操作的滑动幅度、翻页操作的页数、亮度调节操作的亮度调节幅度、音量调节操作的亮度调节幅度。本方案中，除了通过根据目标手势类型确定对应的目标控制操作，还可具体分析手势幅度参数，根据手动幅度参数确定目标控制操作的大小或者幅度。具体地，电子设备中可预先设定手势参数与操作控制参数之间的映射关系，可选地，可设置手势幅度参数越大，对应的操作控制参数也越大，例如，用户通过手指开合手势放大或缩小图片时，可根据相对移动的两个手指之间的手指间隔变化量确定对图像进行放大或缩小的比例，从而，可根据手势幅度参数更加准确地控制目标控制操作，实现手势操作的灵活性。
可选地，本申请实施例中，在步骤202之后，所述步骤203之前，还可包括以下步骤：
2021、所述主处理器将所述多个HDR图像中每一HDR图像进行多尺度特征分解，得到低频特征分量和高频特征分量；
2022、将所述低频特征分量划分为多个部分；确定所述多个部分中每一部分对应的信息熵，得到多个信息熵；
2023、依据所述多个信息熵确定平均信息熵和目标均方差；确定所述目标均方差对应的目标调节系数；
2024、依据所述目标调节系数对所述平均信息熵进行调节，得到目标信息熵；
2025、按照预设的信息熵与评价值之间的映射关系，确定所述目标信息熵对应的第一评价值；
2026、获取对所述每一HDR图像对应的目标拍摄参数；
2027、按照预设的拍摄参数与低频权重之间的映射关系，确定所述目标信息熵对应的目标低频权重，依据该目标低频权重确定目标高频权重；
2028、依据所述高频特征分量确定目标特征点分布密度；按照预设的特征点分布密度与评价值之间的映射关系，确定所述目标特征点分布密度对应的第二评价值；
2029、依据所述第一评价值、所述第二评价值、所述目标低频权重和所述目标高频权重进行加权运算，得到所述每一HDR图像的目标清晰度；
2030、若所述目标清晰度大于预设数值，执行所述步骤203的操作。
具体实现中，主处理器可以采用多尺度分解算法将每一HDR图像进行多尺度特征分解，得到低频特征分量和高频特征分量，多尺度分解算法可以为以下至少一种：金字塔变换算法、小波变换、轮廓波变换、剪切波变换等等，在此不做限定。进一步地，可以将低频特征分量划分为多个部分。低频特征分量反映了图像的主体特征，高频特征分量反映了图像的细节信息。
其中，主处理器可以确定多个部分中每一部分对应的信息熵，得到多个信息熵，依据多个信息熵确定平均信息熵和目标均方差，信息熵在一定程度上反映了图像信息多少，均方差则可以反映图像信息的稳定性。主处理器中可以预先存储预设均方差与调节系数之间的映射关系，进而，可以依据该映射关系确定目标均方差对应的目标调节系数，本申请实施例中，调节系数的取值范围可以为-0.15～0.15。主处理器可以依据目标调节系数对平均信息熵进行调节，得到目标信息熵，目标信息熵＝(1+目标调节系数)*平均信息熵。主处理器中可以预先存储预设的信息熵与评价值之间的映射关系，进而，可以按照预设的信息熵与评价值之间的映射关系，确定目标信息熵对应的第一评价值。
其中，主处理器可以获取HDR图像对应的目标拍摄参数，目标拍摄参数可以为以下至少一种：ISO、曝光时长、白平衡参数、对焦参数等等，在此不做限定。主处理器中还可以预先存储预设的拍摄参数与低频权重之间的映射关系，进而，可以按照预设的拍摄参数与低频权重之间的映射关系，确定目标信息熵对应的目标低频权重，依据该目标低频权重确定目标高频权重，目标低频权重+目标高频权重＝1。主处理器可以依据高频特征分量确定目标特征点分布密度，目标特征点分布密度＝高频特征分量的特征点总数量/区域面积。主处理器中还可以预先存储预设的特征点分布密度与评价值之间的映射关系，进而，可以按照预设的特征点分布密度与评价值之间的映射关系，确定目标特征点分布密度对应的第二评价值，最后，依据第一评价值、第二评价值、目标低频权重和目标高频权重进行加权运算，得到所述HDR图像的目标清晰度，具体如下：目标清晰度＝第一评价值*目标低频权重+第二评价值*目标高频权重。
如此，可以基于HDR图像的低频分量以及高频分量两个维度进行图像质量评价，能够精准得到与拍摄环境相宜的评价参数，即目标清晰度，从而在清晰度较高时，根据HDR图像进行手势识别，提高手势识别的成功率。
可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一图像传感器连接相机串行接口解码器CSID、相机串行接口解码器连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一图像传感器采集的多个原始图像，根据多个原始图像合成多个高动态范围HDR图像；DSP将多个HDR图像发送至主处理器；主处理器对多个HDR图像进行手势识别，得到目标手势类型，如此，电子设备的第一图像传感器无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将多个原始图像传输至DSP，由电子设备通过DSP调用第一预设算法处理第一图像传感器采集的多个原始图像，由于轻量图像前端接口仅用于实现多个原始图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP调用硬件模块处理第一图像传感器采集的其他图像数据的性能，也不影响ISP处理第二图像传感器采集的其他图像数据的性能，由于DSP是采用的软件层面的算法进行图像数据处理，因此，使电子设备能够实现分别从软硬件层面进行图像数据处理，从而能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
与上述一致地，请参阅图3，为本申请实施例提供的另一种图像处理方法的流程示意图，本实施例中所描述的图像处理方法，应用于如图1所示的电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；该方法可包括以下步骤：
301、所述第一图像传感器在多个不同的曝光值下采集的多个原始图像。
302、DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像。
303、所述DSP将所述多个原始图像进行分组，得到多组原始图像。
304、所述DSP接收来自所述环境光传感器的环境光亮度值，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数。
305、所述DSP根据图像增强算法和所述控制参数对所述多组原始图像中每一组原始图像进行图像增强处理，得到处理后的多组原始图像。
306、所述DSP将所述多组原始图像中每一组原始图像进行图像合成，得到多个HDR图像，所述每一组原始图像对应一个所述HDR图像。
307、所述DSP将所述多个高动态范围HDR图像发送至所述主处理器。
308、所述主处理器对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型。
309、所述主处理器根据所述多个HDR图像进行图像分析，得到所述手势对应的手势幅度参数。
310、所述主处理器根据预设的手势类型与控制操作之间的映射关系确定与所述目标手势类型对应的目标控制操作。
311、所述主处理器根据预设的手势参数与操作控制参数之间的映射关系确定与所述手势幅度参数对应的目标操作控制参数。
312、所述主处理器根据所述目标操作控制参数执行所述目标控制操作。
可以看出，本申请实施例中，通过根据环境光亮度值确定对应的控制参数，可在环境光亮度值过低时，提高图像亮度，在环境光亮度值过高时，恢复图像中过曝部分的图像细节，从而提升图像质量，从而，提升电子设备通过第一图像传感器实现手势识别功能的性能。
本申请实施例提供一种手势识别装置，该手势识别装置可以应用于图1所示的电子设备。具体的，手势识别装置用于执行以手势识别方法中测试设备所执行的步骤。本申请实施例提供的手势识别装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对手势识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图4示出上述实施例中所涉及的手势识别装置的一种可能的结构示意图。如图4所示，手势识别装置应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；手势识别装置400包括第一处理单元401、发送单元402和第二处理单元403，
第一处理单元401，用于控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
发送单元402，用于控制所述DSP将所述多个HDR图像发送至所述主处理器；
第二处理单元403，用于控制所述主处理器对所述多个HDR图像进行手势识别，得到目标手势类型。
可选地，所述电子设备还包括环境光传感器，所述第一预设算法包括图像增强算法，在所述DSP根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像方面，所述第一处理单元401具体用于：
控制所述DSP将所述多个原始图像进行分组，得到多组原始图像；接收来自所述环境光传感器的环境光亮度值，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数；根据所述图像增强算法和所述控制参数对所述多组原始图像中每一组原始图像进行图像增强处理，得到处理后的多组原始图像；将所述多组原始图像中每一组原始图像进行图像合成，得到多个HDR图像，所述每一组原始图像对应一个所述HDR图像。
可选地，每一组原始图像包括正常曝光原始图像、过曝光原始图像和欠曝光原始图像，在所述根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数方面，所述第一处理单元401具体用于：
若所述环境光亮度值大于第一亮度阈值，控制所述DSP根据所述环境光亮度值确定所述多组原始图像中所述每一组原始图像中的过曝光原始图像进行亮度降低的第一控制参数；若所述环境光亮度值小于第二亮度阈值，控制所述DSP根据所述环境光亮度值确定所述多组原始图像中每一组原始图像中的欠曝光原始图像进行亮度提高的第二控制参数。
可选地，在对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型方面，所述第二处理单元403具体用于：
控制所述主处理器对所述多个HDR图像中每一HDR图像进行特征提取，得到多个手势特征集，每一所述手势特征集对应一个所述HDR图像；将所述多个手势特征集中每一手势特征集的手势特征数据依次输入预设的人工神经网络ANN模型中，所述ANN模型包括输入层、多个中间层和输出层，所述多个中间层中每一中间层的神经元包括权值数据；通过所述ANN模型的输入层将所述手势特征数据输入所述多个中间层，根据所述多个手势特征集的手势特征数据所述多个中间层的权值数据计算所述手势特征数据与预设手势特征模板一致的第一概率值；并通过所述输出层输出所述第一概率值；若所述第一概率值大于预设概率阈值，根据预设的数据库中预设手势特征模板与手势类型之间的映射关系确定与所述预设手势特征模板对应的目标手势类型。
可选地，所述第二处理单元403，还用于控制所述主处理器根据所述多个HDR图像进行图像分析，得到所述手势对应的手势幅度参数；
根据预设的手势类型与控制操作之间的映射关系确定与所述目标手势类型对应的目标控制操作；
根据预设的手势参数与操作控制参数之间的映射关系确定与所述手势幅度参数对应的目标操作控制参数；
根据所述目标操作控制参数执行所述目标控制操作。
可选地，所述手势幅度参数包括以下至少一种：相对移动的两个手指之间的手指间隔变化量、弯曲手指的手指弯曲角度、旋转手掌的手掌旋转角度、相对移动的两个手指之间的手指夹角。
可选地，所述目标操作控制参数包括以下任意一种：放大/缩小控制操作的放大/缩小幅度、滑动操作的滑动幅度、翻页操作的页数、亮度调节操作的亮度调节幅度、音量调节操作的亮度调节幅度。
可以看出，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一图像传感器连接相机串行接口解码器CSID、相机串行接口解码器连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一图像传感器采集的多个原始图像，根据多个原始图像合成多个高动态范围HDR图像；DSP将多个HDR图像发送至主处理器；主处理器对多个HDR图像进行手势识别，得到目标手势类型，如此，电子设备的第一图像传感器无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将多个原始图像传输至DSP，由电子设备通过DSP调用第一预设算法处理第一图像传感器采集的多个原始图像，由于轻量图像前端接口仅用于实现多个原始图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP调用硬件模块处理第一图像传感器采集的其他图像数据的性能，也不影响ISP处理第二图像传感器采集的其他图像数据的性能，由于DSP是采用的软件层面的算法进行图像数据处理，因此，使电子设备能够实现分别从软硬件层面进行图像数据处理，从而能够提高第一图像传感器进行图像采集的效率，以及提升电子设备通过第一图像传感器实现手势识别功能的性能。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种手势识别方法，其特征在于，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括：
所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
所述DSP将所述多个HDR图像发送至所述主处理器；
所述主处理器对所述多个HDR图像进行手势识别，得到目标手势类型。
2.根据权利要求1所述的方法，其特征在于，所述电子设备还包括环境光传感器，所述第一预设算法包括图像增强算法，所述DSP根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像，包括：
所述DSP将所述多个原始图像进行分组，得到多组原始图像；
接收来自所述环境光传感器的环境光亮度值，根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数；
根据所述图像增强算法和所述控制参数对所述多组原始图像中每一组原始图像进行图像增强处理，得到处理后的多组原始图像；
将所述多组原始图像中每一组原始图像进行图像合成，得到多个HDR图像，所述每一组原始图像对应一个所述HDR图像。
3.根据权利要求2所述的方法，其特征在于，每一组原始图像包括正常曝光原始图像、过曝光原始图像和欠曝光原始图像，所述根据所述环境光亮度值确定所述多组原始图像中每一组原始图像对应的实现图像增强处理的控制参数，包括：
若所述环境光亮度值大于第一亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中所述每一组原始图像中的过曝光原始图像进行亮度降低的第一控制参数；
若所述环境光亮度值小于第二亮度阈值，所述DSP根据所述环境光亮度值确定所述多组原始图像中每一组原始图像中的欠曝光原始图像进行亮度提高的第二控制参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述主处理器对所述多个高动态范围HDR图像进行手势识别，得到目标手势类型，包括：
所述主处理器对所述多个HDR图像中每一HDR图像进行特征提取，得到多个手势特征集，每一所述手势特征集对应一个所述HDR图像；
将所述多个手势特征集中每一手势特征集的手势特征数据依次输入预设的人工神经网络ANN模型中，所述ANN模型包括输入层、多个中间层和输出层，所述多个中间层中每一中间层的神经元包括权值数据；
通过所述ANN模型的输入层将所述手势特征数据输入所述多个中间层，根据所述多个手势特征集的手势特征数据所述多个中间层的权值数据计算所述手势特征数据与预设手势特征模板一致的第一概率值；并通过所述输出层输出所述第一概率值；
若所述第一概率值大于预设概率阈值，根据预设的数据库中预设手势特征模板与手势类型之间的映射关系确定与所述预设手势特征模板对应的目标手势类型。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
所述主处理器根据所述多个HDR图像进行图像分析，得到所述手势对应的手势幅度参数；
根据预设的手势类型与控制操作之间的映射关系确定与所述目标手势类型对应的目标控制操作；
根据预设的手势参数与操作控制参数之间的映射关系确定与所述手势幅度参数对应的目标操作控制参数；
根据所述目标操作控制参数执行所述目标控制操作。
6.根据权利要求5所述的方法，其特征在于，所述手势幅度参数包括以下至少一种：相对移动的两个手指之间的手指间隔变化量、弯曲手指的手指弯曲角度、旋转手掌的手掌旋转角度、相对移动的两个手指之间的手指夹角。
7.根据权利要求6所述的方法，其特征在于，所述目标操作控制参数包括以下任意一种：放大/缩小控制操作的放大/缩小幅度、滑动操作的滑动幅度、翻页操作的页数、亮度调节操作的亮度调节幅度、音量调节操作的亮度调节幅度。
8.一种手势识别装置，其特征在于，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述装置包括：
第一处理单元，用于控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
发送单元，用于控制所述DSP将所述多个HDR图像发送至所述主处理器；
第二处理单元，用于控制所述主处理器对所述多个HDR图像进行手势识别，得到目标手势类型。
9.一种电子设备，其特征在于，所述电子设备包括第一图像传感器、第二图像传感器、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一图像传感器连接所述相机串行接口解码器，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；其中，
所述DSP，用于通过所述CSID和所述轻量图像前端接口接收来自所述第一图像传感器采集的多个原始图像，所述多个原始图像为所述第一图像传感器在多个不同的曝光值下采集的多个原始图像；根据第一预设算法将所述多个原始图像合成多个高动态范围HDR图像；
所述DSP，还用于将所述多个HDR图像发送至所述主处理器；
所述主处理器，用于对所述多个HDR图像进行手势识别，得到目标手势类型。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010765808.4A CN111814745B (zh) | 2020-07-31 | 2020-07-31 | 手势识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010765808.4A CN111814745B (zh) | 2020-07-31 | 2020-07-31 | 手势识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814745A true CN111814745A (zh) | 2020-10-23 |
| CN111814745B CN111814745B (zh) | 2024-05-10 |
Family
ID=72864186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010765808.4A Active CN111814745B (zh) | 2020-07-31 | 2020-07-31 | 手势识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814745B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033290A (zh) * | 2021-02-01 | 2021-06-25 | 广州朗国电子科技有限公司 | 一种图像子区域的识别方法、设备、存储介质 |
| WO2022141349A1 (zh) * | 2020-12-31 | 2022-07-07 | Oppo广东移动通信有限公司 | 图像处理管道、图像处理方法、摄像头组件和电子设备 |
| CN117479002A (zh) * | 2023-09-15 | 2024-01-30 | 荣耀终端有限公司 | 图像显示方法、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120044372A1 (en) * | 2010-08-18 | 2012-02-23 | Apple Inc. | Dual image sensor image processing system and method |
| US20120119985A1 (en) * | 2010-11-12 | 2012-05-17 | Kang Mingoo | Method for user gesture recognition in multimedia device and multimedia device thereof |
| CN103067727A (zh) * | 2013-01-17 | 2013-04-24 | 乾行讯科（北京）科技有限公司 | 一种3d眼镜和3d显示*** |
| CN103809756A (zh) * | 2014-02-24 | 2014-05-21 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN103943106A (zh) * | 2014-04-01 | 2014-07-23 | 北京豪络科技有限公司 | 一种手势语音识别的智能手环 |
| US20140368688A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Computer vision application processing |
| CN110166707A (zh) * | 2019-06-13 | 2019-08-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN110209273A (zh) * | 2019-05-23 | 2019-09-06 | Oppo广东移动通信有限公司 | 手势识别方法、交互控制方法、装置、介质与电子设备 |
| US20200152138A1 (en) * | 2018-11-14 | 2020-05-14 | Samsung Electronics Co., Ltd. | Image and audio processing apparatus and operating method of the same |
| US20200241646A1 (en) * | 2019-01-25 | 2020-07-30 | Tata Consultancy Services Limited | On-device classification of fingertip motion patterns into gestures in real-time |
-
2020
- 2020-07-31 CN CN202010765808.4A patent/CN111814745B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120044372A1 (en) * | 2010-08-18 | 2012-02-23 | Apple Inc. | Dual image sensor image processing system and method |
| US20120119985A1 (en) * | 2010-11-12 | 2012-05-17 | Kang Mingoo | Method for user gesture recognition in multimedia device and multimedia device thereof |
| CN103067727A (zh) * | 2013-01-17 | 2013-04-24 | 乾行讯科（北京）科技有限公司 | 一种3d眼镜和3d显示*** |
| US20140368688A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Computer vision application processing |
| CN103809756A (zh) * | 2014-02-24 | 2014-05-21 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN103943106A (zh) * | 2014-04-01 | 2014-07-23 | 北京豪络科技有限公司 | 一种手势语音识别的智能手环 |
| US20200152138A1 (en) * | 2018-11-14 | 2020-05-14 | Samsung Electronics Co., Ltd. | Image and audio processing apparatus and operating method of the same |
| US20200241646A1 (en) * | 2019-01-25 | 2020-07-30 | Tata Consultancy Services Limited | On-device classification of fingertip motion patterns into gestures in real-time |
| CN110209273A (zh) * | 2019-05-23 | 2019-09-06 | Oppo广东移动通信有限公司 | 手势识别方法、交互控制方法、装置、介质与电子设备 |
| CN110166707A (zh) * | 2019-06-13 | 2019-08-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022141349A1 (zh) * | 2020-12-31 | 2022-07-07 | Oppo广东移动通信有限公司 | 图像处理管道、图像处理方法、摄像头组件和电子设备 |
| CN113033290A (zh) * | 2021-02-01 | 2021-06-25 | 广州朗国电子科技有限公司 | 一种图像子区域的识别方法、设备、存储介质 |
| CN117479002A (zh) * | 2023-09-15 | 2024-01-30 | 荣耀终端有限公司 | 图像显示方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814745B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11107205B2 (en) | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames | |
| CN115442515B (zh) | 图像处理方法和设备 | |
| CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
| JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
| CN111814745B (zh) | 手势识别方法、装置、电子设备及存储介质 | |
| JP2022505115A (ja) | 画像処理の方法および装置並びにデバイス | |
| WO2022179335A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN108737728B (zh) | 一种图像拍摄方法、终端及计算机存储介质 | |
| US11977981B2 (en) | Device for automatically capturing photo or video about specific moment, and operation method thereof | |
| CN111880640B (zh) | 屏幕控制方法、装置、电子设备及存储介质 | |
| WO2022073282A1 (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
| US10699150B2 (en) | Machine guided photo and video composition | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、***和计算机可读介质 | |
| CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN107172354A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| WO2023151511A1 (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| CN111880711B (zh) | 显示控制方法、装置、电子设备及存储介质 | |
| Yang et al. | Personalized exposure control using adaptive metering and reinforcement learning | |
| CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
| CN111881862A (zh) | 手势识别方法及相关装置 | |
| CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
| CN107909551A (zh) | 图像处理方法、装置、计算机装置及计算机可读存储介质 | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN109981967B (zh) | 用于智能机器人的拍摄方法、装置、终端设备及介质 | |
| CN111383188A (zh) | 一种图像处理方法、***及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |