CN107436685B - 显示装置、自发光的显示面板及手势识别方法 - Google Patents

显示装置、自发光的显示面板及手势识别方法 Download PDF

Info

Publication number
CN107436685B
CN107436685B CN201710638929.0A CN201710638929A CN107436685B CN 107436685 B CN107436685 B CN 107436685B CN 201710638929 A CN201710638929 A CN 201710638929A CN 107436685 B CN107436685 B CN 107436685B
Authority
CN
China
Prior art keywords
display panel
infrared
display
camera
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710638929.0A
Other languages
English (en)
Other versions
CN107436685A (zh
Inventor
曹学友
董学
王海生
丁小梁
郑智仁
王鹏鹏
刘伟
韩艳玲
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710638929.0A priority Critical patent/CN107436685B/zh
Publication of CN107436685A publication Critical patent/CN107436685A/zh
Priority to US15/996,953 priority patent/US10802596B2/en
Application granted granted Critical
Publication of CN107436685B publication Critical patent/CN107436685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G09G2320/0295—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel by monitoring each display pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Vascular Medicine (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Sustainable Development (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种显示装置、自发光的显示面板及手势识别方法，属于显示设备领域。所述显示装置包括：自发光的显示面板，红外光源，摄像组件和图像处理组件；显示面板具有显示面和非显示面，红外光源设置于显示面板的非显示面所在侧，红外光源的发光面朝向显示面板的显示面所在侧；摄像组件包括红外摄像头和可见光摄像头；图像处理组件分别与红外摄像头和可见光摄像头连接，图像处理组件能够基于同一时间段内，红外摄像头拍摄的连续多个手部红外图像和可见光摄像头拍摄的连续多个手部可见光图像，进行手势识别。本发明提供的显示装置可以在保证自身体积较小的情况下实现手势控制。

Description

显示装置、自发光的显示面板及手势识别方法
技术领域
本发明涉及显示设备领域，特别涉及一种显示装置、自发光的显示面板及手势识别方法。
背景技术
随着科学技术的发展，对显示装置进行控制的方法也越来越多样化，其中一种控制方法为手势控制。所谓手势控制是指显示装置根据用户的手势执行相应的操作，在进行手势控制时，用户的手部可以不接触显示装置，而是隔空对显示装置进行控制。
相关技术中，为了实现对显示装置的手势控制，显示装置中通常可以设置有单独的手势识别组件，显示装置可以通过该手势识别组件对用户的手势进行识别，进而根据识别的手势执行相应的操作。
然而，在实际应用中，显示装置单独设置手势识别组件会导致显示装置体积较大。
发明内容
为了解决现有技术中单独设置手势识别组件导致显示装置体积较大的问题，本发明实施例提供了一种显示装置、自发光的显示面板及手势识别方法。所述技术方案如下：
第一方面，提供了一种显示装置，所述显示装置包括：自发光的显示面板，红外光源，摄像组件和图像处理组件；
所述显示面板具有相互平行的显示面和非显示面，所述红外光源设置于所述显示面板的非显示面所在侧，所述红外光源的发光面朝向所述显示面板的显示面所在侧，所述显示面板具有供红外光透过的透光区域；
所述摄像组件位于所述显示面板周围或者位于所述显示面板的非显示区域上，所述摄像组件包括红外摄像头和可见光摄像头，所述红外摄像头和所述可见光摄像头的镜头均朝向所述显示面板的显示面所在侧；
所述图像处理组件分别与所述红外摄像头和所述可见光摄像头连接，所述图像处理组件能够基于同一时间段内，所述红外摄像头拍摄的连续多个手部红外图像和所述可见光摄像头拍摄的连续多个手部可见光图像，进行手势识别。
可选的，所述显示面板内设置有红外传感器，所述红外传感器与所述图像处理组件连接；
所述图像处理组件能获取所述红外传感器检测到的经由待识别指纹反射的红外光的光强，并根据所述光强对所述待识别指纹进行识别。
可选的，所述显示面板包括阵列排布的多个像素，所述透光区域为所述多个像素的像素间隙，每个所述像素包括间隔设置的至少两个亚像素，所述显示面板内设置有多个所述红外传感器，
每个所述红外传感器位于除所述像素间隙之外的每两个相邻的亚像素组之间，每个所述亚像素组包括沿行方向排布的至少两个亚像素。
可选的，所述显示面板包括阵列排布的多个像素，所述透光区域为所述多个像素的像素间隙，所述显示装置还包括光线准直器，所述光线准直器设置于所述像素间隙中。
可选的，所述显示面板包括阵列排布的多个像素，所述显示面板包括在所述非显示面上阵列排布的多个遮光块，所述多个遮光块与所述多个像素一一对应，每个所述遮光块覆盖对应的像素在所述非显示面上的正投影区域。
可选的，所述显示面板的形状为矩形，所述显示面板的四个角落中的每个角落上设置有一个所述红外摄像头和一个所述可见光摄像头。
第二方面，提供了一种自发光的显示面板，所述显示面板包括衬底基板、多个遮光块和多个像素，所述多个遮光块和所述多个像素一一对应，所述多个像素之间存在透光的像素间隙；
所述多个遮光块阵列排布于所述衬底基板上；
每个所述像素设置于对应的遮光块上，且每个所述像素在所述衬底基板上的正投影被对应的遮光块所覆盖。
可选的，每个所述像素包括间隔设置的至少两个亚像素，所述显示面板内设置有多个红外传感器；
每个所述红外传感器位于除所述像素间隙之外的每两个相邻的亚像素组之间，每个亚像素组包括沿行方向排布的至少两个亚像素。
第三方面，提供了一种手势识别方法，包括：
获取显示装置的红外摄像头在预设时间段内拍摄的连续多个手部红外图像；
获取所述显示装置的可见光摄像头在所述预设时间段内拍摄的连续多个手部可见光图像；
基于所述连续多个手部红外图像和所述连续多个手部可见光图像，进行手势识别。
可选的，所述基于所述连续多个手部红外图像和所述连续多个手部可见光图像，进行手势识别，包括：
根据所述连续多个手部红外图像，确定所述预设时间段内光斑的扭曲度的变化，所述光斑是由所述显示装置的红外光源在手部上投射得到的；
根据所述光斑的扭曲度的变化，确定所述预设时间段内，所述手部在垂直于参考面的方向上的运动轨迹，其中，当所述显示面板为平面显示面板时，所述参考面为所述显示面，当所述显示面板为曲面显示面板时，所述参考面为所述显示面的母线对应的弦所在平面；
根据所述连续多个手部可见光图像，确定所述预设时间段内，所述手部在平行于所述参考面的方向上的运动轨迹；
根据所述手部在垂直于参考面的方向上的运动轨迹和所述手部在平行于所述参考面的方向上的运动轨迹进行手势识别。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，存储的所述计算机程序被处理器执行时能够实现上述第三方面任一所述的手势识别方法。
本发明实施例提供的技术方案带来的有益效果是：
通过在显示装置中设置红外光源、摄像组件和图像处理组件以识别用户的手势，从而实现对显示装置的手势控制，其中，红外光源可设置于显示装置的自发光显示面板的一侧，这样，就可以将显示装置中用于手势识别的组件与显示装置的显示面板部分集成，从而减小了显示装置的体积。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种显示装置的结构示意图。
图2是本发明实施例提供的一种显示装置的结构示意图。
图3是本发明实施例提供的一种显示装置的俯视图。
图4是本发明实施例提供的一种显示装置的结构示意图。
图5是本发明实施例提供的一种显示面板的俯视图。
图6是本发明实施例提供的一种手势识别方法的流程图。
图7是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在实际应用中，对显示装置进行手势控制在人们的日常生活中已经越来越常见了，所谓手势控制指的是显示装置根据用户的手势(也即是用户手部的动作)执行相应的操作。例如，在切水果游戏中，用户可以用手部隔空做出向上、向下等的动作，显示装置在识别到用户的手势后，可以基于用户的手势生成与该手势相同方向的刀刃图像信息，并基于该刀刃图像信息在显示面板上显示该刀刃。
传统技术中，为了实现手势控制，显示装置中一般需要安装电磁波(通常为毫米波)发射器和电磁波接收器，在进行手势控制时，电磁波发射器可以发射电磁波，该电磁波经过用户手部的反射后由电磁波接收器进行接收，显示装置的处理组件可以根据电磁波接收器接收到电磁波和电磁波发射器发射电磁波的时差获取用户的手部相对于显示装置的位置，并根据一段时间内用户手部位置的变化确定用户手部的运动轨迹，从而实现对用户的手势的识别，继而实现手势控制。
由于传统技术中，显示装置为了进行手势控制需要额外设置电磁波发射器和电磁波接收器，这会导致显示装置的体积较大，不符合当下设备小型化的理念。为了解决这一问题，本发明实施例提供了一种显示装置。图1所示为本发明实施例提供的显示装置的示意图，如图1所示，该显示装置可以包括：自发光的显示面板10，红外光源20，摄像组件30和图像处理组件(图1中未示出)。
其中，显示面板10具有相互平行的显示面a和非显示面b，显示面板10的显示面a是指用于显示图像的面，而显示面板10的非显示面b指的是不用于显示图像的面，也即是显示面板10平行的两个面中除显示面a以外的另一面。
红外光源20设置于显示面板10的非显示面b所在侧，红外光源20的发光面朝向显示面板10的显示面a所在侧。显示面板10具有供红外光透过的透光区域，在实际应用中，显示面板10可以包括阵列排布的多个像素x(图1中仅示例性地示出了3个像素)，相邻的像素x之间存在透光的像素间隙j，该像素间隙j即为上文所述的显示面板10的透光区域。红外光源20发出的红外光能够通过显示面板10的透光区域(也即是像素间隙j)由显示面板10的显示面a射出至手部s上。
摄像组件30位于显示面板10周围或者位于显示面板10的非显示区域上，摄像组件30可以包括红外摄像头和可见光摄像头，其中，红外摄像头和可见光摄像头的镜头均朝向显示面板10的显示面a所在侧。
图像处理组件分别与摄像组件10的红外摄像头和可见光摄像头连接，图像处理组件能够基于同一时间段内，红外摄像头拍摄的连续多个手部红外图像和可见光摄像头拍摄的连续多个手部可见光图像，进行手势识别。
在实际应用中，上述自发光的显示面板10可以为OLED(Organic Light-EmittingDiode，有机发光二极管)显示面板，当显示面板10为OLED显示面板时，显示面板10还可以包括玻璃盖板g，该玻璃盖板g可以设置于显示面板10的显示面a所在侧。此外，红外光源20可以为平行光源，也即是红外光源20发出的红外光为平行光，在实际应用中，上述红外光源20还可以为调制光源，也即是，红外光源20发出的红外光频率可调。另外，需要指出的是，尽管图1中示出了两个摄像组件30，但在实际应用中，摄像组件30可以设置1个或多个，本发明实施例对此不做具体限定。
在进行手势识别时，红外光源20可以发出红外光，由于红外光源20发出的红外光仅可以通过像素间隙j射出，因此，红外光源20发出的红外光通过显示面板10的显示面a射出后可以在平面上形成由相互交叉的横向条状光斑和纵向条状光斑组成的网状光斑。而当红外光源20发出的红外光通过显示面板10的显示面a射出至手部s上时，由于手部s的表面通常是不平整的，因此，该红外光在手部s的表面上形成的网状光斑会发生一定程度的扭曲。在实际应用中，该网状光斑的扭曲程度与手部s与显示面板10的参考面的垂直距离有关，一般情况下，扭曲度越大，该垂直距离越小，而扭曲度越小，该垂直距离越大。其中，当显示面板10为平面显示面板时，上述参考面即为显示面a或者平行于显示面a的面，而当显示面板10为曲面显示面板时，上述参考面为显示面的母线对应的弦所在平面，该参考面与显示面板的显示面相切。
摄像组件30中的红外摄像头可以在预设时间段内拍摄连续多个手部红外图像，其中，每个手部红外图像包括某一时刻红外光在手部s上形成的光斑的图像，红外摄像头可以将拍摄到的连续多个手部红外图像发送至图像处理组件，以由图像处理组件根据连续多个手部红外图像中光斑的扭曲度的变化获取预设时间段内手部s与上述参考面的垂直距离的变化，从而获取手部s在垂直于参考面的方向(如图1所示的z方向)上的运动轨迹。
如上所述，摄像组件30还包括可见光摄像头，该可见光摄像头可以在上述预设时间段内拍摄连续多个手部可见光图像，每个手部可见光图像包括某一时刻手部s的图像，可见光摄像头可以将拍摄到的连续多个手部可见光图像发送至图像处理组件，以由图像处理组件基于双目测距的原理根据该连续多个手部可见光图像确定手部s在上述参考面上正投影的位置的变化，从而获取手部s在平行于参考面的方向上的运动轨迹。需要说明的是，为了使图像处理组件能够基于双目测距的原理根据该连续多个手部可见光图像确定手部s在参考面上正投影的位置的变化，摄像组件30中的可见光摄像头可以为双目摄像头，或者，显示装置中可以设置有两个摄像组件30，本发明实施例对此不做具体限定。
由上述说明可知，图像处理组件可以根据红外摄像头在预设时间段内拍摄的连续多个手部红外图像获取手部s在垂直于参考面的方向上的运动轨迹，并能够根据可见光摄像头在上述预设时间段内拍摄的连续多个手部可见光图像获取手部s在平行于参考面的方向上的运动轨迹，换句话说，图像处理组件可以获取手部s在该预设时间段内在三维空间中的运动轨迹。这样，通过在显示装置中设置红外光源20、摄像组件30和图像处理组件就可以实现对用户手部动作的识别，也即是实现对用户手势的识别，继而可以实现对显示装置的手势控制。
由于显示装置中通常设置有摄像组件30中的可见光摄像头和图像处理组件，而红外光源20又可以与显示装置中的显示面板10集成，因此，本发明实施例提供的显示装置可以在保证自身体积较小的情况下实现手势控制。
综上所述，本发明实施例提供的显示装置，通过在显示装置中设置红外光源、摄像组件和图像处理组件以识别用户的手势，从而实现对显示装置的手势控制，其中，红外光源可设置于显示装置的自发光显示面板的一侧，这样，就可以将显示装置中用于手势识别的组件与显示装置的显示面板部分集成，从而减小了显示装置的体积。
请继续参考图1，如图1所示，显示面板10包括在该非显示面b上阵列排布的多个遮光块k，该多个遮光块k与显示面板10中的多个像素x一一对应，每个遮光块k能够覆盖对应的像素x在显示面板10的非显示面b上的正投影区域。
设置遮光块k可以保证红外光源20发出的红外光不会通过显示面板10中的像素x射出，从而保证显示面板10对图像的正常显示。
请参考图2，如图2所示，显示装置中还可以包括光线准直器q，该光线准直器q设置于像素间隙j中。红外光源20发出的红外光能够通过像素间隙j中设置的光线准直器q由显示面板10的显示面a射出至该手部s上。
在实际应用中，像素间隙j可能设置的非常小，在这种情况下，红外光源20发出的红外光很可能会在通过像素间隙j时产生干涉或衍射，这会导致红外光形成的上述网状光斑产生一定的变形，从而影响对手部s的运动轨迹的识别。为了避免上述状况，本发明实施例可以在像素间隙j中设置光线准直器q，该光线准直器q可以保证通过该光线准直器q射出的红外光线平行，从而避免了因为干涉或衍射而对手部的运动轨迹的识别带来影响。
请参考图3，图3为显示装置的俯视图，如图3所示，图3假设显示面板10的形状为矩形，在这种情况下，显示面板10的四个角落中的每个角落上都可以设置有一个摄像组件30，也即是，显示面板10的四个角落中的每个角落上都可以设置有一个红外摄像头301和一个可见光摄像头302。
由于每个摄像组件30所能覆盖的区域往往是有限的，而在实际应用中，单个摄像组件30往往难以覆盖显示面板10，因此，为了对显示面板10进行全覆盖，本发明实施例中，显示装置中可以设置有多个摄像组件30。此外，又由于摄像组件30所能覆盖的区域通常为锥形扇面区域，因此，设置4个摄像组件30，且该4个摄像组件30对应设置于显示面板10的4个角落可以最大限度地保证对显示面板10的摄像范围的全覆盖。
需要说明的是，显示面板10的形状可以为其他形状，如圆形或者椭圆形，可以在显示面板的周边区域设置多个摄像组件30，以实现摄像范围最大化。
在实际应用中，本发明实施例提供的显示装置除了可以进行手势识别外，还可以进行指纹识别。请参考图4，如图4所示，显示面板10中还可以设置有红外传感器40，该红外传感器40与图像处理组件(图4中未示出)连接。在实际应用中，显示面板10中的每个像素x均可以包括间隔设置的至少两个亚像素，该红外传感器40可以设置于相邻的两个亚像素的间隙中，例如，如图4所示，像素x可以包括间隔设置的红色亚像素R、绿色亚像素G和蓝色亚像素B，该红外传感器40可以设置于像素x的红色亚像素R和绿色亚像素G的间隙内，也可以设置于像素x的绿色亚像素G和蓝色亚像素B的间隙内。
在进行指纹识别时，红外光源20发出的红外光能够通过像素间隙j由显示面板10的显示面a射出至待识别指纹w上，待识别指纹w可以包括指纹谷l和指纹脊h，红外光射出至待识别指纹w上时，指纹谷l和指纹脊h均可以对红外光进行反射。红外传感器40可以检测经由该待识别指纹w的指纹谷l和指纹脊h反射的红外光的光强，并将检测到的光强发送至图像处理组件中。图像处理组件可以获取红外传感器40检测到的经由待识别指纹w反射的红外光的光强，并根据光强对待识别指纹w进行识别，其中，由于指纹脊h与显示面板10的显示面a之间的空气较少，因此，经由指纹脊h反射的红外光的光强较大，而指纹谷l与显示面板10的显示面a之间的空气较多，因此，经由指纹脊h反射的红外光的光强较小，故而，处理组件可以将检测到的光强较大的红外传感器40所在区域确定为待识别指纹w中指纹脊h所在区域，而将检测到的光强较小的红外传感器40所在区域确定为待识别指纹w中指纹谷l所在区域，从而实现对待识别指纹w的识别。
请参考图5，图5所示为显示面板10的俯视图，如图5所示，显示面板10内可以设置有多个红外传感器40，每个红外传感器40位于除像素间隙j之外的每两个相邻的亚像素组之间，每个亚像素组包括沿行方向排布的至少两个亚像素。例如，如图5所示，亚像素组D1包括行方向上排布的两个红色亚像素，亚像素组D2包括行方向上排布的两个绿色亚像素，亚像素组D3包括行方向上排布的两个蓝色亚像素，亚像素组D4包括行方向上排布的两个红色亚像素，由图5可知，亚像素组D1和亚像素组D2的间隙不为像素间隙j，亚像素组D2和亚像素组D3的间隙也不为像素间隙j，而亚像素组D3和亚像素组D4的间隙为像素间隙j，则可以将红外传感器40设置于亚像素组D1和亚像素组D2的间隙以及亚像素组D2和亚像素组D3的间隙中。
将红外传感器40设置于除像素间隙j之外的每两个相邻的亚像素组之间的设置方式相较于将红外传感器40设置于相邻的亚像素的间隙中的设置方式而言，红外传感器40在长度方向上的尺寸较大，从而增大了显示面板10上的感光区域，从而提高了对待识别指纹w识别的精确度。
实际应用中，上述显示装置还包括位于显示面板外部的壳体，上述图像处理组件可以包括处理器和/或处理芯片等。
综上所述，本发明实施例提供的显示装置，通过在显示装置中设置红外光源、摄像组件和图像处理组件以识别用户的手势，从而实现对显示装置的手势控制，其中，红外光源可设置于显示装置的自发光显示面板的一侧，这样，就可以将显示装置中用于手势识别的组件与显示装置的显示面板部分集成，从而减小了显示装置的体积。
本发明实施例还提供了一种自发光的显示面板，该显示面板的结构与上文所述的显示面板10的结构同理，包括衬底基板、多个遮光块和多个像素，该多个遮光块和该多个像素一一对应，该多个像素之间存在透光的像素间隙，该多个遮光块阵列排布于衬底基板上，每个像素设置于对应的遮光块上，每个像素在衬底基板上的正投影被对应的遮光块所覆盖。
此外，在本发明的一个实施例中，每个像素包括间隔设置的至少两个亚像素，显示面板内设置有多个红外传感器，每个红外传感器位于除像素间隙之外的每两个相邻的亚像素组之间，每个亚像素组包括沿行方向排布的至少两个亚像素。
本发明实施例还提供了一种手势识别方法，该手势识别方法可以应用于上述实施例提供的显示装置中，如图6所示，该手势识别方法可以包括以下步骤：
步骤601、显示装置获取自身中的红外摄像头在预设时间段内拍摄的连续多个手部红外图像。
步骤602、显示装置获取自身中的的可见光摄像头在预设时间段内拍摄的连续多个手部可见光图像。
步骤603、显示装置基于连续多个手部红外图像和连续多个手部可见光图像，进行手势识别。
在本发明的一个实施例中，步骤603的实现方式可以为：
A、显示装置根据连续多个手部红外图像，确定预设时间段内光斑的扭曲度的变化，该光斑是由显示装置的红外光源在手部上投射得到的。
B、显示装置根据光斑的扭曲度的变化，确定预设时间段内手部在垂直于参考面的方向上的运动轨迹，其中，当显示面板为平面显示面板时，参考面为显示面，当显示面板为曲面显示面板时，参考面为显示面的母线对应的弦所在平面。
C、显示装置根据连续多个手部可见光图像，确定预设时间段内手部在平行于参考面的方向上的运动轨迹。
D、显示装置根据手部在垂直于参考面的方向上的运动轨迹和手部在平行于所述参考面的方向上的运动轨迹进行手势识别。
本发明实施例提供的手势识别方法的具体技术过程已经在上文有关显示装置的实施例中进行了详细地说明，本发明实施例在此不再赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机可读存储介质中的计算机程序由处理器执行时，能够执行一种手势识别方法，例如，该方法可以为：获取显示装置的红外摄像头在预设时间段内拍摄的连续多个手部红外图像；获取该显示装置的可见光摄像头在该预设时间段内拍摄的连续多个手部可见光图像；基于该连续多个手部红外图像和该连续多个手部可见光图像，进行手势识别。
在实际应用中，本发明实施例提供的显示装置可以为一个终端，参见图7，该终端700包括：
终端700可以包括RF(Radio Frequency，射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(Wireless Fidelity，无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器180处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯***)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端700的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端700的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图7中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端700还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端700移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端700还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与终端700之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端700的通信。
WiFi属于短距离无线传输技术，终端700通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块170，但是可以理解的是，其并不属于终端700的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端700的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端700的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
终端700还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理***与处理器180逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端700还可以包括摄像头、蓝牙模块等，在此不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种显示装置，其特征在于，所述显示装置包括：自发光的显示面板，红外光源，摄像组件和图像处理组件；
所述显示面板具有相互平行的显示面和非显示面，所述红外光源设置于所述显示面板的非显示面所在侧，所述红外光源的发光面朝向所述显示面板的显示面所在侧，所述显示面板具有供红外光透过的透光区域；
所述摄像组件位于所述显示面板周围或者位于所述显示面板的非显示区域上，所述摄像组件包括红外摄像头和可见光摄像头，所述红外摄像头和所述可见光摄像头的镜头均朝向所述显示面板的显示面所在侧；
所述图像处理组件分别与所述红外摄像头和所述可见光摄像头连接，所述图像处理组件能够根据所述红外摄像头在预设时间段内拍摄的连续多个手部红外图像，确定所述预设时间段内光斑的扭曲度的变化，所述光斑是由所述显示装置的红外光源在手部上投射得到的，根据所述光斑的扭曲度的变化，确定所述预设时间段内，所述手部在垂直于参考面的方向上的运动轨迹，根据所述可见光摄像头在所述预设时间段内拍摄的连续多个手部可见光图像，确定所述预设时间段内，所述手部在平行于所述参考面的方向上的运动轨迹，根据所述手部在垂直于参考面的方向上的运动轨迹和所述手部在平行于所述参考面的方向上的运动轨迹进行手势识别，其中，当所述显示面板为平面显示面板时，所述参考面为所述显示面，当所述显示面板为曲面显示面板时，所述参考面为所述显示面的母线对应的弦所在平面。
2.根据权利要求1所述的显示装置，其特征在于，
所述显示面板内设置有红外传感器，所述红外传感器与所述图像处理组件连接；
所述图像处理组件能获取所述红外传感器检测到的经由待识别指纹反射的红外光的光强，并根据所述光强对所述待识别指纹进行识别。
3.根据权利要求2所述的显示装置，其特征在于，所述显示面板包括阵列排布的多个像素，所述透光区域为所述多个像素的像素间隙，每个所述像素包括间隔设置的至少两个亚像素，所述显示面板内设置有多个所述红外传感器，
每个所述红外传感器位于除各行像素之间的像素间隙之外的每两个相邻的亚像素组之间，每个所述亚像素组包括沿行方向排布的至少两个亚像素。
4.根据权利要求1所述的显示装置，其特征在于，所述显示面板包括阵列排布的多个像素，所述透光区域为所述多个像素的像素间隙，所述显示装置还包括光线准直器，所述光线准直器设置于所述像素间隙中。
5.根据权利要求1所述的显示装置，其特征在于，所述显示面板包括阵列排布的多个像素，所述显示面板包括在所述非显示面上阵列排布的多个遮光块，所述多个遮光块与所述多个像素一一对应，每个所述遮光块覆盖对应的像素在所述非显示面上的正投影区域。
6.根据权利要求1至5任一所述的显示装置，其特征在于，所述显示面板的形状为矩形，所述显示面板的四个角落中的每个角落上设置有一个所述红外摄像头和一个所述可见光摄像头。
7.一种自发光的显示面板，其特征在于，所述显示面板包括衬底基板、多个遮光块和多个像素，所述多个遮光块和所述多个像素一一对应，所述多个像素之间存在透光的像素间隙；
所述多个遮光块阵列排布于所述衬底基板上；
每个所述像素设置于对应的遮光块上，且每个所述像素在所述衬底基板上的正投影被对应的遮光块所覆盖；
所述显示面板设置于显示装置中，所述显示装置还包括：红外光源，摄像组件和图像处理组件；
其中，所述显示面板具有相互平行的显示面和非显示面，所述红外光源设置于所述显示面板的非显示面所在侧，所述红外光源的发光面朝向所述显示面板的显示面所在侧，所述显示面板具有供红外光透过的透光区域；所述摄像组件位于所述显示面板周围或者位于所述显示面板的非显示区域上，所述摄像组件包括红外摄像头和可见光摄像头，所述红外摄像头和所述可见光摄像头的镜头均朝向所述显示面板的显示面所在侧；所述图像处理组件分别与所述红外摄像头和所述可见光摄像头连接，所述图像处理组件能够根据所述红外摄像头拍摄的连续多个手部红外图像，确定预设时间段内光斑的扭曲度的变化，所述光斑是由所述显示装置的红外光源在手部上投射得到的，根据所述光斑的扭曲度的变化，确定所述预设时间段内，所述手部在垂直于参考面的方向上的运动轨迹，根据所述可见光摄像头拍摄的连续多个手部可见光图像，确定所述预设时间段内，所述手部在平行于所述参考面的方向上的运动轨迹，根据所述手部在垂直于参考面的方向上的运动轨迹和所述手部在平行于所述参考面的方向上的运动轨迹进行手势识别，其中，当所述显示面板为平面显示面板时，所述参考面为所述显示面，当所述显示面板为曲面显示面板时，所述参考面为所述显示面的母线对应的弦所在平面。
8.根据权利要求7所述的显示面板，其特征在于，每个所述像素包括间隔设置的至少两个亚像素，所述显示面板内设置有多个红外传感器；
每个所述红外传感器位于除各行像素之间的像素间隙之外的每两个相邻的亚像素组之间，每个亚像素组包括沿行方向排布的至少两个亚像素。
9.一种手势识别方法，其特征在于，包括：
获取显示装置的红外摄像头在预设时间段内拍摄的连续多个手部红外图像；
获取所述显示装置的可见光摄像头在所述预设时间段内拍摄的连续多个手部可见光图像；
根据所述连续多个手部红外图像，确定所述预设时间段内光斑的扭曲度的变化，所述光斑是由所述显示装置的红外光源在手部上投射得到的；
根据所述光斑的扭曲度的变化，确定所述预设时间段内，所述手部在垂直于参考面的方向上的运动轨迹，其中，当所述显示装置的显示面板为平面显示面板时，所述参考面为所述显示面，当所述显示面板为曲面显示面板时，所述参考面为所述显示面的母线对应的弦所在平面；
根据所述连续多个手部可见光图像，确定所述预设时间段内，所述手部在平行于所述参考面的方向上的运动轨迹；
根据所述手部在垂直于参考面的方向上的运动轨迹和所述手部在平行于所述参考面的方向上的运动轨迹进行手势识别。
CN201710638929.0A 2017-07-31 2017-07-31 显示装置、自发光的显示面板及手势识别方法 Active CN107436685B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710638929.0A CN107436685B (zh) 2017-07-31 2017-07-31 显示装置、自发光的显示面板及手势识别方法
US15/996,953 US10802596B2 (en) 2017-07-31 2018-06-04 Display device, self-luminous display panel and gesture recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710638929.0A CN107436685B (zh) 2017-07-31 2017-07-31 显示装置、自发光的显示面板及手势识别方法

Publications (2)

Publication Number Publication Date
CN107436685A CN107436685A (zh) 2017-12-05
CN107436685B true CN107436685B (zh) 2020-07-07

Family

ID=60460304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710638929.0A Active CN107436685B (zh) 2017-07-31 2017-07-31 显示装置、自发光的显示面板及手势识别方法

Country Status (2)

Country Link
US (1) US10802596B2 (zh)
CN (1) CN107436685B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931859B2 (en) 2016-05-23 2021-02-23 InSyte Systems Light emitter and sensors for detecting biologic characteristics
US10713458B2 (en) 2016-05-23 2020-07-14 InSyte Systems Integrated light emitting display and sensors for detecting biologic characteristics
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
JP6209699B1 (ja) * 2017-04-18 2017-10-04 京セラ株式会社 電子機器、プログラムおよび制御方法
CN107450817B (zh) * 2017-07-31 2019-12-31 Oppo广东移动通信有限公司 接近检测方法、装置、存储介质及电子设备
CN108074949B (zh) * 2017-12-26 2019-08-23 Oppo广东移动通信有限公司 电子装置
CN108509083B (zh) * 2018-04-08 2021-06-01 北京小米移动软件有限公司 显示面板和终端
CN110536049A (zh) * 2018-05-25 2019-12-03 印象认知（北京）科技有限公司 图像采集设备、图像采集方法、电子设备及成像装置
CN108769313B (zh) * 2018-05-29 2021-05-25 维沃移动通信有限公司 一种移动终端
CN108877654A (zh) * 2018-06-29 2018-11-23 联想(北京)有限公司 电子设备及信息处理方法
US11262592B2 (en) * 2018-07-05 2022-03-01 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Optical identification module
CN109091153B (zh) * 2018-07-09 2022-07-08 京东方科技集团股份有限公司 一种显示面板、体征数据检测电路及方法
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors
CN108924315B (zh) * 2018-08-08 2021-01-26 盎锐（上海）信息科技有限公司 用于移动终端的3d摄像装置及拍摄方法
WO2020037594A1 (zh) * 2018-08-23 2020-02-27 合刃科技（深圳）有限公司 一种基于高光谱成像的手势识别方法及装置
US11181775B2 (en) * 2018-09-11 2021-11-23 Samsung Electronics Co., Ltd. Illumination device and electronic apparatus including the same
WO2020056547A1 (en) * 2018-09-17 2020-03-26 Fingerprint Cards Ab Biometric imaging device
CN109151283A (zh) * 2018-09-30 2019-01-04 联想(北京)有限公司 电子设备及图像处理模组
CN111092098A (zh) * 2018-10-08 2020-05-01 京东方科技集团股份有限公司 显示基板及其制备方法和显示面板、显示装置
KR20200047938A (ko) * 2018-10-26 2020-05-08 삼성디스플레이 주식회사 표시 장치
CN110097043B (zh) * 2019-05-05 2022-04-15 京东方科技集团股份有限公司 传感器像素、超声传感器、oled显示面板和oled显示装置
CN110350000A (zh) * 2019-05-23 2019-10-18 华为技术有限公司 一种显示屏及电子设备
US11239270B2 (en) 2019-08-20 2022-02-01 Hoon Kim TFT photodetector integrated on display panel
CN111095285B (zh) * 2019-08-23 2021-09-17 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN111095284B (zh) 2019-08-23 2023-09-22 深圳市汇顶科技股份有限公司 指纹检测装置、方法和电子设备
CN110472617B (zh) * 2019-08-29 2021-10-12 维沃移动通信有限公司 显示模组及电子设备
CN110580115B (zh) * 2019-09-19 2023-07-25 京东方科技集团股份有限公司 一种镜面显示装置及控制方法
EP3889827B1 (en) 2019-10-18 2023-05-24 Shenzhen Goodix Technology Co., Ltd. Fingerprint detection apparatus and electronic device
CN111477658B (zh) * 2020-04-15 2021-06-04 山西穿越光电科技有限责任公司 一种oled显示器件及其修复方法
US11658204B2 (en) * 2020-11-12 2023-05-23 GM Global Technology Operations LLC Microled display with pixelated sensors
CN113900513B (zh) * 2021-09-26 2022-10-11 上海交通大学 基于可见光信号的隔空手势控制方法
CN114422762B (zh) * 2021-12-25 2023-10-13 深圳市幕工坊科技有限公司 投影幕动作控制***
CN114390760B (zh) * 2022-01-20 2023-11-21 北方工业大学 一种灯光控制方法及***
CN114706502A (zh) * 2022-03-17 2022-07-05 Tcl华星光电技术有限公司 显示模组及显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104319283A (zh) * 2014-10-27 2015-01-28 京东方科技集团股份有限公司 一种有机电致发光显示器件、其驱动方法及显示装置
CN105045399A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的电子设备
CN105304656A (zh) * 2014-06-23 2016-02-03 上海箩箕技术有限公司 光电传感器
KR20170037436A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 적외선 센서를 구비한 디스플레이 장치
CN106653802A (zh) * 2016-11-11 2017-05-10 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN106773219A (zh) * 2017-02-07 2017-05-31 京东方科技集团股份有限公司 一种显示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP4683135B2 (ja) * 2009-03-04 2011-05-11 エプソンイメージングデバイス株式会社 位置検出機能付き表示装置および電子機器
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
US9337247B2 (en) * 2014-01-21 2016-05-10 Apple Inc. Organic light-emitting diode display with bottom shields
US9977543B2 (en) * 2014-02-27 2018-05-22 Samsung Display Co., Ltd. Apparatus and method for detecting surface shear force on a display device
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
US10151946B2 (en) * 2014-07-31 2018-12-11 Google Technology Holdings LLC Apparatus with visible and infrared light emitting display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105304656A (zh) * 2014-06-23 2016-02-03 上海箩箕技术有限公司 光电传感器
CN104319283A (zh) * 2014-10-27 2015-01-28 京东方科技集团股份有限公司 一种有机电致发光显示器件、其驱动方法及显示装置
CN105045399A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的电子设备
KR20170037436A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 적외선 센서를 구비한 디스플레이 장치
CN106653802A (zh) * 2016-11-11 2017-05-10 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN106773219A (zh) * 2017-02-07 2017-05-31 京东方科技集团股份有限公司 一种显示装置

Also Published As

Publication number Publication date
US20190033976A1 (en) 2019-01-31
CN107436685A (zh) 2017-12-05
US10802596B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN107436685B (zh) 显示装置、自发光的显示面板及手势识别方法
EP3396516B1 (en) Mobile terminal, method and device for displaying fingerprint recognition region
CN108769304B (zh) 电子装置
CN107943345B (zh) 接近传感器的校准方法、装置、存储介质和电子设备
EP3399461B1 (en) Optical fingerprint verification method and mobile terminal
EP4109218B1 (en) Mobile phone comprising a touch screen with an in-display fingerprint sensor
CN109067418B (zh) 一种天线控制方法及移动终端
CN107942306B (zh) 接近传感器的校准方法、装置、存储介质和电子设备
WO2018196500A1 (en) Electronic device, fingerprint recognition control method and device
EP3410391A1 (en) Image blurring method, electronic device and computer readable storage medium
US10915750B2 (en) Method and device for searching stripe set
EP3407177B1 (en) Method for capturing fingerprint and associated products
KR102640072B1 (ko) 화면 표시의 제어 방법 및 전자기기
US11971646B2 (en) Camera module, mobile terminal, and control method
CN109257505B (zh) 一种屏幕控制方法及移动终端
US10795456B2 (en) Method, device and terminal for determining effectiveness of stripe set
CN110930964B (zh) 一种显示屏亮度调节方法、装置、存储介质及终端
CN110058686B (zh) 一种控制方法及终端设备
CN111614878B (zh) 像素单元、光电传感器、摄像模组及电子设备
CN113612957B (zh) 通话方法以及相关设备
CN109348016B (zh) 一种显示屏、显示控制方法及终端设备
CN108955641B (zh) 一种深度摄像方法、深度摄像设备及移动终端
US10895799B2 (en) Method and device for identifying flashing light source
CN108810282B (zh) 一种靠近检测方法及终端
CN108259676B (zh) 终端设备及感光控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant