CN112540649B - 一种显示屏的转动控制方法及笔记本电脑 - Google Patents

一种显示屏的转动控制方法及笔记本电脑 Download PDF

Info

Publication number
CN112540649B
CN112540649B CN202011437080.9A CN202011437080A CN112540649B CN 112540649 B CN112540649 B CN 112540649B CN 202011437080 A CN202011437080 A CN 202011437080A CN 112540649 B CN112540649 B CN 112540649B
Authority
CN
China
Prior art keywords
display screen
coordinate
user
face
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011437080.9A
Other languages
English (en)
Other versions
CN112540649A (zh
Inventor
黄鹣
徐建平
叶继丰
杨国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuangzhicheng Technology Co ltd
Original Assignee
Shenzhen Chuangzhicheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chuangzhicheng Technology Co ltd filed Critical Shenzhen Chuangzhicheng Technology Co ltd
Priority to CN202011437080.9A priority Critical patent/CN112540649B/zh
Publication of CN112540649A publication Critical patent/CN112540649A/zh
Application granted granted Critical
Publication of CN112540649B publication Critical patent/CN112540649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1654Details related to the display arrangement, including those related to the mounting of the display in the housing the display being detachable, e.g. for remote use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • G06F1/166Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories related to integrated arrangements for adjusting the position of the main body with respect to the supporting surface, e.g. legs for adjusting the tilt angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及笔记本电脑技术领域,公开一种显示屏的转动控制方法及笔记本电脑。方法包括:获取位于显示屏前方的用户的人脸图像,人脸图像配置有坐标系;提取人脸图像中的人脸轮廓;判断人脸轮廓是否偏离预设坐标范围;若偏离,判断人脸轮廓是否满足正视屏幕条件;若满足,确定人脸图像中两眼区域在坐标系的当前坐标;根据当前坐标与基准坐标,控制显示屏转动,以使用户的人脸轮廓保持在预设坐标范围内。因此,本方法能够智能追踪用户头部的位置变化,自动调整显示屏的角度,无需用户手动调节显示屏的角度,也能够满足用户的观屏需求,从而提高了用户体验感。

Description

一种显示屏的转动控制方法及笔记本电脑
技术领域
本发明涉及笔记本电脑技术领域,具体涉及一种显示屏的转动控制方法及笔记本电脑。
背景技术
现有笔记本电脑的显示屏是可旋转的,用户根据观看的需求,自行调节显示屏的角度,以使用户能够更加清晰地观看显示屏。
然而,在很多工作场景,用户并非能够一直保持固定的坐姿,尤其是头部姿态,当用户为了寻找更舒服坐姿而改变头部姿态时,为了清楚地观看显示屏,用户往往需要手动调节显示屏的角度,使得用户再次清楚地观看显示屏幕,但是,现有作法不够智能和比较麻烦。
发明内容
本发明实施例的一个目的旨在提供一种显示屏的转动控制方法及笔记本电脑,其能够自动调整显示屏,以满足用户头部变化所带来的观屏需求。
在第一方面,本发明实施例提供一种显示屏的转动控制方法,应用于笔记本电脑,所述方法包括:
获取位于所述显示屏前方的用户的人脸图像,所述人脸图像配置有坐标系;
提取所述人脸图像中的人脸轮廓;
判断所述人脸轮廓是否偏离预设坐标范围;
若偏离,判断所述人脸轮廓是否满足正视屏幕条件;
若满足,确定所述人脸图像中两眼区域在所述坐标系的当前坐标;
根据所述当前坐标与基准坐标,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内。
可选地,所述判断所述人脸轮廓是否满足正视屏幕条件包括:
根据深度学习算法,判断所述人脸轮廓是否满足正视屏幕条件。
可选地,所述根据深度学习算法,判断所述人脸轮廓是否满足正视屏幕条件包括:
将所述人脸轮廓的图像输入SVM分类器,得到所述人脸轮廓满足正视屏幕条件的概率;
判断所述概率是否大于或等于预设阈值;
若是,则所述人脸轮廓满足正视屏幕条件;
若否,则所述人脸轮廓未满足正视屏幕条件。
可选地,所述当前坐标包括左眼当前坐标与右眼当前坐标,所述基准坐标包括左眼基准坐标与右眼基准坐标,所述根据所述当前坐标与基准坐标,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:
判断所述左眼当前坐标是否符合所述左眼基准坐标的基准范围,或所述右眼当前坐标是否符合所述右眼基准坐标的基准范围;
若是,保持所述显示屏的位置状态;
若否,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内。
可选地,所述左眼当前坐标与所述右眼当前坐标组成当前线段,所述左眼基准坐标与所述右眼基准坐标组成基准线段,所述控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:
确定所述当前线段相对所述基准线段的偏移方向,以及与所述偏移方向对应的目标转动方向;
控制所述显示屏在所述目标转动方向下,按照单位步进转动量逐步转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内。
可选地,所述控制所述显示屏在所述目标转动方向下,按照单位步进转动量逐步转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:
获取所述显示屏在所述目标转动方向下,按照单位步进转动量每次转动时的第i次人脸图像,i为正整数;
判断所述第i次人脸图像中的当前坐标是否符合所述基准坐标的基准范围;
若是,控制所述显示屏停止转动;
若否,赋值i=i+1,返回获取所述显示屏在所述目标转动方向下,按照单位步进转动量每次转动时的第i次人脸图像的步骤。
可选地,所述坐标系的原点在所述人脸图像的最左上角,X轴正方向朝向所述人脸图像的右方,Y轴正方向朝向所述人脸图像的下方,所述偏移方向包括上偏移方向与下偏移方向,所述确定所述当前线段相对所述基准线段的偏移方向包括:
计算所述左眼当前坐标/所述右眼当前坐标中的纵坐标与所述左眼基准坐标/所述右眼基准坐标中纵坐标的差值;
判断所述差值是否大于零;
若是,确定所述当前线段相对所述基准线段的偏移方向为所述下偏移方向;
若否,确定所述当前线段相对所述基准线段的偏移方向为所述上偏移方向。
可选地,转动方向包括相对于所述用户的逆时针转动方向与顺时针转动方向,所述确定与所述偏移方向对应的目标转动方向包括:
若所述偏移方向为所述上偏移方向,确定所述目标转动方向为逆时针转动方向;
若所述偏移方向为所述下偏移方向,确定所述目标转动方向为顺时针转动方向。
可选地,所述基准坐标包括左眼基准坐标与右眼基准坐标,所述方法还包括:
获取位于所述显示屏前方的用户的第一人脸图像;
使用人脸分析算法处理所述第一人脸图像,确定所述用户是否为所述笔记本电脑的合法用户;
若否,返回获取位于所述显示屏前方的用户的初始人脸图像步骤;
若是,检测到所述用户在预设时长内连续操作笔记本电脑时,获取所述用户的第二人脸图像;
分别计算所述第一人脸图像中左眼当前坐标的指定范围与所述第二人脸图像中左眼当前坐标的指定范围的第一重合度,所述第一人脸图像中右眼当前坐标的指定范围与所述第二人脸图像中右眼当前坐标的指定范围的第二重合度;
判断所述第一重合度与所述第二重合度是否都大于预设重合阈值;
若是,以第二人脸图像中左眼当前坐标和右眼当前坐标分别作为左眼基准坐标和右眼基准坐标;
若否,返回获取位于所述显示屏前方的用户的第一人脸图像的步骤。
在第二方面,本发明实施例提供一种笔记本电脑,包括:
上壳,所述上壳包括转动部,所述转动部设有通槽;
转轴;
下壳,所述下壳设有正相对的两个枢接部,所述转轴贯穿所述通槽后,可转动地安装于所述两个枢接部之间;
键盘,所述键盘安装于所述下壳;
显示屏,所述显示屏内嵌于所述上壳朝向所述键盘的表面;
前置摄像头,所述前置摄像头安装于所述上壳朝向所述键盘的表面;
转动机构,所述转动机构与所述转轴连接,用于驱动所述转轴带动所述显示屏转动;
主板,所述主板收容于所述下壳内,其中,所述主板包括:
至少一个处理器,所述至少一个处理器与所述转动机构电连接;
与所述至少一个处理器通信连接的存储器,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的显示屏的转动控制方法。
在本发明实施例提供的显示屏的转动控制方法中,首先,获取位于显示屏前方的用户的人脸图像,人脸图像配置有坐标系;其次,根据人脸图像,判断用户的头部是否偏离预设坐标范围;再次,若偏离,判断人脸图像中的人脸轮廓是否满足正视屏幕条件;再次,若满足,确定人脸图像中两眼区域在坐标系的当前坐标;最后,根据当前坐标与基准坐标,控制显示屏转动,以使用户头部保持在预设坐标范围内。因此,本方法能够智能追踪用户头部的位置变化,自动调整显示屏的角度,无需用户手动调节显示屏的角度,也能够满足用户的观屏需求,从而提高了用户体验感。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种笔记本电脑的结构示意图;
图2为本发明实施例提供的一种笔记本电脑的电路结构示意图;
图3为本发明实施例提供的一种控制器的电路结构示意图;
图4为本发明实施例提供的一种显示屏的转动控制方法的流程示意图;
图5为图4所示的S46的流程示意图;
图6为图5所示的S463的流程示意图;
图7为本发明另一实施例提供的一种显示屏的转动控制方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。再者,本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
本发明实施例提供一种笔记本电脑,请一并参阅图1与图2,笔记本电脑100包括上壳11、转轴(图未示)、下壳12、键盘13、显示屏14、前置摄像头15、转动机构16及主板17。
上壳11包括转动部110,转动部110设有通槽,下壳12设有正相对的两个枢接部120,转轴贯穿通槽后可转动地安装于所述两个枢接部120之间,用户可以手动推动上壳11绕着转轴相对下壳12转动。
键盘13安装于下壳12,键盘13用于接收用户的按键操作,完成相应按键值的输入。
显示屏14内嵌于上壳11朝向键盘13的表面,显示屏14用于提供显示画面。当上壳11转动时,上壳11可以携带显示屏14进行转动。
前置摄像头15安装于上壳11朝向键盘13的表面,前置摄像头15可以拍摄位于显示屏14前方的用户的人脸图像。
转动机构16与转轴连接,用于驱动转轴带动显示屏14转动。
在一些实施例中,转动机构16包括转动齿轮、传动齿轮、传动轴及步进电机,其中,转动齿轮套设于转轴并固定于转轴,转动齿轮与传动齿轮啮合,其中,转动齿轮的中心线、转轴的中心线及传动齿轮的中心线两两平行。传动轴一端固定安装于传动齿轮的轴孔,传动轴另一端与步进电机连接,步进电机受主板17的控制,步进电机工作时,驱动传动轴带动传动齿轮绕其中心线作圆周转动,传动齿轮推动转动齿轮绕其中心线作圆周转动,于是,转动齿轮便可以带动转轴绕其中心线作圆周转动,接着,上壳11带动显示屏14绕转轴作圆周转动。
主板17收容于下壳12内。如图2所示,主板17包括无线通信单元171、音视频输入单元172、用户输入单元173、感测单元174、输出单元175、接口单元176、内存177及控制器178。
无线通信单元171可以包括能够在终端和无线通信***之间实现无线通信或在终端和电子设备所处于的网络之间实现无线通信的至少一个模块。例如,无线通信单元171包括广播接收模块、移动通信模块、无线互联网模块、短距离通信模块和定位信息模块。
音视频输入单元172用于输入音频信号或视频信号,并可以包括麦克风(话筒)。话筒通过麦克风在呼叫模式、录制模式或语音识别模式中接收外部声音信号,并将声音信号处理为电语音数据。针对呼叫模式,经处理的声音数据可以被转换为能够通过移动通信模块发送到移动通信基站的格式以进行输出。在话筒中,可以实现用于去除在接收外部声音信号期间生成的噪声的各种噪声去除算法。
用户输入单元173生成输入数据,输入数据用于控制用户对终端的操作。用户输入单元可以包括例如指纹模组、薄膜开关(dome switch)、触摸板(恒定电压/恒定电流)、滚轮(jog whee l)或拨动开关(jog switch)。用户输入单元173可以包括用于生成选择信号的识别模块选择开关,选择信号用于在多个选择模块中选择特定的识别模块。指纹模组可以为屏下指纹模组、屏上指纹模组或侧屏指纹模组。
感测单元174可以检测电子设备的当前状态,诸如电子设备的打开/关闭状态、终端的位置、是否与用户接触、终端的方向或电子设备的加速/减速,以生成用于控制终端的操作的感测信号。例如,当终端是滑盖电话类型时,可以感测滑盖电话是打开的还是关闭的。另外,可以感测电源单元是否供电或者外部装置是否与接口单元相连接。感测单元可以包括例如触摸传感器和接近传感器。触摸传感器是用于检测触摸操作的传感器。例如,触摸传感器可以具有触摸膜、触摸片或触摸单元的形式。
输出单元175用于生成与视觉、听觉或触摸有关的输出,并且输出单元可以包括声音输出模块、告警单元和触觉模块。
接口单元176执行将所有外部设备连接到终端的通路的功能。接口单元从外部设备接收数据,被提供电力并且向终端内的每个元件传送电力,或者将终端内的数据发送到外部设备。例如,有线/无线耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接到具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频输入/输出(I/O)端口和耳机端口可以被包括在接口单元中。
内存177可以存储用于操作控制器的程序,并且可以临时地存储输入/输出数据(例如,通讯录、消息、静态图像、视频等)。存储器还可以存储与当对触摸屏施加触摸输入时所输出的各种模式的振动和声音相关的数据。
控制器178控制电子设备的总体操作。例如,控制器178可以执行与语音呼叫、数据通信或视频呼叫有关的控制和处理。控制器178可以包括用于播放多媒体的多媒体模块。多媒体模块可以在控制器内实现并且可以与控制器178分离地实现。
请参阅图3,图3为本发明实施例提供的一种控制器的电路结构示意图,如图3所示,控制器178包括一个或多个处理器179以及存储器180。其中,图3中以一个处理器179为例。
处理器179和存储器180可以通过总线或者其他方式连接,图3中以通过总线连接为例。
存储器180作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,当被所述一个或者多个处理器179执行时,执行下文各个实施例中的显示屏的转动控制方法。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图3中的一个处理器179,可使得上述一个或多个处理器可执行下文各个实施例中的显示屏的转动控制方法。
本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被笔记本电脑执行时,使所述笔记本电脑执行下文各个实施例中的显示屏的转动控制方法。。
作为本发明实施例另一方面,本发明实施例提供一种显示屏的转动控制方法,显示屏的转动控制方法应用于笔记本电脑。请参阅图4,显示屏的转动控制方法S400包括:
S41、获取位于显示屏前方的用户的人脸图像,人脸图像配置有坐标系;
在本实施例中,笔记本电脑控制前置摄像头拍摄位于显示屏前方的用户,得到人脸图像,笔记本电脑根据预设规则,为所述人脸图像配置坐标系,例如,坐标系的原点在所述人脸图像的最左上角,X轴正方向朝向所述人脸图像的右方,Y轴正方向朝向所述人脸图像的下方。
由于显示屏前方环境比较复杂,并非是不同用户只要出现在显示屏前方就控制显示屏的转动,为了更加智能化和可靠地控制显示屏的转动,在一些实施例中,笔记本电脑控制前置摄像头按照预设频率拍摄显示屏前方的环境图像,使用人脸分析算法从环境图像提取用户头像,并判断用户头像是否为合法用户头像,若是,将所述环境图像作为最终的人脸图像,若否,则继续控制前置摄像头按照预设频率拍摄显示屏前方的环境图像。采用本方式,其能够保证显示屏始终是跟随合法用户的头部位置的变化而转动,减少一些噪声,提高产品的体验感。
S42、提取人脸图像中的人脸轮廓;
在本实施例中,笔记本电脑根据人脸分析算法,提取人脸图像中的人脸轮廓,其中,人脸分析算法可以选择任意合适人脸算法。
S43、判断人脸轮廓是否偏离预设坐标范围,若是,执行步骤S44,若否,返回步骤S41;
通常,用户清晰地观看显示屏的位置都是固定的,用户头部与显示屏的相对位置也是固定的,若用户头部偏离固定位置,则说明用户在新位置下无法能够清晰地观看显示屏,因此,此时需要调整显示屏。
在本实施例中,设计人员根据普通用户清晰地观看显示屏的固定位置,在坐标系中开辟预设坐标范围,用于描述固定位置,举例而言,预设坐标范围为四个坐标点所围成的图像区域,其中,所述四个坐标点分别为(x1,y1),(x2,y2),(x3,y3)和(x4,y4)。当用户的人脸轮廓全部或者部分移出所述图像区域,则人脸轮廓已偏离预设坐标范围。当用户的人脸轮廓全部都在所述图像区域,则人脸轮廓并未偏离预设坐标范围。
S44、若偏离,判断人脸轮廓是否满足正视屏幕条件,若是,执行S45,若否,返回步骤S41;
通常,促使用户的人脸轮廓偏离预设坐标范围的因素很多,比如用户低头伏案在桌面上休息,或者,用户离开座位,或者用户与同事在显示屏前方讨论问题而头部部分偏离预设坐标范围等等,即使用户的人脸轮廓已偏离预设坐标范围,为了可靠智能地调整显示屏,笔记本电脑还需要判断人脸轮廓是否满足正视屏幕条件。
正视屏幕条件用于判断用户的双眼是否正视显示屏,若用户的双眼正视显示屏,则用户属于为了寻找更舒服位置而改变头部姿态的,用户依然需要观看显示屏。
在一些实施例中,正视屏幕条件可由设计人员根据设计需求自定义,例如,计算当前人脸图像中的双眼总面积,若双眼总面积大于或等于预设面积阈值,则满足正视屏幕条件,反之则否。
在一些实施例中,笔记本电脑可以根据深度学习算法,判断人脸轮廓是否满足正视屏幕条件,举例而言,首先,笔记本电脑将人脸轮廓的图像输入SVM分类器,得到人脸轮廓满足正视屏幕条件的概率。其次,笔记本电脑判断概率是否大于或等于预设阈值,若是,则人脸轮廓满足正视屏幕条件;若否,则人脸轮廓未满足正视屏幕条件。
在一些实施例中,用户可以操作笔记本电脑训练SVM分类器,例如,首先,笔记本电脑配置属于正视显示屏的正样本图像为第一标签,以及不属于正视显示屏的负样本图像为第二标签,其中,第一标签为1,第二标签为0。其次,笔记本电脑分别提取正样本图像的双眼正视特征及负样本图像的双眼非正视特征。最后,笔记本电脑根据双眼正视特征与第一标签以及双眼非正视特征与第二标签,训练SVM分类器。
S45、若满足,确定人脸图像中两眼区域在坐标系的当前坐标;
在本实施例中,当前坐标包括左眼当前坐标与右眼当前坐标,笔记本电脑根据人脸分析算法,从人脸图像中提取左眼区域与右眼区域,并计算左眼区域在坐标系中的左眼当前坐标,以及右眼区域在坐标系中的右眼当前坐标。
S46、根据当前坐标与基准坐标,控制显示屏转动,以使用户头部保持在预设坐标范围内。
在本实施例中,基准坐标用于辅助判断用户两眼的偏移情况,其中,基准坐标包括左眼基准坐标与右眼基准坐标,左眼基准坐标用于辅助判断用户左眼的偏移情况,右眼基准坐标用于辅助判断用户右眼的偏移情况。通过比对当前坐标与基准坐标,从而能够控制显示屏转动,以使用户头部保持在预设坐标范围内,例如,用户头部已偏离预设坐标范围,但是用户依然是正视显示屏的,此时,笔记本电脑比对当前坐标和基准坐标,根据比对结果,向步进电机发送控制指令,步进电机根据控制指令,驱动传动轴带动传动齿轮转动,传动齿轮推动转动齿轮转动,转动齿轮带动转轴携带显示屏转动,以使用户头部保持在预设坐标范围内。
因此,本方法能够智能追踪用户头部的位置变化,自动调整显示屏的角度,无需用户手动调节显示屏的角度,也能够满足用户的观屏需求,从而提高了用户体验感。
在一些实施例中,请参阅图5,S46包括:
S461、判断左眼当前坐标是否符合左眼基准坐标的基准范围,或右眼当前坐标是否符合右眼基准坐标的基准范围;
S462、若是,保持显示屏的位置状态;
S463、若否,控制显示屏转动,以使用户的人脸轮廓保持在预设坐标范围内。
在本实施例中,即使用户头部在预设坐标范围内,且用户的双眼正视显示屏,但是,用户的坐姿及头部并非是丝毫不偏离的,偶尔头部也会出现少许的晃动,在此种情况下,依然可以视为用户头部还在预设坐标范围内,且用户的双眼是正视显示屏的,因此,为了评价此种情况,以及提高本方法的鲁棒性,本方法为左眼基准坐标和右眼基准坐标都配置了相应的基准范围,例如,左眼基准坐标的基准范围为:横坐标x的允许波动范围为x11-x22,例如x11=8,x22=12,纵坐标y的允许波动范围为y11-y22,例如y11=10,y22=14。右眼基准坐标的基准范围为:横坐标x的允许波动范围为x33-x44,例如x33=14,x22=18,纵坐标y的允许波动范围为y33-y44,例如y33=10,y44=14。
采用本方法,其能够保证可靠地监控用户的坐姿变化而可靠地控制显示屏转动,不仅能够满足用户清晰地观屏需求,而且还避免无序地调整显示屏的角度的情况。
在一些实施例中,左眼当前坐标与右眼当前坐标组成当前线段,左眼基准坐标与右眼基准坐标组成基准线段,请参阅图6,S463包括:
S4631、确定当前线段相对基准线段的偏移方向,以及与偏移方向对应的目标转动方向;
S4632、控制显示屏在目标转动方向下,按照单位步进转动量逐步转动,以使用户的人脸轮廓保持在预设坐标范围内。
在本实施例中,偏移方向用于指示用户头部相对显示屏的移动方向,通常,若用户正视显示屏,其两眼所形成的线段相对显示屏的移动方向不是向上移动(挺直坐正),就是向下移动(贴背椅倾斜),因此,在一些实施例中,偏移方向包括上偏移方向与下偏移方向。
在一些实施例中,确定当前线段相对基准线段的偏移方向时,笔记本电脑计算左眼当前坐标中的纵坐标与左眼基准坐标中纵坐标的差值,或者,计算右眼当前坐标中的纵坐标与右眼基准坐标中纵坐标的差值。接着,笔记本电脑判断差值是否大于零,若是,确定当前线段相对基准线段的偏移方向为下偏移方向;若否,确定当前线段相对基准线段的偏移方向为上偏移方向。采用本方法,其无需借助一些传感器,通过简单的图像数据便可以确定偏移方向。
在本实施例中,目标转动方向用于指示显示屏进行转动的方向,转动方向包括相对于用户的逆时针转动方向与顺时针转动方向,若偏移方向为上偏移方向,确定目标转动方向为逆时针转动方向,于是,步进电机便可以控制显示屏作逆时针转动方向的转动,以使用户的人脸轮廓保持在预设坐标范围内。若偏移方向为下偏移方向,确定目标转动方向为顺时针转动方向,于是,步进电机便可以控制显示屏作顺时针转动方向的转动,以使用户的人脸轮廓保持在预设坐标范围内。
在一些实施例中,考虑到不同用户,其基准坐标都是不同的,为了使得本方法能够更加智能化地适应不同用户和不同场景,本方法可以针对不同用户,自动构建基准坐标。
请参阅图7,显示屏的转动控制方法S400包括:
S47、获取位于显示屏前方的用户的第一人脸图像;
S48、使用人脸分析算法处理第一人脸图像,确定用户是否为笔记本电脑的合法用户,若是,执行S49,若否,返回步骤S47;
S49、若是,检测到用户在预设时长内连续操作笔记本电脑时,获取用户的第二人脸图像,执行S50;
S50、分别计算第一人脸图像中左眼当前坐标的指定范围与第二人脸图像中左眼当前坐标的指定范围的第一重合度,第一人脸图像中右眼当前坐标的指定范围与第二人脸图像中右眼当前坐标的指定范围的第二重合度;
S51、判断第一重合度与第二重合度是否都大于预设重合阈值,若是,执行S52,若否,返回S47;
S52、若是,以第二人脸图像中左眼当前坐标和右眼当前坐标分别作为左眼基准坐标和右眼基准坐标。
在本实施例中,笔记本电脑初始上电,便控制摄像头拍摄位于显示屏前方的用户,得到第一人脸图像。接着,笔记本电脑使用人脸分析算法,提取人脸特征,判断所述人脸特征是否匹配笔记本电脑预先存储的参考特征,若匹配,则说明用户是合法的,就可以进入后续步骤。若不匹配,则说明书用户是非法的,则返回继续获取位于显示屏前方的用户的人脸图像。
当用户是合法的,若笔记本电脑检测到用户在预设时长内连续操作笔记本电脑时,例如在15分钟内用户连续操作笔记本电脑,则说明用户已进入工作状态,在工作状态下,通常的,用户的坐姿在相应时间内是比较固定的,此时笔记本电脑可以获取用户的第二人脸图像,因此,笔记本电脑可以避免频繁控制摄像头获取坐姿不稳定下的人脸图像。
若笔记本电脑未检测到用户在预设时长内连续操作笔记本电脑时,重新计时,再次延时预设时长,返回步骤S50。
当笔记本电脑获取到用户的第二人脸图像时,笔记本电脑分别计算第一人脸图像中左眼当前坐标的指定范围及右眼当前坐标的指定范围。
通常,如前所述,即使用户头部在预设坐标范围内,且用户的双眼正视显示屏,但是,用户的坐姿及头部并非是丝毫不偏离的,偶尔头部也会出现少许的晃动,在此种情况下,依然可以视为用户头部还在预设坐标范围内,且用户的双眼是正视显示屏的。但是,只要是如前所述情况的波动,用户的左眼和右眼都是在预设范围进行波动的,并不会有过大的偏移。
为了评价此种情况,以及提高本方法的鲁棒性,本方法为左眼当前坐标和右眼当前坐标都配置了相应的指定范围,例如,左眼当前坐标的指定范围为:左眼当前坐标中的横坐标x±Δx1,纵坐标y±Δy1。右眼当前坐标的指定范围为:右眼当前坐标中的横坐标x±Δx2,纵坐标y±Δy2。
此处,令第一人脸图像中左眼当前坐标的指定范围为(x左1±Δx1,y左1±Δy1),右眼当前坐标的指定范围为(x右1±Δx2,y右1±Δy2)。第二人脸图像中左眼当前坐标的指定范围为(x左2±Δx1,y左2±Δy1),右眼当前坐标的指定范围为(x右2±Δx2,y右2±Δy2)。
接着,笔记本电脑分别计算第一重合度与第二重合度,例如:
x左1=8,Δx1=2,y左1=12,Δy1=2。
x右1=12,Δx2=2,y右1=12,Δy2=2。
x左2=9,Δx1=2,y左2=13,Δy1=2。
x右2=13,Δx2=2,y右2=13,Δy2=2。
经过计算,第一重合度=第二重合度=9/16=56.25%。
接着,假设预设重合阈值为50%,由于第一重合度与第二重合度都大于预设重合阈值,以第二人脸图像中左眼当前坐标(x左2±Δx1,y左2±Δy1)和右眼当前坐标(x右2±Δx2,y右2±Δy2)分别作为左眼基准坐标和右眼基准坐标。
采用本方法,其能够自动和可靠智能地确定基准坐标,为后续调节显示屏的角度作好基础。
需要说明的是,在上述各个实施方式中,上述各步骤之间并不必然存在一定的先后顺序,本领域普通技术人员,根据本发明实施方式的描述可以理解,不同实施方式中,上述各步骤可以有不同的执行顺序,亦即,可以并行执行,亦可以交换执行等等。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种显示屏的转动控制方法,应用于笔记本电脑,其特征在于,所述方法包括:
获取位于所述显示屏前方的用户的第一人脸图像,使用人脸分析算法处理所述第一人脸图像,确定所述用户是否为所述笔记本电脑的合法用户,若否,返回获取位于所述显示屏前方的用户的初始人脸图像步骤,若是,检测到所述用户在预设时长内连续操作笔记本电脑时,获取所述用户的第二人脸图像,分别计算所述第一人脸图像中左眼当前坐标的指定范围与所述第二人脸图像中左眼当前坐标的指定范围的第一重合度,所述第一人脸图像中右眼当前坐标的指定范围与所述第二人脸图像中右眼当前坐标的指定范围的第二重合度,判断所述第一重合度与所述第二重合度是否都大于预设重合阈值,若是,以第二人脸图像中左眼当前坐标和右眼当前坐标分别作为左眼基准坐标和右眼基准坐标,若否,返回获取位于所述显示屏前方的用户的第一人脸图像的步骤;
获取位于所述显示屏前方的用户的人脸图像,所述人脸图像配置有坐标系;
提取所述人脸图像中的人脸轮廓;
判断所述人脸轮廓是否偏离预设坐标范围;
若偏离,判断所述人脸轮廓是否满足正视屏幕条件;
若满足,确定所述人脸图像中两眼区域在所述坐标系的当前坐标,所述当前坐标包括左眼当前坐标与右眼当前坐标;
根据所述当前坐标与基准坐标,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内,其中,所述基准坐标包括左眼基准坐标与右眼基准坐标,所述根据所述当前坐标与基准坐标,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:判断所述左眼当前坐标是否符合所述左眼基准坐标的基准范围,或所述右眼当前坐标是否符合所述右眼基准坐标的基准范围,若是,保持所述显示屏的位置状态,若否,控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内。
2.根据权利要求1所述的方法,其特征在于,所述判断所述人脸轮廓是否满足正视屏幕条件包括:
根据深度学习算法,判断所述人脸轮廓是否满足正视屏幕条件。
3.根据权利要求2所述的方法,其特征在于,所述根据深度学习算法,判断所述人脸轮廓是否满足正视屏幕条件包括:
将所述人脸轮廓的图像输入SVM分类器,得到所述人脸轮廓满足正视屏幕条件的概率;
判断所述概率是否大于或等于预设阈值;
若是,则所述人脸轮廓满足正视屏幕条件;
若否,则所述人脸轮廓未满足正视屏幕条件。
4.根据权利要求1所述的方法,其特征在于,所述左眼当前坐标与所述右眼当前坐标组成当前线段,所述左眼基准坐标与所述右眼基准坐标组成基准线段,所述控制所述显示屏转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:
确定所述当前线段相对所述基准线段的偏移方向,以及与所述偏移方向对应的目标转动方向;
控制所述显示屏在所述目标转动方向下,按照单位步进转动量逐步转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内。
5.根据权利要求4所述的方法,其特征在于,所述控制所述显示屏在所述目标转动方向下,按照单位步进转动量逐步转动,以使所述用户的人脸轮廓保持在所述预设坐标范围内包括:
获取所述显示屏在所述目标转动方向下,按照单位步进转动量每次转动时的第i次人脸图像,i为正整数;
判断所述第i次人脸图像中的当前坐标是否符合所述基准坐标的基准范围;
若是,控制所述显示屏停止转动;
若否,赋值i=i+1,返回获取所述显示屏在所述目标转动方向下,按照单位步进转动量每次转动时的第i次人脸图像的步骤。
6.根据权利要求4所述的方法,其特征在于,所述坐标系的原点在所述人脸图像的最左上角,X轴正方向朝向所述人脸图像的右方,Y轴正方向朝向所述人脸图像的下方,所述偏移方向包括上偏移方向与下偏移方向,所述确定所述当前线段相对所述基准线段的偏移方向包括:
计算所述左眼当前坐标/所述右眼当前坐标中的纵坐标与所述左眼基准坐标/所述右眼基准坐标中纵坐标的差值;
判断所述差值是否大于零;
若是,确定所述当前线段相对所述基准线段的偏移方向为所述下偏移方向;
若否,确定所述当前线段相对所述基准线段的偏移方向为所述上偏移方向。
7.根据权利要求6所述的方法,其特征在于,转动方向包括相对于所述用户的逆时针转动方向与顺时针转动方向,所述确定与所述偏移方向对应的目标转动方向包括:
若所述偏移方向为所述上偏移方向,确定所述目标转动方向为逆时针转动方向;
若所述偏移方向为所述下偏移方向,确定所述目标转动方向为顺时针转动方向。
8.一种笔记本电脑,其特征在于,包括:
上壳,所述上壳包括转动部,所述转动部设有通槽;
转轴;
下壳,所述下壳设有正相对的两个枢接部,所述转轴贯穿所述通槽后,可转动地安装于所述两个枢接部之间;
键盘,所述键盘安装于所述下壳;
显示屏,所述显示屏内嵌于所述上壳朝向所述键盘的表面;
前置摄像头,所述前置摄像头安装于所述上壳朝向所述键盘的表面;
转动机构,所述转动机构与所述转轴连接,用于驱动所述转轴带动所述显示屏转动;
主板,所述主板收容于所述下壳内,其中,所述主板包括:
至少一个处理器,所述至少一个处理器与所述转动机构电连接;
与所述至少一个处理器通信连接的存储器,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7任一项所述的显示屏的转动控制方法。
CN202011437080.9A 2020-12-11 2020-12-11 一种显示屏的转动控制方法及笔记本电脑 Active CN112540649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011437080.9A CN112540649B (zh) 2020-12-11 2020-12-11 一种显示屏的转动控制方法及笔记本电脑

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011437080.9A CN112540649B (zh) 2020-12-11 2020-12-11 一种显示屏的转动控制方法及笔记本电脑

Publications (2)

Publication Number Publication Date
CN112540649A CN112540649A (zh) 2021-03-23
CN112540649B true CN112540649B (zh) 2024-02-20

Family

ID=75019974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011437080.9A Active CN112540649B (zh) 2020-12-11 2020-12-11 一种显示屏的转动控制方法及笔记本电脑

Country Status (1)

Country Link
CN (1) CN112540649B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900525A (zh) * 2021-10-29 2022-01-07 深圳Tcl数字技术有限公司 数字人显示方法、装置及显示设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615033A (zh) * 2008-06-25 2009-12-30 和硕联合科技股份有限公司 显示模块的角度调整装置及方法
CN101859176A (zh) * 2009-04-08 2010-10-13 群康科技(深圳)有限公司 屏幕控制装置及其方法
CN101930238A (zh) * 2008-12-26 2010-12-29 宏碁股份有限公司 具有显示器的电子装置及调整显示器仰角的方法
CN102033549A (zh) * 2009-09-30 2011-04-27 三星电子(中国)研发中心 显示设备的视角调整装置
CN102117074A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业(深圳)有限公司 显示器角度调整***及其使用方法
CN102270021A (zh) * 2011-08-04 2011-12-07 浙江大学 基于人脸识别的显示器自动调节方法及支架
CN102270012A (zh) * 2010-06-01 2011-12-07 鸿富锦精密工业(深圳)有限公司 电子装置及其开合角度的自动调整方法
CN103024191A (zh) * 2012-12-21 2013-04-03 广东欧珀移动通信有限公司 一种屏幕旋转方法、装置以及移动终端
CN103645749A (zh) * 2013-12-23 2014-03-19 张志增 自动调节型显示设备及调节方法
CN103901901A (zh) * 2014-03-21 2014-07-02 小米科技有限责任公司 一种视频终端的屏幕旋转方法及装置
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
CN104881263A (zh) * 2015-05-27 2015-09-02 天津三星电子有限公司 一种显示控制方法及显示设备
JP2017188766A (ja) * 2016-04-05 2017-10-12 レノボ・シンガポール・プライベート・リミテッド カメラを備える電子機器、撮影映像の補正方法および記憶媒体
CN110727316A (zh) * 2019-10-12 2020-01-24 北京硬壳科技有限公司 自动调节显示器的位置的方法和装置,以及显示器
CN210860320U (zh) * 2018-12-17 2020-06-26 淄博职业学院 一种可旋转调节角度的计算机屏幕

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615033A (zh) * 2008-06-25 2009-12-30 和硕联合科技股份有限公司 显示模块的角度调整装置及方法
CN101930238A (zh) * 2008-12-26 2010-12-29 宏碁股份有限公司 具有显示器的电子装置及调整显示器仰角的方法
CN101859176A (zh) * 2009-04-08 2010-10-13 群康科技(深圳)有限公司 屏幕控制装置及其方法
CN102033549A (zh) * 2009-09-30 2011-04-27 三星电子(中国)研发中心 显示设备的视角调整装置
CN102117074A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业(深圳)有限公司 显示器角度调整***及其使用方法
CN102270012A (zh) * 2010-06-01 2011-12-07 鸿富锦精密工业(深圳)有限公司 电子装置及其开合角度的自动调整方法
CN102270021A (zh) * 2011-08-04 2011-12-07 浙江大学 基于人脸识别的显示器自动调节方法及支架
CN103024191A (zh) * 2012-12-21 2013-04-03 广东欧珀移动通信有限公司 一种屏幕旋转方法、装置以及移动终端
CN103645749A (zh) * 2013-12-23 2014-03-19 张志增 自动调节型显示设备及调节方法
CN103901901A (zh) * 2014-03-21 2014-07-02 小米科技有限责任公司 一种视频终端的屏幕旋转方法及装置
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
CN104881263A (zh) * 2015-05-27 2015-09-02 天津三星电子有限公司 一种显示控制方法及显示设备
JP2017188766A (ja) * 2016-04-05 2017-10-12 レノボ・シンガポール・プライベート・リミテッド カメラを備える電子機器、撮影映像の補正方法および記憶媒体
CN210860320U (zh) * 2018-12-17 2020-06-26 淄博职业学院 一种可旋转调节角度的计算机屏幕
CN110727316A (zh) * 2019-10-12 2020-01-24 北京硬壳科技有限公司 自动调节显示器的位置的方法和装置,以及显示器

Also Published As

Publication number Publication date
CN112540649A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
US20230252779A1 (en) Personal computing device control using face detection and recognition
CN113454982B (zh) 用于使图像稳定化的电子装置及其操作方法
US11703949B2 (en) Directional assistance for centering a face in a camera field of view
US9154692B2 (en) Apparatus and method for continuously taking a picture
US8432357B2 (en) Tracking object selection apparatus, method, program and circuit
US10956733B2 (en) Image processing apparatus and image processing method
CN105554389B (zh) 拍摄方法及装置
KR102415552B1 (ko) 디스플레이 장치
CN102104767A (zh) 具有透视失真校正的脸部姿势改进
CN108200337B (zh) 拍照处理的方法、装置、终端及存储介质
CN110096865B (zh) 下发验证方式的方法、装置、设备及存储介质
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
CN104077585A (zh) 图像校正方法、装置及终端
KR20200101230A (ko) 구도를 추천하기 위한 전자 장치 및 그의 동작 방법
CN107958223A (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN112540649B (zh) 一种显示屏的转动控制方法及笔记本电脑
CN104867112B (zh) 照片处理方法及装置
CN105678296A (zh) 确定字符倾斜角度的方法及装置
US20200402253A1 (en) Head pose estimation
WO2021185142A1 (zh) 图像处理方法、电子设备及存储介质
CN109218709A (zh) 全息内容的调整方法及装置和计算机可读存储介质
CN111311588B (zh) 重定位方法及装置、电子设备和存储介质
US20130147980A1 (en) Apparatus and associated method for face tracking in video conference and video chat communications
US20230022444A1 (en) Electronic device generating image and method for operating the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant