CN110750160A - 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质 - Google Patents

基于手势的绘画屏绘画方法、装置、绘画屏和存储介质 Download PDF

Info

Publication number
CN110750160A
CN110750160A CN201911016667.XA CN201911016667A CN110750160A CN 110750160 A CN110750160 A CN 110750160A CN 201911016667 A CN201911016667 A CN 201911016667A CN 110750160 A CN110750160 A CN 110750160A
Authority
CN
China
Prior art keywords
gesture
current moment
determining
current
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911016667.XA
Other languages
English (en)
Other versions
CN110750160B (zh
Inventor
于越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911016667.XA priority Critical patent/CN110750160B/zh
Publication of CN110750160A publication Critical patent/CN110750160A/zh
Application granted granted Critical
Publication of CN110750160B publication Critical patent/CN110750160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提出一种基于手势的绘画屏绘画方法、装置、绘画屏和存储介质，其中，方法包括：获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。

Description

基于手势的绘画屏绘画方法、装置、绘画屏和存储介质
技术领域
本申请涉及图像处理以及人机交互技术领域，尤其涉及一种基于手势的绘画屏绘画方法、装置、绘画屏和存储介质。
背景技术
目前，为了提升绘画的真实性，用户可以在纸上进行绘画，然而在纸上书写的内容受环境或其他因素的影响，容易损坏或者丢失，为了避免上述问题，用户可以在具有绘画屏的设备，比如绘画板上进行绘画。
这种方式下，用户必须借助辅助工具，比如绘画笔，才能在具有绘画屏的设备进行绘画，操作极为不便。
发明内容
本申请提出一种基于手势的绘画屏绘画方法、装置、绘画屏和存储介质，以实现提升绘画的便捷性，改善用户的使用体验，用于解决现有技术中借助辅助工具在具有绘画屏的设备进行绘画，操作极为不便的技术问题。
本申请第一方面实施例提出了一种基于手势的绘画屏绘画方法，包括：
获取摄像组件采集的当前时刻的场景图像；
对所述当前时刻的场景图像进行识别，确定当前时刻的手势；
根据所述当前时刻的手势、及与所述当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；
在绘画屏中绘制所述待绘制的图形。
本申请实施例的基于手势的绘画屏绘画方法，通过获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
本申请第二方面实施例提出了一种基于手势的绘画屏绘画装置，包括：
获取模块，用于获取摄像组件采集的当前时刻的场景图像；
识别模块，用于对所述当前时刻的场景图像进行识别，确定当前时刻的手势；
确定模块，用于根据所述当前时刻的手势、及与所述当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；
绘制模块，用于在绘画屏中绘制所述待绘制的图形。
本申请实施例的基于手势的绘画屏绘画装置，通过获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
本申请第三方面实施例提出了一种绘画屏，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的基于手势的绘画屏绘画方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的基于手势的绘画屏绘画方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的基于手势的绘画屏绘画方法的流程示意图；
图2为本申请实施例的绘画板的结构示意图；
图3为本申请实施例二所提供的基于手势的绘画屏绘画方法的流程示意图；
图4为本申请实施例三所提供的基于手势的绘画屏绘画方法的流程示意图；
图5为本申请实施例四所提供的基于手势的绘画屏绘画方法的流程示意图；
图6为本申请实施例的应用场景示意图；
图7为本申请实施例五所提供的基于手势的绘画屏绘画装置的结构示意图；
图8为本申请实施例六所提供的基于手势的绘画屏绘画装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请主要针对现有技术中借助辅助工具在具有绘画屏的设备进行绘画，操作极为不便的技术问题，提出一种基于手势的绘画屏绘画方法。
本申请实施例的基于手势的绘画屏绘画方法，通过获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
下面参考附图描述本申请实施例的基于手势的绘画屏绘画方法、装置、绘画屏和存储介质。
图1为本申请实施例一所提供的基于手势的绘画屏绘画方法的流程示意图。
本申请实施例的基于手势的绘画屏绘画方法，可以应用于绘画屏，比如，可以应用于绘画板、绘画教学辅助设备、绘图设备等具有绘画屏的设备。
如图1所示，该基于手势的绘画屏绘画方法包括以下步骤：
步骤101，获取摄像组件采集的当前时刻的场景图像。
本申请实施例中，当前时刻的场景图像可以为二维的场景图像。摄像组件可以包括彩色摄像头和/或黑白摄像头，基于该彩色摄像头和/或黑白摄像头，可以获取二维的当前时刻的场景图像。
本申请实施例中，用户可以开启绘画屏的远程绘画功能，比如，具有绘画屏的设备上可以具有相应的控件，或者具有绘画屏的设备的遥控器上可以具有相应的开关，用于开启或关闭绘画屏的远程绘画功能，用户可以通过触发上述控件或者开关，开启绘画屏的远程绘画功能，或者，用户还可以语音控制具有绘画屏的设备开启远程绘画功能，本申请对此并不做限制。当开启绘画屏的远程绘画功能后，可以通过摄像组件采集当前时刻的场景图像，并将采集的当前时刻的场景图像发送至基于手势的绘画屏绘画装置，相应的，基于手势的绘画屏绘画装置可以接收当前时刻的场景图像，或者，基于手势的绘画屏绘画装置可以实时与摄像组件进行通信，当采集摄像组件采集到当前时刻的场景图像后，基于手势的绘画屏绘画装置可以获取该当前时刻的场景图像。
步骤102，对当前时刻的场景图像进行识别，确定当前时刻的手势。
本申请实施例中，在获取到当前时刻的场景图像后，可以对当前时刻的场景图像进行图像识别，确定当前时刻的手势。比如，为了提升图像识别结果的准确性，可以基于机器学习方法，对当前时刻的场景图像进行识别，确定当前时刻的手势。
作为一种可能的实现方式，可以对当前时刻的场景图像进行识别，确定并提取出手部区域或手势区域，之后，可以对手部区域或手势区域内的图像进行预处理，以提升识别结果的准确性，比如，可以对手部区域或手势区域内的图像进行几何归一化、直方图均衡化等处理，之后，为了避免光照变化和手势旋转对于识别结果的影响，可以基于梯度方向直方图(Histograms of Oriented Gradient，检测HOG)，对手部区域或手势区域内的图像进行特征提取，得到手势特征，即HOG特征，并采用降维算法，比如主成分分析(PrincipalComponent Analysis，简称PCA)、因子分析(Factor Analysis)、独立成分分析(Independent Component Analysis，简称ICA)等算法，对提取出的HOG特征进程降维处理，之后，利用支持向量机(Support Vector Machine，简称SVM)对降维处理后的HOG特征进行识别，判断出当前手势含义，并输出手势序号，从而确定当前时刻的手势。
例如，具有画笔手势、手掌手势、握拳手势、撤销手势这4种手势，分别用***数字1至4进行表示，采用投票决策型SVM对手势进行识别时，可以在各手势类别之间构造分类器，对于有k类样本的分类问题，可以构造k(k-1)/2个分类器，统计各个分类器的投票结果，得票最多的类就是样本点所属的类。比如上述具有4类手势，k取值可以为4。
需要说明的是，上述仅以4种手势进行示例，实际应用时，还可以对手势进行细粒度划分，以提升识别结果的准确性。
步骤103，根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形。
本申请实施例中，前一预设时间段可以包括一个时刻，或者，也可以包括多个时刻，本申请对此并不作限制。
本申请实施例中，当前时刻的手势不同时，待绘制的图形可以不同，并且，与当前时刻相邻的前一预设时间段内的手势和当前时刻的手势不同时，待绘制的图形也可以不同。举例而言，当前时刻的手势为画笔手势时，可根据指尖的移动轨迹，确定待绘制的图形，或者，当前时刻的手势为撤销手势时，可以撤销上一次的绘制操作，或者，当前时刻的手势为手掌手势，而与当前时刻相邻的前一预设时间段内的手势为握拳手势时，待绘制的图像可以为颜料包爆裂图形，等等。
本申请实施例中，可以预先设置各手势与待绘制的图形之间的对应关系，以及先后做出的各手势与待绘制的图形之间的对应关系，从而在确定当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势后，可以查询上述对应关系，确定当前待绘制的图形。仍以上述例子示例，假设先做出的手势为握拳手势，后做出的手势为手掌手势，则待绘制的图像可以为颜料包爆裂图形。
步骤104，在绘画屏中绘制待绘制的图形。
本申请实施例中，在确定当前待绘制的图像后，可以在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
作为一种应用场景，参见图2，图2为本申请实施例的绘画板的结构示意图。其中，绘画板20具有摄像组件21和绘画屏22，通过摄像组件21采集场景图像，并识别场景图像中的手势，当识别出的手势为画笔手势时，可根据指尖的轨迹，在绘画屏上绘画，当识别出的手势为握拳手势，且之后又识别得到手掌手势，则可在绘画屏上绘制类似于向画屏投掷颜料包炸裂的图形，当识别出的手势为撤销手势时，可以撤销上一次绘制效果。
需要说明的是，图2仅以4种手势进行示例，实际应用时，可将手势进行细粒度化划分，并定义各手势与待绘制的图形之间的对应关系，或者，定义先后做出的各手势与待绘制的图形之间的对应关系，比如，当手势为点赞手势时，待绘制的图形可为鲜花图形，等等。并且，图2仅以撤销手势为竖食指和中指、画笔手势为竖食指进行示例，实际应用时，可自定义撤销手势和画笔手势对应的具体手势，比如撤销手势还可以为竖三根手指、竖四根手指等，本申请对此并不做限制。
本申请实施例的基于手势的绘画屏绘画方法，通过获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
现有技术中，用户在具有绘画屏的设备上进行绘画时，绘画的线条宽度为默认设置的，或者，可由用户在绘画屏上手动设置。第一种方式下，无法满足不同用户的需求，第二种方式下，操作极为不便。
而本申请中，可以根据用户手部与摄像组件之间的距离值，自动调整绘画的线条宽度，以满足不同用户的个性化需求，并且，无需用户手动设置线条宽度，可以简化用户操作，改善用户的使用体验。下面结合实施例二，对上述过程进行详细说明。
图3为本申请实施例二所提供的基于手势的绘画屏绘画方法的流程示意图。
如图3所示，该基于手势的绘画屏绘画方法可以包括以下步骤：
步骤201，获取摄像组件采集的当前时刻的场景图像。
步骤201的执行过程可以参见上述实施例中步骤101的执行过程，在此不做赘述。
进一步地，为了提升后续识别结果的准确性，本申请中，还可以对当前时刻的场景图像进行预处理，例如，可以首先采用中值滤波法，对当前时刻的场景图像进行滤波，去除噪声影响，然后对滤波处理后的当前时刻的场景图像进行增强处理，使得图像中的手势信息更加明显、更易提取。
步骤202，获取当前时刻的场景图像中各像素点对应的深度值。
本申请实施例中，摄像组件还可以包括深度摄像头，通过该深度摄像头获取当前时刻的场景图像中各像素点对应的深度值。
步骤203，对当前时刻的场景图像进行识别，确定当前时刻的手势。
本申请实施例中，可以基于当前时刻的场景图像的肤色信息和深度信息，确定当前时刻的场景图像中是否包含手部区域或者手势区域，之后可以对手部区域或者手势区域内的图像进行识别，确定当前时刻的手势。例如，为了避免光照变化和手势旋转对于识别结果的影响，可以基于HOG算法，对手部区域内的图像进行特征提取，得到手势特征，即HOG特征，之后，利用SVM对HOG特征进行识别，判断出当前手势含义，并输出手势序号，从而确定当前时刻的手势。
步骤204，根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形。
步骤204的执行过程可以参见上述实施例中步骤103的执行过程，在此不做赘述。
步骤205，根据当前时刻的手势对应的深度值，确定当前的线条宽度。
本申请实施例中，可以预先设置不同的深度值与线条宽度之间的对应关系，从而在确定当前时刻的手势对应的深度值后，可以查询上述对应关系，确定对应的当前的线条宽度。举例而言，在当前时刻的手势对应的深度值越小时，手部距离摄像组件越近，此时，线条宽度越宽，而在当前时刻的手势对应的深度值越大时，手部距离摄像组件越远，此时，线条宽度越细。
其中，当前时刻的手势对应的深度值，可以为手势区域内的图像中像素点对应的最小深度值，或者，还可以为手势区域内的图像中各像素点的平均深度值，或者，还可以为手势区域内的图像中的中心像素点对应的深度值，本申请对此并不作限制。
步骤206，以当前的线条宽度，在绘画屏中绘制待绘制的图形。
本申请实施例中，在确定当前的线条宽度后，可以在绘画屏中绘制待绘制的图形。由此，用户可以根据自身需求，调整手部与摄像组件之间的距离，来自动调整当前的线条宽度，可以满足不同用户的个性化需求，并且，无需用户手动设置线条宽度，可以简化用户操作，改善用户的使用体验。
作为一种可能的实现方式，针对步骤102或者203，本申请中，可以对当前时刻的场景图像中各像素点的色度进行肤色检测，根据肤色检测结果，确定各连通域，根据各连通域的深度信息，来确定手部区域或者手势区域，进而对该手部区域或手势区域进行识别，以确定当前时刻的手势。下面结合实施例三，对上述过程进行详细说明。
图4为本申请实施例三所提供的基于手势的绘画屏绘画方法的流程示意图。
如图4所示，在上述实施例的基础上，步骤102或者203具体可以包括以下子步骤：
步骤301，对当前时刻的场景图像中各像素点的色度进行肤色检测。
本申请实施例中，可以基于椭圆肤色模型，对当前时刻的场景图像中各像素点的色度进行肤色检测，确定肤色区域。
作为一种可能的实现方式，若当前时刻的场景图像为RGB色彩空间的图像，则可以将该当前时刻的场景图像由RGB色彩空间转换到YCbCr色彩空间，然后通过椭圆肤色模型对当前时刻的场景图像中各像素点的色度进行肤色检测，判断各像素点是否属于肤色区域，其中，椭圆肤色模型可以如公式(1)所示：
Figure BDA0002245916530000071
根据经验可得，椭圆圆心Cb0＝123.73、Cr0＝136.34，椭圆的倾斜角度θ＝2.25(rad)，椭圆的长短轴分别为a＝28.73、b＝16.24，Cx＝1.69、Cy＝2.58，Cb、Cr分别表示YCbCr中的蓝色分量与红色分量，x、y表示变换后的色度分量。肤色判定的准则为：
Figure BDA0002245916530000072
其中，D(Cb,Cr)表示人脸区域，将变换后的各像素点的色度分量x、y代入公式(2)，若值小于等于1，说明该像素点在椭圆内，即该像素点属于皮肤区域。由此，将当前时刻的场景图像中各像素点的色度分量依次带入公式(2)，可得到各肤色区域。
步骤302，若当前时刻的场景图像中包括一个目标连通区域，则对目标连通区域内的图像进行手势识别，确定当前时刻的手势，其中，目标连通区域内每个像素点的色度分量均满足预设条件。
本申请实施例中，目标连通区域内每个像素点的色度分量可以满足公式(2)，即目标连通域可以为肤色区域。
本申请实施例中，若当前时刻的场景图像中仅包括一个目标连通区域，则可以直接对该目标连通区域内的图像进行手势识别，确定当前时刻的手势。例如，为了避免光照变化和手势旋转对于识别结果的影响，可以基于HOG算法，对目标连通区域内的图像进行特征提取，得到手势特征，即HOG特征，之后，利用SVM对HOG特征进行识别，判断出当前手势含义，并输出手势序号，从而确定当前时刻的手势。
步骤303，若当前时刻的场景图像中包括多个目标连通区域，则确定每个目标连通区域分别对应的深度值。
步骤304，确定对应深度值最小的目标连通区域，为待识别的目标连通区域。
一般情况下，用户是面向绘画屏进行绘画，用户在使用手势作画时，手部距离摄像组件的距离较近，因此，若当前时刻的场景图像中包括多个目标连通区域，则可以确定每个目标连通区域分别对应的深度值，将深度值最小的目标连通区域，作为待识别的目标连通区域。其中，针对每个目标连通区域，可以分别获取各目标连通区域内的图像中的每个像素点对应的深度值，根据每个像素点的深度值，计算对应目标连通区域对应的平均深度值，将平均深度值作为相应目标连通区域的深度值。
步骤305，对待识别的目标连通区域进行手势识别，确定当前时刻的手势。
本申请实施例中，在确定待识别的目标连通区域后，可以对待识别的目标连通区域进行手势识别，确定当前时刻的手势。同样地，可以基于HOG算法，对待识别的目标连通区域内的图像进行特征提取，得到手势特征，即HOG特征，之后，利用SVM对HOG特征进行识别，判断出当前手势含义，并输出手势序号，从而确定当前时刻的手势。
作为一种可能的实现方式，参见图5，在上述实施例的基础上，该基于手势的绘画屏绘画方法还可以包括以下步骤：
步骤401，若当前时刻的手势为第一预设手势，则判断前一预设时间段内的手势是否为第二预设手势。
本申请实施例中，第一预设手势和第二预设手势均为预先设置的，比如，第一预设手势可以为手掌手势，第二预设手势可以为握拳手势。
本申请实施例中，在当前时刻的手势为第一预设手势时，可以将前一预设时间段内的手势与第二预设手势进行匹配，以确定前一预设时间段内的手势是否为第二预设手势。
步骤402，若前一预设时间段内的手势为第二预设手势，则判断第一预设手势对应的第一深度值，是否小于第二预设手势对应的第二深度值。
本申请实施例中，第一预设手势对应的第一深度值，可以为手势区域内的图像中像素点对应的最小深度值，或者，还可以为手势区域内的图像中各像素点的平均深度值，或者，还可以为手势区域内的图像中的中心像素点对应的深度值。同理，第二预设手势对应的第二深度值，也可以为手势区域内的图像中像素点对应的最小深度值，或者，还可以为手势区域内的图像中各像素点的平均深度值，或者，还可以为手势区域内的图像中的中心像素点对应的深度值。
本申请实施例中，当前一预设时间段内的手势为第二预设手势时，可以计算第一预设手势对应的第一深度值和第二预设手势对应的第二深度值，将第一深度值与第二深度值作差，得到作差结果，若作差结果小于零，则表明第一深度值小于第二深度值，若作差结果大于或者等于零，则表明第一深度值未小于第二深度值。
步骤403，若第一深度值小于第二深度值，则根据第一深度值，确定目标样式。
本申请实施例中，在当前时刻的手势为第一预设手势，且前一预设时间段内的手势为第二预设手势时，可以确定待绘制的图形，比如为颜料包爆裂图形。当确定第一深度值小于第二深度值时，可以根据第一深度值，确定目标样式，比如，目标样式可以为颜料包爆裂的区域大小、形状等样式。
举例而言，当第一深度值越小时，手部距离摄像组件或绘画屏越近，此时，爆裂的区域越小，对应边界中各颜料点所占区域越大，颜料点间的间隔越小，而当第一深度值越大时，手部距离摄像组件或绘画屏越远，此时，爆裂的区域越大，对应各边界颜料点所占区域越小，颜料点间的间隔越大等等。
步骤404，以目标样式为依据，在绘画屏中绘制待绘制的图形。
本申请实施例中，在确定待绘制的图形，以及目标样式后，可以以目标样式为依据，在绘画屏中绘制待绘制的图形。由此，用户不仅可以根据手势选择对应的待绘制的图形，还可以根据手部与摄像组件之间的距离，自动调整待绘制的图形的显示样式，能够满足不同用户的个性化需求。
作为一种可能的实现方式，若当前时刻的手势为第二预设手势，则记录第二预设手势及第二预设手势对应的第二深度值，即不会进行绘画，仅记录该手势及对应的深度信息，从而后续时刻可以根据该手势和对应的深度信息，确定对应时刻的待绘制的图形。
作为一种可能的实现方式，还可以根据用户切换第一预设手势和第二预设手势之间的速度，来确定目标样式。即针对步骤403，可以确定当前时刻与采集第二预设手势的时刻间的时间差，根据时间差及第一深度值，确定目标样式。
举例而言，时间差越小，表明手势变换的速度越快，时间差越大，表明手势变换的速度越慢，因此，当第一深度值和时间差越小时，爆裂的区域越小，对应边界中各颜料点所占区域越大，颜料点间的间隔越小，而当第一深度值和时间差越大时，爆裂的区域越大，对应各边界颜料点所占区域越小，颜料点间的间隔越大等等。
作为一种可能的实现方式，在绘画屏中绘制待绘制的图形之前，还可以确定当前时刻的手势在当前时刻的场景图像中的第一位置，根据第一位置及绘画屏的分辨率，确定在绘画屏中对应的第二位置，从而，后续可以在第二位置处绘制待绘制的图形。
例如，在当前时刻的手势为画笔手势时，可以确定手势区域中深度值最小的像素点，作为指尖的位置，假设深度值最小的像素点坐标为(x，y)，即第一位置为(x，y)，当前时刻的场景图像的分辨率为width*height，绘画屏的分辨率widths*heights，指尖在当前时刻的场景图像中的相对位置可用坐标(x/width，y/height)表示，指尖在绘画屏中对应的第二位置可以为(widths*x/width，heights*y/height)，则可以在该第二位置处绘制待绘制的图形。比如，可以连接相邻的位置点，或者，每画3个点连一条线，得到绘制的图形。
或者，当前时刻t2的手势为手掌手势，相邻的前一绘画时刻t1的手势为握拳手势(t1<t2)，且，手掌手势的深度值d2min小于握拳手势的深度值d1min，即握拳手势先于手掌手势，且握拳手势的位置在握拳手势之后，此时，可以计算手掌手势的中心像素点在当前时刻的场景图像中的相对位置，并在绘画屏中对应的位置处，绘制颜料包炸裂的图形。比如，手掌手势的中心像素点的坐标为(x1，y1)，则可以在(widths*x1/width，heights*y1/height)处绘制颜料包炸裂的图形。
作为一种可能的实现方式，摄像组件可以周期性地采集图像，则针对步骤101，可以获取摄像组件以第一时间间隔采集的当前时刻的场景图像。需要说明的是，为了实现对非连续线条绘制的识别，图像采集的频率可以大于绘图频率，因此，在步骤103之前，还需要确定当前时刻与相邻的前一绘画时刻间的时间间隔大于第二时间间隔，其中，第二时间间隔大于第一时间间隔。
可以理解的是，用户在绘制非连续性线条时，两个线条之间一定会存在手指动作的停顿或者跳跃，将图像采集的频率设置为低于绘图频率，可以保证采集到对应的图像帧，从而能够进行非连续线条的绘制。
作为一种应用场景，参见图6，图6为本申请实施例的应用场景示意图。其中，用户可以开启绘画屏的远程绘画功能，摄像组件开始周期性地采集图像序列，包括场景图像以及场景图像对应的深度信息，之后，可以将场景图像进行预处理(滤波、增强处理)，并根据预处理后的场景图像的肤色信息和深度信息，提取出手势区域。之后，可基于SVM识别当前时刻的手势，如果为画笔手势，则将场景图像中深度值最小的像素点的位置，作为指尖的位置，并计算指尖在场景图像中的相对位置坐标，并将该相对位置坐标映射到绘画屏上，从而可以绘制指尖轨迹；如果为撤销手势，则撤销上次绘画操作；如果为手掌手势，且在该手掌手势的出现时刻t2晚于握拳手势的出现时刻t1(t1<t2)，手掌手势的深度值d2min小于握拳手势的深度值d1min，则计算手掌手势的中心像素点在场景图像中的相对位置，并映射到绘画屏上相应位置处，从而可在对应位置处绘制颜料包炸裂的图形；如果场景图像中不包括上述四种手势或者场景图像中未包含手势，则开始处理下一帧图像。
为了实现上述实施例，本申请还提出一种基于手势的绘画屏绘画装置。
图7为本申请实施例五所提供的基于手势的绘画屏绘画装置的结构示意图。
如图7所示，该基于手势的绘画屏绘画装置包括：获取模块110、识别模块120、确定模块130以及绘制模块140。
其中，获取模块110，用于获取摄像组件采集的当前时刻的场景图像。
识别模块120，用于对当前时刻的场景图像进行识别，确定当前时刻的手势。
确定模块130，用于根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形。
绘制模块140，用于在绘画屏中绘制待绘制的图形。
作为一种可能的实现方式，获取模块110，还用于获取当前时刻的场景图像中各像素点对应的深度值。
绘制模块140，具体用于根据当前时刻的手势对应的深度值，确定当前的线条宽度；以当前的线条宽度，在绘画屏中绘制待绘制的图形。
进一步地，在本申请实施例的一种可能的实现方式中，参见图8，在图7所示实施例的基础上，该装置还可以包括：判断模块150和记录模块160。
作为一种可能的实现方式，获取模块110，还用于获取当前时刻的场景图像中各像素点对应的深度值。
判断模块150，用于若当前时刻的手势为第一预设手势，则判断前一预设时间段内的手势是否为第二预设手势；若前一预设时间段内的手势为第二预设手势，则判断第一预设手势对应的第一深度值，是否小于第二预设手势对应的第二深度值。
确定模块130，还用于若第一深度值小于第二深度值，则根据第一深度值，确定目标样式。
绘制模块140，还用于以目标样式为依据，在绘画屏中绘制待绘制的图形。
记录模块160，用于若当前时刻的手势为第二预设手势，则记录第二预设手势及第二预设手势对应的第二深度值。
作为一种可能的实现方式，确定模块130，具体用于确定当前时刻与采集第二预设手势的时刻间的时间差；根据时间差及第一深度值，确定目标样式。
作为一种可能的实现方式，确定模块130，还用于确定当前时刻的手势在当前时刻的场景图像中的第一位置；根据第一位置及绘画屏的分辨率，确定第二位置。
绘制模块140，具体用于在绘画屏中的第二位置处、绘制待绘制的图形。
作为一种可能的实现方式，获取模块110，具体用于获取摄像组件以第一时间间隔采集的当前时刻的场景图像。
确定模块130，还用于确定当前时刻与相邻的前一绘画时刻间的时间间隔大于第二时间间隔，其中，第二时间间隔大于第一时间间隔。
作为一种可能的实现方式，识别模块120，具体用于对当前时刻的场景图像中各像素点的色度进行肤色检测；若当前时刻的场景图像中包括一个目标连通区域，则对目标连通区域内的图像进行手势识别，其中，目标连通区域内每个像素点的色度分量均满足预设条件。
作为一种可能的实现方式，识别模块120，还用于若当前时刻的场景图像中包括多个目标连通区域，则确定每个目标连通区域分别对应的深度值；确定对应深度值最小的目标连通区域，为待识别的目标连通区域。
需要说明的是，前述对基于手势的绘画屏绘画方法实施例的解释说明也适用于该实施例的基于手势的绘画屏绘画装置，此处不再赘述。
本申请实施例的基于手势的绘画屏绘画装置，通过获取摄像组件采集的当前时刻的场景图像；对当前时刻的场景图像进行识别，确定当前时刻的手势；根据当前时刻的手势、及与当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；在绘画屏中绘制待绘制的图形。由此，用户无需触摸绘画屏即可实现远程绘画，增强绘画的趣味性。并且，用户仅需做出相应手势，即可实现绘画，而无需使用辅助工具进行绘画，可以提升绘画的便捷性，改善用户的使用体验。
为了实现上述实施例，本申请还提出一种绘画屏，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本申请前述实施例提出的基于手势的绘画屏绘画方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请前述实施例提出的基于手势的绘画屏绘画方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于手势的绘画屏绘画方法，其特征在于，包括：
获取摄像组件采集的当前时刻的场景图像；
对所述当前时刻的场景图像进行识别，确定当前时刻的手势；
根据所述当前时刻的手势、及与所述当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；
在绘画屏中绘制所述待绘制的图形。
2.如权利要求1所述的方法，其特征在于，还包括：
获取所述当前时刻的场景图像中各像素点对应的深度值；
所述在绘画屏中绘制所述待绘制的图形，包括：
根据当前时刻的手势对应的深度值，确定当前的线条宽度；
以所述当前的线条宽度，在所述绘画屏中绘制所述待绘制的图形。
3.如权利要求1所述的方法，其特征在于，还包括：
获取所述当前时刻的场景图像中各像素点对应的深度值；
所述确定当前时刻的手势之后，还包括：
若所述当前时刻的手势为第一预设手势，则判断所述前一预设时间段内的手势是否为第二预设手势；
若所述前一预设时间段内的手势为第二预设手势，则判断所述第一预设手势对应的第一深度值，是否小于所述第二预设手势对应的第二深度值；
若第一深度值小于第二深度值，则根据所述第一深度值，确定目标样式；
以所述目标样式为依据，在所述绘画屏中绘制所述待绘制的图形。
4.如权利要求3所述的方法，其特征在于，所述确定当前时刻的手势之后，还包括：
若所述当前时刻的手势为第二预设手势，则记录所述第二预设手势及所述第二预设手势对应的第二深度值。
5.如权利要求3所述的方法，其特征在于，所述确定目标样式，包括：
确定所述当前时刻与采集所述第二预设手势的时刻间的时间差；
根据所述时间差及所述第一深度值，确定目标样式。
6.如权利要求1-5任一所述的方法，其特征在于，所述在绘画屏中绘制所述待绘制的图形之前，还包括：
确定所述当前时刻的手势在所述当前时刻的场景图像中的第一位置；
根据所述第一位置及所述绘画屏的分辨率，确定第二位置；
所述在绘画屏中绘制所述待绘制的图形，包括：
在所述绘画屏中的第二位置处、绘制所述待绘制的图形。
7.如权利要求1-5任一所述的方法，其特征在于，所述获取摄像组件采集的当前时刻的场景图像，包括：
获取摄像组件以第一时间间隔采集的当前时刻的场景图像；
所述确定当前待绘制的图形之前，还包括：
确定当前时刻与相邻的前一绘画时刻间的时间间隔大于第二时间间隔，其中，第二时间间隔大于第一时间间隔。
8.如权利要求1-5任一所述的方法，其特征在于，所述对所述当前时刻的场景图像进行识别，包括：
对所述当前时刻的场景图像中各像素点的色度进行肤色检测；
若所述当前时刻的场景图像中包括一个目标连通区域，则对所述目标连通区域内的图像进行手势识别，其中，所述目标连通区域内每个像素点的色度分量均满足预设条件。
9.如权利要求8所述的方法，其特征在于，
若所述当前时刻的场景图像中包括多个目标连通区域，则确定每个目标连通区域分别对应的深度值；
确定对应深度值最小的目标连通区域，为待识别的目标连通区域。
10.一种基于手势的绘画屏绘画装置，其特征在于，包括：
获取模块，用于获取摄像组件采集的当前时刻的场景图像；
识别模块，用于对所述当前时刻的场景图像进行识别，确定当前时刻的手势；
确定模块，用于根据所述当前时刻的手势、及与所述当前时刻相邻的前一预设时间段内的手势，确定当前待绘制的图形；
绘制模块，用于在绘画屏中绘制所述待绘制的图形。
11.一种绘画屏，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-9中任一所述的基于手势的绘画屏绘画方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的基于手势的绘画屏绘画方法。
CN201911016667.XA 2019-10-24 2019-10-24 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质 Active CN110750160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911016667.XA CN110750160B (zh) 2019-10-24 2019-10-24 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911016667.XA CN110750160B (zh) 2019-10-24 2019-10-24 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质

Publications (2)

Publication Number Publication Date
CN110750160A true CN110750160A (zh) 2020-02-04
CN110750160B CN110750160B (zh) 2023-08-18

Family

ID=69279686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911016667.XA Active CN110750160B (zh) 2019-10-24 2019-10-24 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质

Country Status (1)

Country Link
CN (1) CN110750160B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949134A (zh) * 2020-08-28 2020-11-17 深圳Tcl数字技术有限公司 人机交互方法、设备及计算机可读存储介质
CN112925414A (zh) * 2021-02-07 2021-06-08 深圳创维－Rgb电子有限公司 显示屏手势绘画方法、装置及计算机可读存储介质
CN113610944A (zh) * 2021-07-30 2021-11-05 新线科技有限公司 一种线条绘制方法、装置、设备及存储介质
CN113703577A (zh) * 2021-08-27 2021-11-26 北京市商汤科技开发有限公司 一种绘图方法、装置、计算机设备及存储介质
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、***、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138830A1 (en) * 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
CN105893959A (zh) * 2016-03-30 2016-08-24 北京奇艺世纪科技有限公司 一种手势识别方法及装置
CN106407892A (zh) * 2016-08-27 2017-02-15 上海盟云移软网络科技股份有限公司 一种基于Kinect的手部动作捕捉方法
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
CN108932053A (zh) * 2018-05-21 2018-12-04 腾讯科技（深圳）有限公司 基于手势的绘图方法、装置、存储介质和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090138830A1 (en) * 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
CN105893959A (zh) * 2016-03-30 2016-08-24 北京奇艺世纪科技有限公司 一种手势识别方法及装置
CN106407892A (zh) * 2016-08-27 2017-02-15 上海盟云移软网络科技股份有限公司 一种基于Kinect的手部动作捕捉方法
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
CN108932053A (zh) * 2018-05-21 2018-12-04 腾讯科技（深圳）有限公司 基于手势的绘图方法、装置、存储介质和计算机设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949134A (zh) * 2020-08-28 2020-11-17 深圳Tcl数字技术有限公司 人机交互方法、设备及计算机可读存储介质
CN112925414A (zh) * 2021-02-07 2021-06-08 深圳创维－Rgb电子有限公司 显示屏手势绘画方法、装置及计算机可读存储介质
CN113610944A (zh) * 2021-07-30 2021-11-05 新线科技有限公司 一种线条绘制方法、装置、设备及存储介质
CN113610944B (zh) * 2021-07-30 2024-06-14 新线科技有限公司 一种线条绘制方法、装置、设备及存储介质
CN113703577A (zh) * 2021-08-27 2021-11-26 北京市商汤科技开发有限公司 一种绘图方法、装置、计算机设备及存储介质
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、***、电子设备和存储介质
CN114639157B (zh) * 2022-05-18 2022-11-22 合肥的卢深视科技有限公司 不良学习行为检测方法、***、电子设备和存储介质

Also Published As

Publication number Publication date
CN110750160B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110750160B (zh) 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质
CN106502570B (zh) 一种手势识别的方法、装置及车载***
US10372226B2 (en) Visual language for human computer interfaces
EP3923037A1 (en) Foreign object detection method, foreign object detection device, and electronic apparatus
EP2635953B1 (en) Robust video-based handwriting and gesture recognition for in-car applications
US9933856B2 (en) Calibrating vision systems
US9349039B2 (en) Gesture recognition device and control method for the same
US8768006B2 (en) Hand gesture recognition
US8675916B2 (en) User interface apparatus and method using movement recognition
JP5709228B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2012147960A1 (ja) 情報処理装置、情報処理方法及び記録媒体
EP2980755B1 (en) Method for partitioning area, and inspection device
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
US7840035B2 (en) Information processing apparatus, method of computer control, computer readable medium, and computer data signal
CN113330395B (zh) 一种多屏交互的方法、装置、终端设备和车辆
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US11402918B2 (en) Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product
US10423824B2 (en) Body information analysis apparatus and method of analyzing hand skin using same
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3098692A1 (en) Gesture device, operation method for same, and vehicle comprising same
CN112733823A (zh) 手势姿态识别关键帧提取方法、装置及可读存储介质
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
KR100553850B1 (ko) 얼굴인식/표정인식 시스템 및 방법
Rupanagudi et al. A novel and secure methodology for keyless ignition and controlling an automobile using air gestures
CN110308821B (zh) 触控响应方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant