CN108720851A - 一种驾驶状态检测方法、移动终端及存储介质 - Google Patents

一种驾驶状态检测方法、移动终端及存储介质 Download PDF

Info

Publication number
CN108720851A
CN108720851A CN201810498589.0A CN201810498589A CN108720851A CN 108720851 A CN108720851 A CN 108720851A CN 201810498589 A CN201810498589 A CN 201810498589A CN 108720851 A CN108720851 A CN 108720851A
Authority
CN
China
Prior art keywords
eyes
video frame
iris
user
flare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810498589.0A
Other languages
English (en)
Other versions
CN108720851B (zh
Inventor
王晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wang Xiaopeng
Original Assignee
Release Code Fusion (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Release Code Fusion (shanghai) Mdt Infotech Ltd filed Critical Release Code Fusion (shanghai) Mdt Infotech Ltd
Priority to CN201810498589.0A priority Critical patent/CN108720851B/zh
Publication of CN108720851A publication Critical patent/CN108720851A/zh
Application granted granted Critical
Publication of CN108720851B publication Critical patent/CN108720851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种驾驶状态检测方法、移动终端及存储介质。该方法在移动终端中执行，移动终端包括红外摄像模组，适于连续采集用户的脸部图像，生成视频帧序列。每采集到一个视频帧，从该视频帧中定位眼睛并提取眼图；对提取的眼图进行眼睑分割和虹膜分割；根据分割结果计算眼睛开度，其中，眼睛开度为上下眼睑曲线所围成的图形与虹膜外轮廓曲线所围成的图形的重叠部分的面积，与虹膜外轮廓曲线所围成的图形的面积的比值；根据眼睛开度判断眼睛是否闭合；以及根据包括当前视频帧的预定数量个连续的视频帧中，眼睛为闭合状态的视频帧的占比，判断用户是否为疲劳驾驶。该方案不受个体差异的影响，能够对驾驶状态做出准确的判断。

Description

一种驾驶状态检测方法、移动终端及存储介质
技术领域
本发明涉及安全驾驶技术领域，尤其涉及一种驾驶状态检测方法、移动终端及存储介质。
背景技术
疲劳驾驶是指人在长时间连续行车后产生生理机能和心理机能的失调。反应迟钝、判断迟缓、节奏缓慢等是驾驶员疲劳驾驶的主要表现，疲劳驾驶是引发交通事故的重要因素，疲劳驾驶所导致的交通事故也在快速增长，严重威胁着人们的生命财产安全。
目前，对于疲劳驾驶的检测主要有面部特征检测和生理指标检测两种。若使用面部特征，例如眼部活动、面部表情等，需采集驾驶员的面部图像，但是，受驾驶员头部位置、驾驶室内光线等条件的限制，所采集的面部图像很可能不清晰，从而影响后续检测准确性；而若使用生理指标，例如，心电数据、呼吸频率等，则需要驾驶员佩戴相关设备，这就会可能干扰驾驶员正常驾驶，从而降低驾驶安全性。
现有基于图像处理的疲劳检测方法，如基于嘴巴张开程度和时间的疲劳检测方式，由于当嘴巴张开时人已经处于瞌睡状态，不能满足驾驶等实时要求高的任务；基于自然光照的眼睛运动疲劳检测方式，在夜晚或者环境光较暗的条件时，无法正常工作。
因此，需要一种通用、简便的驾驶状态检测方法，提高驾驶状态判断的准确性。
发明内容
为此，本发明提供了一种驾驶状态检测方法、移动终端及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种驾驶状态检测方法，在移动终端中执行，移动终端包括红外摄像模组，适于连续采集用户的脸部图像，生成视频帧序列，该方法包括：每采集到一个视频帧，从该视频帧中定位眼睛并提取眼图；对提取的眼图进行眼睑分割和虹膜分割；根据分割结果计算眼睛开度，其中，眼睛开度为上下眼睑曲线所围成的图形与虹膜外轮廓曲线所围成的图形的重叠部分的面积，与虹膜外轮廓曲线所围成的图形的面积的比值；根据眼睛开度判断眼睛是否闭合；以及根据包括当前视频帧的预定数量个连续的视频帧中，眼睛为闭合状态的视频帧的占比，判断用户是否为疲劳驾驶。
该方案以二维的相对开度判断眼睛的闭合状态，不受个体眼睛自然开度小的影响，结合连续多帧进行判断，能够提高疲劳状态检测的准确性。
可选地，该方法还包括：基于瞳孔对红外光的反射光斑的中心与虹膜中心的相对位置，计算视角的大小，视角的方向为反射光斑的中心指向虹膜中心的方向；根据视角判断眼睛是否正视前方；以及根据包括当前视频帧的预定数量个连续的视频帧中，眼睛未正视前方的视频帧的占比，判断用户注意力是否集中。
可选地，该方法还包括：将根据视频帧所确定的眼睛闭合状态和视角保存在循环链表中，以便统计其中眼睛为闭合状态的视频帧的占比和/或眼睛未正视前方的视频帧的占比。
可选地，该方法还包括：在判断用户为疲劳驾驶后，发出第一预警信息，提示用户当前处于疲劳驾驶状态；以及/或者在判断用户注意力不集中后，发出第二预警信息，提示用户集中注意力。
可选地，基于视频帧中瞳孔对红外光的反射光斑的位置，确定用户眼睛的位置；以及根据所确定的眼睛的位置，对该视频帧提取眼图。
可选地，基于反射光斑与瞳孔虹膜区域的灰度分布，通过对视频帧二值化确定反射光斑的饱和区域；使用水平梯度滤波器和垂直梯度滤波器对饱和区域过滤，确定反射光斑的位置；以及基于反射光斑的位置，确定用户眼睛的位置。
可选地，基于竖直方向上上下眼睑与巩膜之间的梯度，通过多项式拟合上下眼睑曲线；基于水平方向上虹膜左右两侧与巩膜之间的梯度，通过圆拟合虹膜外轮廓曲线。
可选地，该方法还包括：获取用户在非疲劳状态下的眼睛开度，作为初始开度。
可选地，基于初始开度，确定预定阈值，所述预定阈值为初始开度与预定系数的乘积；在眼睛开度小于预定阈值的情况下，判断眼睛为闭合状态。
可选地，基于反射光斑的中心与虹膜中心之间的距离和虹膜的半径，计算视角。
可选地，通过下述公式计算视角：
其中，α为视角，R为虹膜半径，d为反射光斑中心与虹膜中心之间的距离。
根据本发明另一个方面，提供了一种移动终端，包括一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行驾驶状态检测方法的指令。
根据本发明另一个方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动终端执行时，使得所述移动终端执行驾驶状态检测方法。
上述方案采用红外摄像模组采集连续视频帧序列，进行人脸识别和眼睛定位，通过对眼图进行眼睑分割和虹膜分割确定上下眼睑曲线和虹膜外轮廓曲线，然后根据眼睛的开度和视角判断眼睛闭合状态和是否正视前方，综合分析连续多帧的眼睛闭合状态占比和未正视前方的占比，对驾驶状态进行判断并给出预警信息。在计算眼睛开度时考虑人的个体差异，以上下眼睑曲线所围成图形与虹膜外轮廓曲线所围成图形的重叠部分的区域面积与虹膜外轮廓曲线所围成图形面积的比值作为眼睛开度，该方法不需要额外的装置，只需要移动终端中安装应用程序执行相应的指令，驾驶状态检测方法通用、简便，能够提高驾驶状态检测的准确性。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的移动终端100的构造示意图；
图2示出了根据本发明一个实施例的驾驶状态检测方法的示意性流程图；
图3示出了根据本发明一个实施例的上下眼睑曲线与虹膜曲线的示意图；
图4示出了根据本发明一个实施例的反射光斑中心与虹膜中心相对位置的视角的示意图；
图5示出了根据本发明一个实施例的驾驶状态检测的示意性流程图；
图6示出了根据本发明一个实施例的使用驾驶状态检测方法的移动终端监测状态的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
常见的疲劳监测***利用驾驶员的面部特征、眼部信号、头部运动等推断驾驶员的疲劳状态，并发出预警提示。本发明基于采集红外图像的移动终端进行驾驶状态检测，例如使用带主动红外光照的手机，获取眼睛区域的图像，以上下眼睑之间虹膜区域的面积与整个虹膜面积的比值作为眼睛开度，不受个体眼睛开度差异的影响，可方便有效地分析驾驶员的状态，提醒处于疲劳状态的驾驶员。
图1示出了根据本发明一个实施例的移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104、显示屏幕(图1中未示出)，以及***接口106。
存储器接口102、一个或多个处理器104和/或***接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子***可以耦合到***接口106，以便帮助实现多种功能。
例如，运动传感器110、光线传感器112和距离传感器114可以耦合到***接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与***接口106相连，例如定位***(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。
相机子***120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子***和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(厘米OS)光学传感器。可以通过一个或多个无线通信子***124来帮助实现通信功能，其中无线通信子***可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子***124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子***124。
音频子***126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子***140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。
存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作***172，例如Android、iOS或是Windows Phone之类的操作***。该操作***172可以包括用于处理基本***服务以及执行依赖于硬件的任务的指令。存储器150还可以存储一个或多个程序174。在移动设备运行时，会从存储器150中加载操作***172，并且由处理器104执行。程序174在运行时，也会从存储器150中加载，并由处理器104执行。程序174运行在操作***之上，利用操作***以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。程序174可以是独立于操作***提供的，也可以是操作***自带的。另外，程序174被安装到移动终端100中时，也可以向操作***添加驱动模块。程序174可以布置为在操作***上由一个或多个处理器104执行相关的指令。在一些实施例中，移动终端100被配置为执行根据本发明的驾驶状态检测方法。其中，移动终端100的一个或多个程序174包括用于执行根据本发明的驾驶状态检测方法的指令。
移动终端100可以是智能手机、平板电脑等便携式电子设备，但不限于此。具体来说，移动终端100中的相机子***120和光学传感器122为红外摄像模组，能够连续采集用户脸部红外图像，生成视频帧序列。红外摄像模组包括一个主动红外线发射的装置，采集帧率一般不低于15帧每秒，可以将移动终端固定在驾驶员的正前方，以便能够采集到人脸图像，通过图像的整体灰度剔除掉没有捕获到人脸的视频帧。如果连续多帧未采集到人脸图像会有相应的提示。驾驶状态判断的信息来自驾驶过程中带红外摄像模组的移动终端采集的连续脸部视频帧。
图2示出了根据本发明一个实施例的驾驶状态检测方法的示意性流程图。如图2所示，在步骤S200中，对红外摄像模组每采集到一个视频帧，从该视频帧中定位眼睛的位置并提取眼图。
不同部位对红外光的反射和折射率不同，根据角膜反射原理，红外光被角膜前表面反射，在图像上形成一小块亮区域，即反射光斑，在人脸灰度图像中，瞳孔部分颜色最深，反射光斑对应于眼睛图像中一个最亮的点，其余部分灰度值介于两者之间，因此可以通过瞳孔对红外光的反射光斑在图像中相对周围的灰度分布模式定位光斑位置，间接定位眼睛的位置。
可以基于视频帧中瞳孔对红外光的反射光斑的位置，确定用户眼睛的位置；以及根据所确定的眼睛的位置，对该视频帧提取眼图。
从视频帧中可以看出，反射光斑区域灰度值相对瞳孔虹膜区域具有较大梯度且光斑中心灰度基本趋于饱和，即反射光斑在图像中对应像素值饱和或最接近饱和，而周围像素值相对要小得多。
根据本发明的一个实施例，可以基于反射光斑与周围瞳孔虹膜区域的灰度分布，通过二值化图像确定反射光斑的饱和区域。例如，将灰度图像二值化，可以取一定的灰度等级作为分化的界线。如果使等级1的灰度值为255(全白)，等级2的为0，在图像中的每一个像素将取0和1中的一个值。由于噪声干扰可能得到若干个饱和区域，需要对这些饱和区域进行过滤。
例如，使用垂直滤波器和水平滤波器过滤边缘梯度大于给定阈值且面积、高宽比在合理范围内的饱和区域，即可定位到光斑位置。利用像素梯度滤波器进行边缘检测可以定位到反射光斑的轮廓。其中，边缘检测是通过检测每个像素和其邻域的状态，以确定像素是否位于物体的边界上。边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，可以使用滤波器与图像进行卷积，来改善与噪声有关的边缘检测。例如，利用垂直滤波器提取光斑上下轮廓，利用水平滤波器提取光斑的左右轮廓，从而确定光斑的宽高比。针对在眼角或睫毛可能产生的干扰小光斑，可以通过光斑面积和宽高比进行过滤剔除。定位到光斑基本就确定眼睛的中心位置，进而提取眼图进行眼睑分割和虹膜分割。
在步骤S210中，可以对提取的眼图进行眼睑分割和虹膜分割。
由于眼睑与巩膜之间以及虹膜左右与巩膜之间有较大的梯度，可以基于竖直方向上上下眼睑与巩膜之间的梯度，通过多项式拟合上下眼睑曲线；以及基于水平方向上虹膜左右两侧与巩膜之间的梯度，通过最小二乘法拟合圆确定虹膜外轮廓曲线。
例如，利用梯度滤波器定位到离散的包含噪声的上眼睑曲线片段，由于定位的只是局部，因此需要曲线拟合才能得到完整的眼睑曲线。多项式拟合曲线从几何意义上讲就是寻求与给定点距离的平方和最小的曲线。例如，确定竖直方向上梯度较大线段，连接这些较大梯度线段，由于二次函数性质更符合实际情况，同时为了避免高次函数可能因为噪声而过拟合，可以用开口向下的二次凸函数拟合这些线段组成的曲线。同理拟合下眼睑曲线，在此不再赘述。
虹膜轮廓由于受上下眼睑遮挡，虹膜上下轮廓有时难以准确定位，可以利用水平方向的梯度滤波器定位离散的虹膜轮廓曲线片段，例如，确定虹膜左右边界水平梯度较大的线段，连接这些较大梯度的线段，再通过最小二乘法来估计各项参数，用圆拟合这些曲线片段，从而确定虹膜的外轮廓。也可以采用其他方式进行曲线拟合，本方案对此不做限定。
图3示出了根据本发明一个实施例的上下眼睑曲线与虹膜曲线的示意图。
在步骤S220中，可以根据分割结果计算眼睛开度，其中，眼睛开度为上下眼睑曲线所围成的图形与虹膜外轮廓曲线所围成的图形的重叠部分的面积，与虹膜外轮廓曲线所围成的图形的面积的比值。如图3所示，阴影部分即为上下眼睑曲线所围成的图形与虹膜外轮廓曲线所围成的图形的重叠部分。
根据本发明一实施例，可以获取用户在非疲劳状态下的眼睛开度，作为初始开度。
开度即为眼睛的张开程度，针对某一个体而言，在非疲劳状态下，眼睛的开度较大，即阴影部分的面积较大，在进行驾驶状态检测之前可以先初始化使用者非疲劳状态下正常睁开眼睛的上下眼睑所围成的图形与虹膜外轮廓所围成图形的重叠部分的面积为S0，虹膜外轮廓所围成图形的面积为S，则初始开度为a0＝S0/S，作为判断眼睛闭合状态的基准值。
在步骤S230中，可以根据眼睛开度判断眼睛是否闭合。
根据本发明一实施例，可以基于初始开度，确定预定阈值，所述预定阈值为初始开度与预定系数的乘积；在眼睛开度小于预定阈值的情况下，判断眼睛为闭合状态。
从提取的眼图中计算某t时刻上下眼睑曲线所围成图形与虹膜外轮廓曲线所围成图形的重叠部分的面积St与虹膜外轮廓曲线所围成图形的面积S的比值at，at＝St/S。预定系数可以根据实际情况进行调整，根据经验可以取预定系数为0.5，at<0.5*a0，则可认为眼睛处于闭合状态，否则为睁开状态。
可以将根据视频帧所确定的眼睛闭合状态保存在循环链表中，以便统计其中眼睛为闭合状态的视频帧的占比。
在步骤S240中，可以根据包括当前视频帧的预定数量个连续的视频帧中，眼睛为闭合状态的视频帧的占比，判断用户是否为疲劳驾驶。
例如，统计最近30帧的眼睛闭合状态，通过遍历30帧历史记录统计眼睛闭合状态大于0.5*a0的帧数，如果帧数大于15则判断驾驶员当前处于疲劳驾驶状态。在判断用户为疲劳驾驶后，可以发出第一预警信息，提示用户当前处于疲劳状态，需要停车休息。
根据本发明一实施例，还可以基于瞳孔对红外光的反射光斑的中心与虹膜中心的相对位置，计算视角，视角的方向为反射光斑的中心指向虹膜中心的方向。
图4示出了根据本发明一个实施例的反射光斑中心与虹膜中心相对位置的视角的示意图。如图4所示，O为虹膜中心，P为反射光斑的中心，视角方向为反射光斑的中心P指向虹膜中心O的方向。
头部静止的情况下，当眼球运动时，瞳孔中心与光斑中心的相对位置会发生变化，通过相对位置关系可以得到眼睛视线方向及注视点的变化情况。在眼睛灰度图像中，瞳孔部分颜色最深，反射光斑对应于眼睛图像中一个最亮的点，其余部分的灰度值介于两者之间。将灰度图像进行二值化处理得到二值图像，将二值图像中的最大光斑提取出来后记录光斑位置，其几何中心即反射光斑的中心。由于瞳孔图像的灰度值较低，虹膜图像的灰度值较高，灰度值在两者边缘附近发生大幅度变化，可以采用基于梯度滤波器的边缘检测方法提取虹膜边界点，再通过最小二乘拟合圆确定虹膜外轮廓，从而确定虹膜中心点。
当人正视前方时，光斑落在虹膜正中心，斜视时反射光斑会落在与视线方向相反的另一侧虹膜上，斜视的角度越大，反射光斑距离虹膜另一侧轮廓边界越近。
因此，可以基于反射光斑的中心与虹膜中心之间的距离以及虹膜的半径，计算视角：
其中，α为视角，R为虹膜半径，d为反射光斑中心O与虹膜中心P之间的距离(如图4所示)。如果测试水平方向上的视线偏转，d即为水平方向的距离。这里更关注水平方向的视角偏转。因为在竖直方向上视角偏转即抬头和低头的情况，眼睛的开度比正常小，则可以认为处于疲劳状态。
可以将根据视频帧所确定的视角保存在历史记录中，历史记录使用循环链表保存预定数量个视频帧对应的视角，以便统计其中眼睛未正视前方的视频帧的占比。其中，循环链表结构的特点是无须增加存储量，仅对表的链接方式稍作改变，即可使得表处理更加方便灵活。
可以根据视角判断眼睛是否正视前方；以及根据包括当前视频帧的预定数量个连续的视频帧中，眼睛未正视前方的视频帧的占比，判断用户注意力是否集中。如果视角大于零则认为眼睛未正视前方，若通过遍历循环链表中最近30帧的视角，未正视前方的帧数大于预定阈值，如大于10帧，这种情况可能是用户未认真驾驶，可能是疲劳驾驶，这时也会发出预警信息，提示用户集中注意力。
图5示出了根据本发明一个实施例的驾驶状态检测的示意性流程图。首先读取红外摄像模组采集的视频流，判断是否采集到人脸图像，对包含人脸图像的视频帧进行眼睛定位，然后进行眼睑分割和虹膜分割，通过拟合得到的上下眼睑曲线和虹膜外轮廓曲线，通过计算眼睛的开度判断眼睛是否为闭合状态，眼睛开度为上下眼睑曲线所围成图形和虹膜外轮廓所围成图形的重叠区域的面积与虹膜外轮廓所围成图形面积的比值，将其与初始开度比较，判断眼睛是否为闭合状态，眼睛的视角是根据反射光斑的中心点与虹膜中心点的相对位置，进行计算。然后综合统计包括当前视频帧的预定数量个连续的视频帧中，眼睛未正视前方的视频帧的占比和眼睛为闭合状态的占比，判断驾驶状态，可以根据不同的占比和指标确定不同的驾驶状态，如清醒状态、轻度疲劳驾驶状态、重度疲劳驾驶状态，根据不同的状态发出不同的预警提示信息。每隔预定的时间或预定的帧数更新循环链表中的历史记录。
图6示出了根据本发明一实施例的使用驾驶状态检测方法的移动终端监测状态的示意图。如图6所示，移动终端能够识别人脸，基于对眼睛的定位和分析，判断当前驾驶状态，当判断为疲劳驾驶时会发出警告，提示用户请勿疲劳驾驶，同时可以显示持续驾驶的时间，连续驾驶时间内驾驶状态的统计，还可以通过用户设置，提供个性化的服务。
根据本发明的方案，通过采用红外摄像模组采集连续视频帧序列，进行人脸识别和眼睛定位，通过对眼图进行眼睑分割和虹膜分割确定上下眼睑曲线和虹膜外轮廓曲线，然后根据眼睛的开度和视角判断眼睛闭合状态和是否正视前方，综合分析连续多帧的眼睛闭合状态占比和未正视前方的占比，对驾驶状态进行判断并给出预警信息。在计算眼睛开度时考虑人的个体差异，根据眼睛开度的不同的基准值判断眼睛是否为闭合状态，该方法不需要额外的装置，只需要移动终端中安装应用程序执行相应的指令，驾驶状态检测方法通用、简便，能够提高驾驶状态检测的准确性。
A7、如A6所述的方法，其中，所述根据眼睛开度判断眼睛是否闭合的步骤包括：基于初始开度，确定预定阈值，所述预定阈值为初始开度与预定系数的乘积；在眼睛开度小于预定阈值的情况下，判断眼睛为闭合状态。
A8、如A2所述的方法，其中，所述基于瞳孔对红外光的反射光斑的中心与虹膜中心的相对位置，计算视角的步骤包括：基于反射光斑的中心与虹膜中心之间的距离以及虹膜的半径，计算视角。
A9、如A8所述的方法，其中，所述视角通过下述公式计算：
其中，α为视角，R为虹膜半径，d为反射光斑中心与虹膜中心之间的距离。
应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种驾驶状态检测方法，在移动终端中执行，所述移动终端包括红外摄像模组，适于连续采集用户的脸部图像，生成视频帧序列，所述方法包括：
每采集到一个视频帧，从该视频帧中定位眼睛并提取眼图；
对提取的眼图进行眼睑分割和虹膜分割；
根据分割结果计算眼睛开度，其中，所述眼睛开度为上下眼睑曲线所围成的图形与虹膜外轮廓曲线所围成的图形的重叠部分的面积，与虹膜外轮廓曲线所围成的图形的面积的比值；
根据眼睛开度判断眼睛是否闭合；以及
根据包括当前视频帧的预定数量个连续的视频帧中，眼睛为闭合状态的视频帧的占比，判断用户是否为疲劳驾驶。
2.如权利要求1所述的方法，其中，还包括：
基于瞳孔对红外光的反射光斑的中心与虹膜中心的相对位置，计算视角，所述视角的方向为反射光斑的中心指向虹膜中心的方向；
根据视角判断眼睛是否正视前方；以及
根据包括当前视频帧的预定数量个连续的视频帧中，眼睛未正视前方的视频帧的占比，判断用户注意力是否集中。
3.如权利要求1所述的方法，其中，所述每采集到一个视频帧，从该视频帧中定位眼睛并提取眼图的步骤包括：
基于该视频帧中瞳孔对红外光的反射光斑的位置，确定用户眼睛的位置；以及
根据所确定的眼睛的位置，对该视频帧提取眼图。
4.如权利要求3所述的方法，其中，所述基于该视频帧中瞳孔对红外光的反射光斑的位置，确定用户眼睛的位置的步骤包括：
基于反射光斑与瞳孔虹膜区域的灰度分布，通过对视频帧二值化确定反射光斑的饱和区域；
使用水平梯度滤波器和垂直梯度滤波器对所述饱和区域过滤，确定反射光斑的位置；以及
基于反射光斑的位置，确定用户眼睛的位置。
5.如权利要求1所述的方法，其中，所述对提取的眼图进行眼睑分割和虹膜分割的步骤包括：
基于竖直方向上上下眼睑与巩膜之间的梯度，通过多项式拟合上下眼睑曲线；以及
基于水平方向上虹膜左右两侧与巩膜之间的梯度，通过圆拟合虹膜外轮廓曲线。
6.如权利要求1所述的方法，其中，还包括：
获取用户在非疲劳状态下的眼睛开度，作为初始开度。
7.如权利要求2所述的方法，其中，还包括：
将根据视频帧所确定的眼睛闭合状态和视角保存在循环链表中，以便统计其中眼睛为闭合状态的视频帧的占比和/或眼睛未正视前方的视频帧的占比。
8.如权利要求2-7中任何一项所述的方法，其中，还包括：
在判断用户为疲劳驾驶后，发出第一预警信息，提示用户当前处于疲劳驾驶状态；以及/或者
在判断用户注意力不集中后，发出第二预警信息，提示用户集中注意力。
9.一种移动终端，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动终端执行时，使得所述移动终端执行根据权利要求1-8所述的方法中的任一方法。
CN201810498589.0A 2018-05-23 2018-05-23 一种驾驶状态检测方法、移动终端及存储介质 Active CN108720851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810498589.0A CN108720851B (zh) 2018-05-23 2018-05-23 一种驾驶状态检测方法、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810498589.0A CN108720851B (zh) 2018-05-23 2018-05-23 一种驾驶状态检测方法、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN108720851A true CN108720851A (zh) 2018-11-02
CN108720851B CN108720851B (zh) 2021-06-29

Family

ID=63935042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810498589.0A Active CN108720851B (zh) 2018-05-23 2018-05-23 一种驾驶状态检测方法、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN108720851B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765911A (zh) * 2019-10-14 2020-02-07 武汉虹识技术有限公司 闹钟关闭方法及装置
CN111152653A (zh) * 2018-11-07 2020-05-15 行为科技(北京)有限公司 一种基于多信息融合的疲劳驾驶检测方法
CN111540208A (zh) * 2020-05-12 2020-08-14 济南浪潮高新科技投资发展有限公司 一种基于区块链技术的防无证驾驶及疲劳驾驶的方法
CN111832344A (zh) * 2019-04-17 2020-10-27 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
CN111882827A (zh) * 2020-07-27 2020-11-03 复旦大学 一种疲劳驾驶监测方法、***、装置和可读存储介质
CN111913561A (zh) * 2019-05-07 2020-11-10 中移(苏州)软件技术有限公司 基于眼睛状态的显示方法及装置、显示设备及存储介质
CN112052770A (zh) * 2020-08-31 2020-12-08 北京地平线信息技术有限公司 用于疲劳检测的方法、装置、介质以及电子设备
CN112329643A (zh) * 2020-11-06 2021-02-05 重庆第二师范学院 一种学习效率检测方法、***、电子设备及介质
CN112381871A (zh) * 2020-10-16 2021-02-19 华东交通大学 一种基于人脸识别的机车警惕装置的实现方法
CN112580464A (zh) * 2020-12-08 2021-03-30 北京工业大学 一种上眼睑遮挡虹膜的判断方法及装置
CN114627450A (zh) * 2020-12-10 2022-06-14 北京巴塔科技有限公司 疲劳状态检测装置及疲劳检测方法
CN114652326A (zh) * 2022-01-30 2022-06-24 天津大学 基于深度学习的实时脑疲劳监测装置及数据处理方法
CN115366909A (zh) * 2022-10-21 2022-11-22 四川省公路规划勘察设计研究院有限公司 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117523649A (zh) * 2024-01-04 2024-02-06 成都科瑞特电气自动化有限公司 矿用虹膜安全识别检测方法、***、介质及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100191A1 (en) * 2003-11-11 2005-05-12 Harbach Andrew P. Imaging system and method for monitoring an eye
WO2009138828A1 (en) * 2008-05-12 2009-11-19 Toyota Jidosha Kabushiki Kaisha Driver imaging apparatus and driver imaging method
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN103136519A (zh) * 2013-03-22 2013-06-05 ***通信集团江苏有限公司南京分公司 一种基于虹膜识别的视线跟踪定位方法
CN107016381A (zh) * 2017-05-11 2017-08-04 南宁市正祥科技有限公司 一种快速驾驶员疲劳检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100191A1 (en) * 2003-11-11 2005-05-12 Harbach Andrew P. Imaging system and method for monitoring an eye
WO2009138828A1 (en) * 2008-05-12 2009-11-19 Toyota Jidosha Kabushiki Kaisha Driver imaging apparatus and driver imaging method
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN103136519A (zh) * 2013-03-22 2013-06-05 ***通信集团江苏有限公司南京分公司 一种基于虹膜识别的视线跟踪定位方法
CN107016381A (zh) * 2017-05-11 2017-08-04 南宁市正祥科技有限公司 一种快速驾驶员疲劳检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
史春蕾等: "虹膜定位算法的研究", 《计算机科学》 *
周泓等: "面向驾驶员状态监测的人眼凝视方向判别", 《电路与***学报》 *
苑玮琦等: "基于PERCLOS的眼睛张开程度检测算法研究", 《微计算机信息》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152653A (zh) * 2018-11-07 2020-05-15 行为科技(北京)有限公司 一种基于多信息融合的疲劳驾驶检测方法
CN111832344A (zh) * 2019-04-17 2020-10-27 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
CN111832344B (zh) * 2019-04-17 2023-10-24 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
CN111913561A (zh) * 2019-05-07 2020-11-10 中移(苏州)软件技术有限公司 基于眼睛状态的显示方法及装置、显示设备及存储介质
CN110765911A (zh) * 2019-10-14 2020-02-07 武汉虹识技术有限公司 闹钟关闭方法及装置
CN111540208A (zh) * 2020-05-12 2020-08-14 济南浪潮高新科技投资发展有限公司 一种基于区块链技术的防无证驾驶及疲劳驾驶的方法
CN111882827A (zh) * 2020-07-27 2020-11-03 复旦大学 一种疲劳驾驶监测方法、***、装置和可读存储介质
CN112052770A (zh) * 2020-08-31 2020-12-08 北京地平线信息技术有限公司 用于疲劳检测的方法、装置、介质以及电子设备
CN112381871A (zh) * 2020-10-16 2021-02-19 华东交通大学 一种基于人脸识别的机车警惕装置的实现方法
CN112329643A (zh) * 2020-11-06 2021-02-05 重庆第二师范学院 一种学习效率检测方法、***、电子设备及介质
CN112580464A (zh) * 2020-12-08 2021-03-30 北京工业大学 一种上眼睑遮挡虹膜的判断方法及装置
CN114627450A (zh) * 2020-12-10 2022-06-14 北京巴塔科技有限公司 疲劳状态检测装置及疲劳检测方法
CN114652326A (zh) * 2022-01-30 2022-06-24 天津大学 基于深度学习的实时脑疲劳监测装置及数据处理方法
CN115366909A (zh) * 2022-10-21 2022-11-22 四川省公路规划勘察设计研究院有限公司 长大纵坡路段驾驶员事故动态预警方法、装置及电子设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117523649A (zh) * 2024-01-04 2024-02-06 成都科瑞特电气自动化有限公司 矿用虹膜安全识别检测方法、***、介质及终端
CN117523649B (zh) * 2024-01-04 2024-03-15 成都科瑞特电气自动化有限公司 矿用虹膜安全识别检测方法、***、介质及终端

Also Published As

Publication number Publication date
CN108720851B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN108720851A (zh) 一种驾驶状态检测方法、移动终端及存储介质
CN108701227B (zh) 用于生物安全的蓝光调节
KR102209595B1 (ko) 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
KR102286468B1 (ko) 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템
CN106295533B (zh) 一种自拍图像的优化方法、装置和拍摄终端
WO2021068256A1 (zh) 缓解眼疲劳方法及智能终端
Kurylyak et al. Detection of the eye blinks for human's fatigue monitoring
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
KR20180013208A (ko) 차등적 뷰티효과 처리 장치 및 방법
Ghosh et al. Real time eye detection and tracking method for driver assistance system
US11670066B2 (en) Iris recognition system, iris recognition method, and storage medium
CN106529436A (zh) 一种身份一致性认证方法、装置和移动终端
KR101758754B1 (ko) 홍채 인식 장치 및 그 동작 방법
US11625952B2 (en) Iris recognition system, iris recognition method, and storage medium
CN110222597B (zh) 基于微表情调节屏幕显示的方法及装置
US11636711B2 (en) Image processing system, image processing method, and storage medium
CN111353404A (zh) 一种人脸识别方法、装置及设备
KR20200134160A (ko) 얼굴 생체 검출 방법과 장치, 전자 기기, 컴퓨터 판독 가능 매체
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
CN107368783A (zh) 活体虹膜检测方法、电子装置和计算机可读存储介质
CN108255452B (zh) 一种蓝光过滤方法及电子设备
WO2020222785A1 (en) Facial action unit detection
CN111723636B (zh) 利用视动反应的欺骗检测
CN107273847B (zh) 虹膜采集方法及设备、电子装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: 541000 building D2, HUTANG headquarters economic Park, Guimo Avenue, Qixing District, Guilin City, Guangxi Zhuang Autonomous Region

Patentee after: Guangxi Code Interpretation Intelligent Information Technology Co.,Ltd.

Address before: 201207 2 / F, building 13, 27 Xinjinqiao Road, Pudong New Area pilot Free Trade Zone, Shanghai

Patentee before: SHIMA RONGHE (SHANGHAI) INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230822

Address after: No. 8, Row 9, Fatou Dongli Middle Yard, Chaoyang District, Beijing, 100000

Patentee after: Wang Xiaopeng

Address before: 541000 building D2, HUTANG headquarters economic Park, Guimo Avenue, Qixing District, Guilin City, Guangxi Zhuang Autonomous Region

Patentee before: Guangxi Code Interpretation Intelligent Information Technology Co.,Ltd.