CN110582781A - 视线追踪***及方法 - Google Patents

视线追踪***及方法 Download PDF

Info

Publication number
CN110582781A
CN110582781A CN201980001867.XA CN201980001867A CN110582781A CN 110582781 A CN110582781 A CN 110582781A CN 201980001867 A CN201980001867 A CN 201980001867A CN 110582781 A CN110582781 A CN 110582781A
Authority
CN
China
Prior art keywords
user
information
gaze
dimensional space
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980001867.XA
Other languages
English (en)
Inventor
石胤赞
李泰喜
崔圣东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shixin Co Ltd
Original Assignee
Shixin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shixin Co Ltd filed Critical Shixin Co Ltd
Priority claimed from PCT/KR2019/004229 external-priority patent/WO2019199035A1/ko
Publication of CN110582781A publication Critical patent/CN110582781A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种视线追踪***及方法。根据本发明的实施例的视线追踪***包括：数据收集单元，其从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息；以及视线追踪单元，其从所述面部信息和位置信息推定用户在三维空间上凝视的区域的位置，且将对应于所述区域的位置的空间坐标映射到对应于三维空间的三维地图上。

Description

视线追踪***及方法
技术领域
本发明的实施例涉及一种视线追踪技术。
背景技术
视线追踪(Eye Tracking)是通过检测用户的眼球移动来追踪视线位置的技术，其可以使用于图像分析方式、形眼镜方式及传感器附接方式等方法中。图像分析方式通过分析实时相机图像来检测瞳孔移动，并基于角膜反射的固定位置计算视线的方向。隐形眼镜方式使用镜子嵌入式隐形眼镜的反射光或线圈嵌入式隐形眼镜的磁场等，且具有低便利性但高准确度。传感器附接方式通过于眼睛周围附接传感器和使用根据眼睛移动的电场变化来检测眼球的移动，且即使在闭眼(睡觉等)的情况下也可以检测到眼球的移动。
最近，视线追踪技术的应用目标机器和应用领域正在逐步扩大，因此，正在通过追踪人的视线来收集如喜好商品或服务等数据，且正在尝试增加利用视线追踪技术。
然而，现有的视线追踪技术停留在于二维屏幕上对用户视线的追踪，因此，在通过于三维空间上追踪用户视线来提供各种服务的方面存在限制。
发明内容
发明要解决的问题
本发明的实施例是用于更准确地于三维空间上追踪用户的视线。
本发明的实施例是用于通过用户视线的分析来提供各种服务。
用于解决问题的技术方案
根据本发明的示例性实施例，一种视线追踪***，包括：数据收集单元，其从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息；以及视线追踪单元，其从所述面部信息和位置信息推定用户在三维空间上凝视的区域的位置，且将对应于所述区域的位置的空间坐标映射到对应于三维空间的三维地图上。
所述数据收集单元可以利用所述摄影装置的位置坐标、所述图像中的所述用户的位置或大小，及所述摄影装置和所述用户持有的终端之间的距离中的一个或多个来获得所述用户的位置信息。
所述面部信息可以包括所述用户的面部位置、眼珠位置、面部矢量，及眼珠矢量中的一个或多个。
所述视线追踪单元可以决定所述三维空间上的位置信息所相对应的区域的位置，并掌握于决定的所述区域的位置上的所述說面部位置或所述眼珠位置所相对应的地点，且将在掌握的所述地点中的所述面部矢量或眼珠矢量面向的方向上设置的对象的位置预测为用户凝视的区域的位置。
每个所述摄影装置可以安装在三维空间中彼此不同的地点来拍摄图像。
所述数据收集单元可以从每个图像获得的所述面部信息和所述位置信息预测用户的移动轨迹，且所述视线追踪单元可以从所述移动轨迹及从所述每个图像获得的所述面部信息和所述位置信息预测所述用户的视线轨迹，且将对应于所述视线轨迹的空间坐标映射到对应于所述三维空间的三维地图上。
根据本发明的另一实施例，一种视线追踪***，包括：数据收集单元，其从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息、用户的位置信息、用户的人数信息，及用户的人体信息中的一个或多个；视线追踪单元，其从所述用户的面部信息和所述用户的位置信息推定在三维空间上的相应用户的凝视位置；以及视线相关分析单元，其基于所述用户人数信息、所述用户的人体信息，及所述用户的凝视位置信息中的一个或多个来分析所述用户的视线相关内容。
所述用户人体信息可以包括用户的性别、年龄、种族和情绪中的一个或多个，且所述视线相关分析单元可以基于所述用户的人体信息和所述用户的凝视位置信息来分析对有关在三维空间上预定对象的根据年龄、性别、种族和情绪中的一个或多个的视线停留时间。
所述视线相关分析单元可以基于所述用户人数信息和所述用户凝视位置信息来分析有关在三维空间上预定对象的流动人口对比观看所述对象的人的比率。
当有关所述对象的流动人口对比观看所述对象的人的比率小于或等于预设比率时，所述视线相关分析单元可以决定将所述对象改变为另一个对象或者改变所述对象在三维空间上的位置。
所述视线相关分析单元可以基于所述用户人数信息和所述用户凝视位置信息来分析有关在三维空间上的每个对象的视线分布图。
所述用户人体信息可以包括用户的性别、年龄、种族和情绪中的一个或多个，且所述视线相关分析单元可以基于所述用户人体信息的一个或多个来判断在相应用户凝视的位置所对应的地点是否存在有害物体，或者所述地点是否预定的禁止区域或危险区域。
所述用户人体信息可以包括用户的性别、年龄、种族和情绪中的一个或多个，且所述视线相关分析单元可以基于所述用户凝视位置信息来提取相应用户对预定的对象或预定的区域有关的视线停留时间和视线凝视次数中的一个或多个，且基于所述用户人体信息及所述视线停留时间和所述视线凝视次数中的一个或多个来判断相应用户的危险指数。
根据本发明的示例性实施例，一种视线追踪方法，包括：从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息的步骤；从所述面部信息和所述位置信息推定所述用户在三维空间上凝视的区域的位置的步骤；以及将对应于所述区域的位置的空间坐标映射到对应于所述三维空间的三维地图上。
所述获得的步骤可以利用所述摄影装置的位置坐标、所述图像中的所述用户的位置或大小，及所述摄影装置和所述用户持有的终端之间的距离中的一个或多个来获得所述用户的位置信息。
所述面部信息可以包括所述用户的面部位置、眼珠位置、面部矢量，及眼珠矢量中的一个或多个。
所述推定的步骤可以包括决定在所述三维空间上的所述位置信息所对应的区域的位置的步骤；掌握于决定的所述区域的位置上的所述面部位置或所述眼珠位置所相对应的地点的步骤；以及将在掌握的所述地点中的所述面部矢量或眼珠矢量面向的方向上设置的对象的位置推定预测为用户凝视的区域的位置的步骤。
每个所述摄影装置可以安装在三维空间中彼此不同的地点来拍摄图像。
所述获得的步骤可以从每个图像获得的所述面部信息和所述位置信息预测用户的移动轨迹，所述推定的步骤可以从所述移动轨迹及从所述每个图像获得的所述面部信息和所述位置信息预测所述用户的视线轨迹，所述映射的步骤可以将对应于所述视线轨迹的空间坐标映射到对应于所述三维空间的三维地图上。
发明效果
根据本发明的实施例，通过从一个或多个摄影装置捕获的图像中获取用户的面部信息和用户的位置信息，并由此预测在三维空间上所述用户凝视的区域的位置，以可以更准确地在三维空间上追踪用户的视线。
另外，根据本发明的实施例，通过从一个或多个摄影装置捕获的图像中获取用户的面部信息和用户的位置信息，并由此预测用户的移动轨迹和视线轨迹，以可以更准确地在三维空间上掌握用户的视线移动。
附图说明
图1是示出根据本发明的一实施例的视线追踪***的详细组成的框图。
图2是用于说明从根据本发明的一实施例的数据收集单元获得用户的位置信息的过程的图示。
图3是用于说明从根据本发明的一实施例的数据收集单元获得用户的位置信息的过程的图示。
图4是用于说明预测根据本发明的一实施例的用户所凝视的区域的位置的过程的图示。
图5是示出根据本发明的一实施例的视线追踪方法的流程图。
图6是示出根据本发明的另一实施例的视线追踪***的组成的视图。
图7示出用于说明包括适用于示例实施例中的计算装置的计算环境的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的具体实施例。提供以下详细描述以用于帮助全面理解本文描述的方法、设备和/或***。然而，这仅是示例性，并且本发明不限于此。
在描述本发明的实施例时，当判断与本发明有关的已知技术的详细描述可能不必要地模糊本发明的主旨时，将省略其详细描述。另外，下面要描述的术语是考虑到本发明中的功能而定义的术语，其可以根据用户或操作者的意图或习惯而变化。因此，应该基于整个说明书中的内容进行定义。于详细描述中使用的术语仅用于描述本发明的实施例，而不应是限制性的。除非另有明确使用，否则单数形式包括复数形式。在本说明中，诸如“包括”或“包括”的表达旨在表示某些特征、数字、步骤、动作、要素、其一部分或其组合，除了所述描述的之外，不排除存在一个或以上的其他特征、数字、步骤、动作、要素、其一部分或其组合的可能性。
图1是示出根据本发明的一实施例的视线追踪***100的详细组成的框图。
参考图1，根据本发明的一实施例的视线追踪***100包括视线追踪装置102和摄影装置104。
视线追踪装置102通过通讯网络150可以与摄影装置104通信连接。在一些实施例中，通信网络150可以包括因特网、一个或多个局域网(local area networks)、广域网(wide area networks)、蜂窝网络、移动网络、其他类型的网络，或所述网络的组合。
视线追踪装置102可以从摄影装置104的摄影图像获得用户的面部信息、用户的位置信息、用户人数信息，及用户的人体信息中的一个或多个。其中，摄影装置104可以分別安装于在三维空间内设定的一个或多个地点中。
摄影装置104可以是，例如，相机、便携式摄像机，或闭路式电视(CCTV，ClosedCircuit Television)等。在示例性实施例中，摄影装置104可以使用红外线相机，但不限于此。摄影装置104可以安装于，例如，建筑物内的天花板或结构物、自助服务机的上端部、电梯的内部、车辆内部、展示架、音乐会、演讲厅、大型超市、购物中心、商场、餐厅、机场、地铁、托儿所、赌场、老人中心，及工厂等中。另外，每个摄影装置104可以分别安装于所述三维空间上的彼此不同的地点，且其安装角度也可以不同。根据一例子，摄影装置104可以分別安装于大型超市中设定的一个或多个地点来分別拍摄多个用户，且可以将拍摄的图像发送到视线追踪装置102。
视线追踪装置102可以包括数据收集单元110、视线追踪单元120，及视线相关分析单元130。在一实施例中，数据收集单元110、视线追踪单元120，及视线相关分析单元130可以利用物理上分离的一个或多个装置来实现，或者由一个或多个处理器或一个或多个处理器和软件的结合来实现，且与所示示例不同，可能无法清楚地区分具体操作。
数据收集单元110可以从摄影装置104摄影的图像获得用户的面部信息、用户的位置信息、用户人数信息，及用户的人体信息中的一个或多个。
具体而言，数据收集单元110可以使用各种基于规则(rule-based)的运算法则或深度学习(deep learning)模型从所述图像中提取用户的面部区域和眼睛区域，且从提取的面部区域和眼睛区域获得用户的面部信息。
其中，用户的面部信息可以包括相应用户的面部位置、面部大小、眼珠位置、面部矢量，及眼珠矢量中的一个或多个。其中，基于规则的运算法则是用于使用预定图像处理技巧、照片处理技巧，及数学方程等来进行视线追踪的各种数据的运算法则，例如，可以包括人脸识别运算法则(例如：主成分分析(PCA)及线性判别分析(LDA)等)、人脸特征检测运算法则(例如：支持向量机(SVM)及加速强大功能(SURF)等)、基于图像的头部追踪(head-tracking)运算法则，及眼珠提取和眼珠位置坐标运算法则等。另外，深度学习模型可以包括，例如，卷积神经网络(CNN)模型。数据收集单元110可以使用各种基于规则的运算法则和深度学习模型从拍摄的图像获取用户的面部信息，例如用户的面部位置、眼珠位置、面部矢量，及眼珠矢量。
在示例性实施例中，数据收集单元110可以识别拍摄图像中的人。换句话说，数据收集单元110可以通过识别从拍摄图像中的人来检测所述人所在的区域。例如，数据收集单元110可以使用快速卷积神经网络(PCNN)或面具RCNN技术等识别拍摄图像中的人且检测人所在的区域。
接下来，数据收集单元110可以确认人所在的区域中的人数(人员数)。数据收集单元110可以周期性或实时从摄影装置104接收拍摄的图像，且从各拍摄图像确认人数以分析相应地点(安装摄影装置104的场所)的每小时流动人口。用户人数信息可以包括每个拍摄图像中包括的人数及相应场所每小时的流动人口。
另外，数据收集单元110可以识别在人所在区域中的人的面部区域。数据收集单元110可以基于人的面部区域获取包括用户人体信息，所述用户人体信息包括相应用户的性别、年龄、种族，和情绪中的至少一个。例如，数据收集单元110可以使用各种基于规则的运算法则或深度学习模型来基于人的面部区域获取包括用户人体信息，所述用户人体信息包括相应用户的性别、年龄、种族，和情绪中的至少一个。
另外，数据收集单元110可以识别人的面部区域中的面部中的主要点(即，特征)(例如，眼睛、鼻子或嘴)的位置。数据收集单元110可以基于拍摄图像中的人的面部区域照片来提取用户的面部大小和面部矢量。
另外，数据收集单元110可以基于面部中的眼点的位置来检测眼睛区域。数据收集单元110以基于眼睛区域照片来检测用户的眼珠矢量(视线矢量)。
另外，数据收集单元110可以使用摄影装置104的位置坐标、拍摄图像中的用户的位置、拍摄图像中的用户的大小(或面部大小)，及摄影装置104用户拥有的终端之间的距离中的一个或多个来获得用户的位置信息。
图2及图3是用于说明从根据本发明的一实施例的数据收集单元100获得用户的位置信息的过程的图示。
根据一例子，参考图2，假设用户位于X点(a，b)，且摄影装置104位于Y点(c，d)时，数据收集单元110可以掌握拍摄图像中用户的位置和大小，并由此获得用户的位置信息(即，X点的位置坐标(a，b))。数据收集单元110可以基于摄影装置104的安装位置和安装角度以及拍摄图像中用户的位置和大小来获得用户的位置信息。此时，由于摄影装置104的安装位置和角度是固定的，数据收集器110可以预先具有图像中每个点的位置坐标。另外，数据收集单元110可以根据图像中每个点的用户的大小来预测摄影装置104用户之间的距离R，且由此校正用户的位置信息。
根据另一例子，参考图3，用户可以在三维空间中持有诸如智能手机的终端301移动。此时，终端301和摄影装置104可以具有用于发送和接收信号的无线通信模块，例如，蓝牙模块，Wi-Fi模块等，且可以通过通信模块发送和接收信号。数据收集单元110可以通过摄影装置104和终端301之间交换的信号来计算摄影装置104终端301之间的距离R'。另外，数据收集单元110可以掌握拍摄图像中的用户的位置相对应的一个或多个候选点，且决定从所述候选点中的摄影装置104的位置坐标以所述距离R'分开的候选点的位置为用户的位置。
根据另一例子，数据收集单元110可以通过接收通过用户持有通过用户拥有的终端301的GPS模块获得的终端301的位置坐标来获得用户的位置信息。如上所述，数据收集单元110可以以各种方式获得用户的位置信息。
再次参考图1，视线追踪单元120从由数据收集单元110获得的用户的面部信息和位置信息中追踪在三维空间上用户凝视的区域的位置。
具体而言，视线追踪单元120可以决定在三维空间上用户的位置信息相对应的位置(即，用户的位置)，且掌握在用户的位置上的用户的面部位置或眼珠位置。接下来，视线追踪单元120可以将在用户的面部位置或眼珠位置中的用户的面部矢量或眼珠矢量面向的方向上设置的对象的位置推定为用户凝视的位置。
图4是用于说明推定根据本发明的一实施例的用户所凝视的区域的位置的过程的图示。
根据一例子，参考图4，视线追踪单元120将从数据收集单元110获得的用户的位置信息，即位置坐标(a，b)对应的X点决定为用户所在的区域，且可以掌握在X点上的所述用户的面部位置或眼珠位置对应的Z点，即三维空间坐标(a，b，p)。
另外，视线追踪单元120可以将在掌握的Z点上的所述用户的面部矢量或眼珠矢量面向的方向上设置的对象A的位置，即三维空间坐标(l，m，n)推定为用户凝视的区域的位置。其中，假设视线追踪单元120预先具有在三维空间中设置有每个对象的三维空间坐标。
另外，上述的数据收集单元110可以从分别安装在三维空间中的彼此不同地点的摄影装置104所拍摄的每个图像获得的用户的面部信息和位置信息来获得用户的移动轨迹。根据一例子，当用户在A点和B点顺序被拍摄时，数据收集单元110可以使用从在A点拍摄的图像获得的用户的面部信息和位置信息以及从在B点拍摄的图像获得的用户的面部信息和位置信息来推定用户从A点移动到B点。
另外，视线追踪单元120可以根据由数据收集单元110获得的移动轨迹、从由多个摄影装置104拍摄的每个图像获得的用户的面部信息以及用户的位置信息来推定用户的视线轨迹。具体而言，由于当每次用户移动时，用户的面部位置、眼珠位置、面部矢量、眼珠矢量，及用户的位置信息改变，因此，通过从根据所述用户的移动轨迹的每个位置上的所述面部信息及所述位置信息来追踪用户的视线轨迹，可以推定用户凝视的区域的位置(用户凝视位置)。
另外，视线追踪单元120将以用户在三维空间中凝视的地方所推定的位置对应的空间坐标映射在三维空间对应的三维地图上。其中，三维地图是建模所述三维空间的地图，且其具有每个点的三维空间坐标。
另外，视线追踪单元120可以将用户的视线轨迹所对应的空间坐标映射在三维空间对应的三维地图上。具体而言，视线追踪单元120可以通过将用户在三维空间上凝视的区域的位置所对应的空间坐标顺序地映射在虚拟三维地图上来追踪用户的视线轨迹，并由此从用户获得并累积根据视线追踪的各种数据。此时，当累积从多个用户的视线追踪获得的数据时，可以形成大数据，且所述大数据可用于各种服务。
根据一例子，视线追踪单元120可以通过追踪访问大型超市的多个用户的视线来获得关于每个用户的数据。此时，累积关于每个用户的数据可以形成与大型超市的访客所喜好的产品相关的大数据，且所述大数据可以用作营销信息，例如增加喜好产品的库存或将喜好产品放置在人们的视线易看到的地方等。根据另一例子，视线追踪单元120可以通过在进行授课期间追踪在教室中的多个学生的视线来获得有关每个学生的数据。此时，累积关于每个学生的数据可以形成与参加授课的学生的授课集中度有关的大数据，所述大数据可以用作用于增加课堂集中度的授课材料。
视线相关分析单元130可以基于由数据收集单元110和视线追踪单元120获得的数据来分析与用户的视线的相关内容。在示例性实施例中，视线相关分析单元130可以分析与在三维空间上设置的对象相关的用户的视线停留时间。换句话说，视线相关分析单元130可以基于在由视线追踪单元120获得的用户的面部矢量或眼珠矢量面向的方向上设置的对象位置(即，用户凝视的区域的位置)的有关信息，来分析相对于对象的用户的视线停留时间。此时，视线相关分析单元130可以分析有关用户对每个对象中哪一部分的观看时间。
另外，视线相关分析单元130可以基于用户的人体信息和用户的凝视位置信息来分析对有关在三维空间上预定对象的根据年龄，性别，种族和情绪中的一个或多个的视线停留时间。
另外，视线相关分析单元130可以基于用户人数信息和用户凝视位置信息来分析有关在三维空间上预定对象的流动人口对比观看相应对象的人的比率。
例如，当对象是展示架商品、电梯广告、出租车广告，及户外屏幕广告等时，视线相关分析单元130可以分析每个用户(包括用户年龄、性别、种族，及情绪等)对对象的有关视线停留时间，且可以分析流动人口对比观看对象的人的比率等。
此时，当有关所述对象的流动人口对比观看所述对象的人的比率小于或等于预设比率时，所述视线相关分析单元130可以决定将所述对象改变为另一个对象或者改变所述对象在三维空间上的位置。
另外，视线相关分析单元130可以基于用户人数信息和用户凝视位置信息来分析有关在三维空间上的对象的视线分布图。换句话说，视线相关分析单元130可以分析关于存在于三维空间上的人中的多少比率正在观看每个对象的信息。通过利用上述信息，例如，设置展示架商品可以优先以具有較高的人的关心度的商品来重新设置。另外，由于可以通过广告(即对象)位置确认人的视线分布图，可以重新调整广告位置。由视线相关分析单元130分析的信息还可以用于调整路标或警告文的位置。
另外，视线相关分析单元130可以基于有关三维空间上的对象的视线分布图来提取具有最高视线分布图的对象。通过使用上述信息，例如，可以对有关在授课或演出中具有最高视线分布图的对象提供诸如突出显示等的效果。
另外，视线相关分析单元130可以基于用户人体信息和用户凝视位置信息来判断基于用户的年龄、性别，及种族等的相应用户所凝视的位置相对应的点是否是有害对象(或禁止区域或危险区域)。例如，视线相关分析单元130可以判断用户为7岁以下的孩子且用户观看的对象是诸如刀的有害对象。另外，视线相关分析单元130可以将相应用户的视线引导到另一个地方或者采取用于发出警告的动作(例如，发出警报声等)。
另外，视线相关分析单元130可以基于用户的人体信息和用户的凝视位置信息来分析相应用户的危险指数。在示例性实施例中，当用户凝视位置信息对应于摄影装置104的安装位置(靠近受限区域等)时，视线相关分析单元130可以通过确认查用户的视线留时间和用户的凝视次数中的一个或多个来计算用户的危险指数。例如，当成年男性用户凝视摄影装置104超过预定时间或连续注视超过预定次数时，视线相关分析单元130可以判断用户的危险指数为高。
其中，视线相关分析单元130可以分別为用户人体信息中的年龄、性别、种族和情绪分配用户危险指数分数。另外，当对预定对象(例如，摄影装置等)或预定区域(例如，靠近受限区域等)的用户的视线停留时间和视线凝视次数增加时，视线相关分析单元130可以分配更高的用户危险指数分数。在这种情况下，可以通过在机场或地铁等公共场所中抽取具有高度***危险性的人来事先防止***。
图5是示出根据本发明的一实施例的视线追踪方法的流程图。图5所示的方法可以通过，例如，如图1所示的视线追踪***100来进行。
首先，数据收集单元110从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息(S510)。此时，用户的面部信息可以包括用户的面部位置、眼珠位置、面部矢量，及眼珠矢量中的一个或多个。另外，每个摄影装置可以安装在三维空间中彼此不同的地点来拍摄图像。
接下来，视线追踪单元120从所述面部信息和位置信息预测用户在三维空间上凝视的区域的位置(S520)。
然后，视线追踪单元120将对应于所述区域的位置的空间坐标映射到对应于三维空间的三维地图上(S530)。
一方面，所述方法被分成多个步骤而示于图5的流程图中，但至少一些步骤可以改变顺序来执行、结合其他步骤来一起执行、省略、将步骤细分来执行，或添加未示出的一个或多个步骤来执行。
图6是示出根据本发明的另一实施例的视线追踪***100的组成的视图。其中，将主要描述与图1中所示的实施例不同的部分。
参考图6，视线追踪装置102可以一体地安装于与摄影装置104相同的场所。在示例性实施例中，虽然视线追踪装置102与摄影装置104可以在功能上划分，但在实际物理学上实现为彼此合并。
每个视线追踪装置102可以将由视线追踪装置102处理的数据(例如，用户的面部信息，用户的位置信息，用户人数信息，用户的人体信息，以及用户凝视的区域的位置、用户凝视的区域的空间坐标，以及视线相关分析位置等)发送到服务器140。然而，本公开并不限于此，视线追踪装置102的一部分组成(例如，视线相关分析单元130的组成)可以在服务器140中实现。
图7示出用于说明包括适用于示例实施例中的计算装置的计算环境10的框图。在所示实施例中，除了下面的描述之外，每个组件可以具有不同的功能和能力，且除了下面的描述之外，可以包括附加组件。
所示计算环境10包括计算装置12。在一实施例中，计算装置12可以是视线追踪***100，或者于视线追踪***100包括的一个或多个组件。
计算装置12包括至少一个处理器14、计算机可读存储介质16，和通信总线18。处理器14可以使计算装置12根据上述示例性实施例进行操作。例如，处理器14可以执行存储在计算机可读存储介质16中的一个或多个程序。所述一个或多个程序可以包括一个或多个计算机可执行指令，且所述计算机可执行指令可以构成为当由处理器14执行时使计算装置12根据示例性实施例执行操作。
计算机可读存储介质16构成为存储计算机可执行指令或程序代码、程序数据和/或其他合适形式的信息。存储在计算机可读存储介质16中的程序20包括可由处理器14执行的指令的集合。在一实施例中，计算机可读存储介质16可以是存储器(如随机存取存储器的易失性存储器、非易失性存储器或其适当组合、一个或多个磁盘存储设备、光盘存储设备、闪存设备、由计算装置12访问并存储所需信息的另一种形式的存储介质，或其合适的组合。
通信总线18与计算装置12的各种其他组件互连，包括处理器14及计算机可读存储介质16。
计算装置12还可以一个或多个输入/输出接口22，其为一个或多个输入/输出装置24提供接口，以及一个或多个网络通信接口26.输入/输出接口22可以包括滚动屏幕，输入界面，输入屏幕等。输入/输出接口22和网络通信接口26连接到通信总线18。输入/输出装置24可以通过输入/输出接口22连接到计算装置12的其他组件。示例性的输入/输出装置24可以包括指示装置(鼠标或触控板等)、键盘、触摸输入装置(触控板或触控屏等)、语音或声音输入装置、各种类型的传感器装置和/或如摄影装置的输入装置、和/或如显示装置、打印机、扬声器和/或网卡的输出装置。示例性的输入/输出装置24是构造计算装置12的一组件，其可以包括在计算装置12的内部，或者可以作为与计算装置12不同的单独装置连接到计算装置12。
虽然已在此详细地描述了本发明的实施例，本领域的普通技术人员应当理解上述的实施例是在不脱离本发明的范畴的前提下可以进行各种变更的。因此，本发明构思不限于这些实施例，而是限于所附权利要求的更宽范围，并且对于本领域普通技术人员来说，各种显而易见的修改和等同布置将是明显的。

Claims (20)

1.一种视线追踪***，其中，包括：
数据收集单元，其从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息；以及
视线追踪单元，其从所述面部信息和位置信息推定用户在所述三维空间上凝视的区域的位置，且将对应于所述区域的位置的空间坐标映射到对应于所述三维空间的三维地图上。
2.如权利要求1所述的***，其中，
所述数据收集单元利用所述摄影装置的位置坐标、所述图像中的所述用户的位置或大小，及所述摄影装置和所述用户持有的终端之间的距离中的一个或多个来获得所述用户的位置信息。
3.如权利要求1所述的***，其中，
所述面部信息包括所述用户的面部位置、眼珠位置、面部矢量及眼珠矢量中的一个或多个。
4.如权利要求3所述的***，其中，
所述视线追踪单元决定所述三维空间上的位置信息所相对应的区域的位置，并掌握于决定的所述区域的位置上的所述面部位置或所述眼珠位置所相对应的地点，且将在掌握的所述地点中的所述面部矢量或眼珠矢量面向的方向上设置的对象的位置预测为用户凝视的区域的位置。
5.如权利要求1所述的***，其中，
每个所述摄影装置安装在三维空间中彼此不同的地点来拍摄所述图像。
6.如权利要求5所述的***，其中，
所述数据收集单元从每个图像获得的所述面部信息和所述位置信息预测用户的移动轨迹，
所述视线追踪单元从所述移动轨迹及从所述每个图像获得的所述面部信息和所述位置信息预测所述用户的视线轨迹，且将对应于所述视线轨迹的空间坐标映射到对应于所述三维空间的三维地图上。
7.一种视线追踪***，其中，包括：
数据收集单元，其从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息、用户的位置信息、用户的人数信息，及用户的人体信息中的一个或多个；
视线追踪单元，其从所述用户的面部信息和所述用户的位置信息推定在三维空间上的相应用户的凝视位置；以及
视线相关分析单元，其基于所述用户人数信息、所述用户的人体信息，及所述用户的凝视位置信息中的一个或多个来分析所述用户的视线相关内容。
8.如权利要求7所述的视线追踪***，其中，
所述用户人体信息包括用户的性别、年龄、种族和情绪中的一个或多个，
所述视线相关分析单元基于所述用户的人体信息和所述用户的凝视位置信息来分析对有关在三维空间上预定对象的根据年龄、性别、种族和情绪中的一个或多个的视线停留时间。
9.如权利要求7所述的视线追踪***，其中，
所述视线相关分析单元基于所述用户人数信息和所述用户凝视位置信息来分析有关在三维空间上预定对象的流动人口对比观看所述对象的人的比率。
10.如权利要求9所述的视线追踪***，其中，
当有关所述对象的流动人口对比观看所述对象的人的比率小于或等于预设比率时，所述视线相关分析单元决定将所述对象改变为另一个对象或者改变所述对象在三维空间上的位置。
11.如权利要求7所述的视线追踪***，其中，
所述视线相关分析单元基于所述用户人数信息和所述用户凝视位置信息来分析有关在三维空间上的每个对象的视线分布图。
12.如权利要求7所述的视线追踪***，其中，
所述用户人体信息包括用户的性别、年龄、种族和情绪中的一个或多个，
所述视线相关分析单元基于所述用户人体信息的一个或多个来判断在相应用户凝视的位置所对应的地点是否存在有害物体，或者所述地点是否预定的禁止区域或危险区域。
13.如权利要求7所述的视线追踪***，其中，
所述用户人体信息包括用户的性别、年龄、种族和情绪中的一个或多个，
所述视线相关分析单元基于所述用户凝视位置信息来提取相应用户对预定的对象或预定的区域有关的视线停留时间和视线凝视次数中的一个或多个，且基于所述用户人体信息及所述视线停留时间和所述视线凝视次数中的一个或多个来判断相应用户的危险指数。
14.一种视线追踪方法，其中，包括：
从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息和所述用户的位置信息的步骤；
从所述面部信息和所述位置信息推定所述用户在三维空间上凝视的区域的位置的步骤；以及
将对应于所述区域的位置的空间坐标映射到对应于所述三维空间的三维地图上。
15.如权利要求14所述的方法，其中，
所述获得的步骤利用所述摄影装置的位置坐标、所述图像中的所述用户的位置或大小，及所述摄影装置和所述用户持有的终端之间的距离中的一个或多个来获得所述用户的位置信息。
16.如权利要求14所述的视线追踪方法，其中，
所述面部信息包括所述用户的面部位置、眼珠位置、面部矢量，及眼珠矢量中的一个或多个。
17.如权利要求16所述的视线追踪方法，其中，
所述推定的步骤包括决定在所述三维空间上的所述位置信息所对应的区域的位置的步骤；
掌握于决定的所述区域的位置上的所述面部位置或所述眼珠位置所相对应的地点的步骤；以及
将在掌握的所述地点中的所述面部矢量或眼珠矢量面向的方向上设置的对象的位置推定为用户凝视的区域的位置的步骤。
18.如权利要求14所述的视线追踪方法，其中，
每个所述摄影装置安装在三维空间中彼此不同的地点来拍摄图像。
19.如权利要求18所述的视线追踪方法，其中，
所述获得的步骤从每个图像获得的所述面部信息和所述位置信息预测用户的移动轨迹，
所述推定的步骤从所述移动轨迹及从所述每个图像获得的所述面部信息和所述位置信息预测所述用户的视线轨迹，
所述映射的步骤将对应于所述视线轨迹的空间坐标映射到对应于所述三维空间的三维地图上。
20.一种视线追踪方法，其中，包括：
从在三维空间中设定的一个或多个地点中分別安装的摄影装置所拍摄的图像中获得用户的面部信息、用户的位置信息、用户的人数信息，及用户的人体信息中的一个或多个的步骤；
从所述用户的面部信息和所述用户的位置信息推定在三维空间上的相应用户的凝视位置的步骤；以及
基于所述用户人数信息、所述用户的人体信息，及所述用户的凝视位置信息中的一个或多个来分析所述用户的视线相关内容的步骤。
CN201980001867.XA 2018-04-11 2019-04-09 视线追踪***及方法 Pending CN110582781A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180041921 2018-04-11
KR10-2018-0041921 2018-04-11
KR1020190040684A KR20190118965A (ko) 2018-04-11 2019-04-08 시선 추적 시스템 및 방법
KR10-2019-0040684 2019-04-08
PCT/KR2019/004229 WO2019199035A1 (ko) 2018-04-11 2019-04-09 시선 추적 시스템 및 방법

Publications (1)

Publication Number Publication Date
CN110582781A true CN110582781A (zh) 2019-12-17

Family

ID=68460235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980001867.XA Pending CN110582781A (zh) 2018-04-11 2019-04-09 视线追踪***及方法

Country Status (3)

Country Link
US (1) US11436866B2 (zh)
KR (1) KR20190118965A (zh)
CN (1) CN110582781A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144333A (zh) * 2019-12-30 2020-05-12 华南师范大学 基于视线追踪的教师行为监测方法
CN112583980A (zh) * 2020-12-23 2021-03-30 重庆蓝岸通讯技术有限公司 基于视觉识别的智能终端显示角度调节方法、***及智能终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287281B1 (ko) * 2020-01-13 2021-08-06 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
KR102341060B1 (ko) * 2021-01-07 2021-12-20 서가원 키오스크를 이용한 광고 서비스 제공 시스템
KR20220122119A (ko) 2021-02-26 2022-09-02 (주)블라우비트 사용자의 화면 집중도 분석을 위한 아이 트래킹 시작 정규화 장치 및 방법
KR102614370B1 (ko) * 2022-07-06 2023-12-14 전남대학교산학협력단 시선 방향 추정 방법 및 이를 이용한 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及***
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
CN104199544A (zh) * 2014-08-28 2014-12-10 华南理工大学 基于视线跟踪的广告定向投放方法
KR20160031183A (ko) * 2014-09-12 2016-03-22 재단법인대구디지털산업진흥원 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20170032214A1 (en) * 2014-02-04 2017-02-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. 2D Image Analyzer
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107704076A (zh) * 2017-09-01 2018-02-16 广景视睿科技（深圳）有限公司 一种动向投影物体展示***及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691564B1 (ko) 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법
US20130138499A1 (en) 2011-11-30 2013-05-30 General Electric Company Usage measurent techniques and systems for interactive advertising
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
TWI492150B (zh) 2013-09-10 2015-07-11 Utechzone Co Ltd 播放方法及電子裝置
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的***和方法
JP6680120B2 (ja) 2016-07-11 2020-04-15 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
WO2018057947A1 (en) * 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10698481B1 (en) * 2017-09-28 2020-06-30 Apple Inc. Glint-assisted gaze tracker
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪***及方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及***
US20170032214A1 (en) * 2014-02-04 2017-02-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. 2D Image Analyzer
CN104199544A (zh) * 2014-08-28 2014-12-10 华南理工大学 基于视线跟踪的广告定向投放方法
KR20160031183A (ko) * 2014-09-12 2016-03-22 재단법인대구디지털산업진흥원 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107704076A (zh) * 2017-09-01 2018-02-16 广景视睿科技（深圳）有限公司 一种动向投影物体展示***及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144333A (zh) * 2019-12-30 2020-05-12 华南师范大学 基于视线追踪的教师行为监测方法
CN111144333B (zh) * 2019-12-30 2023-04-28 华南师范大学 基于视线追踪的教师行为监测方法
CN112583980A (zh) * 2020-12-23 2021-03-30 重庆蓝岸通讯技术有限公司 基于视觉识别的智能终端显示角度调节方法、***及智能终端

Also Published As

Publication number Publication date
US20210019520A1 (en) 2021-01-21
US11436866B2 (en) 2022-09-06
KR20190118965A (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
CN106462242B (zh) 使用视线跟踪的用户界面控制
CN110582781A (zh) 视线追踪***及方法
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
JP6898165B2 (ja) 人流分析方法、人流分析装置及び人流分析システム
US20210210053A1 (en) Transportation hub information system
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US20210081754A1 (en) Error correction in convolutional neural networks
Bertoni et al. Perceiving humans: from monocular 3d localization to social distancing
JP5001930B2 (ja) 動作認識装置及び方法
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11216067B2 (en) Method for eye-tracking and terminal for executing the same
Li et al. Robust multiperson detection and tracking for mobile service and social robots
US11715332B2 (en) System and method for eye-tracking
KR20230015272A (ko) 인공지능을 이용한 무인 정보 단말기, 주문 관리 서버 및 주문 정보 제공방법
KR101847446B1 (ko) 인지 데이터 네트워크 기반 시선 추적 서버 및 방법
KR102465437B1 (ko) 인공지능 기반 객체 추적 장치 및 방법
KR101564760B1 (ko) 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
US20190224850A1 (en) Communicative Self-Guiding Automation
US9911237B1 (en) Image processing techniques for self-captured images
US20210290129A1 (en) State estimation device, method and computer program therefor
CN112711324B (zh) 基于tof相机的手势交互方法及其***
Huang et al. Robust feature extraction for non-contact gaze tracking with eyeglasses
US11250242B2 (en) Eye tracking method and user terminal performing same
Rosa Describing People: An Integrated Framework for Human Attributes Classification
JP2023152861A (ja) 投影システムを制御する装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191217