CN111366916B - 确定交互目标与机器人之间距离的方法、装置及电子设备 - Google Patents
确定交互目标与机器人之间距离的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111366916B CN111366916B CN202010096652.5A CN202010096652A CN111366916B CN 111366916 B CN111366916 B CN 111366916B CN 202010096652 A CN202010096652 A CN 202010096652A CN 111366916 B CN111366916 B CN 111366916B
- Authority
- CN
- China
- Prior art keywords
- depth data
- counting
- frequency
- rectangular frame
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 230000002452 interceptive effect Effects 0.000 claims abstract description 50
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000012795 verification Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例涉及一种确定交互目标与机器人之间距离的方法、装置及电子设备，包括：先采用人体检测算法确定交互目标所在的矩形框区域，再从深度图中提取矩形框区域的深度数据，然后分别按照行扫描或列扫描的方式减少分析复杂度，并对扫描统计得到的深度数据进行过滤，进而，根据过滤后得到的深度数据出现频次准确确定交互目标与机器人之间的距离，在保证实时采集确定距离的同时，还可以适用于多种位姿及场景。
Description
技术领域
本说明书实施例涉及人工智能技术领域，尤其涉及一种确定交互目标与机器人之间距离的方法、装置及电子设备。
背景技术
随着人工智能浪潮的兴起，机器人也得到了快速的发展，越来越多的机器人开始进入人们的视野，尤其是作为主要人工智能产品的服务型机器人，占据着很重要的地位。
在人工智能交互领域，与实体机器人进行消息交互的交互目标与机器人之间的距离，影响着实体机器人的交互响应。目前主要有两大类方法来获取交互目标与机器人之间的距离：1)粗略估计，根据人体的结构，用数学的方法计算人体的重心，取重心区域内的深度值的平均值作为交互人的距离；2)精细计算，用背景去除或者人体建模的方法，较为准确的获取人体的轮廓信息及肢体信息，然后取其上躯干区域的深度值的均值作为交互人的距离。
然而，上述方法1)，正常情况下能够获得距离，但是由于人的非刚性特质，对于一些特殊的姿态或者特殊场景就很难适用，比如坐着，叉腰，挥手等；上述方法2)，能够较为准确的给出距离，但是复杂性较高，对于实时性要求非常高的场景不太适用。
因此，亟需找到一种新的方法来确定交互目标与机器人之间距离。
发明内容
本说明书实施例提供一种确定交互目标与机器人之间距离的方法、装置及电子设备，用以在保证实时确定交互目标与机器人之间距离的同时，提升确定距离的准确性。
为了解决上述技术问题，本说明书实施例采用下述技术方案：
第一方面，提供了一种确定交互目标与机器人之间距离的方法，所述方法包括：
获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
对统计得到的深度数据进行过滤处理；
基于预设第二容差对统计得到的深度数据进行扫描，统计频次最高和次高的深度数据；
判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
如果是，则将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；
否则，将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
第二方面，提供了一种确定交互目标与机器人之间距离的装置，所述装置包括：
获取模块，用于获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
提取模块，用于基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
统计模块，用于基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
过滤模块，用于对统计得到的深度数据进行过滤处理；
所述统计模块，还用于基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据；
判断模块，用于判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
确定模块，用于在所述判断模块判断结果为是时，将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；以及，
用于在所述判断模块判断结果为否时，将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行第一方面所述的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如第一方面所述的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过上述技术方案，先采用人体检测算法确定交互目标所在的矩形框区域，再从深度图中提取矩形框区域的深度数据，然后分别按照行扫描或列扫描的方式减少分析复杂度，并对扫描统计得到的深度数据进行过滤，进而，根据过滤后得到的深度数据出现频次准确确定交互目标与机器人之间的距离，在保证实时采集确定距离的同时，还可以适用于多种位姿及场景。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的确定交互目标与机器人之间距离的方法步骤示意图；
图2a为本说明书实施例提供的以先对矩形框区域进行行扫描为例实现的方案步骤示意图；
图2b为本说明书实施例提供的以先对矩形框区域进行列扫描为例实现的方案步骤示意图；
图3为本说明书实施例提供的确定交互目标与机器人之间距离的装置300的结构示意图；
图4为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书实施例保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
实施例一
参照图1所示，为本说明书实施例提供的确定交互目标与机器人之间距离的方法步骤示意图，该所述方法包括以下步骤：
步骤102：获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图。
其中，所述交互目标可以是与机器人(以下简称检测机器人)进行消息交互的人或是交互机器人，该交互机器人与人具有类似的外形结构，例如，有头部、四肢、躯干等。
应理解，在检测机器人上集成有用于采集图像的摄像头以及用于处理图像的处理器。具体实现时，可以利用摄像头实时采集交互目标在拍摄场景下的RGB图像，同时，还要获取与该RGB图像对齐后的深度图。具体实现时，可以利用现有的双目摄像头获取与RGB图像对齐后的深度图，其实，本说明书实施例也可以采用其它确定深度图的方式获取与交互目标的RGB图像对齐后的深度图。
步骤104：基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据。
一种可实现的方案，步骤104在基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据时，具体可以包括以下步骤：
第一步，利用人体检测算法从所述图像中确定所述交互目标对应的矩形框区域。
在本说明书实施例中，人体检测算法可以是，利用背景建模算法提取出运动的前景目标(即交互目标)，然后利用分类器对交互目标进行分类，判断是否包含交互目标，一般指行进中的人或机器人。其中，常用的背景建模算法有：高斯混合模型、帧差分算法等，基本思路是通过帧学习得到一个背景模型，然后用当前帧与背景帧进行比较，得到运动的目标，即图像中交互目标所在的矩形框区域。
第二步，从与所述图像对齐的深度图中提取所述矩形框区域的深度数据。
在确定交互目标对应的矩形框区域后，可以基于矩形框区域所在位置坐标以及与RGB图像对齐后的深度图中各像素点的深度数据，从深度图中提取交互目标所在的矩形框区域的深度数据。具体实现时，可以是每个像素点对应一个位置坐标，该坐标包含在深度图中的行坐标、纵坐标，以及深度坐标。其中，深度坐标对应的值可以作为像素点的深度数据。
从而可以基于人体检测算法准确从深度图中提取交互目标所在矩形框区域的深度数据。
步骤106：基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据。
一种可实现的方案，步骤106在基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据时，具体包括：基于预设第一容差，依次对所述矩形框区域进行行扫描或列扫描，确定每一行或每一列中深度数据的频次；统计每一行或列中最高频次对应的深度数据。
具体实现时，如果先扫描行，则针对每一行深度数据，如果当前扫描到的深度数据是当前所在行的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前行；或者，
如果先扫描列，则针对每一列深度数据，如果当前扫描到的深度数据是当前所在列的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前列。
举例说明，可以对矩形框区域的像素点进行行扫描，统计每一行中各个深度数据出现的频次，并统计每一行中最高频次对应的深度数据。假设该矩形框区域一共有10行10列，分别对每一行进行扫描，第一行中分别扫描第1-10列的深度数据(单位可以是mm或其它，在此仅作为示例，不作为限制)：1713、1731、1750、1761、1767、1782、1765、1745、1795、1789。若设定容差为2cm，那么，处理过程可以为：扫描到第一个深度数据1713，累计频次为1；扫描到第二个深度数据1731，与第一个深度数据容差在2cm内，满足容差条件，则累计频次为2，此时，计算一次深度数据为(1731*1+1713*1)/2＝1722；扫描到第三个深度数据1750，与计算的深度数据1722容差大于2cm，则单独计数频次为1；扫描到第四个深度数据1761，与第三个深度数据1750容差小于2，累计频次为2，对应深度数据(1750*1+1761*1)/2＝1755.5；扫描到第五个深度数据1767，与计算的深度数据1755.5容差小于2，累计频次为3，对应深度值(1755.5*2+1767*1)/3＝1759.3，依次类推，最终，扫描确定出第一行中出现频次最高的深度数据是1759.3，出现频次为3。按照这样的方式分别对剩余的2-10行进行扫描，最终可以确定：第二行中出现频次最高的深度数据是1726，出现频次为5，第三行中出现频次最高的深度数据是1751，出现频次为2，第四行中出现频次最高的深度数据是1754.5，出现频次为4，第五行中出现频次最高的深度数据是1756.5，出现频次为4，第六行中出现频次最高的深度数据是1764.5，出现频次为3，第七行中出现频次最高的深度数据是1774.5，出现频次为6，第八行中出现频次最高的深度数据是1754.5，出现频次为4，第九行中出现频次最高的深度数据是1756.5，出现频次为3，第十行中出现频次最高的深度数据是1756.5，出现频次为2。
上述举例是以先扫描行为例，扫描列的方式类似，在此不作赘述。应理解，在统计深度数据时，同时统计每个深度数据出现的频次。另外，在本说明书实施例中，统计得到的深度数据，可以是扫描到的真实深度数据，也可以是基于扫描到的至少两个真实的深度数据加权处理得到的平均值。
在步骤106统计每一行或列中最高频次对应的深度数据之后，考虑到由于人体的非刚性及人体结构的特殊性，会有很多脏数据，无法进行后续的一系列分析，因此，为了保证扫描结果的精准性，所述方法还包括：
步骤108：对统计得到的深度数据进行过滤。
在本说明书实施例中，过滤的具体方式可以包括：将统计所有行得到的深度数据中频次与列数之间的比值小于阈值的深度数据滤掉；或者，将统计所有列得到的深度数据中频次与行数之间的比值小于阈值的深度数据滤掉。
举例说明，假设阈值为50％，那么，如果统计扫描结果得到的深度数据在扫描所在行或列出现的频次占比小于该阈值，则说明该深度数据无效，可以过滤掉，从而，保证统计得到的扫描结果的精准率，减少后续对无效数据的处理，提升处理效率。
应理解，当先进行行扫描后，统计得到的深度数据的个数即为扫描的总行数，当先进行列扫描后，统计得到的深度数据的个数即为扫描的总列数。
步骤110：基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据。
具体实现时：如果当前扫描到的深度数据是过滤后的深度数据中的第一个深度数据，则为所述深度数据计数一个频次；如果当前扫描到的深度数据不是过滤后的深度数据中的第一个深度数据，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第二容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次，直至扫描完所述统计得到的深度数据；统计本次扫描后频次最高和次高的深度数据。
在本说明书的另一个实施例中，在统计本次扫描后频次最高和次高的深度数据时，可以按照第一次行扫描或列扫描时的统计方式，将统计得到的深度数据组成一维向量，并按照一维向量中各个深度数据出现的频次由高到低进行排序。
仍基于上述举例，将统计得到的深度数据中出现频次小于等于2的深度数据滤掉：[1759.3,1726,1754.5,1756.5,1764.5,1774.5,1754.5,1756.5]，然后按照上述举例中行扫描的处理方式进行再次扫描，假设本次扫描的预设第二容差也是2cm，则得到的深度数据中最后假设计算得到1763.5出现的频次是5次，频次最高，1759.3出现的频次是2，频次次高，而1726出现的频次是1，频次最低，可以组成一维向量:[1759.3,1726,1763.5]，之后，可以按照频次高低进行排序，得到：f(1763.5)>f(1759.3)>f(1726)，其中，f(x)表示频次，x表示深度数据，其中，f(x)具体可以表示为深度数据x的频次。
应理解，上述所举例仅作为示例说明，在具体的方案中，深度数据的数量较大，这里的行列数目举例对本方案不构成限定。
步骤112：判断所述矩形框区域的尺寸比是否满足预置人体尺寸比。如果是，则执行步骤114；否则，执行步骤116。
具体实现时，可以判断所述矩形框区域的宽高比是否满足预置人体宽高比，或者，判断所述矩形框区域的高宽比是否满足预置人体高宽比。
应理解，在本说明书实施例中，预置人体宽高比或预置人体高宽比可以是基于经验值设置，在此不举例具体值。
步骤114：将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离。
在本说明书实施例中，如果矩形框区域的宽高比满足预置人体宽高比，则表示矩形框区域中的交互目标是正常的位姿(站立)，没有异常动作，此时，取统计得到的深度数据中频次最高的深度数据作为实际距离，基于上述实例，可以将频次最高的50作为交互目标与机器人之间距离。
步骤116：将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
反之，如果矩形框区域的宽高比不满足预置人体宽高比，则表示矩形框区域中的交互目标是异常的位姿(例如，叉腰、坐姿、伸手、伸腿、挥动手臂等)，此时，取统计得到的深度数据中频次次高的深度数据作为实际距离，基于上述实例，可以将频次次高的52作为交互目标与机器人之间距离。
下面分别以两种扫描方式介绍本说明书中确定交互人与机器人之间距离的方案。
参照图2a所示，以先对矩形框区域进行行扫描为例，可以包括以下步骤：
步骤202a：获取交互人的RGB图像。
步骤204a：基于人体检测算法确定交互人在RGB图像中的矩形框区域。
步骤206a：获取与所述RGB图像对齐后的深度图。
步骤208a：从所述深度图中提取矩形框区域的深度数据。
步骤210a：对矩形框区域进行行扫描，统计每行中各个深度数据出现的频次，以出现频次最高的深度数据作为扫描结果。
步骤212a：过滤扫描结果中的无效数据。
步骤214a：再次扫描过滤后的深度数据，统计各个深度数据在本次扫描中出现的频次，并按照频次高低进行排序。
步骤216a：计算矩形框区域的宽高比。
步骤218a：判断计算得到的宽高比是否满足正常宽高比。如果满足，则执行步骤220a，否则，执行步骤222a。
步骤220a：取最高频次的深度数据作为交互人与机器人之间的距离。
步骤222a：取次高频次的深度数据作为交互人与机器人之间的距离。
参照图2b所示，以先对矩形框区域进行列扫描为例，可以包括以下步骤：
步骤202b：获取交互人的RGB图像。
步骤204b：基于人体检测算法确定交互人在RGB图像中的矩形框区域。
步骤206b：获取与所述RGB图像对齐后的深度图。
步骤208b：从所述深度图中提取矩形框区域的深度数据。
步骤210b：对矩形框区域进行列扫描，统计每列中各个深度数据出现的频次，以出现频次最高的深度数据作为扫描结果。
步骤212b：过滤扫描结果中的无效数据。
步骤214b：再次扫描过滤后的深度数据，统计各个深度数据在本次扫描中出现的频次，并按照频次高低进行排序。
步骤216b：计算矩形框区域的宽高比。
步骤218b：判断计算得到的宽高比是否满足正常宽高比。如果满足，则执行步骤220b，否则，执行步骤222b。
步骤220b：取最高频次的深度数据作为交互人与机器人之间的距离。
步骤222b：取次高频次的深度数据作为交互人与机器人之间的距离。
应理解，在本说明书实施例中，执行方法时的顺序并不按照步骤序列号。
在本说明书实施例中，先采用人体检测算法确定交互目标所在的矩形框区域，再从深度图中提取矩形框区域的深度数据，然后分别按照行扫描或列扫描的方式减少分析复杂度，并对扫描统计得到的深度数据进行过滤，进而，根据过滤后得到的深度数据出现频次准确确定交互目标与机器人之间的距离，在保证实时采集确定距离的同时，还可以适用于多种位姿及场景。
实施例二
参照图3所示，为本说明书实施例提供的一种确定交互目标与机器人之间距离的装置300的结构示意图，所述装置300可以包括以下模块：
获取模块302，用于获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
提取模块304，用于基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
统计模块306，用于基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
过滤模块308；用于在统计模块306统计每一行或列中最高频次对应的深度数据之后，对统计得到的深度数据进行过滤；
所述统计模块306，还用于基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据；
判断模块310，用于判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
确定模块312，用于在所述判断模块判断结果为是时，将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；以及，
用于在所述判断模块判断结果为否时，将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
可选地，一种可实现的方案，所述提取模块304在基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据时，具体用于：
利用人体检测算法从所述图像中确定所述交互目标对应的矩形框区域；从与所述图像对齐的深度图中提取所述矩形框区域的深度数据。
本说明书一种可实现的方案，所述统计模块306在基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据时，可具体用于：
基于预设第一容差对所述矩形框区域进行行扫描或列扫描，确定每一行或每一列中深度数据的频次；统计每一行或列中最高频次对应的深度数据。
本说明书中再一种可实现的方案，所述统计模块306在基于预设第一容差，依次对所述矩形框区域进行行扫描或列扫描，确定每一行或每一列中深度数据的频次时，具体用于：
针对每一行深度数据，如果当前扫描到的深度数据是当前所在行的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前行；或者，
针对每一列深度数据，如果当前扫描到的深度数据是当前所在列的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前列。
本说明书中再一种可实现的方案，所述过滤模块308在对统计得到的深度数据进行过滤时，具体用于：
将统计所有行得到的深度数据中频次与列数之间的比值小于阈值的深度数据滤掉；或者，将统计所有列得到的深度数据中频次与行数之间的比值小于阈值的深度数据滤掉。
本说明书中再一种可实现的方案，所述统计模块306在基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据时，具体用于：
如果当前扫描到的深度数据是过滤后的深度数据中的第一个深度数据，则为所述深度数据计数一个频次；如果当前扫描到的深度数据不是过滤后的深度数据中的第一个深度数据，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第二容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次，直至扫描完所述统计得到的深度数据；统计本次扫描后频次最高和次高的深度数据。
本说明书中再一种可实现的方案，所述装置300还包括：排序模块；所述排序模块用于在所述统计模块对统计得到的深度数据进行过滤之后，基于频次高低对统计得到的深度数据进行排序。
本说明书中再一种可实现的方案，所述判断模块310在判断所述矩形框区域的尺寸比是否满足预置人体尺寸比时，具体用于：
判断所述矩形框区域的宽高比是否满足预置人体宽高比，或者，判断所述矩形框区域的高宽比是否满足预置人体高宽比。
在本说明书实施例中，先采用人体检测算法确定交互目标所在的矩形框区域，再从深度图中提取矩形框区域的深度数据，然后分别按照行扫描或列扫描的方式减少分析复杂度，并对扫描统计得到的深度数据进行过滤，进而，根据过滤得到的深度数据出现频次准确确定交互目标与机器人之间的距离，在保证实时采集确定距离的同时，还可以适用于多种位姿及场景。
实施例三
下面参照图4详细介绍本说明书实施例的电子设备。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成确定交互目标与机器人之间距离的装置。处理器，执行存储器所存放的程序，并具体用于执行前文所述确定交互目标与机器人之间距离的装置作为执行主体时所执行的方法操作。
上述如本说明书实施例图1-图2b所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1-图2b的方法，并实现确定交互目标与机器人之间距离的装置在图1-图2b所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
实施例四
本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
对统计得到的深度数据进行过滤处理；
基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据；
判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
如果是，则将最终过滤后的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；
否则，将最终过滤后的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
在本说明书实施例中，先采用人体检测算法确定交互目标所在的矩形框区域，再从深度图中提取矩形框区域的深度数据，然后分别按照行扫描或列扫描的方式减少分析复杂度，并对扫描统计得到的深度数据进行过滤，进而，根据过滤后得到的深度数据出现频次准确确定交互目标与机器人之间的距离，在保证实时采集确定距离的同时，还可以适用于多种位姿及场景。
其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
总之，以上所述仅为本说明书实施例的较佳实施例而已，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (10)
1.一种确定交互目标与机器人之间距离的方法，其特征在于，所述方法包括：
获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
对统计得到的深度数据进行过滤处理；
基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据；
判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
如果是，则将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；
否则，将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
2.如权利要求1所述的方法，其特征在于，基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据，具体包括：
利用人体检测算法从所述图像中确定所述交互目标对应的矩形框区域；
从与所述图像对齐的深度图中提取所述矩形框区域的深度数据。
3.如权利要求1所述的方法，其特征在于，基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据，具体包括：
基于预设第一容差，依次对所述矩形框区域进行行扫描或列扫描，确定每一行或每一列中深度数据的频次；
统计每一行或列中最高频次对应的深度数据。
4.如权利要求3所述的方法，其特征在于，基于预设第一容差，依次对所述矩形框区域进行行扫描或列扫描，确定每一行或每一列中深度数据的频次，具体包括：
针对每一行深度数据，如果当前扫描到的深度数据是当前所在行的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前行；或者，
针对每一列深度数据，如果当前扫描到的深度数据是当前所在列的第一个深度数据，则为所述深度数据计数一个频次；否则，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第一容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次；直至扫描完当前列。
5.如权利要求4所述的方法，其特征在于，对统计得到的深度数据进行过滤处理，具体包括：
将统计所有行得到的深度数据中频次与列数之间的比值小于阈值的深度数据滤掉；或者，
将统计所有列得到的深度数据中频次与行数之间的比值小于阈值的深度数据滤掉。
6.如权利要求5所述的方法，其特征在于，基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据，具体包括：
如果当前扫描到的深度数据是过滤后的深度数据中的第一个深度数据，则为所述深度数据计数一个频次；如果当前扫描到的深度数据不是过滤后的深度数据中的第一个深度数据，判断当前扫描到的深度数据与上一次计数对应的深度数据之差是否小于预设第二容差，若是，则为上一次计数对应的深度数据累加一个频次，若否，则为所述深度数据计数一个频次，直至扫描完所述统计得到的深度数据；统计本次扫描后频次最高和次高的深度数据。
7.如权利要求1所述的方法，其特征在于，判断所述矩形框区域的尺寸比是否满足预置人体尺寸比，具体包括：
判断所述矩形框区域的宽高比是否满足预置人体宽高比，或者，
判断所述矩形框区域的高宽比是否满足预置人体高宽比。
8.一种确定交互目标与机器人之间距离的装置，其特征在于，所述装置包括：
获取模块，用于获取交互目标在拍摄场景下的图像以及与所述图像对齐的深度图；
提取模块，用于基于所述图像以及所述深度图提取所述交互目标所在矩形框区域的深度数据；
统计模块，用于基于预设第一容差对所述矩形框区域进行行或列扫描，统计每一行或每一列中最高频次的深度数据；
过滤模块，用于对统计得到的深度数据进行过滤处理；
所述统计模块，还用于基于预设第二容差对过滤后的深度数据进行扫描，统计频次最高和次高的深度数据；
判断模块，用于判断所述矩形框区域的尺寸比是否满足预置人体尺寸比；
确定模块，用于在所述判断模块判断结果为是时，将最终统计得到的深度数据中频次最高的深度数据确定为交互目标与机器人之间距离；以及，
用于在所述判断模块判断结果为否时，将最终统计得到的深度数据中频次次高的深度数据确定为交互目标与机器人之间距离。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序在所述处理器上执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010096652.5A CN111366916B (zh) | 2020-02-17 | 2020-02-17 | 确定交互目标与机器人之间距离的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010096652.5A CN111366916B (zh) | 2020-02-17 | 2020-02-17 | 确定交互目标与机器人之间距离的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111366916A CN111366916A (zh) | 2020-07-03 |
| CN111366916B true CN111366916B (zh) | 2021-04-06 |
Family
ID=71204254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010096652.5A Expired - Fee Related CN111366916B (zh) | 2020-02-17 | 2020-02-17 | 确定交互目标与机器人之间距离的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111366916B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101657825A (zh) * | 2006-05-11 | 2010-02-24 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
| CN102768761A (zh) * | 2012-06-06 | 2012-11-07 | 清华大学 | 一种基于透视变换的立体视频绘制方法 |
| CN104346816A (zh) * | 2014-10-11 | 2015-02-11 | 京东方科技集团股份有限公司 | 一种深度确定方法、装置及电子设备 |
| CN104519328A (zh) * | 2013-10-02 | 2015-04-15 | 佳能株式会社 | 图像处理设备、图像捕捉装置和图像处理方法 |
| CN106796656A (zh) * | 2014-10-14 | 2017-05-31 | 微软技术许可有限责任公司 | 距飞行时间相机的深度 |
| CN107636727A (zh) * | 2016-12-30 | 2018-01-26 | 深圳前海达闼云端智能科技有限公司 | 一种目标检测的方法及装置 |
| CN108537843A (zh) * | 2018-03-12 | 2018-09-14 | 北京华凯汇信息科技有限公司 | 根据深度图像得到景深距离的方法及装置 |
| CN109639893A (zh) * | 2018-12-14 | 2019-04-16 | Oppo广东移动通信有限公司 | 播放参数调整方法、装置、电子设备和存储介质 |
| CN110187355A (zh) * | 2019-05-21 | 2019-08-30 | 深圳奥比中光科技有限公司 | 一种距离测量方法及深度相机 |
| CN110276831A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 三维模型的建构方法和装置、设备、计算机可读存储介质 |
| CN110378945A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置和电子设备 |
| CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、***、设备和存储介质 |
| CN110378946A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| US10540750B2 (en) * | 2016-07-07 | 2020-01-21 | Stmicroelectronics Sa | Electronic device with an upscaling processor and associated method |
| CN110781761A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种具有监督环节的指尖实时跟踪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5821457B2 (ja) * | 2011-09-20 | 2015-11-24 | ソニー株式会社 | 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム |
| JP6546611B2 (ja) * | 2017-02-03 | 2019-07-17 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2020
- 2020-02-17 CN CN202010096652.5A patent/CN111366916B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101657825A (zh) * | 2006-05-11 | 2010-02-24 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
| CN102768761A (zh) * | 2012-06-06 | 2012-11-07 | 清华大学 | 一种基于透视变换的立体视频绘制方法 |
| CN104519328A (zh) * | 2013-10-02 | 2015-04-15 | 佳能株式会社 | 图像处理设备、图像捕捉装置和图像处理方法 |
| CN104346816A (zh) * | 2014-10-11 | 2015-02-11 | 京东方科技集团股份有限公司 | 一种深度确定方法、装置及电子设备 |
| CN106796656A (zh) * | 2014-10-14 | 2017-05-31 | 微软技术许可有限责任公司 | 距飞行时间相机的深度 |
| US10540750B2 (en) * | 2016-07-07 | 2020-01-21 | Stmicroelectronics Sa | Electronic device with an upscaling processor and associated method |
| CN107636727A (zh) * | 2016-12-30 | 2018-01-26 | 深圳前海达闼云端智能科技有限公司 | 一种目标检测的方法及装置 |
| CN108537843A (zh) * | 2018-03-12 | 2018-09-14 | 北京华凯汇信息科技有限公司 | 根据深度图像得到景深距离的方法及装置 |
| CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、***、设备和存储介质 |
| CN109639893A (zh) * | 2018-12-14 | 2019-04-16 | Oppo广东移动通信有限公司 | 播放参数调整方法、装置、电子设备和存储介质 |
| CN110187355A (zh) * | 2019-05-21 | 2019-08-30 | 深圳奥比中光科技有限公司 | 一种距离测量方法及深度相机 |
| CN110276831A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 三维模型的建构方法和装置、设备、计算机可读存储介质 |
| CN110378945A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置和电子设备 |
| CN110378946A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| CN110781761A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种具有监督环节的指尖实时跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| Real-Time Computation of Distance to Dynamic Obstacles With Multiple Depth Sensors;Fabrizio F , et al;《IEEE Robotics and Automation Letters》;20171231;p56-63 * |
| 基于深度信息的人体检测窗口快速提取方法;付利华等;《北京工业大学学报》;20170930;第1335-1343页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111366916A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| CN110458061B (zh) | 一种识别老年人跌倒的方法及陪伴机器人 | |
| CN108875723B (zh) | 对象检测方法、装置和***及存储介质 | |
| CN108564579B (zh) | 一种基于时空相关的混凝土裂缝检测方法及检测装置 | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| CN108009466B (zh) | 行人检测方法和装置 | |
| CN108875481B (zh) | 用于行人检测的方法、装置、***及存储介质 | |
| CN109726678B (zh) | 一种车牌识别的方法及相关装置 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN110781733B (zh) | 图像去重方法、存储介质、网络设备和智能监控*** | |
| CN110310301B (zh) | 一种检测目标对象的方法及装置 | |
| CN111723687A (zh) | 基于神经网路的人体动作识别方法和装置 | |
| CN110619333A (zh) | 一种文本行分割方法、文本行分割装置及电子设备 | |
| CN113012157B (zh) | 一种设备缺陷视觉检测方法及*** | |
| CN111582032A (zh) | 行人检测方法、装置、终端设备及存储介质 | |
| CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及*** | |
| CN109447006A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111339889A (zh) | 人脸优选方法、装置及存储介质 | |
| CN114494775A (zh) | 视频切分方法、装置、设备及存储介质 | |
| CN111488847A (zh) | 体育比赛视频进球片段获取***及方法、终端 | |
| CN111382606A (zh) | 摔倒检测方法、摔倒检测装置和电子设备 | |
| CN111366916B (zh) | 确定交互目标与机器人之间距离的方法、装置及电子设备 | |
| CN113129298A (zh) | 文本图像的清晰度识别方法 | |
| CN112418271A (zh) | 一种目标检测方法、装置、***及存储介质 | |
| CN113657315B (zh) | 人脸图像的质量筛选方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210225 Address after: 271099 Spark Science Park, Tai'an high tech Zone, Tai'an City, Shandong Province Applicant after: Shandong Ruisi Aotu Intelligent Technology Co.,Ltd. Applicant after: BEIJING RUISI AOTU INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100086 20E, unit 4, building 3, No.48, Zhichun Road, Haidian District, Beijing Applicant before: BEIJING RUISI AOTU INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210406 |