CN114450550A - 校正方法、校正程序以及信息处理*** - Google Patents

校正方法、校正程序以及信息处理*** Download PDF

Info

Publication number
CN114450550A
CN114450550A CN201980100928.8A CN201980100928A CN114450550A CN 114450550 A CN114450550 A CN 114450550A CN 201980100928 A CN201980100928 A CN 201980100928A CN 114450550 A CN114450550 A CN 114450550A
Authority
CN
China
Prior art keywords
point cloud
pixels
correction
coordinate
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980100928.8A
Other languages
English (en)
Inventor
吉村和浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN114450550A publication Critical patent/CN114450550A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

信息处理装置基于3D传感器的测定数据，生成距离图像。信息处理装置确定距离图像所包含的像素中的与被摄体的轮廓的点云对应的多个第1像素。信息处理装置确定距离图像所包含的像素中的包含在从多个第1像素起的规定范围内的多个第2像素。信息处理装置在测定数据中，基于与多个第2像素对应的第2点云的第2坐标信息来校正与多个第1像素对应的第1点云的第1坐标信息。信息处理装置输出构成被摄体的点云的坐标信息，该被摄体包含对第1坐标信息进行校正后的第1点云。

Description

校正方法、校正程序以及信息处理***
技术领域
本发明涉及校正方法等。
背景技术
存在一种使用激光传感器等距离测定装置对被摄体的三维点云进行测定来识别被摄体的姿势等的技术。在以下的说明中，将测定被摄体的三维点云的激光传感器仅记载为“传感器”。由传感器测定出的三维点云的信息用于后级的各种处理。
这里，在由传感器测定出被摄体的三维点云时，在被摄体的轮廓部分中在比实际的位置靠进深的方向上产生边缘噪声。图23是用于说明边缘噪声的一例的图。如图23所示，传感器10在对被摄体1的三维点云进行测定时，测定三维点云1a。在三维点云1a中包含边缘噪声1b。
边缘噪声1b是在测定时成为激光掠过被摄体1的轮廓部分的状态而产生的。即，尽管边缘噪声1b是表示被摄体1的轮廓的点，但进深方向的距离值作为比被摄体1的距离值远的位置而被测定，比构成被摄体1的三维点云1a远。
当三维点云包含边缘噪声时，在后级的处理中导致精度下降，因此，要求对边缘噪声进行处理。作为对边缘噪声进行处理的现有技术，例如具有现有技术1、现有技术2。
现有技术1是删除边缘噪声的技术。图24是用于说明现有技术1的图。现有技术1按照三维点云1a所包含的每个点，求出与其他点之间的距离，由此计算点云密度。例如，点云密度表示以成为对象的点为中心的规定半径的圆所包含的点的个数。现有技术1留下点云密度为阈值以上的点，删除点云密度小于阈值的点。
如图24所示，关于点2a，在点2a周边存在很多点，点云密度为阈值以上。因此，现有技术1留下点2a。另一方面，关于点2b，在点2b周边存在的点较少，点云密度小于阈值。因此，现有技术1删除点2b。现有技术1针对三维点云1a的各点重复执行上述处理，由此删除边缘噪声1b。
现有技术2是校正边缘噪声的技术。在现有技术2中，拍摄2张基于RGB的立体图像，预先基于立体图像来提取被摄体的轮廓。在现有技术2中，在通过传感器测定被摄体的深度图像时，根据使用了立体图像的被摄体的轮廓位置来确定深度图像上的轮廓位置，以跨越轮廓的2点之间为基准，对深度图像的值进行校正。
现有技术文献
专利文献
专利文献1：国际公开第2019/087404号
专利文献2：日本特开2012-79251号公报
发明内容
发明要解决的问题
现有技术1是基于点云密度将点删除的技术，但在后级的处理中能够使用的三维点云的数量减少。例如，在传感器的分辨率低的情况下或者在被摄体与传感器之间的距离大的情况下，三维点云的数量本来就少。此外，与能够从3D传感器观察的被摄体的面积小的部分(例如，人类的臂)对应的三维点云的能够观测的数量少。因此，当单纯地去除与被摄体的轮廓相关的边缘噪声时，仅在剩余的点云中，无法正确地维持被摄体的轮廓和形状。
图25是用于说明现有技术1的问题点的图。当单纯地基于点云密度将点删除时，不仅边缘噪声1b被删除，点云1c也被删除。这是因为，点云1c的周边的点较少，点云密度小于阈值。通过删除与边缘噪声不相符的点云1c，三维点云1a的数量减少，在后级的处理中能够使用的点受到限制。另外，点云1c是与作为被摄体的人类的臂相符的点云，通过删除了点云1c而不维持原本的被摄体的臂。
另外，现有技术2是对边缘噪声进行校正的技术，因此，能够维持三维点云的数量，但与深度图像不同，通过立体图像确定被摄体的轮廓成为前提。因此，在无法利用立体图像的状况下，难以校正边缘噪声。
在1个方面中，本发明的目的在于，能够留下与传感器测定出的三维点云的噪声中的边缘噪声对应的点作为被摄体的轮廓的点的校正方法、校正程序以及信息处理***。
用于解决问题的手段
在第1方案中，计算机执行以下处理。计算机基于3D传感器的测定数据，生成距离图像。计算机确定距离图像所包含的像素中的与被摄体的轮廓的点云对应的多个第1像素。计算机确定距离图像所包含的像素中的包含在从多个第1像素起的规定范围内的多个第2像素。计算机在测定数据中，基于与多个第2像素对应的第2点云的第2坐标信息来校正与多个第1像素对应的第1点云的第1坐标信息。计算机输出构成下述被摄体的点云的坐标信息，该被摄体包含对第1坐标信息进行校正后的第1点云。
发明的效果
能够留下与传感器测定出的三维点云的噪声中的边缘噪声对应的点作为被摄体的轮廓的点。
附图说明
图1是示出本实施例的信息处理***的一例的图。
图2是用于说明本实施例的信息处理***的处理的一例的图。
图3是用于说明背景差分的一例的图。
图4是用于说明校正处理的一例的图。
图5是示出骨骼识别的一例的图。
图6是示出点云聚类的一例的图。
图7是示出拟合的一例的图。
图8是示出本实施例的信息处理装置的结构的功能框图。
图9是用于说明x轴方向的焦距fx的图。
图10是用于说明y轴方向的焦距fy的图。
图11是示出校正处理部的一例的图。
图12是用于说明生成2.5D图像的处理的图。
图13是用于说明确定第1像素的处理的图。
图14是示出在距离ix的计算中使用的w与z的关系的图。
图15是示出在距离iy的计算中使用的h与z的关系的图。
图16是用于说明进行校正的处理的图(1)。
图17是用于说明进行校正的处理的图(2)。
图18是用于说明校正前的点与校正后的点的关系的图。
图19是示出本实施例的校正处理部的处理步骤的流程图(1)。
图20是示出本实施例的校正处理部的处理步骤的流程图(2)。
图21是用于说明本实施例的效果的图。
图22是示出实现与信息处理装置同样的功能的计算机的硬件结构的一例的图。
图23是用于说明边缘噪声的一例的图。
图24是用于说明现有技术1的图。
图25是用于说明现有技术1的问题点的图。
具体实施方式
以下，基于附图对本发明的校正方法、校正程序以及信息处理***的实施例详细进行说明。另外，不通过该实施例来限定本发明。
实施例
图1是示出本实施例的信息处理***的一例的图。如图1所示，该信息处理***具有传感器11a、11b、11c、11d和信息处理装置100。传感器11a～11d与信息处理装置100通过有线或无线而连接。
在本实施例中，作为一例，设为被摄体1在器械上进行表演，但不限于此。例如，被摄体1也可以在不存在器械的场所进行表演，还可以进行表演以外的动作。
传感器11a是对构成被摄体1的点云与传感器11a的距离进行测定的测定装置(激光传感器)。传感器11a将作为测定结果的距离图像的数据向信息处理装置100输出。例如，传感器11a执行光栅扫描，对点云与传感器11a的距离进行测定。
关于传感器11b～11d的说明与关于传感器11a的说明是同样的。在以下的说明中，将传感器11a～11d统一记载为“传感器11”。
图2是用于说明本实施例的信息处理装置的处理的一例的图。例如，信息处理装置100执行以下说明的步骤S10～S15的处理。
对步骤S10的处理(背景差分)进行说明。信息处理装置100通过对背景图像与从传感器11取得的距离图像的差分进行计算来去除背景噪声，生成去除了背景噪声的距离图像的数据。背景图像是在不存在被摄体1的状况下由传感器11测定出的距离图像。
图3是用于说明背景差分的一例的图。如图3所示，信息处理装置100通过对背景图像12B与距离图像12A的差分进行计算而生成距离图像12C。
信息处理装置100将距离图像12C的数据转换成三维点云数据20A。三维点云数据20A将距离图像12C所包含的点与距离的关系转换成点与三维正交坐标系的坐标的关系。例如，在三维正交坐标系中包含x轴、y轴、z轴，将z轴设为传感器11的进深方向的轴。在以下的说明中，将三维正交坐标系的坐标记载为“三维坐标”。
对步骤S11的处理(校正处理)进行说明。信息处理装置100通过对三维点云数据20A所包含的边缘噪声进行校正而生成三维点云数据20B。
图4是用于说明校正处理的一例的图。如图4所示，信息处理装置100通过对三维点云数据20A执行校正处理而生成三维点云数据20B。当对三维点云数据20A与三维点云数据20B进行比较时，在轮廓部分13中，边缘噪声的坐标被校正为被摄体或器械的表面附近。之后叙述与校正处理相关的详细说明。
对步骤S12的处理(2.5D(Dimension：维)转换)进行说明。信息处理装置100通过将三维点云数据20B投影到二维地图上而生成2.5D的图像数据21。图像数据21的各像素与三维点云数据20B的点云分别对应起来。在图像数据21的像素中设定所对应的点的z轴的值。
对步骤S13A的处理(识别处理)进行说明。信息处理装置100通过向预先学习的学习模型输入2.5D的图像数据21而生成关节热图22。关节热图22是表示被摄体1的各关节的位置的信息。
对步骤S13B的处理(点云综合)进行说明。信息处理装置100对三维点云数据20B(是由各传感器11测定出的多个三维点云数据20B，并且是校正处理完的多个三维点云数据20B)进行综合，生成一个三维点云数据20C。
另外，信息处理装置100也可以并行地执行上述的步骤S13A的处理和步骤S13B的处理。
对步骤S14A的处理(骨骼识别)进行说明。信息处理装置100基于关节热图22所示的各关节的位置，生成骨骼识别结果23。例如，骨骼识别结果23是将各关节坐标连接而得到的信息。
图5是示出骨骼识别的一例的图。在图5所示的例子中，示出与三维点云数据组合而得到的骨骼识别结果23。例如，当残留有被摄体1的脚下的噪声(地垫的噪声等)时，在骨骼识别结果23中，膝下与脚尖的骨骼位置成为异常。
对步骤S14B的处理(点云聚类)进行说明。信息处理装置100通过对三维点云数据20C执行点云聚类，分类为多个簇。信息处理装置100将多个簇中的点云簇的点的个数小于阈值的簇所包含的点云作为噪声而删除。另外，也可以将不是点云簇的点的个数而是点云簇构成的多面体的体积小于阈值的簇所包含的点云作为噪声而删除。
图6是示出点云聚类的一例的图。如图6所示，对三维点云数据20C执行点云聚类，去除噪声14，由此生成三维点云数据20D。
另外，信息处理装置100也可以并行地执行上述的步骤S14A的处理和步骤S14B的处理。
对步骤S15的处理(拟合)进行说明。图7是示出拟合的一例的图。如图7所示，信息处理装置100对在步骤S14A中说明的骨骼识别结果23应用圆筒模型16，设定初始位置。圆筒模型是利用圆筒(或者椭圆柱等)分别表现出被摄体1的各部位的模型的数据。信息处理装置100使圆筒模型16的各圆筒的连接部分的角度一点一点地变化，执行圆筒模型的表面与三维点云数据20D的各点之间的距离接近这样的调整(拟合)。
信息处理装置100生成将进行了拟合的圆筒模型16的轴相连而得到的骨骼模型24。
信息处理装置100在每次从传感器11取得距离图像的数据时，重复执行步骤S10～S15的处理，重复执行生成骨骼模型24的处理。信息处理装置100按照时间序列输出骨骼模型24，基于各时刻的骨骼模型24的关节位置的转变，执行各种比赛的技术认定、评分等。
接着，对图1所示的信息处理装置100的结构的一例进行说明。图8是示出本实施例的信息处理装置的结构的功能框图。如图8所示，该信息处理装置100具有通信部110、输入部120、显示部130、存储部140、控制部150。
通信部110是从图1所示的传感器11接收距离图像的数据的处理部。通信部110将接收到的距离图像的数据向控制部150输出。通信部110是通信装置的一例。
输入部120是将各种信息向信息处理装置100输入的输入装置。输入部120对应于键盘、鼠标、触摸面板等。例如，用户对输入部120进行操作，进行显示画面的显示请求等。
显示部130是显示从控制部150输出的信息的显示装置。例如，显示部130显示各种比赛的技术认定、评分结果等。显示部130对应于液晶显示器、有机EL(Electro-Luminescence：电发光)显示器、触摸面板等。
存储部140具有背景图像表141、测定表142以及传感器参数143。存储部140对应于RAM(Random Access Memory：随机存取存储器)、闪存(Flash Memory)等半导体存储器元件、HDD(Hard Disk Drive：硬盘驱动器)等存储装置。
背景图像表141是在不存在被摄体1的状态下存储由各传感器11a～11d分别测定出的背景图像的数据(距离图像的数据)的表。
测定表142是在存在被摄体1的状态下存储由各传感器11a～11d分别测定出的距离图像的数据的表。
传感器参数143分别具有各传感器11a～11d的参数。例如，传感器参数143包含x轴、y轴的视场角θx、θy、x轴、y轴的焦距fx、fy。此外，传感器参数143包含width、heigh。
图9是用于说明x轴方向的焦距fx的图。图9示出从上方观察传感器11时的情况。例如，焦距fx与视场角θx的关系由式(1)表示。在式(1)中，width是预先设定的横宽，对应于后述的2.5D图像的横向(i轴方向)的像素数。
fx＝width/(2＊tan(θx/2))···(1)
图10是用于说明y轴方向的焦距fy的图。图10示出从横向观察传感器11时的情况。例如，焦距fy与视场角θy的关系由式(2)表示。在式(2)中，heigh是预先设定的高度，对应于后述的2.5D图像的纵向(j轴方向)的像素数。
fy＝height/(2＊tan(θy/2))···(2)
返回图8的说明。控制部150具有取得部151、校正处理部152、拟合处理部153、评价部154。控制部150由CPU(Central Processing Unit：中央处理单元)或MPU(MicroProcessing Unit：微处理单元)、ASIC(Application Specific Integrated Circuit：专用集成电路)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬连线逻辑等实现。
取得部151是经由通信部110从传感器11取得距离图像的数据的处理部。取得部151将距离图像的数据存储于测定表142。取得部151在向测定表142存储距离图像的数据的情况下，将由传感器11a～11d测定出的距离图像的数据分别以能够识别的方式分开存储于测定表142。
校正处理部152是执行图2的步骤S10中说明的背景差分、步骤S11中说明的校正处理的处理部。
图11是示出校正处理部的一例的图。如图11所示，该校正处理部152具有生成部152a、确定部152b、校正部152c、输出控制部152d。
这里，校正处理部152对由传感器11a～11d测定出的各距离图像执行校正处理，但为了方便说明，说明对由传感器11a测定出的距离图像进行校正的情况。对由传感器11b～11d测定出的各距离图像进行校正的处理与对由传感器11a测定出的距离图像进行校正的处理是同样的。
如图3所说明的那样，生成部152a是计算距离图像12C的处理部，该距离图像12C成为由传感器11a测定出的距离图像12A与对应于传感器11a的背景图像12B的差分。生成部152a从测定表142取得距离图像12A的数据。生成部152a从背景图像表141取得背景图像12B的数据。
距离图像12C的数据是分别示出点云所包含的点与距离之间的关系的数据。生成部152a使用定义了距离与三维坐标的关系的转换表(省略图示)，将距离图像12C的数据转换成三维点云数据。三维点云数据将点云所包含的点与三维坐标分别对应起来。生成部152a向确定部152b输出三维点云数据。三维点云数据对应于“测定数据”。
生成部152a在每次将由传感器11a测定出的距离图像12A的数据存储于测定表142时，重复执行上述处理。
确定部152b是基于三维点云数据生成2.5D图像并确定2.5D图像所包含的像素中的与被摄体1的轮廓的点云对应的多个第1像素的处理部。2.5D图像对应于“距离图像”。
首先，对确定部152b生成2.5D图像的处理的一例进行说明。图12是用于说明生成2.5D图像的处理的图。如图12所示，确定部152b将三维点云数据30a的各点映射到二维(i轴，j轴)的2.5D图像30b的各像素。在2.5D图像30b的像素中设定对应的点的z轴的值。在图12中，省略了三维点云数据30a所包含的一部分点云的图示。
例如，与点31a对应的像素是像素31b，在像素31b中设定点31a的z轴的值。在以下的说明中，将z轴的值适当记载为“距离值”。通过式(3)来定义与2.5D图像的位置(i，j)对应的距离值Z。i的值的范围是“0～width”。j的值的范围是“0～height”。
depth[i][j]＝Z···(3)
接下来，对确定部152b确定第1像素的处理进行说明。图13是用于说明确定第1像素的处理的图。确定部152b扫描2.5D图像30b，在2.5D图像30b所包含的设定有距离值的多个像素内提取轮廓部分31c。轮廓部分31c所包含的像素对应于“第1像素”。也可以将轮廓部分的宽度预先作为常量给出。
确定部152b向校正部152c输出2.5D图像30b的数据和轮廓部分31c的数据。确定部152b向校正部152c输出将三维点云数据30a的各点与2.5D图像30b的各像素对应起来的数据。
确定部152b在每次从生成部152a取得三维点云数据时，重复执行上述处理。
校正部152c是如下处理部：确定2.5D图像所包含的像素中的包含在从第1像素起的规定范围内的多个第2像素，并通过与多个第2像素对应的第2点云的第2坐标信息来校正与多个第1像素对应的第1点云的第1坐标信息。例如，校正部152c依次执行计算焦距fx、fy的处理、计算距离ix、iy的处理、进行校正的处理。
对计算焦距fx、fy的处理进行说明。校正部152c基于存储在传感器参数143中的视场角θx、width以及式(1)对焦距fx进行计算。校正部152c基于存储在传感器参数143中的视场角θy、height以及式(2)对焦距fy进行计算。
另外，焦距fx、fy也可以预先被计算，预先计算出的焦距fx、fy也可以包含在传感器参数143中。在预先计算出焦距fx、fy的情况下，校正部152c跳过计算焦距fx、fy的处理。
接下来，对计算距离ix、iy的处理进行说明。这里，距离ix表示2.5D图像的i轴的1个像素的距离。距离iy表示2.5D图像的j轴的1个像素的距离。
校正部152c基于式(4)、式(5)对距离ix进行计算。图14是示出在距离ix的计算中使用的w与z的关系的图。w示出传感器11能够测定的三维空间的宽度。z示出传感器11能够测定的三维空间的进深。z的值也可以被预先设定。
w＝2×tan(θx/2)/z···(4)
ix＝w/width···(5)
校正部152c基于式(6)、式(7)对距离iy进行计算。图15是示出在距离iy的计算中使用的h与z的关系的图。h示出传感器11能够测定的三维空间的高度。z示出传感器11能够测定的三维空间的进深。z的值也可以被预先设定。
h＝2×tan(θx/2)/z···(6)
iy＝w/height···(7)
接下来，说明进行校正的处理。图16是用于说明进行校正的处理的图(1)。校正部152c基于2.5D图像30b和轮廓部分31c，选择多个第1像素中的一个第1像素作为“关注像素”。校正部152c确定在以关注像素为中心的半径rx、ry内包含的像素。半径rx、ry的值被预先设定。
与2.5D图像30b的关注像素对应的三维点云数据30a的点成为关注点。
在图16所示的例子中，将关注像素设为像素A。将半径rx、ry的值分别设为“0.04m”。将通过式(4)和式(5)计算的距离ix设为“0.001m”。将通过式(6)和式(7)计算的距离iy设为“0.002m”。能够适当变更半径rx、ry的值。例如，半径rx、ry的值也可以是“0.05m”。
这里，将像素B、C、D、E的i轴方向的距离分别相加而得到的值成为半径rx“0.04m”。此外，将像素F、像素G的j轴方向的距离分别相加而得到的值成为半径ry“0.004m”。因此，校正部152c设定以像素A为中心的半径rx、ry的范围31d。将包含在范围31d内的像素设为周边像素。将与周边像素对应的三维点云数据的点设为周边点。
校正部152c确定周边像素中的非轮廓部分的多个像素。图17是用于说明进行校正的处理的图(2)。在图17中，包含在范围31d内的像素中的非轮廓部分的多个像素成为包含在范围31e内的像素。
校正部152c基于与非轮廓部分的多个像素对应的三维坐标来校正与像素A对应的点的三维坐标。这里，将与像素A对应的点(关注点)的校正前的三维坐标设为“pc[A].x，pc[A].y，pc[A].z”。将与像素A对应的点(关注点)的校正后的三维坐标设为“pc[A].x’，pc[A].y’，pc[A].z’”。
校正部152c分别确定与非轮廓部分的多个像素对应的z轴的值的绝对值，将确定出的绝对值中的成为最小的绝对值设定为pc[A].z’的值。或者，校正部152c计算与非轮廓部分的多个像素对应的z轴的值的平均值，将计算出的平均值设定为pc[A].z’的值。
校正部152c基于pc[A].z’与pc[A].z之比，计算pc[A].x’和pc[A].y’。例如，校正部152c基于式(8)，计算pc[A].x’。校正部152c基于式(9)，计算pc[A].y’。
pc[A].x’＝pc[A].x×pc[A].z/pc[A].z’···(8)
pc[A].y’＝pc[A].y×pc[A].z/pc[A].z’···(9)
校正部152c选择多个第1像素中的没有被选择为关注像素的第1像素，重复执行上述处理，由此，重复执行对与轮廓部分31c所包含的多个第1像素对应的关注点的三维坐标进行校正的处理。通过这样的校正部152c的处理，对三维点云数据30a所包含的边缘噪声的三维坐标进行了校正。校正部152c将校正了三维坐标的三维点云数据30a向输出控制部152d输出。
图18是用于说明校正前的点与校正后的点的关系的图。图18的左侧的图是从上方观察点时的图。图18的右侧的图是从横向观察点时的图。将校正前的点设为点A。将校正后的点设为点C。将仅对Z轴的值进行校正而得到的点设为点B。O是传感器11的位置。点A、B、C的坐标如下述所示。
A＝(x，y，z)
B＝(x，y，z’)
C＝(x’，y’，z’)
仅对点A的Z轴的值进行校正而得到的点B不存在于传感器位置O与点A的直线OA上，因此，没有被校正为适当的位置。将点B校正为在直线OA上存在的点C的位置是正确的。
根据三角形ABC与三角形OCD的相似关系，分别导出式(10)、式(11)、式(12)。式(12)对应于式(8)。
x：z＝x’：z’···(10)
z×x’＝x×z’···(11)
x’＝x×z’/z···(12)
根据三角形ABC与三角形OCD的相似关系，分别导出式(13)、式(14)、式(15)。式(15)对应于式(9)。
y：z＝y’：z’···(13)
z×y’＝y×z’···(14)
y’＝y×z’/z···(15)
输出控制部152d是将从校正部152c取得的校正后的三维点云数据向拟合处理部153输出的处理部。
然而，也可以将以下处理重复执行L次：上述的确定部152b基于由校正部152c校正后的三维点云数据，再次生成2.5D图像，确定轮廓部分所包含的第1像素，校正部152c再次对第1像素进行校正。L被预先设定。
返回图8的说明。拟合处理部153是分别执行在图2的S12～S15中说明的2.5D转换、识别处理、点云综合、骨骼识别、点云聚类、拟合的处理部。拟合处理部153向评价部154输出骨骼模型24。拟合处理部153在每次从输出控制部152d取得校正后的三维点云数据时，重复执行上述处理，输出骨骼模型24。
评价部154是按照时间序列取得骨骼模型24并基于骨骼模型的各关节坐标的转变对被摄体1的表演进行评价的处理部。例如，评价部154使用定义了各关节坐标的转变和技能种类、技能的成立不成立的表，对被摄体1的表演进行评价，使评价结果输出到显示部130并进行显示。
另外，评价部154所执行的技能评价能够应用于各种评分比赛。在评分比赛中，除了体操表演之外，也包括蹦床、游泳起跳入水、花样滑冰、空手道型、交际舞、滑雪板、滑板、自由式滑雪空中技巧、冲浪。此外，还能够应用于古典芭蕾、跳台滑雪、自由式滑雪雪上技巧、回转、棒球、篮球形式检查等。此外，也能够应用于剑道、柔道、摔跤和相扑等比赛。此外，还能够用于评价举重杠铃是否已经上升。
接着，对本实施例的信息处理装置100所包含的校正处理部152的处理步骤的一例进行说明。图19、图20是示出本实施例的校正处理部的处理步骤的流程图。对图19进行说明。校正处理部152的生成部152a从测定表142取得距离图像的数据(步骤S101)。
生成部152a计算距离图像与背景图像的差分，生成距离图像(差分图像)的数据(步骤S102)。生成部152a将距离图像(差分图像)的数据转换成三维点云数据(步骤S103)。
校正处理部152的确定部152b通过映射三维点云数据而生成2.5D图像的数据(步骤S104)。校正处理部152将步骤S105至步骤S121的处理重复执行L次。
确定部152b对2.5D图像的数据应用轮廓提取(步骤S106)。校正处理部152的校正部152c设定轮廓部分的关注像素(步骤S107)。校正部152c根据x轴、y轴各自的视场角θx、θy对焦距fx、fy进行计算(步骤S108)。校正部152c计算2.5D像素的每1个像素的x轴、y轴的距离ix、iy(步骤S109)。
校正部152c针对全部关注点，重复执行步骤S110至步骤S120的处理。校正部152c提取以2.5D图像上的关注像素为基准的半径rx、ry的矩形所包含的像素作为周边像素(步骤S111)，移至图20的步骤S112的处理。
移至图20的说明。校正部152c针对整周像素，重复执行步骤S112至步骤S116的处理。校正部152c确定周边像素的属性(轮廓、非轮廓)(步骤S113)。
校正部152c确定周边像素的属性(轮廓、非轮廓)(步骤S113)。校正部152c在周边像素的属性为轮廓的情况下(步骤S114，是)，移至步骤S116。
另一方面，校正部152c在周边像素的属性不为轮廓的情况下(步骤S114，否)，将周边像素的z轴的值登记到缓存中(省略图示)(步骤S115)。
校正部152c基于登记于缓存(省略图示)的周边像素(属性＝非轮廓)的z轴的各值，对绝对值的最小值或平均值进行计算(步骤S117)。校正部152c基于计算结果(绝对值的最小值或平均值)，对关注点的z的值进行校正(步骤S118)。
校正部152c基于z轴的校正结果，对关注点的x轴的值和y轴的值进行校正(步骤S119)。校正处理部152的输出控制部152d将校正后的三维点云数据向拟合处理部153输出(步骤S122)。
接着，对本实施例的信息处理装置100的效果进行说明。信息处理装置100在2.5D图像中确定对应于轮廓的多个第1像素，并确定2.5D图像所包含的像素中的包含在从第1像素起的规定范围内的多个第2像素。信息处理装置100通过与多个第2像素对应的第2点云的三维坐标来校正与多个第1像素对应的第1点云的三维坐标。由此，能够留下与传感器测定出的三维点云的噪声中的边缘噪声对应的点作为被摄体的轮廓的点。
此外，由于能够留下与三维点云的噪声中的边缘噪声对应的点作为被摄体的轮廓的点，因此，能够提高针对校正后的三维点云数据的拟合的精度。
图21是用于说明本实施例的效果的图。图21的点云40a表示未校正的三维点云数据。对该点云40a执行了拟合的情况下的骨骼模型成为骨骼模型41a。在骨骼模型41a中，由于噪声50a的影响，头部和左臂的关节位置的精度下降。
图21的点云40b例如是针对三维点云数据进行了基于现有技术1的噪声去除而得到的点云。从点云40b中删除了噪声50a和点云50b。噪声50a的去除是按照预期的去除。但是，由于点云50b是与被摄体1的脚的部分对应的点云，因此，被摄体1的脚的点云消失。因此，对点云40b执行了拟合的情况下的骨骼模型成为骨骼模型41b。在骨骼模型41b中，由于脚的点云从点云40b消失，因此，脚的关节位置的精度下降。
图21的点云40c例如是通过校正处理部152进行校正后、通过图2的点云聚类进行了噪声去除而得到的点云。没有从点云40b中去除点云50b，而是去除了噪声50a。通过校正处理部152，能够留下被摄体1的脚的点云。因此，对点云40c执行了拟合的情况下的骨骼模型成为骨骼模型41c。骨骼模型41c高精度地再现了被摄体1的各关节位置。
信息处理装置100将2.5D图像所包含的像素中的包含在以关注像素为基准的半径rx、ry内且不对应于轮廓的点云的像素确定为第2像素。信息处理装置100基于多个第2像素的z轴的值，计算绝对值的最小值或平均值，根据计算出的值对关注点的三维坐标(z轴的值)进行校正。由此，能够进行使边缘噪声的z轴的值接近被摄体1的点云的坐标的校正。
信息处理装置100基于校正后的z轴的值，对关注点的三维坐标(x轴的值、y坐标的值)进行校正。由此，能够将校正后的关注点的三维坐标校正为更加适当的位置。
信息处理装置100将以下处理重复执行L次：确定部152b基于由校正部152c校正后的三维点云数据，再次生成2.5D图像，确定轮廓部分所包含的第1像素，校正部152c再次对第1像素进行校正。由此，能够校正存在于被摄体1的周边的边缘噪声。
然而，在本实施例中，在校正处理部152进行轮廓提取的情况下，提取了2.5D图像30b所包含的设定有距离值的多个像素内从最外侧的像素起的2个像素作为轮廓，但不限于此，也可以是3个像素。
接着，针对实现与上述实施例所示的信息处理装置100同样的功能的计算机的硬件结构的一例进行说明。图22是示出实现与信息处理装置同样的功能的计算机的硬件结构的一例的图。
如图22所示，计算机200具有执行各种运算处理的CPU 201、受理来自用户的数据输入的输入装置202、以及显示器203。此外，计算机200具有从传感器接收测定结果的通信装置204和与各种装置连接的接口装置205。计算机200具有暂时存储各种信息的RAM 206和硬盘装置207。而且，各装置201～207与总线208连接。
硬盘装置207具有取得程序207a、校正程序207b、拟合处理程序207c、评价程序207d。CPU 201读出取得程序207a、校正程序207b、拟合处理程序207c、评价程序207d并在RAM 206中展开。
取得程序207a作为取得进程206a发挥功能。校正程序207b作为校正进程206b发挥功能。拟合处理程序207c作为拟合处理进程206c发挥功能。评价程序207d作为评价进程206d发挥功能。
取得进程206a的处理对应于取得部151的处理。校正进程206b的处理对应于校正处理部152的处理。校正处理部152包括生成部152a、确定部152b、校正部152c、输出控制部152d。评价进程206a的处理对应于评价部207d的处理。
另外，关于各程序207a～207d，也可以不必从最开始就预先存储在硬盘装置207中。例如，将各程序预先存储于向计算机200***的软盘(FD)、CD-ROM、DVD盘、光磁盘、IC卡等“可移动用的物理介质”。然后，也可以由计算机200读出并执行各程序207a～207d。
附图标记说明
10、11a、11b、11c、11d 传感器
100 信息处理装置
110 通信部
120 输入部
130 显示部
140 存储部
141 背景图像表
142 测定表
143 传感器参数
150 控制部
151 取得部
152 校正处理部
152a 生成部
152b 确定部
152c 校正部
152d 输出控制部
153 拟合处理部
154 评价部

Claims (15)

1.一种校正方法，其是由计算机执行的校正方法，其特征在于，
执行以下处理：
基于3D传感器的测定数据，生成距离图像，
确定所述距离图像所包含的像素中的与被摄体的轮廓的点云对应的多个第1像素，
确定所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内的多个第2像素，
在所述测定数据中，基于与所述多个第2像素对应的第2点云的第2坐标信息，校正与所述多个第1像素对应的第1点云的第1坐标信息，
输出构成包含对所述第1坐标信息进行校正后的第1点云的所述被摄体的点云的坐标信息。
2.根据权利要求1所述的校正方法，其特征在于，
在确定所述第2像素的处理中，将所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内且不对应于所述轮廓的点云的像素确定为所述第2像素。
3.根据权利要求2所述的校正方法，其特征在于，
在所述校正的处理中，基于所述第2坐标信息的绝对值中的最小值或者所述第2坐标信息的平均值，对所述第1坐标信息进行校正。
4.根据权利要求3所述的校正方法，其特征在于，
在所述校正的处理中，对所述第1坐标信息所包含的三维正交坐标系的第1坐标、第2坐标、第3坐标中的所述第3坐标进行校正，基于校正前的所述第3坐标与校正后的所述第3坐标之比，进一步对所述第1坐标和所述第2坐标进行校正。
5.根据权利要求4所述的校正方法，其特征在于，
在每次校正所述第1坐标信息时，基于构成所述被摄体的点云，重复执行生成所述距离图像的处理、确定所述第1像素的处理、确定所述第2像素的处理、校正所述第1坐标的处理。
6.一种校正程序，其特征在于，
使计算机执行以下处理：
基于3D传感器的测定数据，生成距离图像，
确定所述距离图像所包含的像素中的与被摄体的轮廓的点云对应的多个第1像素，
确定所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内的多个第2像素，
在所述测定数据中，基于与所述多个第2像素对应的第2点云的第2坐标信息，校正与所述多个第1像素对应的第1点云的第1坐标信息，
输出构成包含对所述第1坐标信息进行校正后的第1点云的所述被摄体的点云的坐标信息。
7.根据权利要求6所述的校正程序，其特征在于，
在确定所述第2像素的处理中，将所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内且不对应于所述轮廓的点云的像素确定为所述第2像素。
8.根据权利要求7所述的校正程序，其特征在于，
在所述校正的处理中，基于所述第2坐标信息的绝对值中的最小值或者所述第2坐标信息的平均值，对所述第1坐标信息进行校正。
9.根据权利要求8所述的校正程序，其特征在于，
在所述校正的处理中，对所述第1坐标信息所包含的三维正交坐标系的第1坐标、第2坐标、第3坐标中的所述第3坐标进行校正，基于校正前的所述第3坐标与校正后的所述第3坐标之比，进一步对所述第1坐标和所述第2坐标进行校正。
10.根据权利要求9所述的校正程序，其特征在于，
在每次校正所述第1坐标信息时，基于构成所述被摄体的点云，重复执行生成所述距离图像的处理、确定所述第1像素的处理、确定所述第2像素的处理、校正所述第1坐标的处理。
11.一种信息处理***，其具有3D传感器和信息处理装置，其特征在于，
所述3D传感器向所述信息处理装置输出测定数据，
所述信息处理装置具有：
确定部，其基于从所述3D传感器受理到的所述测定数据，生成距离图像，确定所述距离图像所包含的像素中的与被摄体的轮廓的点云对应的多个第1像素；
校正部，其在所述测定数据中，确定所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内的多个第2像素，基于与所述多个第2像素对应的第2点云的第2坐标信息，校正与所述多个第1像素对应的第1点云的第1坐标信息；以及
输出控制部，其输出构成包含对所述第1坐标信息进行校正后的第1点云的所述被摄体的点云的坐标信息。
12.根据权利要求11所述的信息处理***，其特征在于，
所述校正部将所述距离图像所包含的像素中的包含在从所述多个第1像素起的规定范围内且不对应于所述轮廓的点云的像素确定为所述第2像素。
13.根据权利要求12所述的信息处理***，其特征在于，
所述校正部基于所述第2坐标信息的绝对值中的最小值或者所述第2坐标信息的平均值，对所述第1坐标信息进行校正。
14.根据权利要求13所述的信息处理***，其特征在于，
所述校正部对所述第1坐标信息所包含的三维正交坐标系的第1坐标、第2坐标、第3坐标中的所述第3坐标进行校正，基于校正前的所述第3坐标与校正后的所述第3坐标之比，进一步对所述第1坐标和所述第2坐标进行校正。
15.根据权利要求14所述的信息处理***，其特征在于，
在每次校正所述第1坐标信息时，基于构成所述被摄体的点云，由确定部重复执行生成所述距离图像的处理、确定所述第1像素的处理，由所述校正部重复执行确定所述第2像素的处理、校正所述第1坐标的处理。
CN201980100928.8A 2019-10-02 2019-10-02 校正方法、校正程序以及信息处理*** Pending CN114450550A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/038979 WO2021064912A1 (ja) 2019-10-02 2019-10-02 補正方法、補正プログラムおよび情報処理システム

Publications (1)

Publication Number Publication Date
CN114450550A true CN114450550A (zh) 2022-05-06

Family

ID=75337124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980100928.8A Pending CN114450550A (zh) 2019-10-02 2019-10-02 校正方法、校正程序以及信息处理***

Country Status (5)

Country Link
US (1) US20220206156A1 (zh)
EP (1) EP4040103A4 (zh)
JP (1) JP7327494B2 (zh)
CN (1) CN114450550A (zh)
WO (1) WO2021064912A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
JP7319751B1 (ja) 2023-04-12 2023-08-02 株式会社Knowhere コンピュータ、プログラム、情報処理方法およびモデル生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010212788A (ja) * 2009-03-06 2010-09-24 Sharp Corp 撮像装置、欠陥画素補正方法、および電子情報機器
CN102170573A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置及方法、图像校正装置、图像显示***
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
JP2013046827A (ja) * 2006-05-30 2013-03-07 Sonitus Medical Inc 振動を伝導する方法および装置
JP2014102243A (ja) * 2012-10-24 2014-06-05 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及びそのプログラム
US20140253679A1 (en) * 2011-06-24 2014-09-11 Laurent Guigues Depth measurement quality enhancement
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5533529B2 (ja) 2010-10-06 2014-06-25 コニカミノルタ株式会社 画像処理装置及び画像処理システム
JP6874855B2 (ja) 2017-11-06 2021-05-19 富士通株式会社 算出方法、算出プログラムおよび情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046827A (ja) * 2006-05-30 2013-03-07 Sonitus Medical Inc 振動を伝導する方法および装置
JP2010212788A (ja) * 2009-03-06 2010-09-24 Sharp Corp 撮像装置、欠陥画素補正方法、および電子情報機器
CN102170573A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置及方法、图像校正装置、图像显示***
US20140253679A1 (en) * 2011-06-24 2014-09-11 Laurent Guigues Depth measurement quality enhancement
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
JP2014102243A (ja) * 2012-10-24 2014-06-05 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及びそのプログラム
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム

Also Published As

Publication number Publication date
JP7327494B2 (ja) 2023-08-16
JPWO2021064912A1 (zh) 2021-04-08
EP4040103A4 (en) 2022-11-02
US20220206156A1 (en) 2022-06-30
WO2021064912A1 (ja) 2021-04-08
EP4040103A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
US10503963B2 (en) System and method for image capture and modeling
US7974443B2 (en) Visual target tracking using model fitting and exemplar
JP7367764B2 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
US10175765B2 (en) Information processing device, information processing method, and computer program
CN105229666B (zh) 3d图像中的运动分析
US8588465B2 (en) Visual target tracking
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
US8565476B2 (en) Visual target tracking
US8682028B2 (en) Visual target tracking
US10525354B2 (en) Game apparatus, game controlling method and storage medium for determining a terrain based on a distribution of collision positions
US8571303B2 (en) Stereo matching processing system, stereo matching processing method and recording medium
US8565477B2 (en) Visual target tracking
US20220206156A1 (en) Correction method, non-transitory computer-readable storage medium for storing correction program, and information processing device
WO2021002025A1 (ja) 骨格認識方法、骨格認識プログラム、骨格認識システム、学習方法、学習プログラムおよび学習装置
JP6608165B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN112237735A (zh) 记录介质、物体检测装置、物体检测方法及物体检测***
KR102498002B1 (ko) 증강 현실을 이용한 당구 학습 방법 및 시스템
US9492748B2 (en) Video game apparatus, video game controlling program, and video game controlling method
JP7024876B2 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
WO2020013021A1 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
JP7375829B2 (ja) 生成方法、生成プログラム及び情報処理システム
WO2021014587A1 (ja) 生成方法、生成プログラムおよび情報処理装置
KR20220041712A (ko) 라이다 기반 실시간 포인트 영상 처리와 디스플레이 방법 및 그 장치
WO2023162223A1 (ja) 学習プログラム、生成プログラム、学習方法および生成方法
Huang et al. An image-based instruments space locator for laparoscopic surgery training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination