CN111780683A - 便携式扫描***及其使用方法 - Google Patents

便携式扫描***及其使用方法 Download PDF

Info

Publication number
CN111780683A
CN111780683A CN202010609372.XA CN202010609372A CN111780683A CN 111780683 A CN111780683 A CN 111780683A CN 202010609372 A CN202010609372 A CN 202010609372A CN 111780683 A CN111780683 A CN 111780683A
Authority
CN
China
Prior art keywords
camera
global camera
global
positioning plate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010609372.XA
Other languages
English (en)
Inventor
尹仕斌
郭寅
张楠楠
邹剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isvision Hangzhou Technology Co Ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN202010609372.XA priority Critical patent/CN111780683A/zh
Publication of CN111780683A publication Critical patent/CN111780683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种便携式扫描***及其使用方法，该***包括扫描仪和定位板，扫描仪包括用于检测待测物的检测相机和用于定位扫描仪位置的全局相机；定位板在使用状态下位置、结构均固定，其表面设置多个特征点；检测相机和全局相机设置在同一个壳体内，相对位置固定，检测相机和全局相机在采集图像时的视场不重叠；工作状态下，定位板固定设置于全局相机的视场内，并且保证不占用测量空间；在两个相邻图像采集位置，由于拍摄时间间隔小，旋转角度小，全局相机获取的定位板图像中至少有90％的图像重叠。该***使用时在检测待测物的同时进行定位，且能保持现有检测精度的前提下将产品尺寸缩小至20×20cm3，甚至更小，真正意义上实现便携。

Description

便携式扫描***及其使用方法
技术领域
本发明涉及三维测量领域，具体涉及一种便携式扫描***及其使用方法。
背景技术
视觉扫描技术可以对三维形貌进行无损检测，受到工业测量和文物保护等领域青睐。随着应用场景的复杂化，对便携式扫描设备的要求也越来越高。传统便携式扫描设备将扫描头和定位装置分立，扫描头负责扫描点云，定位装置负责对扫描头进行拍照并定位扫描头在全局定位装置中的位姿。这样的布局造成设备体积的庞大，没有实现真正意义上的便携。另外，现有设备检测前均需对全局定位装置的测量空间进行标定或对全局控制场进行布置及解算，操作时间较长，影响测试效率。
发明内容
为了解决上述技术问题，本发明提供一种便携式扫描***及其使用方法，在保持现有检测精度的基础上，产品尺寸可缩小至20×20cm3，甚至更小，真正意义上实现便携；且此扫描***仅需在出厂时标定出扫描仪内检测相机和全局相机的相对位置，检测前无需再做其它标定，可直接进行测量，现场操作简单，节省时间。
为此，本发明的技术方案在于：
一种便携式扫描***，包括扫描仪和定位板，所述扫描仪包括用于检测待测物的检测相机和用于定位扫描仪位置的全局相机；所述定位板在使用状态下位置、结构均固定，其表面设置多个特征点；
所述检测相机和全局相机设置在同一个壳体内，相对位置固定，检测相机和全局相机在采集图像时的视场不重叠；
工作状态下，所述定位板固定设置于所述全局相机的视场内，并且保证不占用测量空间；在两个相邻图像采集位置，由于拍摄时间间隔小，旋转角度小，所述全局相机获取的定位板图像中至少有90％的图像重叠。重叠部分存在大量同名点，可快速高效获得两个相邻位置之间的转换关系。
进一步，在两个相邻图像采集位置，所述全局相机获取的定位板图像依据如下方法计算全局相机获取两帧图像时的相对位姿：
Figure BDA0002560392640000021
式中，Pi-1为前一个图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，Pi为当前图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，T为数学符号，代表矩阵转置；E为本质矩阵，其与两帧图像之间相对位姿的关系为：
E＝SR (2)
式中，S和R分别表示两帧之间相对位姿的转换矩阵中的平移矩阵的反对称矩阵和旋转矩阵，但本质矩阵不能表示出真实尺寸；
更进一步：
Figure BDA0002560392640000022
(tx，ty，tz)代表相较前一图像采集位置获取图像的图像坐标系，后一图像采集位置获取图像的图像坐标系在x轴、y轴、z轴变化的分量；
r11、r12、r13、r21、r22、r23、r31、r32、r33表示后一图像坐标系相较前一图像坐标系的旋转变化量。其可以通过三个欧拉角来定义，依据"z-x-z"欧拉角，在右手笛卡尔坐标中的主动旋转矩阵可表达为：
Figure BDA0002560392640000031
依据不同的角度定义，具体的计算表达式亦会有所不同。
进一步，设定第一个图像采集位置的全局相机坐标系为基准坐标系，将全局相机获取的所有图像转换到基准坐标系下，再依据全局相机和检测相机之间的关系，实现检测相机获取图像的拼接。在计算过程中借鉴同时定位与建图(SLAM(simultaneouslocalization and mapping))的方式，计算当前位姿时将所有位姿进行优化，以免误差传递造成后续位姿偏差加大，同时优化定位板上特征点坐标。优化的规则是最小化重投影误差：
Figure BDA0002560392640000032
其中Mi为全局相机在每个位姿下的投影矩阵，X为特征点在全局坐标系下的坐标，xi为每个位姿下特征点在全局相机中成像的像素坐标。
为了添加全局位姿的真实尺度，弥补单目即时定位与建图缺少尺度的不足还可以在全局相机的视场中布置可自动识别的基准尺。所述可自动识别的基准尺为在基准尺两端设置带有编码规则分布的特征点，在图像中可根据规则自动识别其编号，从而自动判断基准尺位置，达到自动识别基准尺的功能，基准尺长度已知。进一步，所述基准尺为殷钢或碳纤维等热膨胀系数较低材质构成；更进一步，所述基准尺可直接固定于定位板上，便于携带。
进一步，所述全局相机设有一个或多个；全局相机可分布于检测相机的上、下、左、右或后方，全局相机的相机坐标系Z轴与检测相机的相机坐标系Z轴之间可成45°～315°。全局相机和检测相机拍摄时不会相互干扰。
进一步，所述全局相机以可拆卸的方式安装在壳体内。方便依据不同测试条件更换相机。
进一步，所述定位板为平板、弧形板、曲面板；更进一步，所述定位板以机械结构连接，可折叠。所述特征点为反光标记点。
一种便携式扫描***的使用方法，包括如下步骤：
1)依据待测物的位置确定定位板的固定位置，令检测过程中待测物在检测相机视场内，定位板在全局相机视场内，同一图像采集位置检测相机视场和全局相机视场不重叠，此种设计可以减小检测相机移动时的干扰；
2)手持扫描仪开始对待测物进行扫描，同时全局相机采集定位板图像；记第一个图像采集位置时全局相机的位置为位置I，实时计算在各个图像采集位置全局相机相较位置I的位姿变化；
同时解算待测位置特征点信息，并将其统一到位置I坐标系下。
为了提高测试结果精度，每次解算待测位置时将其与之前各采集图形位置的特征点统一优化，并以此为下一次的初值。
为了满足实时显示功能，将每次解算后获取的点云进行坐标系转换，转换到位置I坐标系下。
本发明无需在扫描设备体外架设全局相机，精简设备。扫描设备在全局坐标系中的位姿可由安装于其上的全局相机对控制场拍照从而解算得到；全局相机拍摄控制场的图片后可以采用平差优化的方法求得扫描设备相对于全局的位姿，从而为扫描点云提供转站的参考；控制场并不需要提前标定，在测量之前布置于全局相机可视范围内即可，全局相机在求解各个拍摄位姿时，同时可以解算出控制场的三维坐标。
采用这种方式只需事先完成扫描设备和全局相机之间的标定，从而省略了原来方法中全局定位***的标定、扫描设备上反光标记点的标定，减少了计算链，使得测量前的准备和测量过程更加便捷。便携式设备的扫描范围较小和频率较高的特点，使得全局定位单元采集的图片之间关联性较强，达到高精度和实时定位的目的。
附图说明
图1为本发明提供的便携式扫描***的结构示意图。
具体实施方式
以下结合附图和实施例对本发明的技术方案进行详细描述。
一种便携式扫描***，包括扫描仪3和定位板1，扫描仪3包括用于检测待测物5的检测相机4和用于定位扫描仪位置的全局相机2；定位板1在使用状态下位置、结构均固定，其表面设置多个特征点；具体来说，定位板为平板、弧形板、曲面板；更进一步，定位板以机械结构连接，可折叠。特征点为反光标记点；
检测相机4和全局相机2设置在同一个壳体内，相对位置固定，检测相机4和全局相机2在采集图像时的视场不重叠；
工作状态下，定位板1固定设置于全局相机2的视场内，并且保证不占用测量空间；在两个相邻图像采集位置，由于拍摄时间间隔小，旋转角度小，全局相机2获取的定位板图像中至少有90％的图像重叠。重叠部分存在大量同名点，可快速高效获得两个相邻位置之间的转换关系。
具体来说，全局相机2设有一个或多个；全局相机2可分布于检测相机4的上、下、左、右或后方，全局相机2的相机坐标系Z轴与检测相机4的相机坐标系Z轴之间可成45°～315°。全局相机2和检测相机4拍摄时不会相互干扰。
进一步，全局相机2以可拆卸的方式安装在壳体内。方便依据不同测试条件更换相机。进一步，在两个相邻图像采集位置，全局相机获取的定位板图像依据如下方法计算全局相机获取两帧图像时的相对位姿：
Figure BDA0002560392640000061
式中，Pi-1为前一个图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，Pi为当前图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，T为数学符号，代表矩阵转置；E为本质矩阵，其与两帧图像之间相对位姿的关系为：
E＝SR (2)
式中，S和R分别表示两帧之间相对位姿的转换矩阵中的平移矩阵的反对称矩阵和旋转矩阵，但本质矩阵不能表示出真实尺寸；
更进一步：
Figure BDA0002560392640000062
(tx，ty，tz)代表相较前一图像采集位置获取图像的图像坐标系，后一图像采集位置获取图像的图像坐标系在x轴、y轴、z轴变化的分量；
r11、r12、r13、r21、r22、r23、r31、r32、r33表示后一图像坐标系相较前一图像坐标系的旋转变化量。其可以通过三个欧拉角来定义，依据"z-x-z"欧拉角，在右手笛卡尔坐标中的主动旋转矩阵可表达为：
Figure BDA0002560392640000071
依据不同的角度定义，具体的计算表达式亦会有所不同。
实际计算时，设定第一个图像采集位置的全局相机坐标系为基准坐标系，将全局相机获取的所有图像转换到基准坐标系下，再依据全局相机和检测相机之间的关系，实现检测相机获取图像的拼接。在计算过程中借鉴同时定位与建图(SLAM(simultaneouslocalization and mapping))的方式，计算当前位姿时将所有位姿进行优化，以免误差传递造成后续位姿偏差加大，同时优化定位板上特征点坐标。优化的规则是最小化重投影误差：
Figure BDA0002560392640000072
其中Mi为全局相机在每个位姿下的投影矩阵，X为特征点在全局坐标系下的坐标，xi为每个位姿下特征点在全局相机中成像的像素坐标。
为了添加全局位姿的真实尺度，弥补单目即时定位与建图缺少尺度的不足还可以在全局相机的视场中布置可自动识别的基准尺。可自动识别的基准尺为在基准尺两端设置带有编码规则分布的特征点，在图像中可根据规则自动识别其编号，从而自动判断基准尺位置，达到自动识别基准尺的功能，基准尺长度已知。进一步，基准尺为殷钢或碳纤维等热膨胀系数较低材质构成；更进一步，基准尺可直接固定于定位板上，便于携带。
一种便携式扫描***的使用方法，包括如下步骤：
1)依据待测物的位置确定定位板的固定位置，令检测过程中待测物在检测相机视场内，定位板在全局相机视场内，同一图像采集位置检测相机视场和全局相机视场不重叠，此种设计可以减小检测相机移动时的干扰；
2)手持扫描仪开始对待测物进行扫描，同时全局相机采集定位板图像；记第一个图像采集位置时全局相机的位置为位置I，实时计算在各个图像采集位置全局相机相较位置I的位姿变化；
同时解算待测位置特征点信息，并将其统一到位置I坐标系下。
为了提高测试结果精度，每次解算待测位置时将其与之前各采集图形位置的特征点统一优化，并以此为下一次的初值。
为了满足实时显示功能，将每次解算后获取的点云进行坐标系转换，转换到位置I坐标系下。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (10)

1.一种便携式扫描***，其特征在于：
包括扫描仪和定位板，所述扫描仪包括用于检测待测物的检测相机和用于定位扫描仪位置的全局相机；所述定位板在使用状态下位置、结构均固定，其表面设置多个特征点；优选，所述特征点为反光标记点；
所述检测相机和全局相机设置在同一个壳体内，相对位置固定，检测相机和全局相机在采集图像时的视场不重叠；
工作状态下，所述定位板固定设置于所述全局相机的视场内；在两个相邻图像采集位置，所述全局相机获取的定位板图像中至少有90％的图像重叠。
2.如权利要求1所述便携式扫描***，其特征在于：在两个相邻图像采集位置，所述全局相机获取的定位板图像依据如下方法计算全局相机获取两帧图像时的相对位姿：
Figure FDA0002560392630000011
式中，Pi-1为前一个图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，Pi为当前图像采集位置全局相机成像面中特征点在全局相机坐标系中的坐标，T为数学符号，代表矩阵转置；E为本质矩阵，其与两帧图像之间相对位姿的关系为：
E＝SR
式中，S和R分别表示两帧之间相对位姿的转换矩阵中的平移矩阵的反对称矩阵和旋转矩阵，但本质矩阵不能表示出真实尺寸。
3.如权利要求2所述便携式扫描***，其特征在于：其中
Figure FDA0002560392630000012
(tx，ty，tz)代表相较前一图像采集位置获取图像的图像坐标系，后一图像采集位置获取图像的图像坐标系在x轴、y轴、z轴变化的分量；
r11、r12、r13、r21、r22、r23、r31、r32、r33表示后一图像坐标系相较前一图像坐标系的旋转变化量。
4.如权利要求1所述便携式扫描***，其特征在于：设定第一个图像采集位置的全局相机坐标系为基准坐标系，将全局相机获取的所有图像转换到基准坐标系下，再依据全局相机和检测相机之间的关系，实现检测相机获取图像的拼接。
5.如权利要求1所述便携式扫描***，其特征在于：计算时采用同时定位与建图方法，计算当前位姿时将所有位姿进行优化，同时优化定位板上特征点坐标；优化的规则是最小化重投影误差：
Figure FDA0002560392630000021
其中Mi为全局相机在每个位姿下的投影矩阵，X为特征点在全局坐标系下的坐标，xi为每个位姿下特征点在全局相机中成像的像素坐标。
6.如权利要求1所述便携式扫描***，其特征在于：所述定位板为平板、弧形板、曲面板；或者所述定位板以机械结构连接，能折叠。
7.如权利要求1所述便携式扫描***，其特征在于：所述全局相机的视场内布置有可自动识别的基准尺，所述可自动识别的基准尺为在基准尺两端设置带有编码规则分布的特征点，其在图像中可根据规则自动识别其编号，从而自动判断基准尺位置，达到自动识别基准尺的功能，基准尺长度已知；优选，所述基准尺固定于定位板上。
8.如权利要求1所述便携式扫描***，其特征在于：所述全局相机设有一个或多个；
全局相机可分布于检测相机的上、下、左、右或后方，全局相机的相机坐标系Z轴与检测相机的相机坐标系Z轴之间可成45°～315°。
9.如权利要求1所述便携式扫描***，其特征在于：所述全局相机以可拆卸的方式安装在壳体内。
10.一种便携式扫描***的使用方法，其特征在于包括如下步骤：
1)依据待测物的位置确定定位板的固定位置，令检测过程中待测物在检测相机视场内，定位板在全局相机视场内，同一图像采集位置检测相机视场和全局相机视场不重叠；
2)手持扫描仪开始对待测物进行扫描，同时全局相机采集定位板图像；记第一个图像采集位置时全局相机的位置为位置I，实时计算在各个图像采集位置全局相机相较位置I的位姿变化；
同时解算待测位置特征点信息，并将其统一到位置I坐标系下。
CN202010609372.XA 2020-06-29 2020-06-29 便携式扫描***及其使用方法 Pending CN111780683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609372.XA CN111780683A (zh) 2020-06-29 2020-06-29 便携式扫描***及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609372.XA CN111780683A (zh) 2020-06-29 2020-06-29 便携式扫描***及其使用方法

Publications (1)

Publication Number Publication Date
CN111780683A true CN111780683A (zh) 2020-10-16

Family

ID=72761182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609372.XA Pending CN111780683A (zh) 2020-06-29 2020-06-29 便携式扫描***及其使用方法

Country Status (1)

Country Link
CN (1) CN111780683A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112815834A (zh) * 2020-12-29 2021-05-18 广州艾目易科技有限公司 一种光学定位***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561269A (zh) * 2009-05-26 2009-10-21 张征宇 近景摄影测量的特征线自动匹配方法
CN102445164A (zh) * 2011-10-12 2012-05-09 北京航空航天大学 一种大型构件表面三维形貌视觉测量方法及***
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN107843202A (zh) * 2017-12-22 2018-03-27 易思维（天津）科技有限公司 一种与机器人配合使用的间隙、面差视觉测量装置及方法
CN207280389U (zh) * 2017-12-22 2018-04-27 易思维（天津）科技有限公司 一种与机器人配合使用的间隙、面差视觉测量装置
CN207395672U (zh) * 2017-12-22 2018-05-22 易思维（天津）科技有限公司 一种手持式间隙、面差视觉测量装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561269A (zh) * 2009-05-26 2009-10-21 张征宇 近景摄影测量的特征线自动匹配方法
CN102445164A (zh) * 2011-10-12 2012-05-09 北京航空航天大学 一种大型构件表面三维形貌视觉测量方法及***
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN107843202A (zh) * 2017-12-22 2018-03-27 易思维（天津）科技有限公司 一种与机器人配合使用的间隙、面差视觉测量装置及方法
CN207280389U (zh) * 2017-12-22 2018-04-27 易思维（天津）科技有限公司 一种与机器人配合使用的间隙、面差视觉测量装置
CN207395672U (zh) * 2017-12-22 2018-05-22 易思维（天津）科技有限公司 一种手持式间隙、面差视觉测量装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112815834A (zh) * 2020-12-29 2021-05-18 广州艾目易科技有限公司 一种光学定位***
CN112815834B (zh) * 2020-12-29 2021-11-19 广州艾目易科技有限公司 一种光学定位***

Similar Documents

Publication Publication Date Title
CN108734744B (zh) 一种基于全站仪的远距离大视场双目标定方法
CN101975588B (zh) 一种多传感器视觉测量***的刚性杆全局校准方法及装置
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
CN111964694B (zh) 一种用于三维测量的激光测距仪标定方法
CN102798350B (zh) 一种臂架挠度的测量方法、装置及***
CN110689579A (zh) 基于合作目标的快速单目视觉位姿测量方法及测量***
CN106871787A (zh) 大空间线扫描成像三维测量方法
CN111707187B (zh) 一种大型零件的测量方法及***
CN112949478A (zh) 基于云台相机的目标检测方法
CN114714356A (zh) 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN109100112B (zh) 一种基于计算机视觉的气弹模型风洞试验平面风振响应测试方法
CN111366902A (zh) 卫星热变形试验相对指向变化测量***及方法
CN114283203A (zh) 一种多相机***的标定方法及***
CN111986267B (zh) 一种多相机视觉***的坐标***标定方法
CN110044266B (zh) 基于散斑投影的摄影测量***
CN108769530A (zh) 图像采集处理设备和图像采集处理方法
CN112419425A (zh) 用于结构变形测量的抗扰动高精度相机群测量方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及***
CN112697074B (zh) 动态待测物角度测量仪及测量方法
CN111780683A (zh) 便携式扫描***及其使用方法
CN112665523B (zh) 一种复杂型面的联合测量方法
CN114037768A (zh) 一种多套跟踪式扫描仪联合标定的方法和装置
CN111145247B (zh) 基于视觉的位置度检测方法及机器人、计算机存储介质
CN109712200B (zh) 一种基于最小二乘原理及边长推算的双目定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016

RJ01 Rejection of invention patent application after publication