KR20140099622A - Robot localization detecting system using a multi-view image and method thereof - Google Patents
Robot localization detecting system using a multi-view image and method thereof Download PDFInfo
- Publication number
- KR20140099622A KR20140099622A KR1020130012254A KR20130012254A KR20140099622A KR 20140099622 A KR20140099622 A KR 20140099622A KR 1020130012254 A KR1020130012254 A KR 1020130012254A KR 20130012254 A KR20130012254 A KR 20130012254A KR 20140099622 A KR20140099622 A KR 20140099622A
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- reactor
- camera
- measuring
- underwater
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004807 localization Effects 0.000 title 1
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000005855 radiation Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/086—Proximity sensors
-
- G—PHYSICS
- G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
- G21C—NUCLEAR REACTORS
- G21C17/00—Monitoring; Testing ; Maintaining
- G21C17/08—Structural combination of reactor core or moderator structure with viewing means, e.g. with television camera, periscope, window
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- General Engineering & Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법에 관한 것으로, 더욱 상세하게는 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하여 로봇의 위치를 측정하는 시스템 및 그 방법에 관한 것이다.
The present invention relates to a system and method for measuring a position of a robot inside a reactor using multiple images, and more particularly, to a method for measuring the position of a robot by installing several cameras on the top of a reactor vessel, To a system and method thereof.
원자로 압력용기는 사람의 접근이 제한되는 고방사선 구역으로 로봇을 이용한 원격 작업이 필수적이다.Reactor pressure vessel is a high radiation area where human access is restricted, and remote operation using a robot is essential.
일반적으로 로봇에는 각종 센서들을 장착하여 원격지의 작업자가 주변 상황을 인식하며 원하는 작업을 수행할 수 있도록 해 주는데, 수중로봇에는 카메라, 압력센서 등의 센서가 사용되고 있다. 카메라는 사람의 눈과 같이 직관적으로 대상을 관측함으로서 원격 작업을 원활하게 수행할 수 있도록 해주며, 압력센서는 수중로봇의 물속 깊이 정보를 파악할 수 있게 해 준다.Generally, robots are equipped with various sensors to allow remote workers to recognize their surroundings and perform desired tasks. Sensors such as cameras and pressure sensors are used for underwater robots. By observing the object intuitively like the human eye, the camera enables remote operation to be performed smoothly, and the pressure sensor allows the depth information of the underwater robot to be grasped.
원자로 작업용 수중로봇은 사용자가 방사선에 피폭되지 않도록 원격지의 안전한 곳에서 원격으로 조작하며, 사용자는 로봇에 설치된 카메라, 원자로 압력 용기상단에 설치된 카메라 등을 통해 수중로봇을 조작하고 압력용기 내부를 검사하게 된다. 이 때, 영상 정보만을 이용하여 로봇을 원하는 위치에 도달하도록 조작하는 것은 매우 힘든 일이다. 로봇의 위치 정보를 파악하여 조작자에게 제공함으로써 원격작업을 원활히 수행할 수 있도록 해준다. 로봇의 위치 측정 방법 중 일반적으로 관성측정장치(IMU)나 압력센서를 사용하는데 다음과 같은 문제로 위치 측정이 쉽지 않다. Underwater robots for reactor operation are operated remotely from a remote location to prevent users from being exposed to radiation. Users operate underwater robots through a camera installed on the robot, a camera installed on the reactor pressure vessel, and inspect the inside of the pressure vessel do. At this time, it is very difficult to manipulate the robot to reach a desired position using only image information. It provides location information of the robot and provides it to the operator so that remote work can be performed smoothly. In general, an inertial measuring device (IMU) or a pressure sensor is used as a method of measuring the position of a robot.
첫째, 관성측정장치의 경우 가속도와 기울기의 변화를 적분하여 위치를 추정하므로 오차의 누적을 피할 수 없고, 수중 로봇의 운용 시간이 길어질수록 위치 정밀도는 떨어지게 되는 문제점이 있다. 둘째, 압력센서는 수중로봇의 작은 높이 변화에 대응하기 힘들며, 주변의 온도나 유속 등에 영향을 받아 올바른 위치를 판단할 수 없는 문제점이 있다.
First, in the case of the inertial measurement device, accumulation of the error can not be avoided because the position is estimated by integrating the change of the acceleration and the tilt, and the position accuracy is lowered as the operation time of the underwater robot becomes longer. Second, the pressure sensor is difficult to cope with the small height change of the underwater robot, and it is difficult to judge the correct position due to the influence of the surrounding temperature or flow rate.
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하여 로봇의 위치를 측정하는 시스템 및 그 방법을 제공하는 것이다.It is an object of the present invention to provide a system for measuring the position of a robot by installing a plurality of cameras on the top of a reactor vessel having a small radiation influence for measuring the position of the robot, .
본 발명의 다른 목적은 원자로 내에서 로봇 위치를 실시간으로 정확하게 측정하여 조작자의 편리성과 원격작업의 정확성을 구현할 수 있는 로봇 위치 측정 시스템 및 그 측정방법을 제공하는 것이다.It is another object of the present invention to provide a robot position measuring system and method for measuring the robot position accurately in real time in a nuclear reactor, thereby realizing the convenience of the operator and the accuracy of the remote operation.
본 발명의 또 다른 목적은 정량적인 로봇 위치 측정뿐만 아니라 직관적인 로봇 위치 관측이 가능하여 원격 조작의 신뢰성을 배가시킬 수 있는 로봇 위치 측정 시스템 및 그 측정방법을 제공하는 것이다.It is still another object of the present invention to provide a robot position measurement system and a method of measuring the position of a robot which can double the reliability of a remote operation by allowing an intuitive robot position observation as well as a quantitative robot position measurement.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 원자로 내부공간의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기가 구비되며, 원자로 내부공간을 관측하는 수중카메라가 일단부에 설치되는 수중로봇; 원자로 용기 상단부에 설치된 복수대의 카메라; 상기 복수대의 카메라를 통한 다중 영상을 처리하여 상기 수중로봇의 위치와 자세를 측정하는 위치 측정부; 및 상기 위치 측정부에서 측정된 상기 수중로봇의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격제어부를 포함하는 로봇 위치 측정 시스템을 제공한다. 상기 위치 측정부는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함하는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above object, the present invention provides a thruster in vertical and horizontal directions so as to move back and forth, right and left, and up and down at an arbitrary position in a nuclear reactor interior space, An underwater robot in which an underwater camera is installed at one end; A plurality of cameras provided at an upper end of the reactor vessel; A position measuring unit for processing a plurality of images through the plurality of cameras and measuring a position and an attitude of the underwater robot; And a remote control unit for controlling the position and the attitude of the underwater robot measured by the position measuring unit as feedback signals. The position measuring unit includes a DVR for acquiring an image and a PC for driving an algorithm.
본 발명의 다른 특징에 따르면, (a) 다수의 카메라에서 다중 영상을 획득하는 단계; (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계; (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계; (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계; (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및 (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계를 포함하는 로봇 위치 측정방법을 제공한다. 상기 (b) 단계는 실제공간과 카메라의 픽셀 공간을 일치시키는 내부 파라미터를 얻는 과정 및 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동 행렬을 획득하는 외부 파라미터를 얻는 과정으로 분류되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an image processing method including the steps of: (a) acquiring multiple images from a plurality of cameras; (b) determining positions of an image plane and a spatial position of the multiple images through camera correction; (c) measuring the silhouette of the robot in the multi-view image using hue detection; (d) performing elliptical fitting on the measured silhouette area; (e) obtaining an intersection point only for a ray passing through a center point of the robot obtained by performing the elliptic fitting; (f) obtaining the position data of the robot by determining the intersections; And (g) performing low-pass filtering to remove noise of the obtained data to obtain a position of a final robot. The step (b) is characterized in that the step (b) is divided into a process of obtaining an internal parameter that matches the actual space and a pixel space of the camera, and a process of obtaining an external parameter that acquires a rotation matrix and a movement matrix of a camera center point in a global coordinate system.
상술한 바와 같이, 본 발명은 로봇의 위치측정을 위해 방사선 영향이 적은 원자로 용기 상단에 여러 대의 카메라를 설치하고, 이를 통한 다중영상을 도출하여 로봇의 위치를 3차원으로 측정하는 방법을 제시한다.As described above, the present invention proposes a method for measuring the position of a robot in three dimensions by installing multiple cameras on the upper part of a reactor vessel having a small radiation influence for measuring the position of the robot, deriving multiple images through the cameras.
이에 따라, 본 발명은 원자로 내에서 로봇 위치를 실시간으로 정확하게 측정할 수 있으므로 조작자의 편리성과 원격작업의 정확성을 구현하여 작업의 품질 향상 및 작업의 속도 증대를 기대할 수 있다.Accordingly, since the robot position can be accurately measured in real time in the reactor, it is possible to improve the quality of the work and increase the speed of the work by implementing the convenience of the operator and the accuracy of the remote work.
이와 함께, 본 발명은 고방사선 구역인 원자로에서 직접적인 피폭을 방지할 수 있도록 원자로 용기 외부의 저방사선 구역에 위치 감지부를 설치한다.In addition, the present invention provides a position sensing unit in the low radiation area outside the reactor vessel so as to prevent direct exposure to the nuclear reactor in the high radiation area.
이에 따라, 본 발명은 로봇 위치 측정에 비전을 이용함으로써 정량적인 로봇 위치 측정뿐 아니라 직관적인 로봇 위치 관측이 가능하여 원격 조작의 편의성 및 신뢰성을 배가시키는 효과가 있다.
Accordingly, the present invention utilizes vision for robot position measurement, thereby enabling quantitative robot position measurement as well as intuitive robot position observation, thereby doubling the convenience and reliability of remote operation.
도 1은 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템을 나타내는 구성도,
도 2는 상기 로봇 위치 측정 시스템의 위치 측정부에서 실행하는 측정방법을 나타내는 단계도,
도 3은 visual hull 개념도,
도 4는 Zhang's calibration에서의 카메라 모델을 나타내는 개념도,
도 5는 영상에서 측정된 좌표쌍을 나타낸 사진,
도 6은 원자로 압력용기 바닥면 홀을 이용한 카메라 보정을 나타낸 사진,
도 7a는 실제 카메라의 위치를 나타낸 사진,
도 7b는 외부 교정을 통해 얻어진 카메라의 위치를 나타내는 사진,
도 8은 실제 로봇을 나타내는 정면도,
도 9는 각각의 로봇에서 획득한 실루엣을 나타낸 사진,
도 10은 RANSAC 타원피팅을 수행한 결과를 나타낸 사진,
도 11은 정확히 교차하지 않는 로봇의 중심점을 지나는 광선을 나타내는 사진,
도 12는 로봇의 위치를 구하는 방법의 개념도,
도 13은 교차점 측정 알고리즘을 사용한 로봇의 위치 획득을 나타내는 사진,
도 14a 내지 14d는 로봇의 실제 위치를 바닥에서부터 0.1m, 0.2m, 0.3m, 0.4m의 각각의 실험 그래프,
도 15는 로봇의 등속운동시 위치 추정 그래프이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a robot position measuring system according to a preferred embodiment of the present invention.
2 is a diagram showing a measurement method performed by a position measuring unit of the robot position measuring system,
3 is a conceptual diagram of a visual hull,
4 is a conceptual diagram showing a camera model in Zhang's calibration,
5 is a photograph showing coordinate pairs measured in an image,
6 is a photograph showing the camera calibration using the reactor pressure vessel bottom surface hole,
7A is a photograph showing the position of an actual camera,
7B is a photograph showing the position of the camera obtained through external calibration,
8 is a front view showing an actual robot,
9 is a photograph showing the silhouettes acquired by the respective robots,
10 is a photograph showing the result of performing RANSAC elliptic fitting,
Fig. 11 is a photograph showing a ray passing through the center point of the robot not exactly intersecting,
FIG. 12 is a conceptual diagram of a method for obtaining a position of a robot,
13 is a photograph showing the position acquisition of the robot using the intersection measurement algorithm,
14A to 14D show the actual positions of the robots in the experimental graphs of 0.1 m, 0.2 m, 0.3 m and 0.4 m from the bottom,
FIG. 15 is a graph of the position estimation in the constant velocity motion of the robot.
이하 본 발명의 바람직한 실시예에 로봇 위치 측정 시스템 및 그 측정방법을 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a robot position measuring system and a measuring method thereof according to preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템을 나타내는 구성도이고, 도 2는 상기 로봇 위치 측정 시스템의 위치 측정부에서 실행하는 측정방법을 나타내는 단계도이다.FIG. 1 is a block diagram showing a robot position measuring system according to a preferred embodiment of the present invention, and FIG. 2 is a diagram illustrating a measuring method performed by a position measuring unit of the robot position measuring system.
상기 도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 로봇 위치 측정 시스템은 원자로 내부공간(10)의 임의의 위치에 전후, 좌우, 상하로 이동토록 수직 및 수평방향의 추력기(101)가 구비되며, 원자로 내부공간(10)을 관측하는 수중카메라(102)가 일단부에 설치되는 수중로봇(100); 원자로 용기 상단부(20)에 설치된 복수대의 카메라(200); 상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부(300); 및 상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)를 포함한다.Referring to FIG. 1, the robot position measurement system according to the preferred embodiment of the present invention includes a
상기 수중로봇(100)에는 원자로 내부공간(10) 임의의 위치에서 임의의 각도를 유지할 수 있어야 하므로 전후, 좌우, 상하이동 및 회전이 가능하도록 상기 수중로봇(100)의 수직과 수평방향으로 각각 2개의 추력기(thruster, 101)가 일정각도를 갖도록 배치하여 4-자유도를 가질 수 있도록 구성된다. 또한, 상기 수중로봇(100)에는 조작자가 원하는 영상을 얻을 수 있도록 원자로 내부공간(10)을 관측할 수 있는 수중카메라(102)가 일단부에 설치될 수 있다.Since the
다음으로, 원자로 상부(20)에는 다중 영상을 얻기 위해 복수개의 카메라(200)가 설치될 수 있다. 상기 복수개 카메라(200)는 바람직하게는 3개 이상, 더욱 바람직하게는 4개 이상의 카메라를 설치하는 것이 보다 정밀한 다중 영상을 얻을 수 있다. Next, a plurality of
상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부가 원자로 외부 저방사선 구역에 설치되는데, 이는 기존에 위치센서가 수중로봇에 직접 부착되는 것과 비교하여 방사능 피폭을 줄일 수 있다. 상기 위치 측정부(300)는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함할 수 있으며, 이러한 구성을 가지는 위치측정부(300)에서 다중 영상을 이용하여 로봇의 위치를 3차원으로 구현하는 구체적인 방법에 대해서는 이하 로봇 위치 측정방법에서 상세히 설명한다.The position measuring unit for processing the multiple images through the plurality of
상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)는 방사선 피폭이 없는 안전한 구역내에 설치된다.The
상기 원격 제어부(400)는 위치 측정부에서 측정된 데이터를 바탕으로 피드백 받아 원자로 내부 용기 내에서 검사를 하기 위해서 원하는 위치로 로봇(100)을 이동시키거나 원하는 자세를 유지할 수 있도록 제어할 수 있다.The
이하, 상기 위치 측정부(300)에서 실행하는 다중영상을 이용한 3차원 형상 복원 알고리즘을 통한 로봇 위치 측정 방법에 대해서 상세히 설명한다. 참고로 4개의 카메라를 이용하여 다중영상을 획득하고, 이를 통해 로봇(100)의 위치를 얻는 방법에 대해서 구체적으로 설명한다. Hereinafter, a method of measuring the robot position using the 3D image restoration algorithm using the multiple images performed by the
도 2는 본 발명에 따른 로봇위치 측정방법을 나타내는 단계도이다. 상기 도 2를 참조하면, 측정방법은 (a) 다수의 카메라에서 다중 영상을 획득하는 단계; (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계; (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계; (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계; (f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및 (g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계로 구성된다.FIG. 2 is a diagram illustrating a method of measuring a robot position according to the present invention. Referring to FIG. 2, the measuring method includes: (a) acquiring multiple images from a plurality of cameras; (b) determining positions of an image plane and a spatial position of the multiple images through camera correction; (c) measuring the silhouette of the robot in the multi-view image using hue detection; (d) performing elliptical fitting on the measured silhouette area; (e) obtaining an intersection point only for a ray passing through a center point of the robot obtained by performing the elliptic fitting; (f) obtaining the position data of the robot by determining the intersections; And (g) performing low-pass filtering to remove noise of the obtained data to obtain a position of a final robot.
일반적으로 다수의 카메라에서 획득한 다시점 영상을 이용한 3차원 형상 복원 알고리즘은 visual hull, photo hull, 복셀 컬러링, space carving, 스테레오 비전 등 영상 내에서 이용하는 정보 및 카메라 구성 방식에 따라 여러 가지 알고리즘이 존재한다. 이 중, 본 발명에서는 로봇위치 측정을 위해 visual hull 알고리즘을 사용하는데, 상기 방식은 측정 대상의 실루엣을 획득하고 이를 3차원 공간상에 역영사(back-projection)하여 공간상의 교차 공간을 획득하는 방식이다.Generally, the 3D shape restoration algorithm using multi-view images obtained from multiple cameras has various algorithms depending on the information used in the image such as visual hull, photo hull, voxel coloring, space carving, stereo vision, do. In the present invention, a visual hull algorithm is used for the robot position measurement. In this method, the silhouette of the object to be measured is acquired and the object is cross-projected on the three-dimensional space to acquire the intersection space to be.
도 3은 visual hull 개념도로서, 카메라 원점과 실루엣 이미지의 픽셀을 지나는 공간상의 광선을 구한 뒤, 이들의 교차점을 복셀, 룩업테이블, 에피폴라 제약 등을 이용하여 구하는 방법으로, 측정방법에서 (a) 다수의 카메라에서 다중 영상을 획득하는 단계를 구성한다.FIG. 3 is a conceptual diagram of a visual hull. FIG. 3 (a) is a visual hull conceptual diagram in which a light ray in a space passing through a pixel of a camera origin and a silhouette image is obtained and the intersection thereof is obtained by using a voxel, a lookup table, an epipolar constraint, And a step of acquiring multiple images from a plurality of cameras is constituted.
다음으로, (b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계에서 상기 카메라 보정은 실제 공간과 카메라의 픽셀 공간을 일치시키는 과정으로 초점거리, 영상 중심, 렌즈 왜곡 계수 등의 내부 파라미터를 얻는 내부 교정(intrinsic calibration)과 카메라의 실제 공간상의 위치, 즉 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동행렬을 획득하는 외부 교정(extrinsic calibration)으로 분류할 수 있다. 카메라 보정 과정을 끝내면 최종적으로 투영 행렬을 획득하게 되고 이를 이용하여 공간상의 한 점이 카메라 영상 위의 픽셀 공간에 투영되는 위치를 알 수 있다. Next, (b) in the step of determining the position of the image plane and the spatial position of the multiple images through camera correction, the camera correction is a process of matching the actual space and the pixel space of the camera, Intrinsic calibration for obtaining internal parameters such as distortion coefficient, and extrinsic calibration for obtaining the rotation matrix and movement matrix of the camera center point in the actual spatial position of the camera, that is, the global coordinate system. After completing the camera calibration process, the projection matrix is finally obtained and the position of a point in space in the pixel space on the camera image can be known.
내부 파라미터를 구하는 방법으로 주로 사용되는 Zhang의 카메라 보정 방법을 이용하여 내부 보정(intrinsic calibration)을 수행한다. Zhang's calibration에서는 도 4와 같은 카메라 모델을 정의한다. 상기 도 4를 참조하면, ?M은 월드 좌표상의 한 점을 나타내며 m은 이 영상에 투영된 픽셀 좌표, c는 주요지점(principal point), α와 β는 x, y축에 대한 가로 세로 비율(aspect ratio)를 나타내며 초점 거리(focal length)와 곱해진다. 결과적으로 월드 좌표 M과 픽셀좌표 m 사이의 관계는 식 (1)과 같이 정의된다. Intrinsic calibration is performed using Zhang's camera calibration method, which is mainly used to obtain internal parameters. In Zhang's calibration, the camera model as shown in FIG. 4 is defined. Referring to FIG. 4, M represents a point on the world coordinate, m represents a pixel coordinate projected on the image, c represents a principal point, α and β represent an aspect ratio (x, y) aspect ratio, and is multiplied by the focal length. As a result, the relationship between the world coordinate M and the pixel coordinate m is defined as in equation (1).
여기에서 s는 스케일 요소(scale factor), γ는 스큐 매개변수(skew parameter), r과 t는 회전 매개 변수(rotation parameter)와 번역 매개 변수(translation parameter)를 나타낸다. 여기서 내부 매트릭스(intrinsic matrix)는 우변의 첫 번째 행렬을 말하며 aspect ratio가 반영된 focal length, principal point, skew parameter로 구성된다. 따라서 intrinsic matrix를 획득하기 위해선 다수의 월드-픽셀 좌표 쌍을 이용하여 해를 구해야 하며 도 5에 나와 있는 것과 같이 사전에 알고 있는 대상을 영상에서 측정하여 좌표쌍을 얻는 방법을 사용한다. Where s is the scale factor, γ is the skew parameter, r and t are the rotation parameter and the translation parameter. Here, the intrinsic matrix is the first matrix of the right side, and is composed of focal length, principal point, and skew parameter reflecting the aspect ratio. Therefore, in order to obtain the intrinsic matrix, a solution is to be obtained by using a plurality of pairs of world-pixel coordinates. As shown in FIG. 5, a method of obtaining a pair of coordinates by measuring a previously known object in an image is used.
하기 표 1은 이러한 Zhang's calibration을 이용하여 카메라 4대의 내부 파라미터를 구한 결과이다. 이와 같은 내부 파라미터는 카메라의 초점거리 및 배율을 조작하지 않는 이상 최초 한번만 수행하면 된다. Table 1 shows the internal parameters of four cameras using Zhang's calibration. These internal parameters need to be performed only once, unless the focal length and magnification of the camera are manipulated.
(표 1)(Table 1)
다음으로, 외부 파라미터를 구하기 위해서는 실제 공간상에 알고 있는 네 점의 좌표가 필요하다. 일반적으로 카메라보정용 큐브나 패턴을 사용하는데 실제 로봇 운용시 원자로 용기 내부에 카메라 보정용 큐브나 패턴을 설치할 수 없기 때문에 도 6에 나와 있는 것과 같이, 원자로 압력용기 바닥면 홀을 이용하여 카메라 보정을 수행한다. 이 때, 전역좌표축의 원점은 원자로 용기 바닥면의 정 중앙으로 한다.Next, in order to obtain the external parameters, four points of coordinates known in the actual space are required. In general, since a cube or a pattern for camera correction is used, a camera correction cube or a pattern can not be installed inside the reactor vessel when the robot is actually operated. Therefore, camera calibration is performed using the reactor pressure vessel bottom hole as shown in FIG. . At this time, the origin of the global coordinate axis is the center of the bottom of the reactor vessel.
도 7a는 실제 카메라의 위치이며, 도 7b는 외부 교정(extrinsic calibration)을 통해 얻어진 카메라의 위치를 3차원 도시한 것이다. 이러한 카메라의 위치는 extrinsic calibration의 수행결과로 획득한 회전행렬과 이동행렬을 이용하여 식 (2)와 같이 구할 수 있다.
FIG. 7A shows the position of the actual camera, and FIG. 7B shows the position of the camera obtained through extrinsic calibration in three dimensions. The position of the camera can be obtained by the equation (2) using the rotation matrix and the movement matrix obtained as a result of extrinsic calibration.
C= -R -1T = -R TT (2)C = - R - T = - R T T (2)
여기에서, C는 월드 좌표 상에서의 카메라의 위치, R과 T는 extrinsic calibration을 통해 획득한 rotation과 translation matrix이다.Where C is the position of the camera on world coordinates, R and T are the rotation and translation matrix obtained through extrinsic calibration.
다음으로, (c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계에 대해서 설명한다.Next, the step of (c) measuring the silhouette of the robot in the multi-view image using the color tone detection will be described.
각각의 다중 영상에서 로봇의 실루엣을 측정하는 방법으로 원자로 용기 내부에 유색 물체는 수중 로봇이 유일하다는 가정으로 색조 탐지(hue detection)를 사용하였다. 이는 입력 영상을 HSI 색공간으로 변환한 다음로봇의 색조(hue) 범위를 이용하여 측정하는 방법으로 영상의 한 픽셀이 식 (4)와 같은 조건을 만족할 때 해당 지점을 실루엣 영역이라고 판단한다. 이 때, 노이즈제거 및 실루엣 내부를 채우기 위하여 모폴로지 연산을 수차례 수행한다. 식 (3)은 RGB 색상 공간에서 HIS 색상공간으로의 변환 방법을 나타낸다. As a method of measuring the silhouette of the robot in each of multiple images, hue detection was used as the assumption that the underwater robot is unique in the color vessel inside the reactor vessel. This is a method of converting the input image into the HSI color space and then measuring it using the hue range of the robot. When one pixel of the image satisfies the condition of (4), it is determined that the corresponding point is a silhouette area. At this time, the morphology operation is performed several times in order to remove the noise and fill the inside of the silhouette. Equation (3) shows how to convert from RGB color space to HIS color space.
여기에서, Ixy, Sxy, Hxy는 영상의 x, y위치에서의 조도, 채도, 색조 값을 말하며,ITh와 STh는 그때의 임계값을 말한다. 이 두 값은 주변 광량에 따라 adaptive하게 결정되며 H min 과 H max는 사전 관측 값에 의해 결정된다.Where I xy , S xy , and H xy are the illuminance, chroma, and hue values at the x and y positions of the image, and I Th and S Th are the thresholds at that time. These two values are adaptively determined according to the amount of ambient light, and H min and H max are determined by prior observation values.
도 8는 실제 로봇을 나타내는 정면도이고, 도 9은 각각의 카메라에서 로봇 실루엣을 획득한 결과이다. Fig. 8 is a front view showing an actual robot, and Fig. 9 is a result of acquiring a robot silhouette in each camera.
다음으로, (d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계; 및 (e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계에 대해서 설명한다. (D) performing elliptical fitting on the measured silhouette area; And (e) obtaining an intersection point only for a ray passing through a center point of the robot obtained by performing the elliptic fitting.
상기 ⓒ단계에서 구한 로봇 실루엣 영역에 대해 타원 피팅을 수행하고 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구한다. 이와 같은 방법으로 로봇의 실제 좌표를 획득할 수 있으며 단 4개의 광선 교차점만 구하면 되므로 알고리즘 수행 속도 역시 향상되어 실시간 구현이 가능하다. The ellipse fitting is performed on the robot silhouette region obtained in the above step (c), and the intersection points are obtained only for the rays passing through the center point of the obtained robot. In this way, it is possible to acquire the actual coordinates of the robot and only four intersection points can be obtained.
도 10을 참조하면, 실루엣 이미지에 RANSAC 타원피팅을 수행한 결과를 나타내는 사진이다. RANSAC 타원 피팅이란 conic equation에 주어진 다섯 개의 점을 이용하여 식 (5)를 만족하는 conic parameter를 구하는 것이다. 이 때, 일반적인RANSAC 알고리즘에서 그러하듯 사용하는 다섯 개의 점은 실루엣 영상에서 랜덤하게 선택 되며 inlier가 최대가 되거나 정해진 횟수에 도달할 때까지 반복 수행하여 최적 타원을 찾는다. Referring to FIG. 10, the RANSAC ellipse fitting is performed on the silhouette image. The RANSAC elliptic fitting is to obtain a conic parameter satisfying Eq. (5) using the five points given in the conic equation. In this case, the five points used as in the general RANSAC algorithm are randomly selected in the silhouette image, and the optimal ellipse is searched for until the inlier becomes maximum or the predetermined number of times is reached.
도 10에 나타난 초록색 원은 타원 피팅 알고리즘을 통해 찾은 최적 타원을 나타내며 가운데의 노란색 원은 로봇 중심점을 나타낸다. 이 때, 각각의 다시점 영상에서 로봇의 중심점을 지나는 광선은 도 11에서 보이는 바와 같이 서로 정확히 교차하지 않는다. 이는 카메라 보정의 오차와 타원 피팅으로 구한 로봇의 중심점 좌표 오차 때문이다. 따라서 이러한 오차를 고려하여 광선의 교차점을 구하는 알고리즘이 필요하며 제안하는 방법은 다음과 같다. The green circle shown in FIG. 10 represents the optimal ellipse found through the elliptic fitting algorithm, and the yellow circle at the center represents the robot center point. At this time, the rays passing through the center points of the robots in the respective multi-view images do not exactly cross each other as shown in Fig. This is due to the camera calibration error and the center point coordinate error of the robot obtained by the elliptic fitting. Therefore, an algorithm for finding the intersection point of light rays is required in consideration of such an error, and the proposed method is as follows.
1) 카메라 원점과 로봇 중앙점을 지나는 직선의 방정식을 구한다. 1) Find the equation of the straight line passing through the camera origin and the robot center point.
2) 전역 좌표계의 x, y축과 평행하고 z축 높이를 갖는 임의의 평면과 직선들과의 교차점을 구한다. 2) Find the intersection of any plane and straight lines that are parallel to the x and y axes of the global coordinate system and have a z-axis height.
3) 평면의 z축 높이를 증가시키며 2)를 반복하여 각 교차점들이 이루는 사각 형의 넓이가 최소가 될 때의 z축 높이와 교차점의 중점을 찾는다. 3) Increase the z-axis height of the plane and repeat 2) to find the height of the z-axis and the midpoint of the intersection when the width of the square of each intersection is minimum.
이 때, 기준 평면과 각각의 광선의 교차점을 Pi = (xi, yi)라 하면 교차점들이 이루는 사각형의 넓이는 하기 식 (6)의 사선 공식을 통해 구할 수 있다. 넓이가 최소가 되는 평면의 z축 높이가 로봇의 z축 좌표이며, 교차점들의 중심점이 로봇의 x, y축 좌표가 된다. In this case, if the intersection point of the reference plane and each ray is Pi = (xi, yi), the width of the rectangle formed by the intersection points can be obtained by the slanting formula of the following equation (6). The z-axis height of the plane that minimizes the width is the z-axis coordinate of the robot, and the center point of the intersection points is the x- and y-axis coordinates of the robot.
도 12는 교차점 측정을 통해 로봇의 위치를 구하는 방법의 개념도로서, 이와 같은 방법으로 로봇의 위치를 구하게 되면 일반적으로 3차원 복원 방식에서 사용하는 복셀을 이용한 교차영역 판정 기법보다 속도나 정확도 측면에서 우수한 성능을 보이게 된다. 한편, 도 13는 제안한 교차점 측정 알고리즘을 사용하여 로봇의 위치를 획득한 것이다. FIG. 12 is a conceptual diagram of a method for obtaining the position of a robot through intersection measurement. When the position of the robot is obtained by such a method, generally, it is superior in terms of speed and accuracy to a cross-area determination technique using a three- Performance. 13 shows the position of the robot using the proposed intersection measurement algorithm.
이하, 본 발명에 따른 로봇 위치 측정 시스템 및 그 측정방법을 구체적으로 실시한 실시예에 대해 설명하도록 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a robot position measuring system and a measuring method thereof according to the present invention will be described in detail.
실험은 1/5 스케일 원자로 압력 용기목업에서 수행하였으며 목업은 압력 용기 내부 형상, 압력 용기 바닥면 홀, 수중 로봇, 수중 로봇 리프팅 장치로 구성되어 있다. 원자로 용기 상단에는 352x240 해상도의 컬러 카메라 4대를 장착하였다. 영상획득을 위해 DVR 장비를 사용하였으며 알고리즘 구동을 위한 PC의 사양은 인텔 i7 CPU와 메모리 16GB 이다. 전체 알고리즘 수행속도는 초당 22 frame/sec로 한 루프에 약 45 msec 정도 소요된다.Experiments were carried out in a 1/5 scale reactor pressure vessel mock-up, and the mock-up consists of a pressure vessel inner shape, a pressure vessel bottom hole, an underwater robot, and an underwater robot lifting device. At the top of the reactor vessel, four color cameras with a resolution of 352x240 were installed. DVR equipment was used for image acquisition. The specification of PC for algorithm driving is Intel i7 CPU and 16GB of memory. The total algorithm execution speed is about 22 frame / sec, which takes about 45 msec in one loop.
실험은 다음과 같은 순서로 이루어졌다. 우선 로봇의 실제 위치를 바닥에서부터 0.1m, 0.2m, 0.3m, 0.4m 이동시키고 각각의 높이에서 600 frame 동안의 측정 결과를 획득한다. 이 후 z축 높이의 평균과 최대, 최소 에러를 구한 뒤 표 2와 그래프로 도시하였다. 도 14a 내지 14d는 차례대로 0.1m실험 내지 0.4m실험을 나타내는 그래프로서, 로봇의 중심점 좌표가 매번 정확하게 측정 될 수 없기 때문에 값에 흔들림이 보이지만 하기 표 2를 보면 모든 측정에서 약 0.3% 이내의 오차가 나오는 것을 확인할 수 있다. The experiments were carried out in the following order. First, the actual position of the robot is moved 0.1m, 0.2m, 0.3m, and 0.4m from the floor, and the measurement results are obtained for 600 frames at each height. Then, the mean, maximum and minimum errors of the z-axis height are obtained and shown in Table 2 and the graph. Figs. 14A to 14D are graphs showing the experiment from 0.1 m to 0.4 m in order. The coordinates of the center point of the robot can not be accurately measured each time, and the value fluctuates. However, in Table 2, Can be seen.
(표 2) (Table 2)
다음으로 도 15는 원자로 목업에 장착된 모터를 이용하여 로봇을 등속 운동 시켰을 때의 위치 추정 결과이다. 측정결과가 로봇의 이동에 맞게 선형적으로 나오는 것을 확인할 수 있다. 이와 같이 로봇 위치 탐지 실험은 1/5 스케일원자로 압력 용기 목업에서 이루어졌으며, 수 mm 이내의 수중로봇 높이 정밀도 결과를 얻었다. 또한 로봇을 수직 높이 방향으로 등속 이동하면서 얻은 수중로봇의 위치 탐지 결과도 선형성을 보임으로써 제안한 알고리즘의 정확성을 검증하였으며, 향후 원자로 원격 검사, 수중 로봇의 제어에 활용할 수 있다. Next, FIG. 15 shows the result of the position estimation when the robot is moved at a constant speed using a motor mounted in a reactor mockup. It can be confirmed that the measurement result linearly follows the movement of the robot. The robot position detection experiment was performed in the 1/5 scale reactor pressure vessel mockup, and the accuracy of the underwater robot height accuracy within a few millimeters was obtained. In addition, the accuracy of the proposed algorithm is verified by showing the linearity of the position detection result of the underwater robot obtained by moving the robot at the constant height in the vertical direction, and it can be utilized for the remote control of the reactor and the control of the underwater robot in the future.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다. Although the present invention has been described in detail with reference to the above embodiments, it is needless to say that the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the spirit of the present invention.
본 발명은 원자로 내부 검사장비 또는 원격으로 정밀하게 로봇을 제어하는 분야에 적용된다. The present invention is applied to a reactor internal inspection equipment or a field for remotely and precisely controlling a robot.
10: 원자로 내부 20: 원자로 상단부
100: 수중로봇 101: 추력기
102: 수중 카메라 200: 복수개의 카메라
300: 위치 측정부 400: 원격 제어부10: reactor interior 20: reactor upper end
100: underwater robot 101: thruster
102: underwater camera 200: plural cameras
300: Position measuring section 400: Remote control section
Claims (4)
원자로 용기 상단부(20)에 설치된 복수대의 카메라(200);
상기 복수대의 카메라(200)를 통한 다중 영상을 처리하여 상기 수중로봇(100)의 위치와 자세를 측정하는 위치 측정부(300); 및
상기 위치 측정부(300)에서 측정된 상기 수중로봇(100)의 위치와 자세에 대한 데이터를 피드백 신호로 하여 제어하는 원격 제어부(400)를 포함하는 로봇 위치 측정 시스템
A vertical and horizontal thruster 101 is provided to move back and forth, left and right, and up and down at an arbitrary position in the reactor internal space 10, and an underwater camera 102 observing the reactor internal space 10 is provided at one end An underwater robot 100 installed;
A plurality of cameras (200) provided on the upper end (20) of the reactor vessel;
A position measuring unit 300 for processing the multiple images through the plurality of cameras 200 and measuring the position and the posture of the underwater robot 100; And
And a remote control unit (400) for controlling the position and attitude data of the underwater robot (100) measured by the position measuring unit (300) as a feedback signal,
상기 위치 측정부(300)는 영상획득을 위한 DVR 장비 및 알고리즘 구동을 위한 PC를 포함하는 것을 특징으로 하는 로봇 위치 측정 시스템
The method according to claim 1,
The position measuring unit 300 includes a DVR equipment for image acquisition and a PC for driving an algorithm.
(b) 상기 다중 영상을 카메라 보정을 통해 공간상의 위치와 영상 평면의 위치를 결정하는 단계;
(c) 색조 탐지를 사용하여 다시점 영상에서 로봇의 실루엣을 측정하는 단계;
(d) 상기 측정된 실루엣 영역에 대해 타원 피팅을 수행하는 단계;
(e) 상기 타원 피팅을 수행하여 획득한 로봇의 중심점을 지나는 광선에 대해서만 교차점을 구하는 단계;
(f) 상기 교차점들을 판단하여 로봇의 위치 데이터를 획득하는 단계; 및
(g) 상기 획득된 데이터의 노이즈를 제거하기 위해 저역 통과 필터링을 수행하여 최종적인 로봇의 위치를 얻는 단계를 포함하는 로봇 위치 측정방법
(a) acquiring multiple images from a plurality of cameras;
(b) determining positions of an image plane and a spatial position of the multiple images through camera correction;
(c) measuring the silhouette of the robot in the multi-view image using hue detection;
(d) performing elliptical fitting on the measured silhouette area;
(e) obtaining an intersection point only for a ray passing through a center point of the robot obtained by performing the elliptic fitting;
(f) obtaining the position data of the robot by determining the intersections; And
(g) performing low-pass filtering to remove noise of the obtained data to obtain a position of a final robot
실제공간과 카메라의 픽셀 공간을 일치시키는 내부 파라미터를 얻는 과정 및 전역 좌표계에서 카메라 중심점의 회전 행렬과 이동 행렬을 획득하는 외부 파라미터를 얻는 과정으로 분류되는 것을 특징으로 하는 로봇 위치 측정방법
4. The method of claim 3, wherein step (b)
Obtaining an internal parameter that matches the actual space and the pixel space of the camera, and obtaining an external parameter that obtains a rotation matrix and a moving matrix of the camera center point in the global coordinate system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130012254A KR101438514B1 (en) | 2013-02-04 | 2013-02-04 | Robot localization detecting system using a multi-view image and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130012254A KR101438514B1 (en) | 2013-02-04 | 2013-02-04 | Robot localization detecting system using a multi-view image and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140099622A true KR20140099622A (en) | 2014-08-13 |
KR101438514B1 KR101438514B1 (en) | 2014-09-11 |
Family
ID=51745813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130012254A KR101438514B1 (en) | 2013-02-04 | 2013-02-04 | Robot localization detecting system using a multi-view image and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101438514B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160045469A (en) * | 2014-10-17 | 2016-04-27 | 동우 화인켐 주식회사 | Inductive heating device |
WO2017059263A1 (en) * | 2015-10-02 | 2017-04-06 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
WO2019117497A1 (en) * | 2017-12-14 | 2019-06-20 | 한국원자력연구원 | Water surface robot for spent fuel inspection and inspection method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100576796B1 (en) * | 2003-08-04 | 2006-05-10 | 한국전력공사 | Underwater Robot System for Reactor Internals Inspection and Foreign Objects Removal |
-
2013
- 2013-02-04 KR KR1020130012254A patent/KR101438514B1/en active IP Right Grant
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160045469A (en) * | 2014-10-17 | 2016-04-27 | 동우 화인켐 주식회사 | Inductive heating device |
WO2017059263A1 (en) * | 2015-10-02 | 2017-04-06 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
US9849591B2 (en) | 2015-10-02 | 2017-12-26 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
TWI620627B (en) * | 2015-10-02 | 2018-04-11 | X開發有限責任公司 | Robots and methods for localization of the robots |
WO2019117497A1 (en) * | 2017-12-14 | 2019-06-20 | 한국원자력연구원 | Water surface robot for spent fuel inspection and inspection method |
Also Published As
Publication number | Publication date |
---|---|
KR101438514B1 (en) | 2014-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210012532A1 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
JP6635690B2 (en) | Information processing apparatus, information processing method and program | |
JP6465789B2 (en) | Program, apparatus and method for calculating internal parameters of depth camera | |
US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
JP6280525B2 (en) | System and method for runtime determination of camera miscalibration | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP6324025B2 (en) | Information processing apparatus and information processing method | |
JP6211157B1 (en) | Calibration apparatus and calibration method | |
JP6092530B2 (en) | Image processing apparatus and image processing method | |
CN109840950B (en) | Method for obtaining real-size 3D model and surveying device | |
JP6317618B2 (en) | Information processing apparatus and method, measuring apparatus, and working apparatus | |
CA2573728A1 (en) | Method and apparatus for machine-vision | |
JP2009053147A (en) | Three-dimensional measuring method and three-dimensional measuring device | |
CN106625673A (en) | Narrow space assembly system and assembly method | |
US11446822B2 (en) | Simulation device that simulates operation of robot | |
WO2020195875A1 (en) | Information processing device, information processing method, and program | |
US10724963B2 (en) | Device and method for calculating area to be out of inspection target of inspection system | |
JP2018048839A (en) | Three-dimensional data generator, three-dimensional data generation method, and monitoring system equipped with three-dimensional data generator | |
JP2019536143A (en) | Robotic sensing apparatus and method for sensor planning | |
Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
JP6180158B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
KR101438514B1 (en) | Robot localization detecting system using a multi-view image and method thereof | |
JP2010112731A (en) | Joining method of coordinate of robot | |
WO2019230284A1 (en) | Three-dimensional measuring device, method for displaying position of three-dimensional measuring device, and program | |
JP2009175012A (en) | Measurement device and measurement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190829 Year of fee payment: 6 |