KR102451791B1 - 영상 내 물체의 위치 추정 시스템 및 방법 - Google Patents

영상 내 물체의 위치 추정 시스템 및 방법 Download PDF

Info

Publication number
KR102451791B1
KR102451791B1 KR1020200184597A KR20200184597A KR102451791B1 KR 102451791 B1 KR102451791 B1 KR 102451791B1 KR 1020200184597 A KR1020200184597 A KR 1020200184597A KR 20200184597 A KR20200184597 A KR 20200184597A KR 102451791 B1 KR102451791 B1 KR 102451791B1
Authority
KR
South Korea
Prior art keywords
image
reference position
relationship
unit
estimating
Prior art date
Application number
KR1020200184597A
Other languages
English (en)
Other versions
KR20220094250A (ko
Inventor
김근환
전세웅
김동엽
신동인
조민영
이병석
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200184597A priority Critical patent/KR102451791B1/ko
Publication of KR20220094250A publication Critical patent/KR20220094250A/ko
Application granted granted Critical
Publication of KR102451791B1 publication Critical patent/KR102451791B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 영상 내 물체의 위치 추정 시스템 및 방법에 관한 것으로서, 본 발명에 따른 영상 내 물체의 위치 추정 시스템은서로 다른 특정 절대 좌표상에 놓여진 3개 이상의 기준 위치부; 상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득부; 상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출부; 및 상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정부;를 포함하는 것을 특징으로 한다.
이에 따라, 영상 내 물체의 위치를 보다 용이하게 추정하는 것이 가능하다.

Description

영상 내 물체의 위치 추정 시스템 및 방법{System and method for estimating the position of object in image}
본 발명은 영상 내 물체의 위치 추정 시스템 및 방법에 관한 것으로서, 보다 상세하게는 영상 내 물체의 위치를 보다 용이하게 추정하는 것이 가능한 영상 내 물체의 위치 추정 시스템 및 방법에 관한 것이다.
로봇은 매니퓰레이터를 이용해 작업을 수행하며, 매니퓰레이터는 링크와 관절들 사이의 기하학적인 관계에 따라 운동 특성이 결정된다. 이러한 기하학적인 관계를 수학적으로 표현한 것이 기구학이며 대부분의 매니퓰레이터는 기구학적 특성을 이용해 작업을 수행하기 위한 방향으로 로봇 핸드를 이동시킬 수 있다.
로봇은 보통 카메라를 구비하여 작업 대상물의 위치를 확인함으로써 매니퓰레이터의 동작을 결정할 수 있으므로, 매니퓰레이터를 정확하게 동작시키기 위해서는 카메라로 촬영한 이미지를 통해 작업 대상물의 위치를 정확하게 파악하여야 한다.
그리고 로봇의 좌표계와 카메라의 좌표계를 서로 대응되도록 캘리브레이션 해주어야 카메라를 통해 위치를 파악한 작업 대상물에 대하여 매니퓰레이터가 정확한 동작을 수행할 수 있다.
로봇과 카메라 간의 캘리브레이션을 수행하는 방법과 관련되 종래기술 중의 하나로 등록번호 제10-1465652호의 '로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치'가 있다.
상기 종래기술에서는 로봇 핸드 좌표계와 카메라 좌표계 사이의 회전 변환관계 및 로봇 핸드 좌표계와 카메라 좌표계 사이의 병진 변환관계를 사용하여 로봇 핸드 좌표계와 카메라 좌표계의 변환관계를 산출한다.
이러한 로봇과 카메라 간의 캘리브레이션 방법은 로봇의 움직임과 그에 따른 카메라 좌표계의 변환관계를 계산해주어야 하므로 캘리브레이션 작업이 쉽지 않은 문제점이 있고, 이는 로봇이 동작을 용이하게 하는 데 있어 방해 요인이 될 수 있다.
KR 10-1465652 B1
따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 영상 내 물체의 위치를 용이하게 추정하여 로봇의 동작을 용이하게 하는 영상 내 물체의 위치 추정 시스템 및 방법을 제공함에 있다.
본 발명이 해결하고자 하는 과제는 위에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적은, 본 발명에 따라, 서로 다른 특정 절대 좌표상에 놓여진 3개 이상의 기준 위치부; 상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득부; 상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출부; 및 상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정부;를 포함하는 영상 내 물체의 위치 추정 시스템에 의해 달성된다.
상기 기준 위치부는 모두 동일한 평면 상에 위치할 수 있다.
상기 기준 위치부는 한 직사각형의 서로 다른 모서리 상에 위치할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템은, 상기 2차원 이미지 상에서 상기 기준 위치부가 한 직사각형의 서로 다른 모서리 상에 위치하도록 2차원 이미지를 변환하는 이미지 변환부를 더 포함할 수 있다.
상기 기준 위치부는 상기 기준 위치부의 절대 좌표에 관한 정보를 포함하는 QR 코드 이미지를 구비할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템은, 상기 관계를 통해 상기 이미지 획득부의 절대 좌표상의 위치를 산출하는 이미지 획득부 위치 산출부를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 의하면, 서로 다른 특정 절대 좌표상에 3개 이상의 기준 위치부를 배치하는 기준 위치부 배치단계; 상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득단계; 상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출단계; 및 상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정단계;를 포함하는 영상 내 물체의 위치 추정 방법이 제공된다.
상기 기준 위치부 배치단계에서, 상기 기준 위치부는 한 직사각형의 서로 다른 모서리 상에 배치될 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 방법은, 상기 이미지 획득단계 후에 진행되는 것으로서, 상기 2차원 이미지 상에서 상기 기준 위치부가 한 직사각형의 서로 다른 모서리 상에 위치하도록 2차원 이미지를 변환하는 이미지 변환단계를 더 포함할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 방법은, 상기 관계 산출단계 후에 진행되는 것으로서, 상기 관계를 통해 상기 이미지 획득단계에서 상기 2차원 이미지를 획득하는 이미지 획득부의 위치를 산출하는 이미지 획득부 위치 산출단계를 더 포함할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템에 의하면, 특정 절대 좌표상에 놓여진 기준 위치부들과 추정 대상 물체를 함께 촬영함으로써 실제 추정 대상 물체의 절대 좌표를 쉽게 산출할 수 있다.
그리고 이미지 획득부로서의 카메라를 캘리브레이션 할 필요가 없고, 카메라와 로봇의 매니퓰레이터 사이에의 캘리브레이션 또한 필요하지 않다.
기준 위치부들이 동일 평면 상에 위치하거나 한 직사각형의 서로 다른 모서리 상에 위치하는 경우, 추정 대상 물체의 절대 좌표를 보다 용이하게 산출하는 것이 가능하다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템이 이미지 변환부를 더 구비하는 경우, 2차원 이미지를 확인하는 것만으로 사람이 추정 대상 물체의 실제 위치를 직관적으로 확인하는 것이 가능하다.
기준 위치부가 QR 코드 이미지를 구비하는 경우, 각 기준 위치부의 절대 좌표를 구분하여 쉽게 파악하는 것이 가능하다.
도 1은 본 발명에 의한 영상 내 물체의 위치 추정 시스템의 개략적인 구성도,
도 2는 본 발명에 의한 영상 내 물체의 위치 추정 시스템의 동작에 관한 설명도,
도 3은 본 발명에 의한 영상 내 물체의 위치 추정 시스템을 구성하는 이미지 변환부에 관한 설명도,
도 4는 본 발명에 의한 영상 내 물체의 위치 추정 시스템을 구성하는 이미지 획득부 위치 산출부에 관한 설명도,
도 5는 본 발명에 의한 영상 내 물체의 위치 추정 방법에 관한 순서도이다.
이하에서는 본 발명의 구체적인 실시예에 대하여 도면을 참고하여 자세하게 설명하도록 한다.
도 1에는 본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)의 개략적인 구성도가 도시되어 있고, 도 2에는 본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)의 동작에 관한 설명도가 도시되어 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)은 기준 위치부(10), 이미지 획득부(20), 관계 산출부(30) 및 위치 추정부(40)를 포함하여 이루어진다.
기준 위치부(10)는 3개 이상이 형성되며, 각각이 서로 다른 특정한 위치에 놓여진다. 즉, 기준 위치부(10) 각각은 좌표가 알려진 특정한 절대 좌표상에 놓여진다. 예를 들어, 기준 위치부(10)는 도 2에 도시되어 있는 바와 같이 A(X1, Y1, Z1), B(X2, Y2, Z2), C(X3, Y3, Z3) 및 D(X4, Y4, Z4) 지점에 위치할 수 있다.
이미지 획득부(20)는 3개의 기준 위치부(10) 모두와 추정 대상 물체(B)를 포함하는 2차원 이미지(I)를 획득한다. 이미지 획득부(20)는 예를 들어, 디지털 카메라로 이루어질 수 있다. 2차원 이미지(I)에서 A 지점의 기준 위치부(10)는 a(x1, y1) 지점, B 지점의 기준 위치부(10)는 b(x2, y2) 지점, C 지점의 기준 위치부(10)는 c(x3, y3) 지점, D 지점의 기준 위치부(10)는 d(x4, y4) 지점에 위치할 수 있다.
관계 산출부(30)는 2차원 이미지(I) 상의 기준 위치부(10') 위치와 실제 기준 위치부(10) 위치의 관계를 산출한다. 상기 관계에는 실제의 기준 위치부(10)들이 2차원 이미지(I)가 되면서 발생하는 크기의 변화를 나타내는 비율 관계, 그리고 실제의 기준 위치부(10)들이 2차원 이미지(I)가 되면서 발생하는 각도의 변화를 나타내는 각도 관계가 있을 수 있다. 비율 관계는 예를 들어 A 지점과 B 지점 간의 거리 및 a 지점과 b 지점 간의 거리를 비교하고, A 지점과 C 지점 간의 거리 및 a 지점과 c 지점 간의 거리를 비교함으로써 산출될 수 있다. 그리고 각도 관계는 예를 들어 A 지점과 B 지점을 잇는 선분의 각도 및 a 지점과 b 지점을 잇는 선분의 각도를 비교하고, A 지점과 C 지점을 잇는 선분의 각도 및 a 지점과 c 지점을 잇는 선분의 각도를 비교함으로써 산출될 수 있다.
위치 추정부(40)에서는 관계 산출부(30)에서 산출된 관계를 통해 추정 대상 물체(B)의 절대 좌표를 계산한다. 예를 들어 위치 추정부(40)는 비율 관계와 각도 관계를 통해 촬영에 의해 변환된 2차원 이미지(I)의 좌표계를 구한 후, 2차원 이미지(I)의 좌표계 상에서 추정 대상 물체(B')가 위치하는 지점 o(xo, yo)와 a 지점의 x축 방향 거리(dx) 및 y축 방향 거리(dy)를 구함으로써 실제 추정 대상 물체(B)가 위치하는 지점 O의 절대 좌표를 계산할 수 있다.
이러한 본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)에 의하면, 특정 절대 좌표상에 놓여진 기준 위치부(10)들과 추정 대상 물체(B)를 함께 촬영함으로써 실제 추정 대상 물체(B)의 절대 좌표를 쉽게 산출하는 것이 가능하다.
기준 위치부(10)위 절대 좌표를 알고 있기 때문에 카메라(이미지 획득부)를 캘리브레이션 하지 않더라도 실제 추정 대상 물체(B)의 절대 좌표를 산출할 수 있으며, 이는 카메라의 종류가 달라지거나 카메라가 여러 대인 경우에도 마찬가지이다.
또한, 로봇의 매니퓰레이터로 작업하면서 2차원 이미지(I)에 기준 위치부(10)들과 함께 매니퓰레이터가 촬영되면 매니퓰레이터의 절대 좌표 또한 계산이 가능하므로, 카메라와 매니퓰레이터의 캘리브레이션 없이도 작업을 수행할 수 있다.
기준 위치부(10)는 모두 동일한 평면 상에 위치할 수 있다.
이 경우, 실제 기준 위치부(10)들 사이의 거리나 각도 계산이 용이하여 관계 산출부(30)에서 2차원 이미지(I) 상의 기준 위치부(10') 위치와 실제 기준 위치부(10) 위치의 관계를 쉽게 산출하는 것이 가능하고, 따라서 위치 추정부(40)에서 추정 대상 물체(B)의 절대 좌표를 용이하게 계산할 수 있다.
기준 위치부(10)가 모두 동일한 평면 상에 위치하는 경우는, 예를 들어 하나의 선반 상에서 추정 대상 물체의 위치를 추정하는 경우에 적용되는 것이 바람직할 수 있다.
기준 위치부(10)가 모두 동일한 평면 상에 위치할 때, 기준 위치부(10)는 한 직사각형(R)의 서로 다른 모서리 상에 위치할 수 있다.
이 경우, 절대 좌표상에서 일 기준 위치부(10)와 인접한 다른 기준 위치부(10)는 X축, Y축, Z축 중 어느 한 축의 값만이 다르므로 기준 위치부(10)들 사이의 거리나 각도 계산이 보다 용이하고, 인접한 기준 위치부(10)를 잇는 선이 X축, Y축, Z축 중 2개의 축과 나란하게 형성되므로 2차원 이미지(I)의 좌표계를 쉽게 구할 수 있다. 따라서, 위치 추정부(40)에서 추정 대상 물체(B)의 절대 좌표를 보다 용이하게 계산할 수 있다.
기준 위치부(10)가 한 직사각형(R)의 서로 다른 모서리 상에 위치할 때, 본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)은 이미지 변환부(50)를 더 포함할 수 있다.
이미지 변환부(50)는 도 3에 도시되어 있는 바와 같이, 2차원 이미지(I) 상에서 기준 위치부(10')가 한 직사각형(R')의 서로 다른 모서리 상에 위치하도록 2차원 이미지(I)를 변환한다. 2차원 이미지(I) 상에서 기준 위치부(10')들이 형성하는 직사각형(R')은 실제 기준 위치부(10)들이 형성하는 직사각형(R)과 동일한 비율로 형성되어야 할 것이다.
이 경우, 2차원 이미지(I)를 확인하는 것만으로 사람이 추정 대상 물체의 실제 위치를 직관적으로 확인하는 것이 가능하다. 이에 따라, 예를 들어 원격으로 사람이 로봇을 제어하는 경우에 추정 대상 물체(B)에 대한 작업을 용이하게 수행하는 것이 가능하다.
기준 위치부(10)는 QR 코드 이미지(11)를 구비할 수 있다.
QR 코드 이미지(11)에는 기준 위치부(10)의 절대 좌표에 관한 정보가 포함될 수 있다. 이에 따라, QR 코드 이미지(11)를 촬영하는 것만으로 각 기준 위치부(10)의 절대 좌표를 구분하여 파악하는 것이 가능하다.
예를 들어, 로봇이 여러 선반을 따라 이동하면서 작업을 수행하는 경우에 QR 코드 이미지(11)를 통해 로봇이 어느 선반에서 작업을 수행하고 있는지 쉽게 파악할 수 있다.
그리고 QR 코드 이미지(11)의 배치 위치와 수를 조절하여 작업 공간의 규모를 자유롭게 변화시킬 수 있고, 카메라의 종류나 위치에 관계없이 QR 코드 이미지(11)를 촬영할 수 있다면 추정 대상 물체(B)의 절대 좌표를 파악할 수 있다.
기준 위치부(10)의 정확한 위치는 QR 코드 이미지(11)의 중심이 될 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)은 이미지 획득부(20) 위치 산출부(60)를 더 포함할 수 있다. 도 4에는 이미지 획득부(20) 위치 산출부(60)에 관한 설명도가 도시되어 있다.
이미지 획득부(20) 위치 산출부(60)는 2차원 이미지(I) 상의 기준 위치부(10') 위치와 실제 기준 위치부(10) 위치의 관계를 통해 이미지 획득부(20)의 절대 좌표상의 위치를 산출한다.
절대 좌표계의 X축, Y축을 각각 2차원 이미지(I) 상의 x축, y축에 평행하게 맞추고 절대 좌표계의 Z축을 이미지 획득부(20)인 카메라의 광축(Ao)과 평행하게 맞추면, 기준 위치부(10)의 절대 좌표와 2차원 이미지(I) 상에서의 좌표를 통해 이미지 획득부(20)의 위치를 산출할 수 있다.
보다 구체적으로, 한 기준 위치부(10) A(X1, Y1, Z1)는 2차원 이미지(I) 상에서 a(x1, y1) 지점에 투영되며, 초점 거리 f를 z1으로 하고 2차원 이미지(I) 상의 a 지점을 3차원 공간 중의 점으로 생각하면 a의 위치는 (x1, y1, z1)이 되는데, 2차원 이미지(I) 상의 a 지점의 x1과 f의 비가 절대 좌표계 상 A 지점의 X1과 Z1 비와 같고 2차원 이미지(I) 상의 a 지점의 y1과 f의 비가 절대 좌표계 상 A 지점의 Y1과 Z1 비와 같기 때문에, 아래와 같은 관계가 성립할 수 있다.
Figure 112020141786878-pat00001
,
Figure 112020141786878-pat00002
X1, Y1, Z1의 값은 기준 위치부(10)의 절대 좌표를 통해 구할 수 있고 x1, y1의 값은 2차원 이미지(I)를 통해 구할 수 있기 때문에 상기 관계를 통해 z1의 값을 계산하여 이미지 획득부(20)의 위치를 산출하는 것이 가능하다.
이미지 획득부(20)의 위치가 산출되면 이미지 획득부(20)가 구비된 로봇을 추정 대상 물체(B)에 대하여 보다 용이하게 이동시키면서 작업을 수행할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템(1)은 상기한 것과 같은 구성 외에도 매니퓰레이터, 저장부 및 제어부 등을 더 구비할 수 있다.
매니퓰레이터(미도시)는 위치 추정부(40)에서 계산된 추정 대상 물체(B)의 절대 좌표를 기준으로 추정 대상 물체(B)에 대한 물리적인 작업을 수행할 수 있고, 저장부(미도시)에는 기준 위치부(10)의 절대 좌표, 이미지 획득부(20)에서 획득한 2차원 이미지(I), 관계 산출부(30)에서 산출된 관계, 위치 추정부(40)에서 계산된 추정 대상 물체(B)의 절대 좌표, 관계를 산출하는 프로그램, 절대 좌표를 계산하는 프로그램 등이 저장될 수 있다. 그리고 제어부(미도시)는 추정 대상 물체(B)의 절대 좌표를 계산을 위해 이미지 획득부(20), 관계 산출부(30), 위치 추정부(40), 저장부의 동작을 제어하고, 계산된 추정 대상 물체(B)의 절대 좌표를 기준으로 매니퓰레이터의 동작을 제어할 수 있다.
이하에서는 본 발명에 의한 영상 내 물체의 위치 추정 방법에 대하여 설명한다. 본 발명에 의한 영상 내 물체의 위치 추정 방법에 대해 설명하면서 본 발명의 영상 내 물체의 위치 추정 시스템(1)의 설명시 언급한 부분에 대해서는 자세한 설명을 생략할 수 있다.
도 5에는 본 발명에 의한 영상 내 물체의 위치 추정 방법의 순서도가 도시되어 있다.
본 발명에 의한 영상 내 물체의 위치 추정 방법은 기준 위치부 배치단계(S10), 이미지 획득단계(S20), 관계 산출단계(S30) 및 위치 추정단계(S40)를 포함한다.
기준 위치부 배치단계(S10)에서는 서로 다른 특정 절대 좌표상에 3개 이상의 기준 위치부(10)를 배치한다. 기준 위치부(10)들은 아래에서 설명할 관계 산출단계(S30) 및 위치 추정단계(S40)를 용이하게 진행할 수 있도록 동일한 평면 상에 배치되는 것이 바람직하다.
이미지 획득단계(S20)에서는 카메라를 이용하여 기준 위치부(10) 모두와 추정 대상 물체(B)를 포함하는 2차원 이미지(I)를 획득한다.
관계 산출단계(S30)에서는 2차원 이미지(I) 상의 기준 위치부(10) 위치와 실제 기준 위치부(10) 위치의 관계를 산출한다. 카메라와 기준 위치부(10)의 거리나 각도에 따라 2차원 이미지(I) 상에서 기준 위치부(10')들 사이의 거리나 인접한 기준 위치부(10)들을 잇는 선들의 각도는 실제 기준 위치부(10)에서와 달라질 수 있다. 따라서, 상기 관계에는 실제 기준 위치부(10)들 사이의 거리와 2차원 이미지(I) 상에서 기준 위치부(10')들 사이의 거리 차이에 의한 비율 관계, 그리고 실제 기준 위치부(10)들이 2차원 이미지(I)가 되면서 발생하는 각도의 변화를 나타내는 각도 관계가 포함될 수 있다.
위치 추정단계(S40)에서는 관계 산출단계(S30)에서 산출된 관계를 통해 추정 대상 물체(B)의 절대 좌표를 계산한다. 보다 구체적으로, 비율 관계와 각도 관계를 통해 2차원 이미지(I)의 좌표계를 구하고 2차원 이미지(I)의 좌표계 상에서 추정 대상 물체(B')의 위치를 확인함으로써 추정 대상 물체(B)의 절대 좌표를 계산할 수 있다.
기준 위치부 배치단계(S10)에서 기준 위치부(10)는 한 직사각형(R)의 서로 다른 모서리 상에 배치될 수 있다. 이 경우, 기준 위치부(10)들 사이의 거리나 각도 계산이 용이하여 추정 대상 물체(B)의 절대 좌표를 보다 용이하게 계산하는 것이 가능하다.
기준 위치부 배치단계(S10)에서 기준 위치부(10)는 한 직사각형(R)의 서로 다른 모서리 상에 배치되는 경우, 본 발명에 의한 영상 내 물체의 위치 추정 방법은 이미지 변환단계를 더 포함할 수 있다.
이미지 변환단계는 이미지 획득단계(S20) 후에 진행되는 것으로서, 2차원 이미지(I) 상에서 기준 위치부(10')가 한 직사각형(R')의 서로 다른 모서리 상에 위치하도록 2차원 이미지(I)를 변환할 수 있다.
이 경우, 2차원 이미지(I)를 통해 추정 대상 물체의 실제 위치를 직관적으로 확인할 수 있으므로, 원격으로 사람이 로봇을 제어하는 경우에 작업을 용이하게 수행하는 것이 가능하다.
본 발명에 의한 영상 내 물체의 위치 추정 방법은 이미지 획득부 위치 산출단계를 더 포함할 수 있다.
이미지 획득부 위치 산출단계는 관계 산출단계(S30) 후에 진행되는 것으로서, 관계 산출단계(S30)에서 산출된 관계를 통해 이미지 획득단계(S20)에서 2차원 이미지(I)를 획득하는 이미지 획득부(20)의 위치를 산출한다.
이미지 획득부(20)의 위치는 절대 좌표계의 X축, Y축을 각각 2차원 이미지(I) 상의 x축, y축에 평행하게 맞추고 절대 좌표계의 Z축을 카메라의 광축과 평행하게 맞춘 상태에서, 기준 위치부(10)의 절대 좌표와 2차원 이미지(I) 상의 기준 위치부(10')의 좌표를 통해 산출할 수 있다.
이미지 획득부(20)의 위치가 산출되면 로봇이 추정 대상 물체(B)에 대하여 정확하게 이동하면서 작업을 수행할 수 있다.
본 발명에 의한 영상 내 물체의 위치 추정 시스템(1) 및 방법은 하나 또는 다수의 하드웨어를 통해 구현되거나, 하나 또는 다수의 소프트웨어를 통해 구현될 수 있다. 또는 하드웨어와 소프트웨어를 통해 구현될 수도 있다.
본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
1 : 영상 내 물체의 위치 추정 시스템
10 : 기준 위치부 11 : QR 코드 이미지
20 : 이미지 획득부 30 : 관계 산출부
40 : 위치 추정부 50 : 이미지 변환부
60 : 위치 산출부

Claims (10)

  1. 서로 다른 특정 절대 좌표상에 놓여진 3개 이상의 기준 위치부;
    상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득부;
    상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출부; 및
    상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정부;를 포함하는 영상 내 물체의 위치 추정 시스템.
  2. 제1항에 있어서,
    상기 기준 위치부는 모두 동일한 평면 상에 위치하는 것을 특징으로 하는 영상 내 물체의 위치 추정 시스템.
  3. 제2항에 있어서,
    상기 기준 위치부는 한 직사각형의 서로 다른 모서리 상에 위치하는 것을 특징으로 하는 영상 내 물체의 위치 추정 시스템.
  4. 제3항에 있어서,
    상기 2차원 이미지 상에서 상기 기준 위치부가 한 직사각형의 서로 다른 모서리 상에 위치하도록 2차원 이미지를 변환하는 이미지 변환부를 더 포함하는 것을 특징으로 하는 영상 내 물체의 위치 추정 시스템.
  5. 제1항에 있어서,
    상기 기준 위치부는 상기 기준 위치부의 절대 좌표에 관한 정보를 포함하는 QR 코드 이미지를 구비하는 것을 특징으로 하는 영상 내 물체의 위치 추정 시스템.
  6. 제1항에 있어서,
    상기 관계를 통해 상기 이미지 획득부의 절대 좌표상의 위치를 산출하는 이미지 획득부 위치 산출부를 더 포함하는 것을 특징으로 하는 영상 내 물체의 위치 추정 시스템.
  7. 서로 다른 특정 절대 좌표상에 놓여진 3개 이상의 기준 위치부; 상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득부; 상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출부; 및 상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정부;를 포함하는 영상 내 물체의 위치 추정 시스템을 이용한 영상 내 물체의 위치 추정 방법에 있어서,
    상기 이미지 획득부로 상기 기준 위치부 모두와 추정 대상 물체를 포함하는 2차원 이미지를 획득하는 이미지 획득단계;
    상기 관계 산출부로 상기 2차원 이미지 상의 상기 기준 위치부 위치와 실제의 상기 기준 위치부 위치의 관계를 산출하는 관계 산출단계; 및
    상기 위치 추정부로 상기 관계를 통해 추정 대상 물체의 절대 좌표를 계산하는 위치 추정단계;를 포함하는 영상 내 물체의 위치 추정 방법.
  8. 제7항에 있어서,
    상기 기준 위치부는 한 직사각형의 서로 다른 모서리 상에 배치되는 것을 특징으로 하는 영상 내 물체의 위치 추정 방법.
  9. 제8항에 있어서,
    상기 영상 내 물체의 위치 추정 시스템은 이미지 변환부를 더 포함하고,
    상기 이미지 획득단계 후에 진행되는 것으로서,
    상기 이미지 변환부를 이용하여 상기 2차원 이미지 상에서 상기 기준 위치부가 한 직사각형의 서로 다른 모서리 상에 위치하도록 2차원 이미지를 변환하는 이미지 변환단계를 더 포함하는 것을 특징으로 하는 영상 내 물체의 위치 추정 방법.
  10. 제7항에 있어서,
    상기 영상 내 물체의 위치 추정 시스템은 위치 산출부를 더 포함하고,
    상기 관계 산출단계 후에 진행되는 것으로서,
    상기 위치 산출부를 이용하여 상기 관계를 통해 상기 이미지 획득단계에서 상기 2차원 이미지를 획득하는 이미지 획득부의 위치를 산출하는 이미지 획득부 위치 산출단계를 더 포함하는 것을 특징으로 하는 영상 내 물체의 위치 추정 방법.
KR1020200184597A 2020-12-28 2020-12-28 영상 내 물체의 위치 추정 시스템 및 방법 KR102451791B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200184597A KR102451791B1 (ko) 2020-12-28 2020-12-28 영상 내 물체의 위치 추정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200184597A KR102451791B1 (ko) 2020-12-28 2020-12-28 영상 내 물체의 위치 추정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220094250A KR20220094250A (ko) 2022-07-06
KR102451791B1 true KR102451791B1 (ko) 2022-10-12

Family

ID=82400020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200184597A KR102451791B1 (ko) 2020-12-28 2020-12-28 영상 내 물체의 위치 추정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102451791B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076134A (ko) 2022-11-23 2024-05-30 포항공과대학교 산학협력단 집게 크레인 무인 자동화를 위한 3d 물체 위치 추정 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498028B1 (ko) * 2022-08-30 2023-02-10 주식회사 에프에스네트웍스 감시 카메라 시스템 및 그 시스템 사용 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465652B1 (ko) 2013-04-12 2014-11-28 성균관대학교산학협력단 로봇 핸드와 로봇 핸드에 부착된 카메라의 캘리브레이션 방법 및 장치
KR20160039066A (ko) * 2014-09-30 2016-04-08 현대중공업 주식회사 물체의 위치 측정 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076134A (ko) 2022-11-23 2024-05-30 포항공과대학교 산학협력단 집게 크레인 무인 자동화를 위한 3d 물체 위치 추정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220094250A (ko) 2022-07-06

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP6657469B2 (ja) ロボットシステムの自動較正方法
US11565427B2 (en) Robot system
CN106483963B (zh) 机器人***的自动标定方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US10618166B2 (en) Teaching position correction device and teaching position correction method
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
EP3011362B1 (en) Systems and methods for tracking location of movable target object
US7532949B2 (en) Measuring system
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US20160279800A1 (en) Robot, robot control device, and robotic system
EP1413850A2 (en) Optical sensor for measuring position and orientation of an object in three dimensions
JP6324025B2 (ja) 情報処理装置、情報処理方法
KR102451791B1 (ko) 영상 내 물체의 위치 추정 시스템 및 방법
JP5523392B2 (ja) キャリブレーション装置及びキャリブレーション方法
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
JP2015150636A (ja) ビジュアルフィードバックを利用したロボットシステム
JP2005149299A (ja) 教示位置修正装置
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
JP2013526423A (ja) マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
WO2015132981A1 (ja) 位置測定装置及び位置測定方法
JP3644991B2 (ja) ロボット−センサシステムにおける座標系結合方法
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
JP2019049467A (ja) 距離計測システムおよび距離計測方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right