KR101781515B1 - 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법 - Google Patents

다면체를 이용한 카메라 칼리브레이션 시스템 및 방법 Download PDF

Info

Publication number
KR101781515B1
KR101781515B1 KR1020150163440A KR20150163440A KR101781515B1 KR 101781515 B1 KR101781515 B1 KR 101781515B1 KR 1020150163440 A KR1020150163440 A KR 1020150163440A KR 20150163440 A KR20150163440 A KR 20150163440A KR 101781515 B1 KR101781515 B1 KR 101781515B1
Authority
KR
South Korea
Prior art keywords
camera
polyhedron
vertex
depth
image
Prior art date
Application number
KR1020150163440A
Other languages
English (en)
Other versions
KR20170059272A (ko
Inventor
김회율
최건우
김성록
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020150163440A priority Critical patent/KR101781515B1/ko
Publication of KR20170059272A publication Critical patent/KR20170059272A/ko
Application granted granted Critical
Publication of KR101781515B1 publication Critical patent/KR101781515B1/ko

Links

Images

Classifications

    • H04N13/0271—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0282—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법에 관한 것으로, 보다 구체적으로 이동하는 다면체의 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 RGB-D 카메라부, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제1 꼭지점 추출부, 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제2 꼭지점 추출부 및 상기 제1 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 제1 처리부를 포함하며, 3차원 물체인 다면체에서 3개의 면이 교차하는 지점인 꼭지점을 활용함으로써 카메라의 칼레브레이션 연산을 수행할 수 있다.

Description

다면체를 이용한 카메라 칼리브레이션 시스템 및 방법{CAMERA CALIBRATION SYSTEM AND METHOD}
본 발명은 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법에 관한 것으로, RGB-D 카메라로 구성된 카메라 시스템에서 동시 칼리브레이션을 하는 기술에 관한 것이다.
3차원 스캐닝 기술은 오랫동안 연구가 진행된 분야이며, 물체의 3차원 스캐닝을 위해서는 비교적 고가의 3차원 스캐너 장치가 필요하기 때문에 일반 상업용으로 적용하기에 어려움이 있었다.
그러나, 마이크로소프트사의 키넥트(Kinect)가 기존 장치 대비 저가로 출시되면서 3차원 스캐너 장치의 활용 범위가 크게 확대되고 있다.
3차원 스캐너 장치를 다양한 분야에 적용하기 위해서는 물체의 3차원 형상 획득과 동시에 색상 정보를 획득하는 것이 필요하다.
이를 위해 키넥트는 컬러 카메라와 깊이 카메라를 포함하는데, 이러한 카메라를 일반적으로 RGB-D 카메라라고 한다.
한편, 여러 대의 3차원 RGB-D 카메라를 동시에 사용하여 물체의 360도 전체의 3차원 스캐닝을 위한 연구도 진행되고 있다.
하나의 RGB-D 카메라를 통해서는 단일 시점에서만 물체의 형상을 획득할 수 있기 때문에 물체의 전체 형상과 색상 정보를 복원하기 어렵다.
반면에, 여러 대의 RGB-D 카메라를 사용하면 물체의 전체 형상을 복원할 수 있고 그 결과를 이용하여 정밀 동작인식, 360도 3차원 모델링, 가상피팅, 특수효과 등의 분야에 적용할 수 있는 장점이 있다.
RGB-D 카메라를 사용하기 위해서는 각 카메라의 시점을 하나의 단일 좌표계로 표현하거나 깊이 영상과 컬러 영상의 연관 관계를 도출하기 위한 카메라 칼리브레이션(Camera Calibration)이 필요하다.
현재 많이 사용되는 카메라 칼리브레이션 기법에는 Zhang의 기법, Herrera의 기법, DCCT(Depth Camera Calibration Toolbox) 기법 등이 있다.
도 1a 및 도 1b는 Zhang의 기법을 사용하는 것과 관련된 도면으로, 도 1a는 컬러 영상에서 코너점들을 찾은 도면이고, 도 1b는 깊이 영상에서 특징점들을 찾은 도면이다.
Zhang의 기법은 칼리브레이션을 하는데 3개 이상의 체크보드를 사용하며, 우선 깊이 영상과 컬러 영상에서 동일하게 찾을 수 있는 체크보드 자체의 코너와 같은 특징점을 이용하여 간단하게 칼리브레이션 행렬을 구한다.
그 다음, 체크보드 위에 존재하는 코너점들은 동일한 평면 위에 존재한다는 것을 이용하여 각 평면의 수직벡터를 구한 후 그 수직벡터들의 연관성을 이용하여 칼리브레이션 행렬을 개선시킨다.
도 2a 및 도 2b는 Herrera의 기법을 사용하는 것과 관련된 도면으로, 도 2a는 컬러 영상에서 코너점들을 찾은 도면이고, 도 2b는 깊이 영상에서 특징점들을 찾은 도면이다.
Herrera의 기법은 앞서 설명한 Zhang의 기법과 유사하지만, 추가적으로 깊이와 디스페리티 맵 간의 연관이 있다는 것을 포함시킨다.
다만, 위 Zhang의 기법과 Herrera의 기법에 사용되는 체크보드는 컬러 영상에서 코너점들을 찾기 용이하지만 깊이 영상에서 찾는 것은 어려우며, 체크보드의 검은색 무늬가 IR 광을 흡수하여 깊이 영상에서의 값이 부정확하게 측정되는 문제가 있다.
또한, 체크패턴이 있는 체크보드의 전면이 보이는 곳에서만 카메라 칼리브레이션이 가능한 한계점이 있다.
도 3a 및 도 3b는 DCCT 기법을 사용하는 것과 관련된 도면으로, 도 3a는 컬러 영상에서 구에 해당되는 원을 찾은 도면이고, 도 3b는 구에 해당되는 원을 찾은 뒤 그 중심을 찾은 도면이다.
DCCT 기법은 체크보드를 사용하지 않고 하나의 구를 사용하는데, 구는 방향이나 거리에 관계없이 원의 형태를 유지한다. 각 영상에서 보이는 원의 중심은 구의 중심이므로, 원의 중심을 찾고 중심점을 이용해서 칼리브레이션 행렬을 구할 수 있다.
다만, DCCT 기법에 사용되는 구는 곡면으로 형성되어 있어서, 빛을 쏘고 되돌아오는데 걸리는 시간을 측정하여 거리를 구하는 ToF 방식의 깊이 카메라에서는 볼 수 있는 구의 면이 한정적이며, 이러한 한정적인 구의 면만을 활용할 경우, 구의 중심을 정확하게 찾지 못하는 경우가 빈번하다.
또한, 깊이 영상의 특성상 원의 테두리가 불안정하게 나오는데, 이러한 이유로도 원의 중심이 부정확하게 측정될 수 있는 문제가 있다.
상기와 같은 문제점을 해결하기 위해, 본 발명은 3차원 물체인 다면체에서 3개의 면이 교차하는 지점인 꼭지점을 활용함으로써 카메라의 칼레브레이션 연산을 수행할 수 있는 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법을 제공하고자 함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다면체를 이용한 카메라 칼리브레이션 시스템은 이동하는 다면체의 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 RGB-D 카메라부, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제1 꼭지점 추출부, 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제2 꼭지점 추출부 및 상기 제1 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 제1 처리부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 제1 꼭지점 추출부 및 상기 제2 꼭지점 추출부는 각각 상기 깊이 영상 및 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 RGB-D 카메라부는 복수의 RGB-D 카메라로 구성되며, 상기 제1 처리부는 상기 복수의 RGB-D 카메라의 깊이 카메라와 컬러 카메라의 연관 관계를 동시에 도출하기 위한 칼리브레이션 연산을 수행하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 다면체를 이용한 카메라 칼리브레이션 시스템은 이동하는 다면체의 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 복수의 RGB-D 카메라부, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제1 꼭지점 추출부, 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제2 꼭지점 추출부, 상기 제1 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원하기 위한 복원부 및 상기 복원된 가상의 다각형을 기준으로 하여 상기 꼭지점 정보를 통해 상기 복수의 RGB-D 카메라부 사이의 위치 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 제2 처리부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 상기 제1 꼭지점 추출부 및 상기 제2 꼭지점 추출부는 각각 상기 깊이 영상 및 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 상기 가상의 다각형은 월드 좌표계를 기준으로 복원되는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 상기 꼭지점 정보는 다면체의 꼭지점을 중심으로 교차되는 세 면이 형성하는 모서리 벡터 정보를 더 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다면체를 이용한 카메라 칼리브레이션 방법은 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 RGB-D 카메라를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득하는 단계, 상기 깊이 영상 및 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계 및 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 다면체의 꼭지점 정보를 추출하는 단계는, 상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션을 수행하는 단계는, 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보의 동일성을 이용하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 RGB-D 카메라는 복수로 설치하고, 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계는, 상기 복수의 RGB-D 카메라의 동시 칼리브레이션을 수행하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는, 상기 컬러 영상에서 각 면의 색상이 다른 다면체의 색상 불연속으로 발생하는 모서리의 교점을 통해 추출하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는, 상기 깊이 영상에서 3차원 점군(Point Cloud)를 획득하고, 상기 3차원 점군이 이루는 평면을 추정한 후 각 평면의 교선을 통해 추출하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 다면체를 이용한 카메라 칼리브레이션 방법은 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 복수의 RGB-D 카메라부를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득하는 단계, 상기 깊이 영상 및 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계, 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원하는 단계 및 상기 복원된 가상의 다각형을 기준으로 하여 상기 꼭지점 정보에 포함된 좌표정보를 통해 상기 복수의 RGB-D 카메라부 사이의 위치 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 상기 다면체의 꼭지점 정보를 추출하는 단계는, 상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 상기 복수의 RGB-D 카메라부 사이의 위치 관계는 상기 다면체 꼭지점의 좌표 회전 및 평행이동 정보를 통해 도출하는 것을 특징으로 한다.
본 발명에 따르면, 3차원 물체인 다면체를 사용함으로써 카메라의 위치에 상관 없이 RGB-D 카메라의 컬러 카메라(30)와 영상 카메라를 칼리브레이션할 수 있을 뿐만 아니라 여러 대의 동기화된 RGB-D 카메라를 동시에 칼리브레이션할 수 있다.
또한, 추후에 다면체의 변의 길이를 안다면 동기화된 각 카메라들 간의 연관관계를 구할 수 있다.
또한, 본 발명에 따르면 각 카메라에서 촬영한 깊이 영상과 컬러 영상을 토대로 다면체를 3D 재구성할 수 있으며, 카메라들이 계속 같은 위치에 존재하다는 전제 하에 다른 물체 또한 3D 재구성할 수 있다.
도 1a는 Zhang의 기법에 관한 것으로서 컬러 영상에서 코너점들을 찾은 도면이다.
도 1b는 Zhang의 기법에 관한 것으로서 깊이 영상에서 특징점들을 찾은 도면이다.
도 2a는 Herrera의 기법에 관한 것으로서 컬러 영상에서 코너점들을 찾은 도면이다.
도 2b는 Herrera의 기법에 관한 것으로서 깊이 영상에서 특징점들을 찾은 도면이다.
도 3a는 DCCT 기법에 관한 것으로서 컬러 영상에서 구에 해당되는 원을 찾은 도면이다.
도 3b는 DCCT 기법에 관한 것으로서 구에 해당되는 원을 찾은 뒤 그 중심을 찾은 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라 칼리브레이션 시스템의 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 카메라 칼리브레이션 시스템의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 칼리브레이션 방법의 순서도이다.
도 7a는 본 발명의 일 실시예에 따라 컬러 카메라로 촬영된 정육면체의 컬러 영상을 나타낸 도면이다.
도 7b는 본 발명의 일 실시예에 따라 깊이 카메라로 촬영된 정육면체의 깊이 영상을 나타낸 도면이다.
도 8a는 본 발명의 일 실시예에 따라 컬러 영상에서 정육면체의 꼭지점을 추출하는 것을 나타내기 위한 도면이다.
도 8b는 본 발명의 일 실시예에 따라 깊이 영상에서 정육면체의 꼭지점을 추출하는 것을 나타내기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 카메라 칼리브레이션 방법의 순서도이다.
도 10은 본 발명의 다른 실시예에 따라 실제 데이터를 통해 추출된 3차원 꼭지점 좌표 및 모서리 벡터를 나타낸 도면이다.
도 11은 본 발명의 다른 실시예에 따라 월드 좌표계 상에서 복원된 가상의 다각형을 나타낸 도면이다.
도 12는 본 발명의 다른 실시예에 따라 각각의 카메라에서 획득한 점군을 하나의 좌표계로 나타낸 도면이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명하면 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 카메라 칼리브레이션 시스템의 구성도로서, RGB-D 카메라부(40), 제1 꼭지점 추출부(210), 제2 꼭지점 추출부(220) 및 제1 처리부(310) 등을 포함하는 것을 특징으로 한다.
상기 RGB-D 카메라부(40)는 컬러(RGB: red-green-blue) 영상 및 깊이(Depth) 영상을 촬영할 수 있으며, 상기 RGB-D 카메라는 RGB 카메라에 깊이 센서가 일체형으로 포함되거나 별도의 깊이 카메라를 포함하여 구성될 수 있다.
상기 RGB-D 카메라부(40)는 카메라의 시야 내에서 이동하는 다면체로부터 영상을 획득할 수 있다.
일반적인 카메라는 컬러 영상만을 획득하나, 본 발명의 일 실시예에 따라 사용되는 RGB-D 카메라부(40)는 깊이 영상을 획득하기 위한 깊이 카메라(20) 또는 깊이 센서와 컬러 영상을 획득하기 위한 컬러 카메라(30)를 포함할 수 있다.
이러한 깊이 영상과 컬러 영상은 시간상으로 연속된 프레임으로 구성될 수 있으며, 하나의 프레임은 하나의 이미지를 가질 수 있다.
상기 카메라에 의해 촬영되는 다면체의 컬러 영상과 깊이 영상은 후술하는 다면체의 꼭지점 정보를 검출하는데 사용되기 위해 별도의 저장장치(미도시)에 저장 및 갱신될 수 있다.
상기 컬러 카메라(30)와 상기 깊이 카메라(20)는 피사체에 해당되는 다면체를 동시에 촬영할 수 있으며, 상기 컬러 카메라(30)는 컬러 영상을 생성하고 상기 깊이 카메라(20)는 깊이 영상을 생성할 수 있다.
상기 깊이 카메라(20)는 적외선 송출부와 적외선 수신부를 포함할 수 있으며, 적외선 송출부에서 송출된 적외선이 피사체에 맞아 반사되면 적외선 수신부에서 수신하여 피사체의 깊이를 측정한다.
깊이 영상을 촬영하기 위해 설계조건에 따라 SwissRanger 4000, PMD[vision] CamCube, D-IMager 또는 Microsoft 사의 키넥트(Kinect) 등을 사용할 수 있다.
DCCT 기법에서 사용되는 구는 곡면으로 인해 깊이 영상에서 보이는 면이 한정적인 것과 달리, 곡면이 없는 다면체는 꼭지점을 통해 정확하게 한 지점을 찾을 수 있다.
상기 컬러 카메라(30)와 상기 깊이 카메라(20)는 각각 컬러 영상과 깊이 영상을 생성하여 제1 꼭지점 추출부(210) 및 제2 꼭지점 추출부(220)로 전송할 수 있다.
상기 제1 꼭지점 추출부(210)는 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 역할을 한다.
상기 제2 꼭지점 추출부(220)는 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 역할을 한다.
이때, 상기 꼭지점 정보는 다면체의 꼭지점을 중심으로 교차되는 세 면이 형성하는 모서리 벡터 정보를 더 포함할 수도 있다.
위와 같은 상기 제1 꼭지점 추출부(210) 및 상기 제2 꼭지점 추출부(220)는 통합된 하나의 꼭지점 추출부를 형성할 수 있으나, 별개의 구성으로 존재하여도 무방하다.
촬영 시에 상기 다면체는 정지하고 있는 것이 아니라 카메라의 시야 내에서 움직이므로 카메라의 시야 안에서 움직이는 다면체를 영상으로 촬영하여 칼리브레이션 행렬을 구하기 위해 사용할 수 있는 복수의 지점들을 찾을 수 있다.
즉, 상기 제1 꼭지점 추출부(210)는 상기 깊이 영상으로부터 복수의 꼭지점 정보를 추출할 수 있으며, 상기 제2 꼭지점 추출부(220)는 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있다.
상기 제1 처리부(310)는 상기 제1 꼭지점 추출부(210)에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부(220)에 의해 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라(20)와 상기 컬러 카메라(30)의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행할 수 있다.
상기 컬러 영상에서 추출한 꼭지점과 상기 깊이 영상에서 추출한 꼭지점은 다면체의 동일한 한 꼭지점을 쵤영한 것이므로, 이를 통해 깊이 카메라(20)와 컬러 카메라(30) 간의 연관성을 알 수 있다.
또한, 상기 컬러 카메라(30)와 상기 깊이 카메라(20)로부터 수신한 영상을 이용하여 상기 카메라 간의 기하학적 관계를 식별하고, 식별한 관계를 기초로 보정하는 것도 가능하다.
한편, 상기 RGB-D 카메라부(40)는 복수의 RGB-D 카메라로 구성되는 것도 가능하며, 이 경우 상기 제1 처리부(310)는 상기 복수의 RGB-D 카메라의 깊이 카메라(20)와 컬러 카메라(30)의 연관 관계를 동시에 도출하기 위한 칼리브레이션 연산을 수행할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 카메라 칼리브레이션 시스템의 구성도로서, 복수의 RGB-D 카메라부(40), 제1 꼭지점 추출부(210), 제2 꼭지점 추출부(220), 복원부(230) 및 제2 처리부(320) 등을 포함하는 것을 특징으로 한다.
이때, RGB-D 카메라부(40), 제1 꼭지점 추출부(210), 제2 꼭지점 추출부(220)에 대해서는 앞서 설명한 바와 같다.
상기 제1 꼭지점 추출부(210) 및 상기 제2 꼭지점 추출부(220)는 상기 RGB-D 카메라부(40)에서 획득한 컬러 영상과 깊이 영상으로부터 다면체의 꼭지점을 추출하여, 꼭지점에 대한 정보를 3차원 좌표값으로 나타낼 수 있다.
또한, 상기 제1 꼭지점 추출부(210) 및 상기 제2 꼭지점 추출부(220)는 각각 상기 깊이 영상 및 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있다.
위와 같은 꼭지점 정보, 구체적으로 꼭지점에 포함된 좌표 정보는 각각의 RGB-D 카메라 좌표계를 기준으로 하는 로컬 좌표계에 해당되며, 각각의 RGB-D 카메라 좌표계를 단일 좌표계인 월드 좌표계(world coordinate system)로 나타낼 필요가 있다.
각각의 카메라 좌표계를 하나의 좌표계로 나타내기 위해 탐색한 꼭지점을 가상의 다각형에 맵핑(mapping)할 필요가 있다.
이 과정에서, 상기 가상의 다각형을 기준으로 하여 각 꼭지점 좌표의 회전(Rotation), 평행이동(Translation) 정보를 얻을 수 있으며, 이것이 각 카메라의 위치 관계가 되는 것이다.
상기 복원부(230)는 상기 제1 꼭지점 추출부(210)에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부(220)에 의해 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원하는 역할을 한다.
이때, 상기 가상의 다각형은 월드 좌표계를 기준으로 3차원 상에서 복원되는 것을 특징으로 한다.
상기 제2 처리부(320)는 상기 복원된 가상의 다각형을 기준으로 하여 좌표 정보 등을 포함하는 상기 꼭지점 정보를 통해 상기 복수의 RGB-D 카메라부(40) 사이의 위치 관계를 도출하기 위한 칼리브레이션 연산을 수행할 수 있다.
이하, 본 발명의 실시예를 통하여 본 발명에 따른 카메라의 칼리브레이션 방법에 대해 더욱 상세하게 설명한다. 그러나 이들 실시 예는 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 범위가 이들 실시 예에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 카메라 칼리브레이션을 위해 다면체 중 정육면체를 사용하나, 이에 한정되는 것은 아니며, 다양한 형상의 다면체가 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 카메라 칼리브레이션 방법의 순서도를 나타낸다.
도 6을 참조하면, 먼저 깊이 영상을 획득하기 위한 깊이 카메라(20)와 컬러 영상을 획득하기 위한 컬러 카메라(30)를 포함하는 RGB-D 카메라를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득한다(S10).
도 7a는 본 발명의 일 실시예에 따라 컬러 카메라로 촬영된 정육면체의 컬러 영상을 나타낸 도면이고, 도 7b는 본 발명의 일 실시예에 따라 깊이 카메라로 촬영된 정육면체의 깊이 영상을 나타낸 도면이다.
그 다음, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출한다(S11).
이때, 상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것이 바람직하다.
도 8a는 본 발명의 일 실시예에 따라 컬러 영상에서 정육면체의 꼭지점을 추출하는 것을 나타내기 위한 도면이고, 도 8b는 본 발명의 일 실시예에 따라 깊이 영상에서 정육면체의 꼭지점을 추출하는 것을 나타내기 위한 도면이다.
도 8a를 참조하면, 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 것은, 상기 컬러 영상에서 각 면의 색상이 다른 다면체의 색상 불연속으로 발생하는 모서리의 교점을 통해 추출할 수 있다.
즉, 다면체의 각 면의 색상이 다르다는 점을 이용하는 것이며, 색상의 불연속으로 발생하는 모서리를 찾고 그 교점인 꼭지점을 탐색하는 것이다.
이 과정에서, 색상이 서로 다른 세 면의 배치를 통해 해당 꼭지점이 다각형의 어떤 꼭지점을 나타내는지 알 수 있다.
도 8b를 참조하면, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 것은, 상기 깊이 영상에서 3차원 점군(Point Cloud)를 획득하고, 상기 3차원 점군이 이루는 평면을 추정한 후 각 평면의 교선을 통해 추출할 수 있다.
상기 깊이 카메라(20)를 통해 얻은 영상은 밝기가 곧 카메라로부터의 거리를 의미하므로 각 픽셀의 3차원 좌표를 알 수 있는데, 이러한 3차원 점들의 모임을 점군(Point cloud)이라고 한다.
즉, 상기 꼭지점 정보는 상기 깊이 영상에서 3차원 점군(Point Cloud)를 획득하고, RANSAC(Random Sample Consensus) 등의 방법을 통해 상기 3차원 점군이 이루는 평면을 추정한 후 각 평면의 교차선이 만나는 교차점을 통해서도 추출할 수 있다.
그 후, 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라(20)와 상기 컬러 카메라(30)의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행한다(S12).
각 영상에서 찾아낸 꼭지점을 동일한 한 꼭지점을 촬영한 것이므로 깊이 카메라(20)와 컬러 카메라(30) 간에 어떤 연관이 있는지 알 수 있다.
즉, 상기 깊이 카메라(20)와 상기 컬러 카메라(30)의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 것은, 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보의 동일성을 이용하는 것을 특징으로 한다.
한편, 상기 RGB-D 카메라는 복수로 설치될 수 있으며, 이 경우 상기 복수의 RGB-D 카메라의 동시 칼리브레이션 연산을 수행하는 것이 가능하다.
도 9는 본 발명의 다른 실시예에 따른 카메라 칼리브레이션 방법의 순서도를 나타낸다.
도 9를 참조하면, 먼저 깊이 영상을 획득하기 위한 깊이 카메라(20)와 컬러 영상을 획득하기 위한 컬러 카메라(30)를 포함하는 복수의 RGB-D 카메라부(40)를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득한다(S20).
다면체의 컬러 영상 및 깊이 영상을 촬영하기 위해서는 복수의 RGB-D 카메라부(40)를 지지대에 부착하여 시점의 이동이 없도록 설치할 수 있다.
이때, 각 카메라의 영상획득 방향이 90도를 이루도록 설치함으로써 다면체의 360도 전 방향에 대한 영상을 획득할 수 있도록 하며, 다면체와의 거리는 대략 1~2m로 유지할 수 있으나, 이러한 구성이 아닌 다른 구성에서도 본 발명에서 제안하는 방법으로 칼리브레이션 연산을 수행할 수 있다.
그 다음, 상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는데(S21), 상기 꼭지점 정보는 각각의 카메라 시점을 기준으로 하는 로컬 좌표계를 기준으로 한다.
이때, 상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것이 바람직하다.
도 10은 본 발명의 다른 실시예에 따라 실제 데이터를 통해 추출된 3차원 꼭지점 좌표 및 모서리 벡터를 나타낸 도면이다.
상기 꼭지점 정보는 다면체의 꼭지점을 중심으로 교차되는 세 면이 형성하는 모서리 벡터 정보를 더 포함할 수 있다.
이때, 각각의 카메라에서 획득되는 정보는 모두 로컬 좌표계로 표현되기 때문에 각 시점의 정보를 하나의 공통된 월드 좌표계로 변환할 필요가 있다.
이를 위해, 복수의 카메라 중 하나의 카메라를 선정하고 그 카메라의 로컬 좌표계를 사용하거나, 새로운 3차원 월드 좌표계를 사용할 수 있다.
상기 다면체의 꼭지점 좌표나 모서리 벡터는 실제 다각형과 동일한 크기를 가지는 가상의 다각형 좌표계로 변환될 수 있는데, 이는 각각의 카메라로부터 관찰될 수 있는 꼭지점 간의 거리에 대한 MSE(Mean Square Error)를 최소화하기 위함이다.
그 후, 상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원한다(S22).
그 다음, 상기 복원된 가상의 다각형을 기준으로 하여 상기 꼭지점 정보에 포함된 좌표 정보를 통해 상기 복수의 RGB-D 카메라부 사이의 위치 관계를 도출하기 위한 칼레브레이션 연산을 수행한다(S23).
도 11은 본 발명의 다른 실시예에 따라 월드 좌표계 상에서 복원된 가상의 다각형을 나타낸 도면이다.
도 11을 참조하면, 복수의 RGB-D 카메라를 구성하는 제1 카메라(110), 제2 카메라(120), 제3 카메라(130) 및 제4 카메라(140)가 단일의 월드 좌표계 상에 위치하며, 상기 제1 카메라(110)에서 추출된 제1 꼭지점(11), 상기 제2 카메라(120)에서 추출된 제2 꼭지점(12), 상기 제3 카메라(130)에서 추출된 제3 꼭지점(13), 상기 제4 카메라(140)에서 추출된 제4 꼭지점(14)과 모서리 좌표 등을 토대로 가상의 다각형에 맵핑한다.
이 과정에서, 가상의 다각형을 기준으로 하여 각 꼭지점이나 모서리 좌표 정보를 통해 상기 RGB-D 카메라부(40) 사이의 위치 관계를 도출할 수 있다.
구체적으로, 다면체 꼭지점 좌표의 회전(Rotation) 및 평행이동(Translation) 정보를 통해 도출 가능하다.
이는 곧 외부 파라미터(extrinsic parameter)를 얻는 과정을 나타내는 것인데, 외부 파라미터는 월드 좌표계와 로컬 좌표계 간의 변환을 위한 회전, 이동 변환 행렬을 의미하며, 카메라의 설치 높이, 방향 등 카메라와 외부 공간과의 기하학적인 관계에 관련된 파라미터이다.
도 12는 본 발명의 다른 실시예에 따라 각각의 카메라에서 획득한 점군을 하나의 좌표계로 나타낸 결과를 나타내는 것이다.
점군은 깊이 카메라(20)를 이용하는 3차원 스캐냉을 통해 생성된 점들의 집합으로 해석될 수 있으며, 적어도 하나 이상의 깊이 카메라(20)를 통해 획득한 점군은 적어도 하나 이상의 점 및 상기 적어도 하나 이상의 점에 대한 깊이 값 인텐시티(intensity)를 포함할 수 있다.
무수히 많은 컬러와 좌표 데이터들이 모여서 공간적인 구성을 이루는 점군은 밀도가 높아질수록 점점 더 구체적인 데이터가 되면서 하나의 3차원 모델로서의 의미를 가질 수 있다.
여기에 ICP(Iterative Closest Point algorithm) 등의 추가적인 작업을 통해 보정 결과를 향상시킬 수 있다. 이 때, ICP란 대강 맞춰놓은 점군으로부터 인접한 점들 간의 거리를 최소화시킬 수 있도록 파라미터를 반복적으로 재조정하는 방법을 의미한다.
상기와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
11: 제1 꼭지점
12: 제2 꼭지점
13: 제3 꼭지점
14: 제4 꼭지점
20: 깊이 카메라
30: 컬러 카메라
40: RGB-D 카메라부
100: 카메라 칼리브레이션 시스템
110: 제1 카메라
120: 제2 카메라
130: 제3 카메라
140: 제4 카메라
210: 제1 꼭지점 추출부
220: 제2 꼭지점 추출부
230: 복원부
310: 제1 처리부
320: 제2 처리부

Claims (16)

  1. 이동하는 다면체의 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 RGB-D 카메라부;
    상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제1 꼭지점 추출부;
    상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제2 꼭지점 추출부; 및
    상기 제1 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 제1 처리부를 포함하며,
    상기 꼭지점 정보는 다면체의 꼭지점을 중심으로 교차되는 세 면이 형성하는 모서리 벡터 정보를 더 포함하고,
    상기 제1 꼭지점 추출부 및 상기 제2 꼭지점 추출부는 각각 상기 깊이 영상 및 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 RGB-D 카메라부는 복수의 RGB-D 카메라로 구성되며,
    상기 제1 처리부는 상기 복수의 RGB-D 카메라의 깊이 카메라와 컬러 카메라의 연관 관계를 동시에 도출하기 위한 칼리브레이션 연산을 수행하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 시스템.
  4. 이동하는 다면체의 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 복수의 RGB-D 카메라부;
    상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제1 꼭지점 추출부;
    상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하기 위한 제2 꼭지점 추출부;
    상기 제1 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보와 상기 제2 꼭지점 추출부에 의해 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원하기 위한 복원부; 및
    상기 복원된 가상의 다각형을 기준으로 하여 상기 꼭지점 정보를 통해 상기 복수의 RGB-D 카메라부 사이의 위치 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 제2 처리부를 포함하며,
    상기 꼭지점 정보는 다면체의 꼭지점을 중심으로 교차되는 세 면이 형성하는 모서리 벡터 정보를 더 포함하고,
    상기 제1 꼭지점 추출부 및 상기 제2 꼭지점 추출부는 각각 상기 깊이 영상 및 상기 컬러 영상으로부터 복수의 꼭지점 정보를 추출할 수 있는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 시스템.
  5. 삭제
  6. 제4항에 있어서,
    상기 가상의 다각형은 월드 좌표계를 기준으로 복원되는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 시스템.
  7. 삭제
  8. 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 RGB-D 카메라를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득하는 단계;
    상기 깊이 영상 및 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계; 및
    상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 매칭하여 상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계를 포함하며,
    상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 컬러 영상에서 각 면의 색상이 다른 다면체의 색상 불연속으로 발생하는 모서리의 교점을 통해 추출하고,
    상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 깊이 영상에서 3차원 점군(Point Cloud)를 획득하고, 상기 3차원 점군이 이루는 평면을 추정한 후 각 평면의 교선을 통해 추출하고,
    상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션을 수행하는 단계는,
    상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보의 동일성을 이용하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 방법.
  11. 제8항에 있어서,
    상기 RGB-D 카메라는 복수로 설치하고,
    상기 깊이 카메라와 상기 컬러 카메라의 연관 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계는,
    상기 복수의 RGB-D 카메라의 동시 칼리브레이션 연산을 수행하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 방법.
  12. 삭제
  13. 삭제
  14. 깊이 영상을 획득하기 위한 깊이 카메라와 컬러 영상을 획득하기 위한 컬러 카메라를 포함하는 복수의 RGB-D 카메라부를 설치하고 카메라 시야 내에서 하나의 다면체를 이동시켜 깊이 영상 및 컬러 영상을 획득하는 단계;
    상기 깊이 영상 및 상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계;
    상기 깊이 영상으로부터 추출된 상기 다면체의 꼭지점 정보와 상기 컬러 영상으로부터 추출된 상기 다면체의 꼭지점 정보를 이용하여 3차원 상에서 가상의 다각형을 복원하는 단계; 및
    상기 복원된 가상의 다각형을 기준으로 하여 상기 꼭지점 정보에 포함된 좌표정보를 통해 상기 복수의 RGB-D 카메라부 사이의 위치 관계를 도출하기 위한 칼리브레이션 연산을 수행하는 단계를 포함하며,
    상기 컬러 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 컬러 영상에서 각 면의 색상이 다른 다면체의 색상 불연속으로 발생하는 모서리의 교점을 통해 추출하고,
    상기 깊이 영상으로부터 상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 깊이 영상에서 3차원 점군(Point Cloud)를 획득하고, 상기 3차원 점군이 이루는 평면을 추정한 후 각 평면의 교선을 통해 추출하고,
    상기 다면체의 꼭지점 정보를 추출하는 단계는,
    상기 깊이 영상 및 상기 컬러 영상으로부터 칼리브레이션 행렬을 구하기 위한 대응점에 해당되는 복수의 꼭지점을 추출하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 복수의 RGB-D 카메라부 사이의 위치 관계는 상기 다면체 꼭지점의 좌표 회전 및 평행이동 정보를 통해 도출하는 것을 특징으로 하는 다면체를 이용한 카메라 칼리브레이션 방법.




KR1020150163440A 2015-11-20 2015-11-20 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법 KR101781515B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163440A KR101781515B1 (ko) 2015-11-20 2015-11-20 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163440A KR101781515B1 (ko) 2015-11-20 2015-11-20 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170059272A KR20170059272A (ko) 2017-05-30
KR101781515B1 true KR101781515B1 (ko) 2017-09-25

Family

ID=59052993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163440A KR101781515B1 (ko) 2015-11-20 2015-11-20 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101781515B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628968B1 (en) 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347600B (zh) * 2018-03-05 2020-01-07 上海复瞻智能科技有限公司 工业相机校正方法及***
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN113433533B (zh) * 2021-07-09 2024-04-19 上海研鼎信息技术有限公司 一种tof摄像头测试装置及其测试方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628968B1 (en) 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset

Also Published As

Publication number Publication date
KR20170059272A (ko) 2017-05-30

Similar Documents

Publication Publication Date Title
CN109561296B (zh) 图像处理装置、图像处理方法、图像处理***和存储介质
US10659750B2 (en) Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
EP2615580B1 (en) Automatic scene calibration
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN104408732B (zh) 一种基于全向结构光的大视场深度测量***及方法
US9396542B2 (en) Method of estimating imaging device parameters
CN104395932B (zh) 对准数据的方法
US10846844B1 (en) Collaborative disparity decomposition
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
KR101781515B1 (ko) 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
Weinmann et al. Fully automatic image-based registration of unorganized TLS data
CN109064533B (zh) 一种3d漫游方法及***
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
JP2018036884A (ja) 光源推定装置及びプログラム
Matiukas et al. Point cloud merging for complete 3D surface reconstruction
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
Hachiuma et al. Recognition and pose estimation of primitive shapes from depth images for spatial augmented reality
JP2016218920A (ja) 情報処理装置、情報処理方法及びプログラム
Kim et al. Projection-based registration using a multi-view camera for indoor scene reconstruction
Barone et al. 3D virtual reconstructions of artworks by a multiview scanning process

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant