KR102002228B1 - 동적 객체 검출 장치 및 방법 - Google Patents
동적 객체 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR102002228B1 KR102002228B1 KR1020170170348A KR20170170348A KR102002228B1 KR 102002228 B1 KR102002228 B1 KR 102002228B1 KR 1020170170348 A KR1020170170348 A KR 1020170170348A KR 20170170348 A KR20170170348 A KR 20170170348A KR 102002228 B1 KR102002228 B1 KR 102002228B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- frame image
- frame
- motion
- transformed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 111
- 230000003287 optical effect Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000012805 post-processing Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 9
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
동적 객체 검출 장치 및 방법이 개시된다. 개시된 장치는, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부; 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이다. 개시된 장치 및 방법에 의하면, 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 장점이 있다.
Description
본 발명의 실시예들은 동적 객체 검출 장치 및 방법에 관한 것으로서, 더욱 상세하게는 3차원 지도 생성을 위한 획득하는 영상으로부터 동적 객체를 검출하는 장치 및 방법에 관한 것이다.
근래에 들어 자율 주행 자동차에 대한 연구가 진행됨에 따라 자동차에 여러 센서들을 장착하여 학습을 통해 정교한 3차원 지도를 생성하는 연구가 활발히 진행되고 있다.
자동차에 카메라를 장착하여 획득한 영상을 통해 생성하는 3차원 지도는 배경 정보만을 포함하여야 하며, 움직이는 자동차나 보행자와 같은 객체는 지도에서 제될 필요가 있다.
그러나, 카메라 센서에서 취득된 영상을 그대로 3차원 지도 생성에 이용할 경우, 이러한 동적 객체들이 그대로 지도에 남기 때문에 이를 검출하여 제거할 필요가 있다.
이와 같은 동적 객체를 검출하는 기술로 대표적인 기술이 광학 플로우(Optical Flow) 영상을 이용하는 것이다.광학 플로우 영상은 현재 프레임과 다음 프레임간의 차이를 이용하여 광학 플로우를 연산하여 생성되고 이를 이용하여 동적 객체를 검출하도록 한다.
이러한 이와 같은 광학 플로우 영상은 카메라가 정지된 상태에서는 효과적으로 동적 객체를 검출할 수 있으나 3차원 지도를 제작하는 경우와 같이 움직이는 상태에서 영상이 획득될 경우 적절히 동적 객체를 검출할 수 없는 문제점이 있었다.
본 발명은 카메라가 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 방법 및 장치를 제안한다.
본 발명의 일 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부; 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상인 동적 객체 검출 장치가 제공된다.
상기 카메라 움직임 검출부는 회전 움직임 및 직선 움직임을 독립적으로 검출한다.
상기 변환 영상 생성부는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성한다.
상기 변환 영상 생성부는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환한다.
위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀 좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
상기 변환 영상 생성부는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 장치.
위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 변환을 의미하고, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성한다.
상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성한다.
상기 동적 객체 검출 장치는 상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 후처리부를 더 포함한다.
본 발명의 다른 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부; 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되,상기 카메라 움직임 검출부는 회전 움직임 및 직선 움직임을 독립적으로 검출하는 동적 객체 검출 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 단계(a); 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 단계(b); 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 단계(c); 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 단계(d); 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 단계(e); 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 단계(f)를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상인 동적 객체 검출 방법이 제공된다.
본 발명에 의하면, 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 동적 객체 검출 장치의 개략적 구조를 도시한 블록도.
도 2는 본 발명의 일 실시예에 따라 검출되는 회전 움직임과 직선 움직임을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따라 검출되는 회전 움직임의 성분을 설명하기 위한 도면.
도 4는 월드 좌표계와 카메라를 통해 획득되는 이미지간의 관계를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 동적 객체 검출 방법의 전체적인 흐름을 도시한 순서도.
도 2는 본 발명의 일 실시예에 따라 검출되는 회전 움직임과 직선 움직임을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따라 검출되는 회전 움직임의 성분을 설명하기 위한 도면.
도 4는 월드 좌표계와 카메라를 통해 획득되는 이미지간의 관계를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 동적 객체 검출 방법의 전체적인 흐름을 도시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 동적 객체 검출 장치의 개략적 구조를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동적 객체 검출 장치는 스테레오 영상 획득부(100), 카메라 움직임 검출부(110), 깊이 정보 연산부(120), 변환 영상 생성부(130), 광학 플로우 영상 생성부(140), 후처리부(150) 및 동적 객체 검출부(160)를 포함한다.
본 발명의 일 실시예에 따른 동적 객체 검출 장치는 차량에 설치되어 3차원 지도를 제작하는데 사용될 수 있다. 3차원 지도를 제작하기 위해 차량에서 영상을 획득할 경우 차량이 움직이는 상태이기에 획득하는 영상으로부터 동적 객체만을 검출하는 것은 어려운 작업이다. 물론, 이와 같은 용도 이외에도 움직이면서 획득한 영상으로부터 동적 객체를 검출할 필요가 있다면 이와 다른 다양한 용도로 사용될 수 있을 것이다.
스테레오 영상 획득부(100)는 스테레오 카메라를 이용하여 스테레오 영상을 획득한다. 스테레오 영상 획득부(100)는 좌영상 획득을 위한 제1 카메라 장치와 우영상 획득을 위한 제2 카메라 장치를 포함하여 좌영상 및 우영상을 독립적으로 획득한다.
본 발명은 움직임을 반영하여 동적 객체를 검출하여야 하며 추후 설명하겠지만 이 경우 촬영된 영상으로부터 깊이 정보를 획득하여야 하고, 이를 위해 둘 이상의 카메라를 이용하여 스테레오 영상을 획득한다.
카메라 움직임 검출부(110)는 카메라의 움직임을 검출하며 추후 설명하는 변환 영상을 생성하기 위해 카메라 움직임을 검출한다.
카메라가 차량에 고정되어 있다면 차량의 움직임으로 임해 카메라의 움직임이 발생할 수 있으며 카메라 자체의 움직임으로 인해 움직임이 발생할 수도 있다.
카메라 움직임 검출부(110)는 스테레오 영상 획득부로부터 획득하는 영상의 프레임들 중 제1 프레임 영상과 제2 프레임 영상 사이에 발생하는 카메라의 움직임을 검출한다.
카메라 움직임 검출부(110)는 카메라의 움직임 정보를 검출하게 되는데 본 발명은 카메라의 움직임을 두 개의 움직임으로 구분하여 검출한다. 첫 번째 카메라의 움직임은 카메라의 회전 움직임이고 두 번째 카메라 움직임은 직선 움직임이다. 회전 움직임과 직선 움직임의 조합이 실질적인 카메라의 움직임으로 볼 수 있으나, 본 발명은 이를 구분하여 검출한다.
도 2는 본 발명의 일 실시예에 따라 검출되는 회전 움직임과 직선 움직임을 설명하기 위한 도면이다.
도 2의 (a)는 카메라의 실제 움직임을 나타낸 도면이고, (b)는 (a)의 움직임 중 카메라의 직선 움직임을 나타낸 도면이며, (c)는 (a)의 움직임 중 회전 움직임만을 나타낸 도면이다.
도 2에 도시된 바와 같이, 카메라의 움직임은 회전 움직임과 직선 움직임의 합으로 표현되며, 카메라 움직임 검출부(110)는 도 2에 도시된 바와 같은 직선 움직임과 회전 움직임을 각각 독립적으로 검출한다.
본 발명의 바람직한 실시예에 따르면, 카메라의 움직임은 가속도 센서와 같은 알려진 다양한 센서를 이용하여 검출될 수 있을 것이다.
회전 움직임은 yaw, pitch, roll의 세 가지 성분에 대한 움직임을 포함하며, 직선 움직임은 x축, y축, z축 방향으로의 움직임을 포함한다.
도 3은 본 발명의 일 실시예에 따라 검출되는 회전 움직임의 성분을 설명하기 위한 도면이다.
도 3을 참조하면, roll은 대상체의 특정 길이 방향(예를 들어, z축)을 기준으로 자가 회전하는 움직임을 의미한다. yaw는 대상체가 좌우 방향(예를 들어, x축)으로 회전하는 움직임을 의미한다. 또한, pitch는 대상체가 상하 방향(예를 들어, y축)으로 회전하는 움직임을 의미한다.
깊이 정보 연산부(120)는 획득하는 영상의 깊이 정보를 연산하며, 픽셀별로 깊이 정보를 연산한다. 스테레오 영상을 이용하여 깊이 정보를 획득하는 다양한 연산 방식이 사용될 수 있을 것이다. 예를 들어, 좌영상과 우영상의 차영상에 기초하여 변이를 추정하고, 추정된 변이에 기초하여 픽셀별 깊이 정보를 연산할 수 있을 것이다. 깊이 정보 연산부(120)는 제1 프레임 영상의 좌영상 및 우영상을 이용하여 제1 프레임 영상의 깊이 정보를 연산한다.
변환 영상 생성부(130)는 구분되어 획득한 회전 움직임 및 직선 움직임에 기초하여 변환 정보를 생성하고, 이에 기초하여 변환 영상을 생성한다. 여기서, 변환 정보는 획득하는 제1 프레임 영상과 제2 프레임 영상 사이에 발생하는 움직임에 기초하여 제1 프레임 영상을 변환시키기 위한 정보이며, 제1 프레임 영상의 스테레오 영상 중 어느 하나의 영상(예를 들어, 좌영상)에 대해 변환을 수행한다.
이와 같은 변환 정보는 제1 프레임 영상과 제2 프레임 영상에 있는 객체들 중 고정 객체와 동적 객체를 구분하기 위해 생성되는 정보이다.
결국, 변환 정보는 제1 프레임 영상(좌영상)의 각 픽셀들을 검출된 카메라 움직임에 기초하여 어떻게 변환시킬 것인가에 대한 정보이며, 변환 영상은 검출된 카메라 움직임이 있을 경우 제1 프레임 영상이 어떻게 변화될 것인가를 예측한 영상이라고 할 수 있다.
이와 같은 변환 영상의 생성을 위해서는 월드 좌표계와 이미지 좌표계간의 관계를 이용하여야 한다. 본 명세서에서는 월드 좌표계는 (X, Y, Z)로 표현하기로 하며, 획득되는 이미지의 픽셀 좌표는 (u,v)로 표현하기로 한다.
도 4는 월드 좌표계와 카메라를 통해 획득되는 이미지간의 관계를 설명하기 위한 도면이다.
도 4를 참조하면, f는 카메라 렌즈와 이미지 평면 사이의 거리, 즉 초점 거리를 의미한다. 또한, d는 물체와 카메라 렌즈 사이의 거리를 나타낸다. FoV(Eield of View)는 카메라의 시야각을 의미하며, 앞서 설명한 바와 같이, (u,v)는 영상의 좌표이다.
도 4에서, 월드 좌표계의 단위는 실제 거리인 미터이고, (u,v)의 단위는 픽셀이 된다. 도 4와 같은 관계에 있을 때, 월드 좌표계와 영상 픽셀간의 관계식은 다음의 수학식 1과 같다.
월드 좌표계와 이미지 좌표가 위와 같은 관계에 있다는 점에 기초하여 카메라의 움직임에 기초하여 변환 영상을 생성하는 방법을 설명한다.
검출된 회전 움직임(yaw, pitch, roll)에 기초하여 영상(구체적으로 제1 프레임 영상의 좌영상) 픽셀 좌표 u에 대한 회전 움직임으로 인한 변환(ru) 및 픽셀 좌표v에 대한 회전 움직임으로 인한 변환(rv)은 다음의 수학식 2와 같이 이루어진다.
위 수학식 2에서, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미한다.
한편, 직선 움직임(tx, ty, tz)에 따른 제1 프레임 영상 좌표 (u,v)의 변환인 tu 및 tv는 다음의 수학식 3과 같이 이루어진다.
위 수학식에서, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 이미지의 y축 높이(y축 픽셀수)를 나타내고 width는 이미지의 x축 너비(x축 픽셀수)를 나타낸다
수학식 2에 따른 회전 변환과 수학식 3에 따른 직선 변환은 독립적으로 이루어진다. 이는 변환의 순서에 무관하게 순차적으로 변환이 이루어지면 무방하다는 것을 의미하며, 일례로 회전 변환을 먼저 수행한 후 직선 변환을 수행할 수 있을 것이며 그 역으로 변환이 이루어져도 무방하다.
이와 같이 생성되는 변환 영상을 통해 고정 객체들이 검출된 카메라 움직임에 따라 제2 프레임 영상(좌영상)에서 어떻게 그 위치가 이동할 것인가를 예측할 수 있다.
변환 영상 생성부(130)에 의해 변환 영상을 생성하면 광학 플로우 영상 생성부(140)는 변환 영상과 제2 프레임 영상을 이용하여 광학 플로우 영상을 생성한다. 광학 플로우 영상은 변환 영상과 제2 프레임 영상의 차영상을 이용하여 생성된다. 두 개의 영상을 이용하여 광학 플로우 영상을 생성하는 다양한 방법이 알려져 있으며, 어떠한 방법에 의해서도 광학 플로우 영상을 생성할 수 있을 것이다.
일례로, 광학 플로우 영상은 Lukas-kanade 방식을 이용하여 생성될 수도 있으며, Flownet과 같은 딥러닝 모델을 이용하여 생성될 수도 있을 것이다.
변환 영상 생성부(130)에 의해 생성된 변환 영상은 카메라의 움직임을 반영한 영상이기에 정적 객체는 변환 영상과 제2 프레임 영상에 그 위치가 동일하게 나타난다. 그러나, 동적 객체는 변환 영상과 제2 프레임 영상에서 그 위치가 상이하게 나타나게 된다.
후처리부(150)는 정확한 동적 객체 인식을 위해 변환 영상에 대한 후처리를 수행한다. 광학 플로우 영상의 외곽선 부분은 명확하지 않을 수 있으며 이로 인해 동적 객체 영역의 검출이 어려울 수 있으며, 후처리부(150)는 정확한 동적 객체 영역 검출을 위한 후처리를 수행한다.
본 발명의 일 실시예에 따르면, 침식(Erosion) 및 팽창(Dialation) 필터를 이용한 필터링을 통해 후처리를 수행할 수 있다. 확장 필터는 영상 내 물체의 가장자리에 픽셀을 추가하는 필터를 의미하며, 침식 필터는 영상 내 물체의 가장자리의 픽셀을 제거하는 필터이다. 본 발명은 이 두 개의 필터를 조합하여 후처리를 수행할 수 있다. 필요에 따라 후처리가 생략될 수도 있다는 점은 당업자에게 있어 자명할 것이다.
동적 객체 검출부(160)는 후처리가 완료된 광학 플로우 영상으로부터 동적 객체를 검출한다. 광학 플로우 영상은 바이너리 형태의 영상으로서 광학 플로우 영상에서 다른 색상을 가지는 영역의 객체를 동적 객체로 검출한다.
이와 같이 검출되는 동적 객체는 다양한 형태로 활용될 수 있다. 앞서 설명한 바와 같이 3D 지도 제작 시 동적 객체를 제거하는데 사용될 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 동적 객체 검출 방법의 전체적인 흐름을 도시한 순서도이다.
도 5를 참조하면, 우선 카메라를 이용하여 스테레오 영상을 획득한다(단계 500). 카메라를 이용하여 제1 프레임 영상 및 제2 프레임 영상을 획득하게 된다.
제1 프레임 영상 및 제2 프레임 영상이 획득하면서, 두 프레임 사이에 발생하는 카메라 움직임을 검출한다(단계 502). 본 발명은 카메라의 움직임을 회전 움직임과 직선 움직임으로 구분하여 검출한다.
한편, 획득한 스테레오 영상으로부터 제1 프레임 영상(스테레오 영상 중 좌영상)의 픽셀별 깊이 정보를 획득한다(단계 504).
픽셀별 깊이 정보 및 카메라 움직임 정보를 기초하여 제1 프레임 영상(스테레오 영상 중 좌영상)에 대한 변환 영상을 생성한다(단계 506). 변환 영상은 제1 프레임 영상에 대한 회전 변환과 직선 변환을 순차적으로 수행하면서 생성할 수 있다. 회전 변환은 수학식 2와 같이 이루어질 수 있으며, 직선 변환은 수학식 3과 같이 이루어질 수 있다.
변환 영상이 생성되면, 변환 영상과 제2 프레임 영상(스테레오 영상 중 좌영상)을 이용하여 광학 플로우 영상을 생성한다(단계 508). 앞서 설명한 바와 같이, 변환 영상과 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성한다.
광학 플로우 영상이 생성되면, 객체 영역을 보다 명확히 하기 위한 후처리를 수행하며, 앞서 설명한 바와 같이 일례로 침식 필터 및 확장 필터가 후처리를 위해 사용될 수 있다(단계 510).
후처리가 완료된 광학 플로우 영상으로부터 동적 객체를 검출한다(단계 512).
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Claims (18)
- 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부;
제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부;
상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부;
상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부;
상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및
상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되,
상기 카메라 움직임 검출부는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,
상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,
상기 변환 영상 생성부는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하고,
상기 변환 영상 생성부는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 장치.
위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀 좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 장치.
- 삭제
- 제1항에 있어서,
상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 후처리부를 더 포함하는 것을 특징으로 하는 동적 객체 검출 장치.
- 삭제
- 삭제
- 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 단계(a);
제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 단계(b);
상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 단계(c);
상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 단계(d);
상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 단계(e); 및
상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 단계(f)를 포함하되,
상기 단계(b)는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,
상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,
상기 단계(d)는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하며,
상기 단계(d)는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 방법.
위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀 좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
- 삭제
- 삭제
- 삭제
- 제11항에 있어서,
상기 단계(e)는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 방법.
- 삭제
- 제11항에 있어서,
상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 동적 객체 검출 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170170348A KR102002228B1 (ko) | 2017-12-12 | 2017-12-12 | 동적 객체 검출 장치 및 방법 |
PCT/KR2017/014775 WO2019117374A1 (ko) | 2017-12-12 | 2017-12-14 | 동적 객체 검출 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170170348A KR102002228B1 (ko) | 2017-12-12 | 2017-12-12 | 동적 객체 검출 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190069958A KR20190069958A (ko) | 2019-06-20 |
KR102002228B1 true KR102002228B1 (ko) | 2019-07-19 |
Family
ID=66819680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170170348A KR102002228B1 (ko) | 2017-12-12 | 2017-12-12 | 동적 객체 검출 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102002228B1 (ko) |
WO (1) | WO2019117374A1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669294B (zh) * | 2020-12-30 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 相机遮挡检测方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464489B1 (ko) * | 2013-05-24 | 2014-11-25 | 모본주식회사 | 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100574227B1 (ko) * | 2003-12-18 | 2006-04-26 | 한국전자통신연구원 | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 |
KR100519782B1 (ko) * | 2004-03-04 | 2005-10-07 | 삼성전자주식회사 | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 |
KR20080107345A (ko) * | 2008-11-26 | 2008-12-10 | (주) 비전에스티 | 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법 |
KR101532320B1 (ko) * | 2014-04-18 | 2015-07-22 | 국방과학연구소 | 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법 |
-
2017
- 2017-12-12 KR KR1020170170348A patent/KR102002228B1/ko active IP Right Grant
- 2017-12-14 WO PCT/KR2017/014775 patent/WO2019117374A1/ko active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464489B1 (ko) * | 2013-05-24 | 2014-11-25 | 모본주식회사 | 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20190069958A (ko) | 2019-06-20 |
WO2019117374A1 (ko) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
JP4899424B2 (ja) | 物体検出装置 | |
JP6014440B2 (ja) | 移動物体認識装置 | |
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
CN107121132B (zh) | 求取车辆环境图像的方法和设备及识别环境中对象的方法 | |
US20140204205A1 (en) | Method for measuring the height profile of a vehicle passing on a road | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制***、移动对象、信息处理方法和计算机可读记录介质 | |
KR102507248B1 (ko) | 에고모션 추정 시스템 및 방법 | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
WO2017138245A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
KR20150008056A (ko) | 단일-카메라 거리 추정 | |
EP3438603A1 (en) | Road surface displacement detection device and suspension control method | |
CN112204614B (zh) | 来自非固定相机的视频中的运动分割 | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP2017010078A (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JPWO2017099199A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
KR102002228B1 (ko) | 동적 객체 검출 장치 및 방법 | |
JP6699323B2 (ja) | 電車設備の三次元計測装置及び三次元計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |