KR102629213B1 - 경사 촬영 동영상 이동물체 탐지 방법 및 장치 - Google Patents
경사 촬영 동영상 이동물체 탐지 방법 및 장치 Download PDFInfo
- Publication number
- KR102629213B1 KR102629213B1 KR1020230050969A KR20230050969A KR102629213B1 KR 102629213 B1 KR102629213 B1 KR 102629213B1 KR 1020230050969 A KR1020230050969 A KR 1020230050969A KR 20230050969 A KR20230050969 A KR 20230050969A KR 102629213 B1 KR102629213 B1 KR 102629213B1
- Authority
- KR
- South Korea
- Prior art keywords
- optical flow
- moving object
- frame
- moving
- frame interval
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 129
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000005206 flow analysis Methods 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
일 실시예에 따른 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법은, 촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 단계; 및 상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 단계;를 포함한다.
Description
본 발명은 경사 촬영된 동영상에 포착된 이동물체를 탐지하는 방법 및 그 장치에 관한 것이다.
무인항공기 등과 같은 이동 플랫폼에서 지상의 이동물체를 탐지하기 위해서는 이동 중에 경사 촬영된 동영상을 획득하고, 경사 촬영된 동영상에 포착된 이동물체를 탐지하는 절차를 수행한다. 플랫폼 이동에 의한 배경 움직임을 보상하여 마치 정지된 카메라에서 촬영한 것처럼 인접 프레임들을 정합하고 이동물체에 의한 차이를 검출하는 것을 기본으로 한다. 인접 프레임 간 변화가 없는 배경 요소와 움직임으로 인해 변화가 도드라지는 전경 영역을 분리하고 전경 영역 부근에서 객체 단위로 물체를 검출하는 방식으로 이동물체 탐지가 이루어진다.
전경 영역 분리는 일반적으로 각 화소별로 배경과 전경 어디에 속하는지 확률 분포를 유지하여 판별하는 확률적 배경 모델링과 개별 화소의 이동벡터로 표현되는 광학흐름(“옵티컬 플로”, optical flow)을 분석하여 일정 크기 이상의 광학흐름(이동벡터)을 나타내는 화소들을 전경 요소로 거르는 광학흐름 분석 방식이 많이 쓰인다. 응용 목적에 따라 배경 모델링과 광학흐름 분석 방식 중 하나를 선택적으로 적용하거나 상보적으로 혼용하는 선행 연구들이 있다. 동일 크기의 두 영상 간 광학흐름은 한 영상의 임의의 (i, j) 영상좌표에 있는 화소에 대응하는 다른 영상의 어떤 영상좌표 (i', j')에 위치한 화소를 찾고 영상 화소 좌표의 변위, 즉, (u, v)=(i'-i, j'-j) 벡터로 표현되므로 그 자체로 두 영상 간 상응점들을 구하는 한 방법이 된다. 또한, 화소 단위 배경 모델링과 달리 광학흐름은 화소 변위의 크기를 알 수 있다. 따라서 계산 효율상 별도의 영상 정합 기법을 적용하지 않거나 이동량의 정량적 정보가 중요하게 여겨지는 응용에서는 광학흐름 분석 방식을 선호하게 된다.
이와 같은 방식은 모두 정합된 프레임 간 화소 단위의 차이를 분석하는데 실세계 움직임이 영상으로 투영될 때 그 변위가 화소 단위 미만이면 영상으로부터 그 변화를 감지하지 못한다. 정사(직하방) 촬영 영상인 경우 렌즈 왜곡을 감안할 때 전체 영상 프레임에서 화소 거리가 거의 균일하다고 볼 수 있으므로 움직임의 투영 정도가 화소 단위 이상이 되도록 비교 프레임 간격을 조절할 수 있다. 그러나 경사 촬영인 경우는 근경에서 화소 이동 변위가 크고 원격에서 작기 때문에 만약 원경 변화를 감지하기 위하여 프레임 간격을 너무 크게 하면 근경 물체가 화면에서 소실되거나 광학흐름 알고리듬의 탐색 영역을 벗어나 바르게 계산하지 못하는 문제가 발생할 수도 있다. 이뿐 아니라 정사와 경사 촬영 모두 속력차가 큰 물체가 혼재한다면 일률적인 프레임 간격으로는 모든 물체의 움직임을 탐지하기 어렵다.
한편, 동영상 프레임별 촬영 기하 정보―카메라 위치, 자세, 제원 등―가 MISB(motion imagery standards board) 표준 동영상 메타데이터나 별도의 텔레메트리 정보 형태로 제공되기도 하는데 이로부터 프레임 카메라 센서모델을 형성하여 특정 기준 고도 상에서 영상 위치별 화소 거리를 계산할 수 있다. 이 정보를 활용하면 이동물체의 속력에 따라 동영상 프레임의 각 화소 위치에서 얼마만큼 변위를 나타내는지 가늠할 수 있다.
권혁태, 박세형, 성현승, "고해상도 경사촬영 동영상 이동물체 탐지를 위한 지역적 배경 움직임 분석", 2019 한국군사과학기술학회 종합학술대회, 2019. 6.
일 실시예에 따르면, 이동 플랫폼에서 경사 촬영된 동영상에서 프레임 영역별로 광학흐름 분석 프레임을 결정해 이동물체를 검출하는 경사 촬영 동영상 이동물체 탐지 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법은, 촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 단계; 및 상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 단계;를 포함한다.
제 2 관점에 따른 이동물체 탐지 장치는, 촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 프레임 분석 간격 산출부; 및 상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 이동물체 탐지부를 포함한다.
제 3 관점에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따르면, 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
일 실시예에 따르면, 이동 플랫폼에서 경사 촬영된 동영상에서 프레임 영역별로 광학흐름 분석 프레임을 결정해 이동물체를 검출함으로써, 경사 촬영된 동영상 프레임의 불균질한 화소거리에 영향을 받지 않고 프레임 전역에서 물체의 이동 변위를 화소 단위 이상으로 확보하여 원경과 근경, 저속과 고속 이동물체를 모두 탐지할 수 있다.
도 1은 프레임 카메라 촬영 기하에서 동일 크기의 물체가 경사 촬영 동영상에서 거리에 따라 투영되는 크기가 달라지는 현상을 나타낸 것이다.
도 2는 경사 촬영 동영상에서 근경과 원경에서 동일 속력의 이동물체가 영상에 다르게 투영되는 것을 설명하기 위하여 인접한 세 프레임을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 이동물체 탐지 장치의 구성도이다.
도 4는 본 발명의 일 실시 예에 따라 경사 촬영 동영상 프레임에서 분할 영역을 설정하는 것에 대한 예시이다.
도 5는 본 발명의 일 실시예에 따른 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동 변위가 화소 단위 이상으로 나타나도록 광학흐름 분석 간격을 결정하는 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 배경 움직임이 보상된 광학흐름을 계산하는 과정을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동점을 판별하고 이동점들을 군집화하여 이동 객체를 검출하는 과정을 설명하기 위한 흐름도이다.
도 2는 경사 촬영 동영상에서 근경과 원경에서 동일 속력의 이동물체가 영상에 다르게 투영되는 것을 설명하기 위하여 인접한 세 프레임을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 이동물체 탐지 장치의 구성도이다.
도 4는 본 발명의 일 실시 예에 따라 경사 촬영 동영상 프레임에서 분할 영역을 설정하는 것에 대한 예시이다.
도 5는 본 발명의 일 실시예에 따른 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동 변위가 화소 단위 이상으로 나타나도록 광학흐름 분석 간격을 결정하는 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 배경 움직임이 보상된 광학흐름을 계산하는 과정을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동점을 판별하고 이동점들을 군집화하여 이동 객체를 검출하는 과정을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 ‘포함’한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 ‘부’라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, ‘부’는 어떤 역할들을 수행한다. 그렇지만 ‘부’는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. ‘부’는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 ‘부’는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 ‘부’들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 ‘부’들로 결합되거나 추가적인 구성요소들과 ‘부’들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 프레임 카메라 촬영 기하에서 동일 크기의 물체가 경사 촬영 동영상에서 거리에 따라 투영되는 크기가 달라지는 현상을 나타낸 것이다.
프레임 센서 정보로부터 카메라 위치와 촬영 경사각, 렌즈 화각 또는 초점거리가 제공될 때 특정 고도상에서 영상 화소 위치별 화소거리(한 화소가 나타내는 지상거리) d를 도 1에서와 같이 삼각형 닮음비에 의해 쉽게 계산할 수 있다. 동영상 규격에서 프레임 속도(FPS) f를 얻을 수 있다. 물체의 이동 속력 v(m/s)로부터 이 물체의 이동이 화소 단위 이상으로 반영될 때 프레임 간격을 n이라고 하면 수학식 1의 부등식이 성립한다.
도 2는 경사 촬영 동영상에서 근경과 원경에서 동일 속력의 이동물체가 영상에 다르게 투영되는 것을 설명하기 위하여 인접한 세 프레임을 나타낸 것이다.
제 1면(110)은 제 1시점에서 카메라 초점이 지점 O1에 위치할 때 촬영된 영상 프레임 이미지 평면이다. 제 2면(120)은 제 2시점에서 카메라 초점이 O2에 위치할 때 촬영된 이미지 평면으로 동영상에서 제 1면 바로 다음 프레임이다. 제 3면(130)은 제 3시점에서 카메라 초점이 O3에 위치할 때 촬영된 이미지 평면으로 제 2면 바로 다음 프레임이다. 또한, P1은 근경 이동물체의 중점이 제 1시점에 위치한 지점이다. P2는 제 2시점에서 이 물체의 중점의 위치고, P3은 제 3 시점에서 이 물체의 중점의 위치를 나타낸다. 마찬가지로 Q1은 원경 이동물체의 중점이 제 1시점에 위치한 지점이고, Q2와 Q3은 각각 원경 이동물체의 중점이 제 2시점과 제 3시점에 위치한 지점이다.
p1은 점 P1이 제 1면(110)에 투영된 영상점이고, p2는 점 P2가 제 2면(120)에 투영된 영상점, p3(131)은 점 P3이 제 3면(130)에 투영된 영상점이다. 마찬가지로 q1은 점 Q1이 제 1면(110)에 투영된 영상점이고, q2는 점 Q2가 제 2면(120)에 투영된 영상점, q3(132)은 점 Q3이 제 3면(130)에 투영된 영상점이다.
p'1(151)은 제 3면(130)에서 제 1시점의 P1을 촬영했다고 가정했을 때 점 P1이 투영되는 영상점이고, p'2(141)는 제 3면(130)에서 제 2시점의 P2를 촬영했다고 가정했을 때 점 P2가 투영되는 영상점이다. 마찬가지로 q'1(152)은 제 3면(130)에서 제 1시점의 Q1을 촬영했다고 가정했을 때 점 Q1이 투영되는 영상점이고, q'2(142)는 제 3면(130)에서 제 2시점의 Q2를 촬영했다고 가정했을 때 점 Q2가 투영되는 영상점이다.
점 P1, P2, Q1, Q1을 각각 제 3면(131)에 p'1, p'2, q'1, q'2로 투영하는 과정은 카메라의 이동과 회전 효과를 제거하여 제 3시점의 카메라 평면에 투영된 것처럼 영상을 정합하는 과정을 나타낸다.
이동물체의 속도, 카메라의 위치와 자세 변화 관계에 따라 발생할 수 있는 현상 중 하나의 예를 들어 q'1(152)과 q'2(142), q'2(142)와 q3(132)의 영상좌표 거리차가 각각 1 미만이지만 부화소 단위로 거리차를 누적할 때 q'1(152)과 q3(132)의 거리차가 1 이상이 되어 실제 영상으로 투영될 때 화소 단위 양자화로 인해 q'1(152)과 q'2(142)는 제 3면(130)에서 동일한 화소에 위치하고, q’1(152)과 q3(132)은 제 3면(130)에서 이웃한 다른 화소에 위치할 수 있다. 이와 같은 상황에서 근경이 투영된 영상점 p’1(151), p’2(141)는 제 3면(130)에서 다른 화소에 위치하고, 영상점 p’2(141), p3(131)은 제 3면(130)에서 서로 다른 화소에 위치한다.
본 발명의 일 실시예에 따른 이동물체 탐지 장치 및 그 경사 촬영 동영상 이동물체 탐지 방법은 앞서 설명한 바와 같이 동영상 입력에서 현재 제 3면(130)이 입력되어 이동물체를 탐지하는 상황에서 일련의 절차를 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이동물체 탐지 장치의 구성도이다.
도 3을 참조하면, 일 실시예에 따른 이동물체 탐지 장치(300)는 프레임 분석 간격 산출부(320) 및 이동물체 탐지부(350)를 포함하고, 프레임 대기열 관리부(310), 광학흐름 계산부(330) 및 배경 움직임 보상부(340) 중 적어도 하나 이상을 더 포함할 수 있다. 이렇게 이동물체 탐지 장치(300)를 구성하는 요소들은 하나 또는 복수의 프로세서로 구성될 수 있다. 예를 들어, 하나 또는 복수의 프로세서는 CPU(central process unit), DSP(digital signal processor) 등과 같은 범용 프로세서, GPU(graphic process unit), VPU(vision process Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU(neural process unit)와 같은 인공지능 전용 프로세서일 수 있다.
이동물체 탐지 장치(300)의 프레임 분석 간격 산출부(320)는 촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정한다.
이동물체 탐지 장치(300)의 이동물체 탐지부(350)는 결정된 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출한다.
이동물체 탐지 장치(300)의 프레임 대기열 관리부(310)는 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정할 수 있고, 이 경우에 프레임 분석 간격 산출부(320)는 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하며, 설정된 각 분할 영역의 중심점에서 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 광학흐름 분석 프레임 간격을 산출한다. 여기서, 복수의 분할 영역은 각 분할 영역의 중심점들이 가로 방향 및 세로 방향에서 등간격으로 배치되고 인접한 분할 영역 간 일부 영역이 중첩될 수 있고, 복수의 분할 영역은 각 분할 영역의 중심점들에서 가까운 영상 경계 또는 이웃 중심점보다 가까운 위치를 경계선으로 하여 설정될 수 있다.
도 4는 본 발명의 일 실시 예에 따라 경사 촬영 동영상 프레임에서 분할 영역을 설정하는 것에 대한 예시이다. 영상의 화소 위치에 따라 달라지는 투영 거리의 효과를 제한하기 위하여 영상 프레임의 분할 영역(410)을 설정한다. 분할 영역 중심점들(420)은 가로, 세로 각 방향에서 등간격으로 배치되며, 영상의 가장자리에서 첫 중심점까지의 거리는 인접한 두 중심점까지 거리의 절반이 된다. 분할 영역의 너비는 중심에서 양쪽 인접 중심까지의 거리의 3분의 2에 해당하도록 설정하여 분할 영역 간 중첩을 허용하고 영상 가장자리에서는 영상 영역까지로 한다.
또한, 광학흐름 분석 프레임 간격은 프레임 영역별로 서로 다르게 산출 및 결정될 수 있고, 이동물체의 변위가 화소 단위 이상으로 투영되도록 결정될 수 있다. 광학흐름 분석 프레임 간격을 산출할 때에, 동영상 규격으로부터 얻어지는 프레임 간 시간 간격과 이동물체의 속력 정보로부터 단위 프레임 간격 당 이동물체의 이동거리를 산출하고, 분할 영역의 중심점 화소의 지상거리와 단위 프레임 간격 당 이동물체의 이동거리를 이용하여 이동물체의 이동거리가 화소의 지상거리 이상이 되는 프레임 간격을 산출할 수 있다.
이동물체 탐지 장치(300)의 광학흐름 계산부(330)는 결정된 광학흐름 분석 프레임 간격별로 과거 프레임을 취득한 후 복수의 분할 영역 중 해당 분할 영역에서 광학흐름을 계산할 수 있다. 이동물체 탐지 장치(300)의 배경 움직임 보상부(340)는 계산된 광학흐름을 이용하여 분할 영역별 배경 움직임을 추정하고 보상할 수 있다. 이 경우, 이동물체 탐지부(350)는 분할 영역별 이동벡터 크기의 표준점수를 기준으로 이동점을 판별하여 이동물체를 객체 단위로 추출할 수 있다.
배경 움직임 보상부(340)는 분석 프레임 간격 별 광학흐름에서 조밀 등간격 격자점을 구성하고 격자점에 대응하는 광학흐름 벡터를 격자점 좌표에 더하여 영상 간 대응쌍 집합을 구성하며, 분석 프레임 간격 별로 구성된 영상 간 대응쌍 집합으로부터 현재 프레임 영상 좌표에서 이전 프레임 영상 좌표로 변환하는 변환 행렬을 추정하고, 분석 프레임 간격 별 광학흐름에서 각 화소별로 해당 영상좌표로부터 추정한 변환 행렬로 얻어진 영상좌표에 이르는 변위 벡터를 광학흐름에서 빼는 것으로 배경 움직임을 보상한 광학흐름을 획득할 수 있다.
이동물체 탐지부(350)는 배경 움직임이 보상된 분할 영역별 광학흐름에서 분할 영역별 광학흐름 이동벡터 크기가 이동 조건을 만족하는 이동점들을 판별하고, 이동점들로부터 프레임 전체에서 이동 객체를 추출할 수 있다. 또한, 이동물체 탐지부(350)는 각 분할 영역 별 프레임 분석 간격에 해당하는 광학흐름에서 분할 영역에 속하는 화소들의 광학흐름 벡터의 크기에 대한 평균과 표준편차를 산출하고, 각 분할 영역에서 광학흐름 벡터의 크기가 단위 화소 길이 이상이고 광학흐름 벡터의 크기에서 평균을 빼고 표준편차로 나눈 표준점수가 일정 기준 이상인 화소들을 이동점으로 판별할 수 있다. 여기서, 이동점을 판별할 때에, 분할 영역의 광학흐름 크기가 단위 화소 이상이면서 광학흐름 크기의 표준점수가 일정 기준 이상이고 분할 영역 가장자리에서 일정 거리 떨어진 점들을 이동점으로 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동 변위가 화소 단위 이상으로 나타나도록 광학흐름 분석 간격을 결정하는 과정을 설명하기 위한 흐름도이며, 도 7은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 배경 움직임이 보상된 광학흐름을 계산하는 과정을 설명하기 위한 흐름도이고, 도 8은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동점을 판별하고 이동점들을 군집화하여 이동 객체를 검출하는 과정을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 이동물체 탐지 장치(300)가 수행하는 경사 촬영 동영상 이동물체 탐지 방법에 대해 자세히 살펴보기로 한다.
도 5를 참조하면, 이동물체 탐지 장치(300)의 프레임 대기열 관리부(310)는 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정할 수 있고(510), 프레임 분석 간격 산출부(320)는 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하며(520), 설정된 각 분할 영역의 중심점에서 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 광학흐름 분석 프레임 간격을 산출한다(530).
도 6을 참조하면, 단계 610에서, 도 1에 예시된 것과 같은 프레임 카메라 촬영 기하로부터 카메라의 위치와 촬영 자세(경사각), 초점거리, 영상면 크기 정보를 이용하여 임의의 영상점 화소에 대응하는 지상거리(d)를 피사면의 고도를 특정하여 계산할 수 있다.
단계 620에서, 탐지하고자 하는 이동물체의 속력(v)과 동영상 규격의 초당 프레임 수(f)로부터 얻어지는 프레임 간 시간 간격(1/f) 정보를 이용하여 단위 프레임 간격 당 이동물체의 이동거리(v/f)를 산출할 수 있다.
단계 630에서, 탐지하고자 하는 이동물체의 이동 거리가 양자화된 화소 단위로 구분되는 데 필요한 프레임 간격(n)을 수학식 1에 의해 산출할 수 있다. 예를 들어 위에서 상정한 예시의 경우, 프레임 간격이 원경을 포함하는 영역에서는 1 간격이 산출되고, 근경 부근 영역에서는 2 간격이 산출될 수 있다.
다시 도 5를 참조하면, 이동물체 탐지 장치(300)의 광학흐름 계산부(330)는 결정된 광학흐름 분석 프레임 간격별로 과거 프레임을 취득한 후 복수의 분할 영역 중 해당 분할 영역에서 광학흐름을 계산할 수 있다(540). 그리고, 이동물체 탐지 장치(300)의 배경 움직임 보상부(340)는 계산된 광학흐름을 이용하여 분할 영역별 배경 움직임을 추정하고 보상할 수 있다(550).
도 2를 참조하면, 동영상을 입력으로 할 때 제 3면(130)에 이전 시점의 물체 위치를 투영하는 것은 블가능하므로 두 위치의 영상면에 대한 변환관계를 추정하여 한 영상면의 점을 그 변환관계에 의해 다른 영상면으로 옮기는 방법을 흔히 사용하는데, 3차원에서 2차원으로 축소된 상태에서의 변환이므로 제약식을 적용하여 보통 호모그래피 또는 아핀 변환 관계를 적용한다. 동영상 프레임 간격이 매우 짧은 시간이기 때문에 이들 제약이 실제적으로 유효하다고 가정한다. 변환 관계의 추정은 영상 전역에서 두 영상 간 대응쌍을 찾고, 한쪽 영상점들을 추정한 변환관계에 의해 다른 영상점으로 이동했을 때 대응쌍 관계에서 알고 있는 영상점과 변환 영상점들의 거리차가 최소화되도록 하는 최적화 기법을 적용하고 RANSAC(random sample consensus) 기법 등으로 통계적으로 강건한 가설 모형을 선택한다.
도 7을 참조하면, 단계 710에서, 분할 영역별로 산출된 광학흐름 분석 프레임 간격을 모두 수집하고 각 분석 프레임 간격에 해당하는 이전 프레임들을 획득하여 현재 프레임과 각 이전 프레임 간 고밀도 광학흐름을 알려진 광학흐름 알고리듬(Farneback, 2003)을 이용하여 획득한다.
단계 720에서, 각 분석 프레임 간격별 광학흐름으로부터 현재 프레임 영상의 균등 조밀 격자점들에 대응하는 이전 프레임의 영상점을 각 격자점 좌표에 광학흐름 변위를 더함으로써 대응쌍 집합을 구한다. 실시 예에서 조밀 격자점 간격은 32 화소로 할 수 있다.
단계 730에서, 이 대응쌍 집합으로부터 두 영상 간 변환관계를 추정하는데, 변환관계로부터 현재 프레임의 격자점을 이동했을 때의 변환점 좌표와 대응쌍 집합에서 얻어지는 대응점 좌표의 거리차가 1 화소거리 이하가 되는 변환을 RANSAC으로 추정한다. 이 변환을 아핀 변환으로 하면 2×3 행렬로 계산된다. 실시 예에서 분할 영역별로 분석 간격이 1 또는 2로 계산될 수 있으므로 이러한 변환 추정은 제 1면(110)과 제 3면(130), 제 2면(120)과 제 3면(130) 사이에서 각각 구한다.
단계 740에서, 각 분석 프레임 간격 별로 획득한 광학흐름과 추정된 변환 관계로부터 변환 관계에 의한 화소 이동을 배경 움직임으로 보고, 배경 움직임이 보상된 광학흐름을 획득한다. 배경 움직임은 카메라의 이동과 회전에 의한 것이고 이것은 영상 프레임 관 변환 관계에 투영된다. 각 분석 프레임 간격에 대하여 현재 프레임과 어느 한 분석 대상 간격의 이전 프레임 간 추정된 변환을 행렬 M으로 나타내면, 배경 움직임은 영상의 모든 점이 이 변환에 의해 이동하는 것으로 볼 수 있다. 변환 M에 의하여 영상좌표 (i,j)가 (i',j')로 변환될 때 다음과 같은 수학식 2의 변환식이 성립한다.
따라서 변환 M에 의한 변위는 (i'-i, j'-j)로 계산되고, 이 변위 벡터를 해당 화소의 광학흐름에서 뺀 차벡터를 배경 움직임이 보상된 광학흐름을 얻게 된다.
다시 도 5를 참조하면, 이동물체 탐지부(350)는 배경 움직임이 보상된 분할 영역별 광학흐름에서 분할 영역별 광학흐름 이동벡터 크기가 이동 조건을 만족하는 이동점들을 판별하고, 이동점들로부터 프레임 전체에서 이동 객체를 추출할 수 있다. 또한, 이동물체 탐지부(350)는 각 분할 영역 별 프레임 분석 간격에 해당하는 광학흐름에서 분할 영역에 속하는 화소들의 광학흐름 벡터의 크기에 대한 평균과 표준편차를 산출하고, 각 분할 영역에서 광학흐름 벡터의 크기가 단위 화소 길이 이상이고 광학흐름 벡터의 크기에서 평균을 빼고 표준편차로 나눈 표준점수가 일정 기준 이상인 화소들을 이동점으로 판별할 수 있다. 여기서, 이동점을 판별할 때에, 분할 영역의 광학흐름 크기가 단위 화소 이상이면서 광학흐름 크기의 표준점수가 일정 기준 이상이고 분할 영역 가장자리에서 일정 거리 떨어진 점들을 이동점으로 판단할 수 있다(810).
도 8은 본 발명의 일 실시예에 따라 동영상 프레임의 분할 영역에서 이동점을 판별하고 이동점들을 군집화하여 이동 객체를 검출하는 과정을 설명하기 위한 흐름도이다.
단계 810에서, 배경 모델링 결과에 오차가 포함된다는 가정하에 통계적으로 유의한 이동점을 판별하기 위하여 분할 영역 내 모든 점에 대한 광학흐름의 크기의 평균과 표준편차를 산출한다.
단계 820에서, 분할 영역 내 이동점을 판별하는데 개별 화소의 광학흐름 크기에서 산출한 평균을 빼고 표준편차로 나눈 표준점수(Z-점수)가 일정 기준 이상이고 광학흐름 크기가 단위 화소 길이 1 이상인 점들을 이동점으로 판단한다. 정규분포를 가정했을 때 표준점수 2 이상은 전체의 약 2.275%이고, 표준점수 3 이상은 전체의 약 0.135%가 된다.
단계 830에서, 분할 영역별로 이동점으로 판별한 점들을 전체 프레임에서 수집하여 이동점과 비이동점을 이진화한 영상을 구성하고, 이 영상으로부터 덩이(Blob) 분석을 수행하여 이동점들을 군집화하고 각각의 군집들을 이동 객체로 검출한다.
지금까지 설명한 바와 같이, 일 실시예에 따르면, 이동 플랫폼에서 경사 촬영된 동영상에서 프레임 영역별로 광학흐름 분석 프레임을 결정해 이동물체를 검출함으로써, 경사 촬영된 동영상 프레임의 불균질한 화소거리에 영향을 받지 않고 프레임 전역에서 물체의 이동 변위를 화소 단위 이상으로 확보하여 원경과 근경, 저속과 고속 이동물체를 모두 탐지할 수 있다.
한편, 전술한 실시예에 따른 경사 촬영 동영상 이동물체 탐지 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 전술한 실시예에 따른 경사 촬영 동영상 이동물체 탐지 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 이동물체 탐지 장치
310: 프레임 대기열 관리부
320: 프레임 분석 간격 산출부
330: 광학흐름 계산부
340: 배경 움직임 보상부
350: 이동물체 탐지부
310: 프레임 대기열 관리부
320: 프레임 분석 간격 산출부
330: 광학흐름 계산부
340: 배경 움직임 보상부
350: 이동물체 탐지부
Claims (26)
- 이동물체 탐지 장치가 수행하는 경사 촬영 동영상 이동물체 탐지 방법으로서,
촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 단계; 및
상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 단계;를 포함하고,
상기 광학흐름 분석 프레임 간격을 결정하는 단계는,
상기 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정하는 단계; 및
상기 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하는 단계; 및
상기 설정된 각 분할 영역의 중심점에서 상기 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 상기 광학흐름 분석 프레임 간격을 산출하는 단계;를 포함하며,
상기 광학흐름 분석 프레임 간격이 상기 이동물체의 변위가 화소 단위 이상으로 투영되도록 결정되고,
상기 광학흐름 분석 프레임 간격을 산출하는 단계는,
동영상 규격으로부터 얻어지는 프레임 간 시간 간격과 상기 이동물체의 속력 정보로부터 단위 프레임 간격 당 이동물체의 이동거리를 산출하고, 상기 분할 영역의 중심점 화소의 지상거리와 단위 프레임 간격 당 상기 이동물체의 이동거리를 이용하여 상기 이동물체의 이동거리가 화소의 지상거리 이상이 되는 프레임 간격을 산출하는
경사 촬영 동영상 이동물체 탐지 방법. - 삭제
- 제 1 항에 있어서,
상기 복수의 분할 영역은 각 분할 영역의 중심점들이 가로 방향 및 세로 방향에서 등간격으로 배치되고 인접한 분할 영역 간 일부 영역이 중첩되는
경사 촬영 동영상 이동물체 탐지 방법. - 제 1 항에 있어서,
상기 복수의 분할 영역은 상기 각 분할 영역의 중심점들에서 가까운 영상 경계 또는 이웃 중심점보다 가까운 위치를 경계선으로 하여 설정되는
경사 촬영 동영상 이동물체 탐지 방법. - 제 1 항에 있어서,
상기 광학흐름 분석 프레임 간격이 상기 프레임 영역별로 서로 다르게 산출되는
경사 촬영 동영상 이동물체 탐지 방법. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 이동물체를 검출하는 단계는,
상기 결정한 광학흐름 분석 프레임 간격별로 과거 프레임을 취득한 후 복수의 분할 영역 중 해당 분할 영역에서 광학흐름을 계산하는 단계;
상기 계산된 광학흐름을 이용하여 분할 영역별 배경 움직임을 추정하고 보상하는 단계; 및
분할 영역별 이동벡터 크기의 표준점수를 기준으로 이동점을 판별하여 상기 이동물체를 상기 객체 단위로 추출하는 단계;를 포함하는
경사 촬영 동영상 이동물체 탐지 방법. - 제 8 항에 있어서,
상기 보상하는 단계는, 분석 프레임 간격 별 광학흐름에서 조밀 등간격 격자점을 구성하고 격자점에 대응하는 광학흐름 벡터를 격자점 좌표에 더하여 영상 간 대응쌍 집합을 구성하며, 분석 프레임 간격 별로 구성된 영상 간 대응쌍 집합으로부터 현재 프레임 영상 좌표에서 이전 프레임 영상 좌표로 변환하는 변환 행렬을 추정하고, 분석 프레임 간격 별 광학흐름에서 각 화소별로 해당 영상좌표로부터 추정한 변환 행렬로 얻어진 영상좌표에 이르는 변위 벡터를 광학흐름에서 빼는 것으로 상기 배경 움직임을 보상한 광학흐름을 획득하는
경사 촬영 동영상 이동물체 탐지 방법. - 제 8 항에 있어서,
상기 객체 단위로 추출하는 단계는, 상기 배경 움직임이 보상된 분할 영역별 광학흐름에서 분할 영역별 광학흐름 이동벡터 크기가 이동 조건을 만족하는 이동점들을 판별하고, 상기 이동점들로부터 프레임 전체에서 상기 이동물체를 추출하는
경사 촬영 동영상 이동물체 탐지 방법. - 제 10 항에 있어서,
상기 객체 단위로 추출하는 단계는, 각 분할 영역 별 프레임 분석 간격에 해당하는 광학흐름에서 분할 영역에 속하는 화소들의 광학흐름 벡터의 크기에 대한 평균과 표준편차를 산출하고, 각 분할 영역에서 광학흐름 벡터의 크기가 단위 화소 길이 이상이고 광학흐름 벡터의 크기에서 평균을 빼고 표준편차로 나눈 표준점수가 일정 기준 이상인 화소들을 상기 이동점으로 판별하는
경사 촬영 동영상 이동물체 탐지 방법. - 제 11 항에 있어서,
상기 이동점을 판별할 때에, 상기 분할 영역의 광학흐름 크기가 단위 화소 이상이면서 광학흐름 크기의 표준점수가 일정 기준 이상이고 분할 영역 가장자리에서 일정 거리 떨어진 점들을 이동점으로 판단하는
경사 촬영 동영상 이동물체 탐지 방법. - 촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 프레임 분석 간격 산출부;
상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 이동물체 탐지부; 및
상기 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정하는 프레임 대기열 관리부;를 포함하고,
상기 프레임 분석 간격 산출부는, 상기 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하며, 설정된 각 분할 영역의 중심점에서 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 상기 광학흐름 분석 프레임 간격을 산출하며,
상기 광학흐름 분석 프레임 간격이 상기 이동물체의 변위가 화소 단위 이상으로 투영되도록 결정되고,
상기 광학흐름 분석 프레임 간격을 산출할 때에, 동영상 규격으로부터 얻어지는 프레임 간 시간 간격과 상기 이동물체의 속력 정보로부터 단위 프레임 간격 당 이동물체의 이동거리를 산출하고, 상기 분할 영역의 중심점 화소의 지상거리와 단위 프레임 간격 당 상기 이동물체의 이동거리를 이용하여 상기 이동물체의 이동거리가 화소의 지상거리 이상이 되는 프레임 간격을 산출하는
이동물체 탐지 장치. - 삭제
- 제 13 항에 있어서,
상기 복수의 분할 영역은 각 분할 영역의 중심점들이 가로 방향 및 세로 방향에서 등간격으로 배치되고 인접한 분할 영역 간 일부 영역이 중첩되는
이동물체 탐지 장치. - 제 13 항에 있어서,
상기 복수의 분할 영역은 상기 각 분할 영역의 중심점들에서 가까운 영상 경계 또는 이웃 중심점보다 가까운 위치를 경계선으로 하여 설정되는
이동물체 탐지 장치. - 제 13 항에 있어서,
상기 광학흐름 분석 프레임 간격이 상기 프레임 영역별로 서로 다르게 산출되는
이동물체 탐지 장치. - 삭제
- 삭제
- 제 13 항에 있어서,
상기 결정한 광학흐름 분석 프레임 간격별로 과거 프레임을 취득한 후 복수의 분할 영역 중 해당 분할 영역에서 광학흐름을 계산하는 광학흐름 계산부; 및
상기 계산된 광학흐름을 이용하여 분할 영역별 배경 움직임을 추정하고 보상하는 배경 움직임 보상부;를 더 포함하고,
상기 이동물체 탐지부는, 분할 영역별 이동벡터 크기의 표준점수를 기준으로 이동점을 판별하여 상기 이동물체를 상기 객체 단위로 추출하는
이동물체 탐지 장치. - 제 20 항에 있어서,
상기 배경 움직임 보상부는, 분석 프레임 간격 별 광학흐름에서 조밀 등간격 격자점을 구성하고 격자점에 대응하는 광학흐름 벡터를 격자점 좌표에 더하여 영상 간 대응쌍 집합을 구성하며, 분석 프레임 간격 별로 구성된 영상 간 대응쌍 집합으로부터 현재 프레임 영상 좌표에서 이전 프레임 영상 좌표로 변환하는 변환 행렬을 추정하고, 분석 프레임 간격 별 광학흐름에서 각 화소별로 해당 영상좌표로부터 추정한 변환 행렬로 얻어진 영상좌표에 이르는 변위 벡터를 광학흐름에서 빼는 것으로 상기 배경 움직임을 보상한 광학흐름을 획득하는
이동물체 탐지 장치. - 제 20 항에 있어서,
상기 이동물체 탐지부는, 상기 배경 움직임이 보상된 분할 영역별 광학흐름에서 분할 영역별 광학흐름 이동벡터 크기가 이동 조건을 만족하는 이동점들을 판별하고, 상기 이동점들로부터 프레임 전체에서 상기 이동물체를 추출하는
이동물체 탐지 장치. - 제 22 항에 있어서,
상기 이동물체 탐지부는, 각 분할 영역 별 프레임 분석 간격에 해당하는 광학흐름에서 분할 영역에 속하는 화소들의 광학흐름 벡터의 크기에 대한 평균과 표준편차를 산출하고, 각 분할 영역에서 광학흐름 벡터의 크기가 단위 화소 길이 이상이고 광학흐름 벡터의 크기에서 평균을 빼고 표준편차로 나눈 표준점수가 일정 기준 이상인 화소들을 상기 이동점으로 판별하는
이동물체 탐지 장치. - 제 23 항에 있어서,
상기 이동점을 판별할 때에, 상기 분할 영역의 광학흐름 크기가 단위 화소 이상이면서 광학흐름 크기의 표준점수가 일정 기준 이상이고 분할 영역 가장자리에서 일정 거리 떨어진 점들을 이동점으로 판단하는
이동물체 탐지 장치. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 단계; 및 상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 단계;를 포함하고,
상기 광학흐름 분석 프레임 간격을 결정하는 단계는, 상기 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정하는 단계; 상기 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하는 단계; 상기 설정된 각 분할 영역의 중심점에서 상기 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 상기 광학흐름 분석 프레임 간격을 산출하는 단계;를 포함하며,
상기 광학흐름 분석 프레임 간격이 상기 이동물체의 변위가 화소 단위 이상으로 투영되도록 결정되고,
상기 광학흐름 분석 프레임 간격을 산출하는 단계는,
동영상 규격으로부터 얻어지는 프레임 간 시간 간격과 상기 이동물체의 속력 정보로부터 단위 프레임 간격 당 이동물체의 이동거리를 산출하고, 상기 분할 영역의 중심점 화소의 지상거리와 단위 프레임 간격 당 상기 이동물체의 이동거리를 이용하여 상기 이동물체의 이동거리가 화소의 지상거리 이상이 되는 프레임 간격을 산출하는
경사 촬영 동영상 이동물체 탐지 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
촬영 기하 정보가 주어지는 경사 촬영 동영상에 대하여 상기 촬영 기하 정보에 기초하여 프레임 영역별로 광학흐름 분석 프레임 간격을 결정하는 단계; 및 상기 결정한 광학흐름 분석 프레임 간격에 기초하여 객체 단위로 이동물체를 검출하는 단계;를 포함하고,
상기 광학흐름 분석 프레임 간격을 결정하는 단계는, 상기 경사 촬영 동영상을 프레임 순서대로 프레임 대기열로 지정하는 단계; 상기 프레임 대기열의 최신 프레임에 대하여 복수의 분할 영역을 설정하는 단계; 상기 설정된 각 분할 영역의 중심점에서 상기 촬영 기하 정보로부터 계산되는 화소별 지상거리를 참조하여 상기 광학흐름 분석 프레임 간격을 산출하는 단계;를 포함하며,
상기 광학흐름 분석 프레임 간격이 상기 이동물체의 변위가 화소 단위 이상으로 투영되도록 결정되고,
상기 광학흐름 분석 프레임 간격을 산출하는 단계는,
동영상 규격으로부터 얻어지는 프레임 간 시간 간격과 상기 이동물체의 속력 정보로부터 단위 프레임 간격 당 이동물체의 이동거리를 산출하고, 상기 분할 영역의 중심점 화소의 지상거리와 단위 프레임 간격 당 상기 이동물체의 이동거리를 이용하여 상기 이동물체의 이동거리가 화소의 지상거리 이상이 되는 프레임 간격을 산출하는
경사 촬영 동영상 이동물체 탐지 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230050969A KR102629213B1 (ko) | 2023-04-18 | 2023-04-18 | 경사 촬영 동영상 이동물체 탐지 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230050969A KR102629213B1 (ko) | 2023-04-18 | 2023-04-18 | 경사 촬영 동영상 이동물체 탐지 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102629213B1 true KR102629213B1 (ko) | 2024-01-24 |
Family
ID=89717855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230050969A KR102629213B1 (ko) | 2023-04-18 | 2023-04-18 | 경사 촬영 동영상 이동물체 탐지 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102629213B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008276308A (ja) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
| JP2010286985A (ja) * | 2009-06-10 | 2010-12-24 | Fujitsu Ten Ltd | 物体検出装置および物体検出方法 |
| KR20150043145A (ko) * | 2013-10-14 | 2015-04-22 | 삼성전자주식회사 | 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치. |
| KR20170012666A (ko) * | 2015-07-22 | 2017-02-03 | (주)인스페이스 | 이동 물체 검출 장치 및 그 제어 방법 |
| KR20180045745A (ko) * | 2016-10-26 | 2018-05-04 | 삼성에스디에스 주식회사 | 이동체에서의 객체 검출 장치 및 방법 |
| KR102121974B1 (ko) | 2019-12-05 | 2020-06-12 | 대한민국 | 드론을 이용한 재난피해 조사·분석시스템 및 이를 이용한 재난피해 조사·분석방법 |
| KR20220114820A (ko) * | 2021-02-09 | 2022-08-17 | 주식회사 라온버드 | 영상 내의 카메라 움직임 제거 시스템 및 방법 |
-
2023
- 2023-04-18 KR KR1020230050969A patent/KR102629213B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008276308A (ja) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
| JP2010286985A (ja) * | 2009-06-10 | 2010-12-24 | Fujitsu Ten Ltd | 物体検出装置および物体検出方法 |
| KR20150043145A (ko) * | 2013-10-14 | 2015-04-22 | 삼성전자주식회사 | 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치. |
| KR20170012666A (ko) * | 2015-07-22 | 2017-02-03 | (주)인스페이스 | 이동 물체 검출 장치 및 그 제어 방법 |
| KR20180045745A (ko) * | 2016-10-26 | 2018-05-04 | 삼성에스디에스 주식회사 | 이동체에서의 객체 검출 장치 및 방법 |
| KR102121974B1 (ko) | 2019-12-05 | 2020-06-12 | 대한민국 | 드론을 이용한 재난피해 조사·분석시스템 및 이를 이용한 재난피해 조사·분석방법 |
| KR20220114820A (ko) * | 2021-02-09 | 2022-08-17 | 주식회사 라온버드 | 영상 내의 카메라 움직임 제거 시스템 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 권혁태, 박세형, 성현승, "고해상도 경사촬영 동영상 이동물체 탐지를 위한 지역적 배경 움직임 분석", 2019 한국군사과학기술학회 종합학술대회, 2019. 6. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Minaeian et al. | Effective and efficient detection of moving targets from a UAV’s camera | |
| Liu et al. | Multi-camera multi-object tracking | |
| KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| Santoro et al. | Crowd analysis by using optical flow and density based clustering | |
| Linger et al. | Aerial image registration for tracking | |
| Okuma et al. | Automatic rectification of long image sequences | |
| Xu et al. | Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries | |
| TWI509568B (zh) | 偵測多移動目標之方法 | |
| JP2007188294A (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| JP2018055367A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| Delibasoglu | UAV images dataset for moving object detection from moving cameras | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
| Sincan et al. | Moving object detection by a mounted moving camera | |
| KR102629213B1 (ko) | 경사 촬영 동영상 이동물체 탐지 방법 및 장치 | |
| Zhou et al. | Video stabilization and completion using two cameras | |
| Yu et al. | Accurate motion detection in dynamic scenes based on ego-motion estimation and optical flow segmentation combined method | |
| Zhang et al. | An IR and visible image sequence automatic registration method based on optical flow | |
| KR101646580B1 (ko) | 하체 검출/추적 장치 및 방법 | |
| JP6348020B2 (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
| Dijk et al. | Image processing in aerial surveillance and reconnaissance: from pixels to understanding | |
| AlGhamdi et al. | Automatic motion tracking of a human in a surveillance video | |
| CN113870307A (zh) | 一种基于帧间信息的目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |