KR101890612B1 - 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 - Google Patents

적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR101890612B1
KR101890612B1 KR1020160180586A KR20160180586A KR101890612B1 KR 101890612 B1 KR101890612 B1 KR 101890612B1 KR 1020160180586 A KR1020160180586 A KR 1020160180586A KR 20160180586 A KR20160180586 A KR 20160180586A KR 101890612 B1 KR101890612 B1 KR 101890612B1
Authority
KR
South Korea
Prior art keywords
coordinate system
camera
image
adaptive
vehicle
Prior art date
Application number
KR1020160180586A
Other languages
English (en)
Other versions
KR20180076441A (ko
Inventor
강경수
김웅명
김태근
강근호
Original Assignee
(주)에이다스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이다스원 filed Critical (주)에이다스원
Priority to KR1020160180586A priority Critical patent/KR101890612B1/ko
Priority to PCT/KR2016/015459 priority patent/WO2018124337A1/ko
Publication of KR20180076441A publication Critical patent/KR20180076441A/ko
Application granted granted Critical
Publication of KR101890612B1 publication Critical patent/KR101890612B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M1/00—Testing static or dynamic balance of machines or structures
    • G01M1/10—Determining the moment of inertia
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치는, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부; 상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함한다.

Description

적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OBJECT USING ADAPTIVE ROI AND CLASSIFIER}
본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것이다.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 1에 도시된 바와 같이, 이미지를 여러 스케일에 걸쳐서 분석하는 일반적인 방법은 입력 이미지의 크기를 단계적으로 변화(예컨대, 축소, 증가 등)시켜 가면서 필요한 분석 작업을 하는 것이다. 이때, 생성된 피라미드 이미지(111)가 포함된 일련의 이미지 집합을 이미지 피라미드(110)라 부른다.
종래 객체 검출(Object Detector) 기술 역시 일반적인 방법으로 이미지 피라미드(110)를 사용했다.
종래 객체 검출 알고리즘은 이미지 피라미드(110)에 대해서 고정된 크기의 탐색창(120)을 이동시켜 객체를 판별한다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 2에 도시된 바와 같이, 종래 객체 검출 기술은 이미지 피라미드(110)에서 전역적으로 탐색하는 탐색창(120)을 이용하여 객체를 검출하게 된다.
종래 객체 검출 기술은 각 피라미드 이미지(111)에 대해 전역적으로 불필요한 영역을 탐색하면서 객체(Object)를 찾는다. 이러한 객체 검출 기술은 불필요한 영역까지 탐색하게 되면서 비효율적인 부분이 발생한다.
피라미드 이미지의 사이즈가 달라 계산량이 모두 다르다. 따라서 종래 객체 검출 기술은 병렬 처리에 부적합하다.
종래 객체 검출 기술에서는 피라미드 이미지(111)를 만드는 횟수가 스케일에 따라 매우 많이 발생하게 된다.
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치를 제공하고자 한다.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치를 제공하고자 한다.
본 발명의 제1 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성 단계; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법이 제공될 수 있다.
상기 관심영역 설정 단계는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.
상기 방법은, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;를 더 포함할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.
상기 좌표계 변환 단계는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.
상기 좌표계 변환 단계는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
상기 좌표계 변환 단계는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.
상기 좌표계 변환 단계는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성부; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치가 제공될 수 있다.
상기 관심영역 설정부는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.
상기 장치는, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;를 더 포함할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.
상기 좌표계 변환부는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.
상기 좌표계 변환부는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
상기 좌표계 변환부는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.
상기 좌표계 변환부는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있다.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)는 이미지 획득부(210), 관심영역 설정부(220), 이미지 피라미드 생성부(230), 탐색창 생성부(240) 및 객체 검출부(250)를 포함한다. 여기서, 객체 검출 장치(200)는 좌표계 변환부(260)를 더 포함할 수 있다.
이하, 도 3의 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
이미지 획득부(210)는 차량 내의 설치된 카메라로부터 이미지를 획득한다.
관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(Adaptive ROI)을 설정한다. 여기서, 관심영역은 ROI(Region of Interest)로 지칭된다.
여기서, 관심영역 설정부(220)는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다. 관심영역 설정부(220)는 후보 관심영역(Candidate ROI)에 대해서 과거 시간 즉, 이전 시간에 대한 후보 관심영역에 대한 정보를 저장하고 있다. 그래서 관심영역 설정부(220)는 현재 후보 관심영역에 대해서 이전 시간에 대한 후보 관심영역 정보를 누적시켜 오류를 줄일 수 있다.
이미지 생성부는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다.
탐색창 생성부(240)는 이미지 생성부에서 생성된 이미지 피라미드 생성부(230)의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다.
객체 검출부(250)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창(Adaptive Classifier)을 이동시켜 객체를 검출한다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 4에 도시된 바와 같이, 관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(221)을 설정한다. 적응적 관심영역(221)은 거리에 따라 다르게 설정될 수 있다. 일례로, 적응적 관심영역(221)은 기설정된 거리 비율에 따라 설정된 영역만큼 설정될 수 있다. 적응적 관심영역(221)은 원거리일수록 작게 설정되고, 근거리일수록 크게 설정된다.
관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역(221)은 동일한 리사이즈 이미지로 동일한 작업량을 가능하게 한다. 이로 인해, 객체 검출 장치(200)는 병렬 처리(Load Balancing)를 효율적으로 수행할 수 있다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 5에 도시된 바와 같이, 탐색창 생성부(240)는 이미지 피라미드 생성부(230)에서 생성된 이미지(231)의 각 리사이즈 이미지(232)에서 적응적 탐색창(233)을 각각 생성한다. 여기서, 적응적 탐색창(233)은 거리별로 다르게 생성된다. 여기서, 리사이즈 이미지(232)는 이미지 피라미드 생성부(230) 이미지로 지칭될 수 있다.
객체 검출 장치(200)는 다양한 크기로 학습을 진행함으로써, 탐색창 생성부(240)에서 생성된 거리별 탐색창(233)을 각각 적용할 수 있다. 객체 검출 장치(200)는 이러한 거리별 탐색창(233)을 이용하여 객체가 존재하는 영역(234)을 검출할 수 있다.
이미지 피라미드 생성부(230) 이미지 생성시 리사이즈 이미지 알고리즘 제거로 인해 속도 개선이 이루어질 수 있다.
한편, 좌표계 변환부(260)는 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.
카메라의 캘리브레이션 정보에 대해서 살펴보기로 한다.
좌표계 변환부(260)는, 카메라의 캘리브레이션을 통해 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다. 캘리브레이션을 통해 얻을 수 있는 정보는 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 등이 있다.
실세계 좌표계에서 관심영역을 구하기 위해서 카메라의 내부 파라미터의 영향이 제거된 정규 이미지 평면(Normalized Image Plane)에서 정의된다. 그러므로 좌표계 변환부(260)는 캘리브레이션을 통해 내부 파라미터를 구해서 영상의 왜곡을 제거한다.
사용자 단말(예컨대, 핸드폰)에서는 정해진 규격의 캘리브레이션 차트를 이용하여 카메라 내부 파라미터를 구할 수 있다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 6에 도시된 바와 같이, 획득 가능한 차량의 상태 정보 및 관성 측정 정보에는 위도(latitude), 경도(longitude), 고도(altitude), 롤 각도(roll angle), 피치 각도(pitch angle), 요 각도(yaw angle), 북쪽의 속도(velocity towards north), 동쪽의 속도(velocity towards east), 지표면에 평행한 전방 속도(forward velocity), 지표면에 평행한 좌측 속도(leftward velocity), 지표면에 수직인 상향 속도(upward velocity), 차량 정면 방향의 가속도(acceleration in x, i.e. in direction of vehicle front), 차량 좌측의 가속도(acceleration in y, i.e. in direction of vehicle left), 차량 상향 가속도(acceleration in z, i.e. in direction of vehicle top), 정방향 가속도(forward acceleration), 좌측 가속도(leftward acceleration), 상향 가속도(upward acceleration), x 주위의 각속도(angular rate around x), y 주위의 각속도(angular rate around y), z 주위의 각속도(angular rate around z), 정방향 축 주위의 각속도(angular rate around forward axis), 좌측 축 주위의 각속도(angular rate around leftward axis), 상향 축 주위의 각속도(angular rate around upward axis), 위치 정확도(position accuracy), 속도 정확도(velocity accuracy), 내비게이션 상태(navigation status), 기본 GPS 수신기가 추적하는 위성 수(number of satellites tracked by primary GPS receiver), 기본 GPS 수신기의 위치 모드(position mode of primary GPS receiver), 기본 GPS 수신기의 속도 모드(velocity mode of primary GPS receiver), 기본 GPS 수신기의 방향 모드(orientation mode of primary GPS receiver) 등이 포함될 수 있다.
좌표계 변환부(260)는 차량 자체의 상태 정보와 카메라의 위치 정보를 기계적인 센서를 통해 획득하고 그 획득된 정보들을 이용할 수 있다. 좌표계 변환부(260)는 차량의 온-보드 진단기(On-Board Diagnostics, OBD)를 통해서 정보들을 획득할 수 있다. 온-보드 진단기(OBD)는 차량의 전기 또는 전자적인 작동 상태를 확인하고 제어하기 위한 진단 장치를 나타낸다. 온-보드 진단기(OBD)로부터 획득 가능한 차량의 상태 정보들에는 속도, 엔진 회전수, 수온 및 유온, 전압, 흡기량 및 연료 분출량, 액셀러레이터 개방 정도, 공연비 등이 포함될 수 있다. 또한, 이러한 차량의 상태 정보들에는 산소센서의 정보, 배기온 등 엔진과 관련한 여러 정보가 포함될 수 있다. 차량에 따라서는 트랜스미션의 단수 등 엔진 계통 이외의 정보도 상태 정보로 출력될 수 있다.
좌표계 변환부(260)는 관성 측정 장치(Inertial Measurement Unit, IMU)로부터 관성 측정 정보를 획득한다. 관성 측정 장치(IMU)는 요(Yaw), 피치(Pitch), 롤(Roll) 방향의 가속도나 각속도를 구하기 위한 센서를 나타낸다. 관성 측정 장치는 축당 가속도계나 각속도계가 있어 물리량을 측정할 수 있다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 7을 참고하여, 카메라의 회전 및 이동 행렬(Rotation & Translation Matrix)에 대해서 살펴보기로 한다.
좌표계 변환부(260)는 카메라의 캘리브레이션 정보 및 차량의 관성 측정 정보를 이용하여 이미지 획득부(210)에서 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 이와 같이, 카메라의 캘리브레이션 정보와 차량의 관성 측정 정보가 존재한다면, 이미지상에서의 특정 지점(u, v)은 실제 공간 상(World, Camera 좌표 기준)의 직선상의 지점으로 변환될 수 있다.
좌표계 변환부(260)는, 카메라의 캘리브레이션(Calibration) 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계(Real World) 좌표계로 변환한다.
좌표계 변환부(260)는, 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다. 예컨대, 좌표계 변환부(260)는, 위성 항법 정보(GPS), 관성 측정 정보(IMU)를 읽어서 시작점을 기준으로 시간마다 회전 행렬(R) 값 및 이동 행렬(T) 값을 가지는 자세 행렬(예컨대, 4×4 행렬)로 변환하여 이용할 수 있다. 이러한 회전 행렬은 하기의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112016128269515-pat00001
여기서, R은 회전 행렬, ux, uy, vx, vy는 x축 및 y축에서의 특징 지점, θ는 회전 각도를 나타낸다.
회전 행렬(R) 값 및 이동 행렬(T) 값을 이용한 3차원 변환을 위한 자세 행렬은 하기의 [수학식 2]와 같이 나타낼 수 있다.
Figure 112016128269515-pat00002
여기서, R은 회전 행렬,
Figure 112016128269515-pat00003
은 이동 행렬,
Figure 112016128269515-pat00004
은 자세 행렬을 나타낸다.
한편, 카메라의 위치 정보(높이) 추정 과정에 대해서 살펴보기로 한다.
우선, 카메라의 높이를 추정하기 위한 조건으로 차량과 지면은 맞닿아 있고, 지면과 차량은 수평이라고 가정하기로 한다. 따라서 카메라와 지면과의 거리가 차량 내에서의 카메라 높이로 추정될 수 있다.
또한, 카메라의 자세 변화량과 차량 내에서의 카메라 회전(Rotation) 관계는 알고 있다고 가정하기로 한다.
이러한 가정에 따라, 좌표계 변환부(260)는 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경한다.
그리고 좌표계 변환부(260)는 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정한다.
이어서, 좌표계 변환부(260)는 그 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
한편, 실세계 좌표계에서의 관심영역(Real World ROI)에 대해서 살펴보기로 한다.
실세계 좌표계로 변환하는 과정을 구체적으로 살펴보면, 2차원에서 3차원으로의 좌표계 맵핑은 안되므로 Z=1로 가정한다. 여기서, 정규 이미지 평면 (Normalized Image Plane)으로 투영된다.
좌표계 변환부(260)는 카메라의 높이, 카메라 행렬(Camera Matrix)과 자세 행렬(Pose Matrix)이 적용된 하기의 [수학식 3]을 이용한다.
Figure 112016128269515-pat00005
여기서, X, Y, Z는 실세계 좌표계상의 3차원 지점의 좌표,
Figure 112016128269515-pat00006
는 카메라 행렬,
Figure 112016128269515-pat00007
은 자세 행렬을 나타낸다.
좌표계 변환부(260)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.
그리고 좌표계 변환부(260)는 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.
참고로, 본 발명의 실시예에 따른 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 메모리, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.
객체 검출 장치(200)는 차량 내의 설치된 카메라로부터 이미지를 획득한다(S101).
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정한다(S102).
객체 검출 장치(200)는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다(S103).
객체 검출 장치(200)는 이미지 생성부에서 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다(S104).
객체 검출 장치(200)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창을 이동시켜 객체를 검출한다(S105).
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다(S106). 여기서, 객체 검출 장치(200)는 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
이때, 객체 검출 장치(200)는 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
그리고 객체 검출 장치(200)는 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여, 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 또한, 객체 검출 장치(200)는 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 객체 검출 장치
210: 이미지 획득부
220: 관심영역 설정부
230: 이미지 피라미드 생성부
240: 탐색창 생성부
250: 객체 검출부
260: 좌표계 변환부

Claims (20)

  1. 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계;
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계;
    상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
    상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및
    각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계를 포함하되,
    상기 관심영역 설정 단계는,
    현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;
    를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  4. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  5. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  6. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  7. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  8. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  9. 제8항에 있어서,
    상기 좌표계 변환 단계는,
    상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  10. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  11. 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부;
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부;
    상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
    상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및
    각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부를 포함하되,
    상기 관심영역 설정부는,
    현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;
    를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  14. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  15. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  16. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  17. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  18. 제13항에 있어서,
    상기 좌표계 변환부는,
    현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  19. 제18항에 있어서,
    상기 좌표계 변환부는,
    상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  20. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
KR1020160180586A 2016-12-28 2016-12-28 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 KR101890612B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160180586A KR101890612B1 (ko) 2016-12-28 2016-12-28 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
PCT/KR2016/015459 WO2018124337A1 (ko) 2016-12-28 2016-12-29 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180586A KR101890612B1 (ko) 2016-12-28 2016-12-28 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180076441A KR20180076441A (ko) 2018-07-06
KR101890612B1 true KR101890612B1 (ko) 2018-08-23

Family

ID=62709828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180586A KR101890612B1 (ko) 2016-12-28 2016-12-28 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101890612B1 (ko)
WO (1) WO2018124337A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308324B2 (en) 2019-08-26 2022-04-19 Samsung Electronics Co., Ltd. Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
KR20230076048A (ko) 2021-11-23 2023-05-31 주식회사 버넥트 연속 프레임 간의 실시간 이미지 타겟의 모션 추정 방법 및 그 시스템
US11670092B2 (en) 2020-04-21 2023-06-06 Samsung Electronics Co., Ltd. Electronic device for controlling driving vehicle and operation method of the electronic device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728715B (zh) * 2019-09-06 2023-04-25 南京工程学院 一种智能巡检机器人摄像机角度自适应调整方法
CN111553342B (zh) * 2020-04-01 2023-08-08 深圳一清创新科技有限公司 一种视觉定位方法、装置、计算机设备和存储介质
KR102551647B1 (ko) * 2020-11-25 2023-07-05 주식회사 싸인텔레콤 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템
CN115257739A (zh) * 2022-09-30 2022-11-01 南通艾美瑞智能制造有限公司 一种自适应速度调节的前车跟随方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302944B1 (ko) * 2009-11-04 2013-09-06 주식회사 만도 차량 인식 방법 및 장치
KR101264282B1 (ko) * 2010-12-13 2013-05-22 재단법인대구경북과학기술원 관심영역 설정을 이용한 도로상 차량의 검출방법
KR20150002038A (ko) * 2013-06-28 2015-01-07 (주) 세인 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
KR101609303B1 (ko) * 2014-03-28 2016-04-20 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
KR102199094B1 (ko) * 2014-05-26 2021-01-07 에스케이텔레콤 주식회사 관심객체 검출을 위한 관심영역 학습장치 및 방법
KR101665207B1 (ko) * 2014-12-31 2016-10-14 (주)베라시스 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308324B2 (en) 2019-08-26 2022-04-19 Samsung Electronics Co., Ltd. Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
US11670092B2 (en) 2020-04-21 2023-06-06 Samsung Electronics Co., Ltd. Electronic device for controlling driving vehicle and operation method of the electronic device
KR20230076048A (ko) 2021-11-23 2023-05-31 주식회사 버넥트 연속 프레임 간의 실시간 이미지 타겟의 모션 추정 방법 및 그 시스템

Also Published As

Publication number Publication date
WO2018124337A1 (ko) 2018-07-05
KR20180076441A (ko) 2018-07-06

Similar Documents

Publication Publication Date Title
KR101890612B1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
US10970873B2 (en) Method and device to determine the camera position and angle
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
CN111436216B (zh) 用于彩色点云生成的方法和***
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6830140B2 (ja) 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
CN110570449B (zh) 一种基于毫米波雷达与视觉slam的定位与建图方法
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
KR101909953B1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
JP6877293B2 (ja) 位置情報記録方法および装置
CN112050806B (zh) 一种移动车辆的定位方法及装置
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
EP2175237A1 (en) System and methods for image-based navigation using line features matching
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
US20140286537A1 (en) Measurement device, measurement method, and computer program product
CN108613675B (zh) 低成本无人飞行器移动测量方法及***
WO2024093635A1 (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN114442133A (zh) 无人机定位方法、装置、设备及存储介质
CN113091756A (zh) 位置推定装置、以及位置推定方法
US11481920B2 (en) Information processing apparatus, server, movable object device, and information processing method
CN115560744A (zh) 机器人以及基于多传感器的三维建图方法、存储介质
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
CN114429515A (zh) 一种点云地图构建方法、装置和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right