KR102266996B1 - 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치 - Google Patents

이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치 Download PDF

Info

Publication number
KR102266996B1
KR102266996B1 KR1020190163965A KR20190163965A KR102266996B1 KR 102266996 B1 KR102266996 B1 KR 102266996B1 KR 1020190163965 A KR1020190163965 A KR 1020190163965A KR 20190163965 A KR20190163965 A KR 20190163965A KR 102266996 B1 KR102266996 B1 KR 102266996B1
Authority
KR
South Korea
Prior art keywords
object recognition
recognition area
mobile system
limiting
sensor
Prior art date
Application number
KR1020190163965A
Other languages
English (en)
Inventor
신동군
조근혜
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020190163965A priority Critical patent/KR102266996B1/ko
Priority to US17/108,000 priority patent/US11436815B2/en
Application granted granted Critical
Publication of KR102266996B1 publication Critical patent/KR102266996B1/ko

Links

Images

Classifications

    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/42—Devices characterised by the use of electric or magnetic means
    • G01P3/44—Devices characterised by the use of electric or magnetic means for measuring angular speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

이미지센서로부터 이미지를 획득하고, 회전 감지용 센서로부터 센서 정보를 획득하고, 이미지와 센서 정보를 이용하여 모바일 시스템의 회전 여부를 판단하고, 회전 방향에 대응되는 영역을 객체인식영역으로 제한함으로써 불필요한 연산을 발생시키지 않아 객체인식에 소요되는 시간을 단축시킬 수 있고, 연산 성능이 떨어지는 모바일과 같은 환경에서도 실시간으로 객체인식을 수행할 수 있는 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법을 제공한다.

Description

이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치{METHOD AND APPARATUS FOR LIMITING OBJECT DETECTION AREA IN A MOBILE SYSTEM EQUIPPED WITH A ROTATION SENSOR OR A POSITION SENSOR WITH AN IMAGE SENSOR}
본 발명은 객체인식에 관한 것이고, 더 구체적으로는 객체인식영역을 제한하는 방법 및 장치에 관한 것이다.
객체인식(object detection)은 지능형 방범 감시 시스템, 자율주행과 같은 분야에서 사용되는 기술로서, 하나의 이미지에 존재하는 여러 객체의 위치와 종류를 인식하는 컴퓨터 비전(vision) 작업을 말한다. 일반적으로, 객체인식은 이미지를 특징맵으로 변환하고 해당 이미지에서 객체가 있을 후보 영역들을 수많이 만들어낸 후 각 후보 영역에 해당하는 특징맵 정보를 이용하여 이미지 분류와 실제 영역 예측을 수행한다.
종래의 객체인식 방법은 영역별로 객체가 등장할 가능성에 상관없이 전체 이미지를 탐색하여 불필요한 연산이 발생하고 객체인식에 소요되는 시간이 길다는 문제점이 있다.
또한 카메라에 의해 기록되는 영상은 640×480 이상의 높은 해상도로 표현되는데, 입력 이미지의 해상도가 높으면 객체인식을 수행하는 데 필요한 연산량이 많아지므로 연산 성능이 떨어지는 모바일과 같은 환경에서 실시간으로 객체인식을 수행하기 어렵다는 문제점이 있다.
한국 공개특허공보 제10-2017-0039465호(실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법, 부산대학교 산학협력단, 2017.04.11.)
전술한 문제점을 해결하기 위한 본 발명의 목적은 객체인식에 소요되는 시간을 단축시켜 모바일과 같은 환경에서도 실시간으로 객체인식을 수행할 수 있도록 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법을 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 객체인식에 소요되는 시간을 단축시켜 모바일과 같은 환경에서도 실시간으로 객체인식을 수행할 수 있도록 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법은, 상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받는 단계 -상기 센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-, 상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는 단계, 및 상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하는 단계를 포함한다.
일 측면에 따르면, 상기 회전 감지용 센서는 자이로스코프(gyroscope) 및 온보드 진단기(On Board Diagnostics, OBD) 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 모바일 시스템의 회전 여부를 판단하는 단계는 상기 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단할 수 있다.
일 측면에 따르면, 상기 모바일 시스템의 회전 여부를 판단하는 단계는 상기 조향각도 및 상기 속력이 각각 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단할 수 있다.
일 측면에 따르면, 상기 모션 벡터는 상기 이미지의 샘플링(sampling)된 일부 영역 내의 하나 이상의 객체들의 위치 변화를 이용하여 계산될 수 있고, 상기 모바일 시스템의 회전 여부를 판단하는 단계는 상기 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단할 수 있다.
일 측면에 따르면, 상기 객체인식영역을 제한하는 단계는 상기 이미지 내에서 상기 모바일 시스템의 회전 방향에 대응되는 영역을 객체인식영역으로 제한할 수 있다.
일 측면에 따르면, 상기 센서 정보를 제공받는 단계는 GPS로부터 위치 정보를 더 제공받을 수 있다.
일 측면에 따르면, 상기 객체인식영역을 제한하는 단계는 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 객체인식영역을 제한할 수 있다.
일 측면에 따르면, 상기 객체인식영역을 제한하는 단계는 상기 객체인식영역을 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 제한한 제1 영역 및 상기 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 제한한 제2 영역을 병합한 제3 영역으로 제한할 수 있다.
일 측면에 따르면, 상기 모바일 시스템의 회전 여부를 판단하는 단계는 상기 모바일 시스템에 상기 회전 감지용 센서가 장착되어 있지 않은 경우에는 상기 모션 벡터를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 3축 각속도인 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 조향 정보인 경우에는 상기 조향 정보를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 3축 각속도 및 상기 조향 정보를 모두 포함하는 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치는, 상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받는 센서 정보 수신부 -센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-, 상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는 회전 여부 판단부, 및 상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하는 객체인식영역 제한부를 포함한다.
일 측면에 따르면, 상기 회전 감지용 센서는 자이로스코프(gyroscope) 및 온보드 진단기(On Board Diagnostics, OBD) 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 회전 여부 판단부는 상기 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단할 수 있다.
일 측면에 따르면, 상기 회전 여부 판단부는 상기 조향각도 및 상기 속력이 각각 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단할 수 있다.
일 측면에 따르면, 상기 모션 벡터는 상기 이미지의 샘플링(sampling)된 일부 영역 내의 하나 이상의 객체들의 위치 변화를 이용하여 계산될 수 있고, 상기 회전 여부 판단부는 상기 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전여부를 판단할 수 있다.
일 측면에 따르면, 상기 객체인식영역 제한부는 상기 이미지 내에서 상기 모바일 시스템의 회전 방향에 대응되는 영역을 객체인식영역으로 제한할 수 있다.
일 측면에 따르면, 상기 센서 정보 수신부는 GPS로부터 위치 정보를 더 제공받을 수 있다.
일 측면에 따르면, 상기 객체인식영역 제한부는 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 객체인식영역을 제한할 수 있다.
일 측면에 따르면, 상기 객체인식영역 제한부는 상기 객체인식영역을 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 제한한 제1 영역 및 상기 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 제한된 제2 영역을 병합한 제3 영역으로 제한할 수 있다.
일 측면에 따르면, 상기 회전 여부 판단부는 상기 모바일 시스템에 상기 회전 감지용 센서가 장착되어 있지 않은 경우에는 상기 모션 벡터를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 3축 각속도인 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 조향 정보인 경우에는 상기 조향 정보를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고, 상기 센서 정보가 상기 3축 각속도 및 상기 조향 정보를 모두 포함하는 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터가 이미지센서를 장착한 모바일 시스템에서의 객체인식영역을 제한하도록 하는 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록매체에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터가: 상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받게 하는 명령 -상기 센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-, 상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하게 하는 명령, 및 상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하게 하는 명령을 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 이미지센서는 갖는 모바일 시스템에서의 객체인식영역 제한 방법 및 장치에 따르면, 이미지센서로부터 이미지를 수신하고, 회전 감지용 센서로부터 센서 정보를 수신하고, 이미지와 센서 정보를 이용하여 모바일 시스템의 회전 여부를 판단하고, 회전 방향에 대응되는 영역을 객체인식영역으로 제한할 수 있다.
따라서, 불필요한 연산을 발생시키지 않아 객체인식에 소요되는 시간을 단축시킬 수 있고, 연산 성능이 떨어지는 모바일과 같은 환경에서도 실시간으로 객체인식을 수행할 수 있다.
도 1은 객체인식영역 제한의 개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법의 적용 여부에 따른 전체 객체인식 과정의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 3축 각속도를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
도 4는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 조향 정보를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
도 5는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 모션 벡터를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
도 6은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 위치 정보를 이용하여 객체인식영역을 제한하는 방법의 개념도이다.
도 7은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 센서 정보의 우선 순위에 따른 객체인식영역의 제한 방법의 흐름도이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 모바일 시스템에서의 객체인식영역 제한 방법의 적용 예시를 나타낸 개념도이다.
도 9는 본 발명의 다른 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치의 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람이 본 발명을 쉽게 실시할 수 있도록 명확하고 상세하게 설명하기로 한다.
도 1은 객체인식영역 제한의 개념을 설명하기 위한 개념도이다.
객체인식(object detection)은 지능형 방범 감시 시스템, 자율주행과 같은 분야에서 사용되는 기술로서, 하나의 이미지에 존재하는 여러 객체의 위치와 종류를 인식하는 컴퓨터 비전 작업을 말한다. 일반적으로, 객체인식은 이미지를 특징맵으로 변환하고 해당 이미지에서 객체가 있을 후보 영역들을 수많이 만들어낸 후 각 후보 영역에 해당하는 특징맵 정보를 이용하여 이미지 분류와 실제 영역 예측을 수행한다.
종래의 객체인식 방법은 영역별로 객체가 등장할 가능성에 상관없이 전체 이미지를 탐색하여 불필요한 연산이 발생하고 객체인식에 소요되는 시간이 길다는 문제점이 있다.
또한 카메라에 의해 기록되는 영상은 640×480 이상의 높은 해상도로 표현되는데, 입력 이미지의 해상도가 높으면 객체인식을 수행하는 데 필요한 연산량이 많아지므로 연산 성능이 떨어지는 모바일과 같은 환경에서 실시간으로 객체인식을 수행하기 어렵다는 문제점이 있다.
객체인식영역의 제한은 상술한 바와 같은 문제점을 해결하기 위한 것으로서 이미지센서가 있는 시스템의 회전 정보 및/또는 위치와 같은 센서 정보를 이용하여 이미지에서 새로운 객체가 나타날 영역에 대해서만 객체인식을 하도록 객체를 인식할 영역을 제한하는 것이다.
도 1을 참조하면, 차량이 우회전하는 경우 이미지의 좌측 부분에는 새로운 객체가 나타날 가능성이 극히 낮고 이미지의 우측 부분에 새로운 객체가 나타날 것이므로 이미지 전체에 대해서 객체인식을 수행하는 대신 이미지의 우측 부분에 대해서만 객체인식을 수행하도록 객체인식영역을 제한할 수 있다. 예를 들어, 자동 긴급제동 시스템(Autonomous Emergency Braking, AEB), 차선 유지 보조 시스템(Lane Keep Assist, LKA), 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)과 같은 첨단 운전자 지원 시스템(Advanced Driver Assistance System, ADAS)의 동작을 위해 차량의 전방에 설치된 이미지센서로부터 획득된 이미지에서 다른 차량, 보행자, 또는 장애물과 같은 객체를 인식하는 경우 차량이 우회전한다면 이미지의 우측 부분에 새로운 객체가 나타날 것이므로 이미지의 우측 부분에 대해서만 객체인식을 수행하도록 객체인식영역을 제한할 수 있다.
이와 같이 객체인식영역을 제한함으로써 이미지에 새롭게 등장하는 객체를 인식하는 데 필요한 시간을 단축할 수 있으며, 이러한 효과는 연산 성능이 낮은 시스템일수록 더욱 커진다.
도 2는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법의 적용 여부에 따른 전체 객체인식 과정의 흐름도이다.
본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법은 센서 정보에 기반하여 이미지 내의 일부 영역을 객체인식영역으로 제한한다. 먼저, 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 회전 감지용 센서로부터 센서 정보를 제공받는다(S210). 여기서, 회전 감지용 센서는 자이로스코프(gyroscope) 및 온보드 진단기(On Board Diagnostics, OBD) 중 적어도 하나를 포함하고, 센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 조향 정보는 조향각도 및 속력을 포함한다. 한편, 센서 정보 외에 GPS로부터 위치 정보를 더 제공받을 수도 있다.
다만, 후술하는 바와 같이 본 발명의 일 실시예에 따른 이미지센서를 갖춘 모바일 시스템에서의 객체인식영역 제한 방법에서는 이미지센서로부터 제공받은 이미지만을 이용하여 객체인식영역을 제한할 수도 있고, 이미지센서로부터 제공받은 이미지, 회전 감지용 센서로부터 제공받은 센서 정보, 및 GPS로부터 제공받은 위치 정보를 모두 이용하여 객체인식영역을 제한할 수도 있다.
다음으로, 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 모바일 시스템의 회전 여부를 판단한다(S220). 모바일 시스템이 회전하는 경우에는 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하고, 위치 정보가 있는 경우 위치 정보를 이용하여 제한된 객체인식영역과 통합한 후, 제한된 객체인식영역에 대해서만 객체인식을 수행하고, 제한된 객체인식영역 이외의 영역에 대한 이전 프레임에서의 객체인식 결과와 통합한다(S230 내지 S260). 모바일 시스템이 회전하지 않는 경우에는 객체인식영역을 제한하지 않고 이미지 전체에 대해서 객체인식을 수행한다(S250). 모바일 시스템의 회전 여부를 판단하는 방법 및 그에 따라 객체인식영역을 제한하는 방법에 관하여는 도 3 내지 도 7을 참조하여 후술하기로 한다.
도 3은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 3축 각속도를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
도 3을 참조하면, 모바일 시스템의 회전 여부는 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 판단할 수 있다. 예를 들어, 도 3에 나타난 바와 같이 모바일 시스템의 좌우, 전후, 상하를 각각 x, y, z축이라 하면, x축 및 z축 각속도 중에서 크기가 더 큰 값이 소정의 기준값 이상이면 모바일 시스템이 해당 축을 기준으로 회전한다고 판단할 수 있다. 구체적으로, x축 각속도의 크기가 소정의 기준값 이상이면 모바일 시스템이 x축을 기준으로 회전한다고 판단할 수 있고, z축 각속도의 크기가 소정의 기준값 이상이면 모바일 시스템이 z축을 기준으로 회전한다고 판단할 수 있다.
모바일 시스템의 회전 방향은 각속도의 부호를 이용하여 판단할 수 있다. 예를 들어, x축 각속도가 양수이면 위쪽 방향으로 회전한다(예를 들어, 평지에서 오르막길로 진입)고 판단할 수 있고, x축 각속도가 음수이면 아래쪽 방향으로 회전한다(예를 들어, 평지에서 내리막길로 진입)고 판단할 수 있다. 반대로, z축 각속도가 양수이면 왼쪽 방향으로 회전한다고 판단할 수 있고, z축 각속도가 음수이면 오른쪽 방향으로 회전한다고 판단할 수 있다.
이때 객체인식영역은 이미지센서로부터 제공받은 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 제한된다. 예를 들어, x축 각속도가 양수이면 객체인식영역은 이미지의 위쪽 영역으로 제한될 수 있고, x축 각속도가 음수이면 객체인식영역은 이미지의 아래쪽 영역으로 제한될 수 있고, z축 각속도가 양수이면 객체인식영역은 이미지의 왼쪽 영역으로 제한될 수 있고, z축 각속도가 음수이면 객체인식영역은 이미지의 오른쪽 영역으로 제한될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 조향 정보를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
도 4를 참조하면, 모바일 시스템의 회전 여부는 조향각도와 속력이 각각 소정의 기준값 이상인지 여부에 따라 판단할 수 있다. 이때 모바일 시스템은 조향각도와 동일한 방향으로 회전하는 것으로 판단할 수 있고, 객체인식영역은 이미지센서로부터 제공받은 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 제한된다.
도 5는 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 모션 벡터를 이용하여 모바일 시스템의 회전 여부를 판단하고 객체인식영역을 제한하는 방법의 개념도이다.
모션 벡터는 이미지센서에서 제공받은 이전 프레임 이미지와 현재 프레임 이미지에서 특정 객체의 위치 변화를 이용하여 계산할 수 있다. 구체적으로, 이미지의 일부를 샘플링(sampling)하고 해당 영역 내의 객체들의 이전 프레임 이미지에 대한 현재 프레임 이미지의 모션 벡터를 계산할 수 있다. 이때 모바일 시스템의 회전 여부는 계산한 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 의해 판단할 수 있다.
모바일 시스템의 회전 방향은 모션 벡터의 평균의 각 성분을 비교하여 판단할 수 있다. 구체적으로, 모바일 시스템의 회전 방향은 모션 벡터의 평균의 수평 성분 및 수직 성분 중에서 크기가 큰 성분의 반대 방향이다. 예를 들어, 모바일 시스템이 오른쪽으로 회전하면 이전 프레임 이미지 내의 객체들은 현재 프레임 이미지에서는 좌상단 방향 또는 좌하단 방향으로 이동한다. 도 5에 나타난 바와 같이 객체들이 좌하단 방향으로 이동하는 경우 모션 벡터의 평균의 방향은 좌하단이다. 이때 모션 벡터의 평균의 수평 성분이 수직 성분보다 더 크므로 모바일 시스템이 오른쪽으로 회전한다고 판단할 수 있다.
이때 제한된 객체인식영역은 이미지센서로부터 제공받은 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 제한된다. 예를 들어, 도 5에 나타난 바와 같이, 시스템이 오른쪽으로 회전하는 경우 즉, 모션 벡터의 평균의 수평 성분이 수직 성분보다 크고 수평 방향이 왼쪽인 경우 객체인식영역은 이미지의 오른쪽 영역으로 제한될 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 위치 정보를 이용하여 객체인식영역을 제한하는 방법의 개념도이다.
위치 정보를 이용한 객체인식영역 제한은 모바일 시스템이 차량인 경우에 도로의 특수한 상황에 대응하기 위하여 사용될 수 있다. 구체적으로, 위치 정보를 이용하여 현재 위치를 알 수 있고, 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황을 알 수 있다.
예를 들어, 도 6에 나타난 바와 같이 현재 위치에서 전방에 도로의 오른쪽으로부터 합쳐지는 차선이 있는 경우 객체인식영역은 이미지센서로부터 제공받은 이미지의 오른쪽 영역으로 제한될 수 있다.
위치 정보를 이용하여 제한된 객체인식영역은 상술한 다른 센서 정보를 이용하여 제한된 객체인식영역과 통합될 수 있다. 객체인식영역의 통합에 의해 모바일 시스템의 회전 방향에서 등장하는 새로운 객체와 현재 위치 주변의 도로 상황에 따라 등장하는 새로운 객체를 모두 인식할 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서 센서 정보의 우선 순위에 따른 객체인식영역의 제한 방법의 흐름도이다.
3축 각속도, 조향 정보, 및 모션 벡터 중 어느 하나만 있더라도 해당 센서 정보를 이용하여 상술한 바와 같이 이미지 내에서 객체인식영역을 제한할 수 있다. 그러나 세 가지 센서 정보가 모두 있는 경우에는 모든 센서 정보를 이용하여 객체인식영역을 제한할 수도 있고, 우선순위가 더 높은 센서 정보를 이용하여 객체인식영역을 제한할 수도 있다.
3축 각속도는 자이로스코프로부터 직접 제공받으므로 가장 신뢰도가 높다. 반면에 모션 벡터는 별도의 계산이 필요하고 모션 벡터를 계산하는 영역 내의 여러 객체의 움직임이 다를 수 있으므로 다른 두 센서 정보 보다 신뢰도가 낮다. 따라서, 본 발명의 일 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에서는 3축 각속도, 조향 정보, 및 모션 벡터의 순서로 우선순위를 두어 우선순위가 높은 센서 정보에 의한 객체인식영역을 선택할 수 있다.
다만, 위치 정보를 이용해 제한한 객체인식영역은 모바일 시스템의 현재 위치와 주변 도로 상황에 따라 달라지는 것이므로 3축 각속도, 조향 정보, 및 모션 벡터를 이용해 제한한 객체인식영역과 함께 사용할 수 있다.
따라서, 도 7을 참조하면, 제공받은 센서 정보에 3축 각속도가 포함된 경우 3축 각속도를 이용하여 객체인식영역을 제한할 수 있고(S710, S730), 제공받은 센서 정보에 3축 각속도가 포함되어 있지 않고, 조향 정보가 포함된 경우 조향 정보를 이용하여 객체인식영역을 제한할 수 있다(S710, S720, S740). 제공받은 센서 정보에 3축 각속도, 조향 정보가 포함되어 있지 않은 경우 모션 벡터를 이용하여 객체인식영역을 제한한다(S710, S720, S750).
이후, 제공받은 센서 정보에 위치 정보가 포함된 경우 위치 정보를 이용하여 객체인식영역을 제한하고, 3축 각속도, 조향 정보, 또는 모션 벡터를 이용하여 제한된 객체인식영역과 병합하여 병합된 영역에 대하여 객체인식을 수행할 수 있다. 반면에 제공받은 센서 정보에 위치 정보가 포함되지 않은 경우에는 3축 각속도, 조향 정보, 또는 모션 벡터를 이용하여 제한된 객체인식영역에 대하여서만 객체인식을 수행할 수 있다(S760, S770).
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 모바일 시스템에서의 객체인식영역 제한 방법의 적용 예시를 나타낸 개념도이다.
본 발명의 일 실시예에 따른 모바일 시스템에서의 객체인식영역 제한 방법은 모바일 시스템의 회전 여부, 위치 정보에 따라 다른 빈도로 적용될 수 있다.
도 8a와 같이, 매 이미지 프레임마다 제한된 객체인식영역에 대하여 객체인식을 수행하고 이미지 전체에 대하여 객체추적을 수행할 수 있다. 또는, 도 8b와 같이, 매 N번째(도 8b의 예에서는 N = 4) 이미지 프레임마다 제한된 객체인식영역에 대하여 객체인식을 수행하고 이미지 전체에 대한 객체추적을 수행하고, 나머지 이미지 프레임에서는 객체추적만을 수행할 수 있다. 또는, 도 8c와 같이, 매 N번째(도 8c의 예에서는 N = 4) 이미지 프레임마다 이미지 전체에 대한 객체인식을 수행하고, 나머지 프레임에서는 제한된 영역에 대한 객체인식과 이미지 전체에 대한 객체추적을 수행할 수 있다.
여기서, 객체추적은 카메라로 촬영되는 영상에서 사람, 동물, 차량 등 특정 객체의 위치 변화를 찾는 컴퓨터 비전 기술로서, 일련의 영상 프레임 내 객체의 크기, 색, 모양, 또는 윤곽선과 같은 특징적인 정보 사이의 유사도를 이용하여 객체의 변화를 추적하는 기술이다.
도 9는 본 발명의 다른 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치의 구성도이다.
본 발명의 다른 실시예에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치는 센서 정보 수신부(910), 회전 여부 판단부(930), 및 객체인식영역 제한부(950)를 포함한다.
센서 정보 수신부(910)는 이미지센서(10)로부터 이미지를 수신한다. 센서 정보 수신부는 회전 감지용 센서로부터 센서 정보를 더 수신할 수 있다. 여기서 회전 감지용 센서는 자이로스코프(30), 온보드 진단기(OBD)(50), 및 GPS(70) 중 적어도 하나를 포함하고, 센서 정보는 3축 각속도, 조향 정보, 및 위치 정보 중 적어도 하나를 포함한다.
회전 여부 판단부(930)는 3축 각속도, 조향 정보, 및 모션 벡터 중 적어도 하나를 이용하여 모바일 시스템의 회전 여부를 판단한다.
3축 각속도를 이용하는 경우, 회전 여부 판단부(930)는 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 모바일 시스템의 회전 여부를 판단할 수 있다. 예를 들어, 회전 여부 판단부(930)는, 모바일 시스템의 좌우, 전후, 상하를 각각 x, y, z축이라 하면, x축 및 z축 각속도 중에서 크기가 더 큰 값이 소정의 기준값 이상이면 모바일 시스템이 해당 축을 기준으로 회전한다고 판단할 수 있다.
조향 정보를 이용하는 경우, 회전 여부 판단부(930)는 조향각도와 속력이 각각 소정의 기준값 이상인지 여부에 따라 모바일 시스템의 회전 여부를 판단할 수 있다.
모션 벡터를 이용하는 경우, 회전 여부 판단부(930)는 계산한 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 따라 모바일 시스템의 회전 여부를 판단할 수 있다.
객체인식영역 제한부(950)는 3축 각속도, 조향 정보, 모션 벡터 중 적어도 하나를 이용하여 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 객체인식영역을 제한한다. 객체인식영역 제한부(950)는 위치 정보를 이용하여 이미지 내에서 객체인식영역을 추가적으로 제한할 수도 있다.
3축 각속도를 이용하는 경우, 객체인식영역 제한부(950)는 각속도의 부호를 이용하여 이동하는 이미지의 회전 방향을 판단하고, 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 객체인식영역을 제한할 수 있다.
조향 정보를 이용하는 경우, 객체인식영역 제한부(950)는 조향각도를 이용하여 이동하는 이미지의 회전 방향을 판단하고, 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 객체인식영역을 제한할 수 있다.
모션 벡터를 이용하는 경우, 객체인식영역 제한부(950)는 모션 벡터의 평균의 각 성분을 비교하여 이동하는 이미지의 회전 방향을 판단하고, 이미지 내에서 모바일 시스템의 회전 방향에 대응되는 영역으로 객체인식영역을 제한할 수 있다.
위치 정보를 이용하는 경우, 객체인식영역 제한부(950)는 도로 정보가 기록된 데이터베이스(90)로부터 현재 위치 주변의 도로 상황에 따라 객체인식영역을 제한할 수 있다. 여기서, 데이터베이스(90)는 객체인식영역 제한 장치(900)의 외부 서버의 형태로 구현될 수도 있고 객체인식영역 제한 장치(900)의 내부의 메모리의 형태로 구현될 수도 있다.
객체인식영역 제한부(950)는 3축 각속도, 조향 정보 및 모션 벡터의 순서로 우선순위를 두어 우선순위가 높은 센서 정보를 이용하여 객체인식영역을 선택할 수 있다.
객체인식영역 제한부(950)는 3축 각속도, 조향 정보, 및 모션 벡터 중 어느 하나를 이용하여 제한한 객체인식영역과 위치 정보를 이용하여 제한한 객체인식영역을 병합할 수 있다.
전술한 본 발명에 따른 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
900: 객체인식영역 제한 장치
910: 센서 정보 수신부
930: 회전 여부 판단부
950: 객체인식영역 제한부

Claims (21)

  1. 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법에 있어서,
    상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받는 단계 -상기 센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-;
    상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는 단계; 및
    상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하는 단계를 포함포함하되,
    상기 센서 정보를 제공받는 단계는 GPS로부터 위치 정보를 더 제공받고,
    상기 객체인식영역을 제한하는 단계는 상기 위치 정보에 기초하여 상기 객체인식영역을 수정하는 단계를 포함하는, 객체인식영역 제한 방법.
  2. 제1항에 있어서,
    상기 회전 감지용 센서는 자이로스코프(gyroscope) 및 온보드 진단기(On Board Diagnostics, OBD) 중 적어도 하나를 포함하는, 객체인식영역 제한 방법.
  3. 제1항에 있어서,
    상기 모바일 시스템의 회전 여부를 판단하는 단계는
    상기 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 방법.
  4. 제1항에 있어서,
    상기 모바일 시스템의 회전 여부를 판단하는 단계는
    상기 조향각도 및 상기 속력이 각각 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 방법.
  5. 제1항에 있어서,
    상기 모션 벡터는 상기 이미지의 샘플링(sampling)된 일부 영역 내의 하나 이상의 객체들의 위치 변화를 이용하여 계산되고,
    상기 모바일 시스템의 회전 여부를 판단하는 단계는
    상기 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 방법.
  6. 제1항에 있어서,
    상기 객체인식영역을 제한하는 단계는
    상기 이미지 내에서 상기 모바일 시스템의 회전 방향에 대응되는 영역을 객체인식영역으로 제한하는, 객체인식영역 제한 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 객체인식영역을 제한하는 단계는
    도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 객체인식영역을 제한하는, 객체인식영역 제한 방법.
  9. 제8항에 있어서,
    상기 객체인식영역을 제한하는 단계는
    상기 객체인식영역을 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 제한한 제1 영역 및 상기 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 제한한 제2 영역을 병합한 제3 영역으로 제한하는, 객체인식영역 제한 방법.
  10. 제1항에 있어서,
    상기 모바일 시스템의 회전 여부를 판단하는 단계는
    상기 모바일 시스템에 상기 회전 감지용 센서가 장착되어 있지 않은 경우에는 상기 모션 벡터를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 3축 각속도인 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 조향 정보인 경우에는 상기 조향 정보를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 3축 각속도 및 상기 조향 정보를 모두 포함하는 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는, 객체인식영역 제한 방법.
  11. 이미지센서를 장착한 모바일 시스템에서의 객체인식영역 제한 장치에 있어서,
    상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받는 센서 정보 수신부 -센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-;
    상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는 회전 여부 판단부; 및
    상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하는 객체인식영역 제한부를 포함하되,
    상기 센서 정보 수신부는 GPS로부터 위치 정보를 더 제공받고,
    상기 객체인식영역 제한부는 상기 위치 정보에 기초하여 상기 객체인식영역을 수정하는, 객체인식영역 제한 장치.
  12. 제11항에 있어서,
    상기 회전 감지용 센서는 자이로스코프(gyroscope) 및 온보드 진단기(On Board Diagnostics, OBD) 중 적어도 하나를 포함하는, 객체인식영역 제한 장치.
  13. 제11항에 있어서,
    상기 회전 여부 판단부는
    상기 3축 각속도 중 어느 한 축 각속도의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 장치.
  14. 제11항에 있어서,
    상기 회전 여부 판단부는
    상기 조향각도 및 상기 속력이 각각 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 장치.
  15. 제11항에 있어서,
    상기 모션 벡터는 상기 이미지의 샘플링(sampling)된 일부 영역 내의 하나 이상의 객체들의 위치 변화를 이용하여 계산되고,
    상기 회전 여부 판단부는
    상기 모션 벡터의 평균의 크기가 소정의 기준값 이상인지 여부에 따라 상기 회전 여부를 판단하는, 객체인식영역 제한 장치.
  16. 제11항에 있어서,
    상기 객체인식영역 제한부는
    상기 이미지 내에서 상기 모바일 시스템의 회전 방향에 대응되는 영역을 객체인식영역으로 제한하는, 객체인식영역 제한 장치.
  17. 삭제
  18. 제11항에 있어서,
    상기 객체인식영역 제한부는
    도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 객체인식영역을 제한하는, 객체인식영역 제한 장치.
  19. 제18항에 있어서,
    상기 객체인식영역 제한부는
    상기 객체인식영역을 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 제한한 제1 영역 및 상기 도로 정보가 기록된 데이터베이스로부터 현재 위치 주변의 도로 상황에 따라 제한된 제2 영역을 병합한 제3 영역으로 제한하는, 객체인식영역 제한 장치.
  20. 제11항에 있어서,
    상기 회전 여부 판단부는
    상기 모바일 시스템에 상기 회전 감지용 센서가 장착되어 있지 않은 경우에는 상기 모션 벡터를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 3축 각속도인 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 조향 정보인 경우에는 상기 조향 정보를 이용하여 상기 모바일 시스템의 회전 여부를 판단하고,
    상기 센서 정보가 상기 3축 각속도 및 상기 조향 정보를 모두 포함하는 경우에는 상기 3축 각속도를 이용하여 상기 모바일 시스템의 회전 여부를 판단하는, 객체인식영역 제한 장치.
  21. 컴퓨터가 이미지센서를 장착한 모바일 시스템에서의 객체인식영역을 제한하도록 하는 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록매체에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터가:
    상기 이미지센서로부터 인식 대상 객체에 대해 획득된 이미지를 제공받고, 상기 모바일 시스템에 회전 감지용 센서가 장착되어 있는 경우에 한하여 상기 회전 감지용 센서로부터 센서 정보를 제공받게 하는 명령 -상기 센서 정보는 3축 각속도 및 조향 정보 중 적어도 하나를 포함하고, 상기 조향 정보는 조향각도 및 속력을 포함함-;
    상기 센서 정보 및 모션 벡터 중 적어도 하나를 이용하여 상기 모바일 시스템의 회전 여부를 판단하게 하는 명령; 및
    상기 판단의 결과 상기 모바일 시스템이 회전하는 경우 상기 센서 정보 및 상기 모션 벡터 중 적어도 하나를 이용하여 객체인식영역을 제한하게 하는 명령을 포함하되,
    상기 센서 정보를 제공받게 하는 명령은 상기 컴퓨터가 GPS로부터 위치 정보를 더 제공받게 하는 명령을 포함하고,
    상기 객체인식영역을 제한하게 하는 명령은 상기 컴퓨터가 상기 위치 정보에 기초하여 상기 객체인식영역을 수정하게 하는 명령을 포함하는, 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록매체.
KR1020190163965A 2019-12-10 2019-12-10 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치 KR102266996B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190163965A KR102266996B1 (ko) 2019-12-10 2019-12-10 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
US17/108,000 US11436815B2 (en) 2019-12-10 2020-12-01 Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163965A KR102266996B1 (ko) 2019-12-10 2019-12-10 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102266996B1 true KR102266996B1 (ko) 2021-06-18

Family

ID=76209903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163965A KR102266996B1 (ko) 2019-12-10 2019-12-10 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치

Country Status (2)

Country Link
US (1) US11436815B2 (ko)
KR (1) KR102266996B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220188547A1 (en) * 2020-12-16 2022-06-16 Here Global B.V. Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device
US11587253B2 (en) 2020-12-23 2023-02-21 Here Global B.V. Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US11830103B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
US11829192B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for change detection based on digital signatures
US11900662B2 (en) 2020-12-16 2024-02-13 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures
US11991295B2 (en) 2021-12-07 2024-05-21 Here Global B.V. Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057699A (ko) * 2011-11-24 2013-06-03 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치
KR20170039465A (ko) 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
KR20170097435A (ko) * 2016-02-18 2017-08-28 한국전자통신연구원 자율주행 시스템에서의 교차로 우회전 판단 장치 및 그 방법
KR20180085211A (ko) * 2017-01-18 2018-07-26 주식회사 만도 차량의 보행자 검출 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6513717B2 (en) * 2000-12-07 2003-02-04 Digimarc Corporation Integrated cursor control and scanner device
WO2015008652A1 (ja) * 2013-07-17 2015-01-22 ソニー株式会社 画像処理装置および方法
US10071748B2 (en) * 2015-09-17 2018-09-11 Sony Corporation System and method for providing driving assistance to safely overtake a vehicle
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
US10347122B2 (en) * 2016-07-12 2019-07-09 Denson Corporation Road condition monitoring system
KR20210027380A (ko) * 2018-07-05 2021-03-10 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 다수의 센서들 및 감소된 복잡도 신경망들을 사용한 오브젝트 검출
KR20210003988A (ko) * 2019-07-02 2021-01-13 현대자동차주식회사 차량의 오일 펌프 압력 제어 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057699A (ko) * 2011-11-24 2013-06-03 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치
KR20170039465A (ko) 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
KR20170097435A (ko) * 2016-02-18 2017-08-28 한국전자통신연구원 자율주행 시스템에서의 교차로 우회전 판단 장치 및 그 방법
KR20180085211A (ko) * 2017-01-18 2018-07-26 주식회사 만도 차량의 보행자 검출 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220188547A1 (en) * 2020-12-16 2022-06-16 Here Global B.V. Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device
US11900662B2 (en) 2020-12-16 2024-02-13 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures
US11587253B2 (en) 2020-12-23 2023-02-21 Here Global B.V. Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US11830103B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
US11829192B2 (en) 2020-12-23 2023-11-28 Here Global B.V. Method, apparatus, and computer program product for change detection based on digital signatures
US11991295B2 (en) 2021-12-07 2024-05-21 Here Global B.V. Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork

Also Published As

Publication number Publication date
US20210174113A1 (en) 2021-06-10
US11436815B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
KR102266996B1 (ko) 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
US10671068B1 (en) Shared sensor data across sensor processing pipelines
KR102499398B1 (ko) 차선 검출 방법 및 장치
US9495602B2 (en) Image and map-based detection of vehicles at intersections
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111506057B (zh) 辅助自动驾驶的自动驾驶辅助眼镜
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
JP2021165080A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
KR102541560B1 (ko) 객체 인식 방법 및 장치
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
US11335099B2 (en) Proceedable direction detection apparatus and proceedable direction detection method
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
Avşar et al. Moving vehicle detection and tracking at roundabouts using deep learning with trajectory union
CN114898314A (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
US11775615B2 (en) System and method for tracking detected objects
US20230316539A1 (en) Feature detection device, feature detection method, and computer program for detecting feature
Pȩszor et al. Optical flow for collision avoidance in autonomous cars
US20210383213A1 (en) Prediction device, prediction method, computer program product, and vehicle control system
US11257239B2 (en) Image selection device and image selection method
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
US11995877B2 (en) Visual tracking of target features
US11726483B2 (en) Apparatus for detecting inclination angle and controller
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
US20240153107A1 (en) System and method for three-dimensional multi-object tracking
US20230084623A1 (en) Attentional sampling for long range detection in autonomous vehicles

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant