KR102519662B1 - 영상 획득 방법 및 영상 획득 장치 - Google Patents

영상 획득 방법 및 영상 획득 장치 Download PDF

Info

Publication number
KR102519662B1
KR102519662B1 KR1020170097068A KR20170097068A KR102519662B1 KR 102519662 B1 KR102519662 B1 KR 102519662B1 KR 1020170097068 A KR1020170097068 A KR 1020170097068A KR 20170097068 A KR20170097068 A KR 20170097068A KR 102519662 B1 KR102519662 B1 KR 102519662B1
Authority
KR
South Korea
Prior art keywords
vehicle
shutter speed
image
adjusting
speed
Prior art date
Application number
KR1020170097068A
Other languages
English (en)
Other versions
KR20190013080A (ko
Inventor
오도관
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170097068A priority Critical patent/KR102519662B1/ko
Priority to US15/805,741 priority patent/US10708510B2/en
Priority to EP18158135.6A priority patent/EP3438736B1/en
Priority to CN201810282470.XA priority patent/CN109327660B/zh
Publication of KR20190013080A publication Critical patent/KR20190013080A/ko
Priority to US16/875,407 priority patent/US11272114B2/en
Priority to US17/515,988 priority patent/US11792528B2/en
Application granted granted Critical
Publication of KR102519662B1 publication Critical patent/KR102519662B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

영상 획득 방법 및 영상 획득 장치가 개시된다. 개시된 영상 획득 방법은 차량의 속도를 획득하고, 속도에 기초하여 이미지 센서의 셔터스피드와 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어하며, 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나에 기초하여, 이미지 센서에서 영상을 획득한다.

Description

영상 획득 방법 및 영상 획득 장치{METHOD AND APPARATUS FOR OBTAINING IMAGE}
아래 실시예들은 영상 획득 방법 및 영상 획득 장치에 관한 것이다.
최근 자동차 산업의 발달로 운전자의 편의와 차량의 안전성 향상을 도모하기 위한 다양한 첨단 기술이 자동차에 적용되고 있다. 특히, 차량에 장착된 카메라를 통해 촬영된 차량의 주변 영상을 이용하는 첨단 기술들이 급속도로 증대되고 있다. 야간, 눈, 비 등 다양한 환경에서 상대적으로 빠른 속도로 주행하는 차량에 이러한 첨단 기술이 활용되기 위해서는 양질의 영상이 요구된다.
일실시예에 따른 차량에 장착된 이미지 센서에서 영상을 획득하는 영상 획득 방법은 상기 차량의 속도를 획득하는 단계; 상기 속도에 기초하여, 상기 이미지 센서의 셔터스피드(shutter speed)와 상기 이미지 센서의 ISO(International Organization for Standardization) 및 조리개(aperture) 중 적어도 하나를 제어하는 단계; 및 상기 제어된 셔터스피드와 상기 ISO 및 조리개 중 적어도 하나에 기초하여, 상기 이미지 센서에서 영상을 획득하는 단계를 포함한다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 속도가 증가할수록 상기 셔터스피드가 빠르도록 제어하고, 상기 ISO를 증가시키는 제어 및 상기 조리개를 개방하는 제어 중 적어도 하나를 수행할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 속도가 상기 차량이 회전(turn)할 때 감지되는 각속도인 경우, 상기 속도가 각속도가 아닌 경우보다 상기 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 이미지 센서에서 획득된 영상에 객체가 포함된 경우, 상기 객체와 상기 차량 간의 상대 속도에 기초하여 상기 이미지 센서의 셔터스피드를 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 객체와 상기 차량 간의 상대 속도가 증가할수록 상기 이미지 센서의 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 이미지 센서에서 획득된 영상에 객체가 포함되어 있는 경우, 상기 객체의 타입에 기초하여 상기 이미지 센서의 셔터스피드를 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 객체가 주변 차량인 경우, 상기 객체가 미리 정해진 위치에 고정된 정적 객체 또는 보행자인 경우보다 상기 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 미리 정해진 위치에 고정된 정적 객체인 경우, 상기 객체가 주변 차량 또는 보행자인 경우보다 상기 셔터스피드가 느리도록 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 제어하는 단계는 상기 속도에 기초하여 상기 이미지 센서의 셔터스피드를 제어하는 단계; 상기 제어된 셔터스피드로 상기 이미지 센서에서 획득된 영상의 휘도를 판단하는 단계; 및 상기 휘도에 기초하여 상기 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어하는 단계를 포함할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 휘도에 기초하여 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어하는 단계는 상기 휘도가 미리 결정된 임계치보다 높게 유지되도록 상기 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 휘도에 기초하여 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어하는 단계는 상기 휘도에 기초하여 상기 이미지 센서의 ISO를 제어하고, 상기 제어된 ISO를 통해 상기 휘도가 미리 결정된 임계치보다 높게 유지되지 않는 경우 상기 이미지 센서의 조리개를 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 속도에 기초하여 상기 이미지 센서의 셔터스피드를 제어하는 단계는 상기 속도로 이동하는 차량의 이미지 센서에서 획득된 영상의 블러량(amount of blur)을 예측하고, 상기 예측된 블러량에 기초하여 상기 셔터스피드를 제어할 수 있다.
일실시예에 따른 영상 획득 방법에서 상기 속도에 기초하여 상기 이미지 센서의 셔터스피드를 제어하는 단계는 상기 예측된 블러량이 많을수록 상기 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따른 영상 획득 방법은 상기 차량의 주행이 종료되었는지 여부를 판단하는 단계를 더 포함하고, 상기 획득하는 단계, 상기 제어하는 단계 및 상기 획득하는 단계는 상기 차량의 주행이 종료될 때까지 반복적으로 수행될 수 있다.
일실시예에 따른 차량에 장착된 이미지 센서에서 영상을 획득하는 영상 획득 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 상기 차량의 속도를 획득하고, 상기 속도에 기초하여 상기 이미지 센서의 셔터스피드(shutter speed)와 상기 이미지 센서의 ISO(International Organization for Standardization) 및 조리개(aperture) 중 적어도 하나를 제어하며, 상기 제어된 셔터스피드와 상기 ISO 및 조리개 중 적어도 하나에 기초하여 상기 이미지 센서에서 영상을 획득한다.
도 1은 일실시예에 따라 차량에 탑재된 이미지 센서에서 영상을 획득하는 예시를 나타낸 도면이다.
도 2는 일실시예에 따라 영상 획득 방법을 나타낸 도면이다.
도 3은 다른 일실시예에 따라 영상 획득 방법을 나타낸 도면이다.
도 4는 또 다른 일실시예에 따라 셔터스피드를 제어하는 예시를 설명하기 위한 도면이다.
도 5 및 도 6은 일실시예에 따라 주행하는 차량에서 획득된 영상을 설명하기 위한 도면이다.
도 7은 일실시예에 따라 상대속도에 기초하여 셔터스피드를 제어하는 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따라 객체에 기초하여 셔터스피드를 제어하는 과정을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 셔터스피드, ISO, 조리개를 설명하기 위한 도면이다.
도 10은 일실시예에 따른 영상 획득 장치를 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 차량에 장착된 이미지 센서에서 영상을 획득하는 데 사용될 수 있다. 실시예들은 이미지 센서를 장착한 차량, 자율 주행 자동차, 지능형 자동차 등에 적용될 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일실시예에 따라 차량에 탑재된 이미지 센서에서 영상을 획득하는 예시를 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따라 차량(100)에 이미지 센서(110)가 장착된 예시가 도시된다.
일실시예에 따라 차량(100)에 이미지 센서(110)가 장착될 수 있다. 예를 들어, 이미지 센서(110)는 차량(100)의 윈드실드(windshield), 대시보드(dashboard), 백미러(rear-view mirror) 등 미리 정해진 위치에 고정되어 차량(100)의 전방을 촬영할 수 있다. 이미지 센서(110)에서 촬영된 영상들은 차량(100)의 주행 기록으로 저장되거나(이 때, 이미지 센서(110)는 대시보드 카메라(dashboard　camera), 대시캠(dash cam), 자동차 블랙박스(car block box)일 수 있다), ADAS(Advanced Driver Assist System) 또는 자율 주행 시스템에서 이용될 수 있다.
일실시예에 따라 이미지 센서(110)가 차량(100)의 전방을 촬영할 때, 이미지 센서(110)의 셔터스피드(shutter speed), ISO(International Organization for Standardization), 조리개(aperture)가 제어될 수 있다.
일실시예에 따른 셔터스피드는 촬영 시 이미지 센서(110)가 광에 노출되는 노출 시간(exposure time)일 수 있다. 예를 들어, 셔터스피드는 1/1000s, 1/500s, 1/250s, 1/125s, 1/60s, 1/30s, 1/15s, 1/8s, 1/4s, 1/2s, 1s 등으로 표현될 수 있다. 다시 말해, 셔터스피드가 빠를수록 셔터스피드를 나타내는 숫자의 크기는 작아질 수 있다.
일실시예에 따른 ISO는 이미지 센서(110)의 감도를 나타낼 수 있다. 예를 들어, ISO가 증가할수록 이미지 센서(110)의 광에 대한 감도가 높아져 촬영 시 이미지 센서(110)가 감지하는 광량이 많아지게 될 수 있다.
일실시예에 따른 조리개는 촬영 시 광이 통과하는 이미지 센서(110)의 홀(hole)을 나타낼 수 있다. 조리개의 크기는 광이 통과하는 홀의 지름 D에 기반하며, D=f/N으로 표현될 수 있다. 여기서, f는 초점 거리(focal length)이고, N은 f-넘버(f-number)일 수 있다. 예를 들어, 단위 값은 f/32, f/22, f/16, f/11, f/8, f/5.6, f/4, f/2.8, f/2, f/1.4 등으로 표현될 수 있으며, 일반적으로 조리개 값은 f-넘버를 의미할 수 있다. 따라서, 조리개 값이 감소할수록 조리개가 더 개방될 수 있다.
이미지 센서(110)의 셔터스피드, ISO, 조리개를 잘못 제어하여 영상을 촬영할 경우, 촬영된 영상에 블러(blur)가 포함될 수 있다. 이러한 현상은 어두운 환경에서 차량(100)이 빠른 속도로 이동할수록 확연히 나타나는 데, 이는 셔터스피드를 빠르게 함으로써 블러를 효과적으로 제거할 수 있다. 다만, 셔터스피드를 빠르게 할 경우 이미지 센서(110)가 광에 노출되는 시간이 짧아져, 낮은 휘도로 영상이 촬영될 수 있다. 이미지 센서(110)의 ISO 또는 조리개 중 적어도 하나를 제어함으로써, 저휘도 영상이 촬영되는 것을 효과적으로 방지할 수 있다.
이하, 차량 정보(예컨대, 차량의 속도)에 기초하여 이미지 센서(110)의 셔터스피드와 ISO 및 조리개 중 적어도 하나를 제어하여 블러 없으면서도 적정 휘도의 영상을 획득하는 과정에 대해 설명한다.
도 2는 일실시예에 따라 영상 획득 방법을 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따라 영상 획득 장치의 프로세서에 의해 수행되는 영상 획득 방법이 도시된다.
단계(210)에서, 영상 획득 장치는 차량의 속도를 획득한다. 예를 들어, 영상 획득 장치는 차량에 포함된 속도 센서 또는 가속도 센서로부터 주행 중인 차량의 속도를 획득할 수 있다.
일실시예에 따라 영상 획득 장치는 차량이 직진하는 경우에 속도를 획득하고, 차량이 우회전이나 좌회전하는 경우에 각속도(angular velocity)를 획득할 수 있다.
단계(220)에서, 영상 획득 장치는 속도에 기초하여, 이미지 센서의 셔터스피드와 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어한다. 예를 들어, 영상 획득 장치는 차량의 속도가 증가할수록 셔터스피드가 빠르도록 제어할 수 있다. 동시에, 영상 획득 장치는 ISO를 증가시키는 제어 및 조리개를 개방하는 제어 중 적어도 하나를 수행할 수 있다. 영상 획득 장치는 셔터스피드를 빠르게 제어함으로써 블러를 방지할 수 있으며, ISO 및 조리개 중 적어도 하나를 제어함으로써 저휘도 영상을 방지할 수 있다.
일실시예에 따라 속도가 각속도인 경우, 영상 획득 장치는 속도가 각속도가 아닌 경우보다 셔터스피드가 더 빠르도록 제어할 수 있다. 이에 대해서는 도 5 및 도 6을 참조하여 상세히 후술한다.
일실시예에 따라 이미지 센서에서 획득된 영상에 객체가 포함된 경우, 영상 획득 장치는 객체와 차량 간의 상대 속도에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 예를 들어, 영상 획득 장치는 이미지 센서에서 획득된 영상에 객체가 포함되어 있는지 여부를 판단하고, 영상에 객체가 포함된 경우 객체와 차량 간의 상대 속도에 기초하여 셔터스피드를 제어할 수 있다. 영상 획득 장치는 상대 속도가 증가할수록 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따라 이미지 센서에서 획득된 영상에 객체가 포함된 경우, 영상 획득 장치는 객체의 타입에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 여기서, 객체의 타입은 주행 중인 차량에서 관찰될 수 있는 객체를 분류하는 것으로서, 예를 들어, 주변 차량, 보행자, 정적 객체를 포함할 수 있다. 정적 객체는 도로 상 미리 정해진 위치에 고정된 표지판, 신호등 등을 포함할 수 있다.
단계(230)에서, 영상 획득 장치는 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나에 기초하여, 이미지 센서에서 영상을 획득한다. 예를 들어, 영상 획득 장치는 단계(220)에서 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나로 이미지 센서를 설정하고, 이미지 센서로부터 영상을 획득할 수 있다.
단계(240)에서, 영상 획득 장치는 추가 영상 획득이 요구되는지 여부를 판단할 수 있다. 일례로, 영상 획득 장치는 차량의 주행이 종료된 경우에 추가 영상 획득이 요구되지 않는 것으로 판단할 수 있다. 영상 획득 장치는 차량이 일정 시간 이상 움직이지 않은 경우, 차량의 엔진이 꺼진 경우, 차량의 ADAS 또는 자율 주행 시스템이 종료된 경우 등에 차량의 주행이 종료된 것으로 판단할 수 있다. 다른 일례로, 영상 획득 장치는 차량의 주행이 종료된 경우라도 차량의 주변 영상(예컨대, 전방 영상)을 기록으로 저장할 필요가 있는 경우나 주차된 차량에서 미리 정해진 크기 이상의 충격이나 움직임이 감지된 경우 등에 추가 영상 획득이 요구되는 것으로 판단할 수도 있다.
추가 영상 획득이 요구되는 것으로 판단되면, 영상 획득 장치는 단계(210) 내지 단계(230)를 재 수행할 수 있다. 반대로, 추가 영상 획득이 요구되지 않은 것으로 판단되면, 영상 획득 장치는 수행을 종료할 수 있다.
도 3은 다른 일실시예에 따라 영상 획득 방법을 나타낸 도면이다.
도 3을 참조하면, 다른 일실시예에 따라 영상 획득 장치의 프로세서에 의해 수행되는 영상 획득 방법이 도시된다.
단계(310)에서, 영상 획득 장치는 차량의 속도를 획득한다. 예를 들어, 영상 획득 장치는 차량이 직진하는 경우에 속도를 획득하고, 차량이 회전(turn)하는 경우에 각속도를 획득할 수 있다.
단계(320)에서, 영상 획득 장치는 속도에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 영상 획득 장치는 차량의 속도가 증가할수록 셔터스피드가 빠르도록 제어할 수 있다. 또한, 속도가 각속도인 경우, 영상 획득 장치는 속도가 각속도가 아닌 경우보다 셔터스피드가 더 빠르도록 제어할 수 있다.
일실시예에 따라 이미지 센서에서 획득된 영상에 객체가 포함된 경우, 영상 획득 장치는 객체와 차량 간의 상대 속도에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 또한, 이미지 센서에서 획득된 영상에 객체가 포함된 경우, 영상 획득 장치는 객체의 타입에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다.
단계(330)에서, 영상 획득 장치는 제어된 셔터스피드로 이미지 센서에서 획득된 영상의 휘도(brightness)를 판단할 수 있다. 예를 들어, ISO, 조리개를 제어하지 않은 채 셔터스피드만 빠르도록 제어할 경우, 저휘도의 영상이 이미지 센서에서 획득될 수 있다. 따라서, 영상 획득 장치는 단계(320)에서 제어된 셔터스피드로 휘도가 감소한 정도를 판단하고, 판단 결과에 기초하여 단계(340)에서 ISO 및 조리개 중 적어도 하나를 제어함으로써, 감소된 휘도를 보상할 수 있다.
단계(340)에서, 영상 획득 장치는 휘도에 기초하여 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어할 수 있다. 예를 들어, 영상 획득 장치는 단계(330)에서 판단된 휘도의 변화량에 기초하여 ISO를 증가시키는 제어 및 조리개를 개방하는 제어 중 적어도 하나를 수행할 수 있다.
일실시예에 따라 영상 획득 장치는 휘도가 미리 결정된 임계치보다 높게 유지되도록 이미지 센서의 ISO 및 조리개 중 적어도 하나를 제어할 수 있다. 여기서, 미리 결정된 임계치는 이미지 센서에서 획득된 영상이 ADAS 또는 자율 주행 시스템에서 처리되기 위해 요구되는 휘도 값일 수 있다.
또한, 영상 획득 장치는 단계(330)에서 판단된 휘도에 기초하여 이미지 센서의 ISO를 우선적으로 제어하고, 제어된 ISO를 통해 휘도가 미리 결정된 임계치보다 높게 유지되지 않는 경우에 이미지 센서의 조리개를 제어할 수 있다. 만약 이미지 센서의 ISO를 증가시키는 제어를 통해 이미지 센서로부터 획득된 영상의 휘도가 미리 결정된 임계치를 만족하는 경우, 이미지 센서의 조리개가 추가적으로 제어되지 않을 수 있다.
단계(350)에서, 영상 획득 장치는 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나에 기초하여, 이미지 센서에서 영상을 획득한다. 예를 들어, 영상 획득 장치는 단계(320)에서 제어된 셔터스피드와 단계(340)에서 제어된 ISO 및 조리개 중 적어도 하나로 이미지 센서를 설정하고, 이미지 센서로부터 영상을 획득할 수 있다.
단계(360)에서, 영상 획득 장치는 추가 영상 획득이 요구되는지 여부를 판단할 수 있다. 일례로, 영상 획득 장치는 차량의 주행이 종료된 경우에 추가 영상 획득이 요구되지 않는 것으로 판단할 수 있다. 또는, 영상 획득 장치는 차량의 주행이 종료된 경우라도 차량의 주변 영상(예컨대, 전방 영상)을 기록으로 저장할 필요가 있는 경우나 주차된 차량에서 미리 정해진 크기 이상의 충격이나 움직임이 감지된 경우 등에 추가 영상 획득이 요구되는 것으로 판단할 수도 있다.
추가 영상 획득이 요구되는 것으로 판단되면, 영상 획득 장치는 단계(310) 내지 단계(350)를 재 수행할 수 있다. 반대로, 추가 영상 획득이 요구되지 않은 것으로 판단되면, 영상 획득 장치는 수행을 종료할 수 있다.
도 4는 또 다른 일실시예에 따라 셔터스피드를 제어하는 예시를 설명하기 위한 도면이다.
도 4를 참조하면, 또 다른 일실시예에 따라 영상 획득 장치는 전술한 바와 같이 차량의 속도에 기초하여 직접적으로 셔터스피드를 제어하는 대신, 속도에 따른 블러량 추정을 통해 셔터스피드를 제어할 수도 있다.
단계(410)에서, 영상 획득 장치는 단계(310)에서 획득된 속도로 이동하는 차량의 이미지 센서에서 획득된 영상의 블러량(amount of blur)을 추정(estimate)할 수 있다. 이 때, 이미지 센서의 셔텨스피드에 대한 제어 없이 획득된 영상의 블러량이 추정될 수 있다.
단계(420)에서, 영상 획득 장치는 추정된 블러량에 기초하여 셔터스피드를 제어할 수 있다. 예를 들어, 영상 획득 장치는 영상에 포함된 블러량이 많을수록 셔터스피드가 빠르도록 제어함으로써, 블러를 효과적으로 방지할 수 있다.
도 5 및 도 6은 일실시예에 따라 주행하는 차량에서 획득된 영상을 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따라 직진으로 주행하는 차량에서 연속적으로 획득된 영상들(510, 520)이 도시된다. 예시적으로 도시된 영상들(510, 520)은 차량이 사거리에 진입함에 따라 순차적으로 이미지 센서에서 획득될 수 있다. 차량이 직진으로 주행함에 따라 영상(510)에 작게 포함된 객체가 영상(520)에서는 크게 포함될 수 있다.
도 6을 참조하면, 일실시예에 따라 우회전하는 차량에서 연속적으로 획득된 영상들(610, 620)이 도시된다. 예시적으로 도시된 영상들(610, 620)은 차량이 사거리에서 우회전함에 따라 순차적으로 이미지 센서에서 획득될 수 있다. 차량이 회전함에 따라 영상(510)에 포함된 객체들이 영상(620)에서는 전체적으로 왼쪽으로 이동되어 포함될 수 있다.
이와 같이, 차량이 직진하는 경우보다 차량이 회전할 때, 영상에서 객체의 이동이 많아지기 때문에 영상에 많은 양의 블러가 발생될 수 있다. 따라서, 차량이 직진하는 경우보다 차량이 회전할 때, 셔터스피드가 더 빠르도록 제어하여 블러를 효과적으로 방지할 수 있다.
일실시예에 따라 차량이 회전하는 경우, 각속도가 감지될 수 있다. 각속도가 감지되면, 영상 획득 장치는 차량이 회전하는 것으로 인지하고, 각속도가 감지되지 않는 경우보다 셔터스피드가 더 빠르도록 제어할 수 있다.
도 7은 일실시예에 따라 상대속도에 기초하여 셔터스피드를 제어하는 과정을 설명하기 위한 도면이다.
도 7를 참조하면, 일실시예에 따라 이미지 센서에서 획득된 영상이 도시되며, 해당 영상에 객체(710)가 포함될 수 있다.
일실시예에 따라 이미지 센서에서 획득된 영상에 객체(710)가 포함될 수 있다. 영상 획득 장치는 객체(710)의 움직임을 검출하여 객체(710)와 차량 간의 상대 속도를 결정하고, 결정된 상대 속도에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 영상 획득 장치는 상대 속도가 증가할수록 셔터스피드가 빠르도록 제어할 수 있다.
예를 들어, 객체(710)가 반대방향으로 주행하는 주변 차량인 경우, 상대속도는 객체(710)의 속도와 차량의 속도의 합으로 결정될 수 있다. 만약 객체(710)가 동일방향으로 주행하는 주변 차량인 경우, 상대속도는 객체(710)의 속도와 차량의 속도의 차로 결정될 수 있다. 따라서, 반대방향으로 주행하는 주변 차량과의 상대 속도가 동일방향으로 주행하는 주변 차량과의 상대 속도보다 클 수 있다. 영상 획득 장치는 영상에 포함된 객체(710)가 반대방향으로 주행하는 주변 차량인 경우에 동일방향으로 주행하는 주변 차량인 경우보다 셔터스피드를 더 빠르게 제어할 수 있다.
일실시예에 따라 객체(710)와 차량 간의 상대 속도를 측정하기 위해, 추가 센서가 이용될 수 있다. 예를 들어, 레이더 센서, 라이다 센서(LiDAR sensor), 추가 이미지 센서가 추가 센서로 이용될 수 있다. 레이더 센서, 라이다 센서의 경우, 영상 획득 장치는 레이더 센서, 라이다 센서로부터 출력된 정보를 이용하여 객체(710)와 차량 간의 상대 속도가 측정될 수 있다. 또한, 추가 이미지 센서의 경우, 두 개의 이미지 센서에서 획득된 영상들을 스테레오 영상으로 이용함으로써 객체(710)와 차량 간의 상대 속도가 측정될 수 있다.
도 8은 일실시예에 따라 객체에 기초하여 셔터스피드를 제어하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 일실시예에 따라 이미지 센서에서 획득된 영상이 도시되며, 해당 영상에 주변 차량(810), 보행자(820) 및 정적 객체(830)가 포함될 수 있다.
일실시예에 따라 영상 획득 장치는 이미지 센서에서 획득된 영상에 객체가 포함되어 있는지 여부를 판단하고, 객체가 포함된 경우 객체의 타입에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 객체의 타입은 주행 중인 차량에서 관찰될 수 있는 객체를 분류하는 것으로서, 예를 들어, 주변 차량(810), 보행자(820), 정적 객체(830)를 포함할 수 있다. 정적 객체(830)는 도로 상 미리 정해진 위치에 고정된 표지판, 신호등 등을 포함할 수 있다.
예를 들어, 주변 차량(810), 보행자(820), 정적 객체(830) 중 주변 차량(810)의 이동 속도가 가장 빠를 수 있다. 따라서, 영상에 포함된 객체의 타입이 주변 차량(810)인 경우, 영상 획득 장치는 객체가 보행자(820), 정적 객체(830)일 때보다 셔터스피드가 빠르도록 제어함으로써, 블러를 보정할 수 있다. 또한, 정적 객체(830)는 도로 상 미리 정해진 위치에 고정된 객체로서, 주변 차량(810), 보행자(820), 정적 객체(830) 중에서 정적 객체(830)의 이동 속도가 가장 느릴 수 있다. 따라서, 영상에 포함된 객체의 타입이 정적 객체(830)인 경우, 영상 획득 장치는 객체가 주변 차량(810), 보행자(820)인 경우보다 셔터스피드가 느리도록 제어함으로써, 효과적으로 블러를 보정할 수 있다. 또한, 영상에 포함된 객체의 타입이 보행자(820)인 경우, 영상 획득 장치는 객체가 주변 차량(810)인 경우보다 셔터스피드가 느리도록 제어하고, 객체가 정적 객체(830)인 경우보다 셔터스피드가 빠르도록 제어할 수 있다.
일실시예에 따라 한 영상에 주변 차량(810), 보행자(820), 정적 객체(830) 중 적어도 두 개 이상의 객체가 포함된 경우, 영상 획득 장치는 영상에 포함된 객체들 중 메인 객체(main object)를 결정하고, 메인 객체의 타입에 기초하여 이미지 센서의 셔터스피드를 제어할 수 있다. 예를 들어, 영상 획득 장치는 영상에 포함된 객체들 중 차량과 가장 가까이 위치한 객체, 차량으로 접근하는 객체, 가장 빠른 속도로 이동하는 객체 등 차량이 가장 경계해야 하는 객체를 메인 객체로 결정할 수 있다.
일실시예에 따라 객체의 타입은 이미지 센서에서 획득된 영상에 영상 인식 기법을 적용시킴으로써, 객체의 타입이 결정될 수 있다. 또는, 추가 센서(예컨대, 레이더 센서, 라이다 센서, 추가 이미지 센서)를 더 이용하여 객체의 타입이 결정될 수도 있다.
도 9는 일실시예에 따른 셔터스피드, ISO, 조리개를 설명하기 위한 도면이다.
도 9를 참조하면, 일실시예에 따른 조리개(910), 셔터스피드(920), ISO(930) 간 관계가 도시된다.
우선 셔터스피드(920)는 촬영 시 이미지 센서가 광에 노출되는 노출 시간으로, 예를 들어, 1/1000s, 1/500s, 1/250s, 1/125s, 1/60s, 1/30s, 1/15s, 1/8s, 1/4s, 1/2s 등으로 표현될 수 있다. 셔터스피드(920)가 빠를수록 셔터스피드(920)를 나타내는 숫자의 크기는 작아질 수 있다. 도 9에서 왼쪽으로 갈수록 셔터스피드(920)가 빨라져서 블러가 방지되나, 영상의 휘도가 낮아질 수 있다.
조리개(910)는 촬영 시 광이 통과하는 이미지 센서의 홀을 나타낼 수 있다. 조리개(910)의 크기는 광이 통과하는 홀의 지름 D에 기반하며, D=f/N(예컨대, f/32, f/22, f/16, f/11, f/8, f/5.6, f/4, f/2.8, f/2, f/1.4 등)으로 표현될 수 있다. 여기서, f는 초점 거리이고, N은 f-넘버일 수 있다. 일반적으로 조리개 값은 f-넘버를 의미하므로, 조리개 값이 감소할수록 조리개(910)가 더 개방될 수 있다. 도 9에서 오른쪽으로 갈수록 조리개 값은 작아지며, 조리개(910)가 더 개방되어 영상의 휘도가 높아질 수 있다.
ISO(930)는 이미지 센서(110)의 감도를 나타낼 수 있다. 예를 들어, ISO(930)가 증가할수록 이미지 센서(110)의 광에 대한 감도가 높아져 촬영 시 이미지 센서(110)가 감지하는 광량이 많아지게 될 수 있다. 도 9에서 오른쪽으로 갈수록 ISO(930)가 커지며, 영상의 휘도가 높아질 수 있다.
일실시예에 따른 차량의 속도와 셔터스피드(920), ISO(930), 조리개(910) 간의 관계를 아래의 수학식으로 표현할 수 있다.
Figure 112017073794068-pat00001
위의 수학식 1에서, v는 차량의 속도, I는 ISO(930), S는 셔터스피드(920), A는 조리개 값을 나타낼 수 있다.
도 10은 일실시예에 따른 영상 획득 장치를 나타낸 도면이다.
도 10을 참조하면, 영상 획득 장치(1000)은 메모리(1010), 프로세서(1020) 및 이미지 센서(1030)를 포함한다. 사용자 단말(110)은 추가 센서(1040)를 더 포함할 수 있다. 메모리(1010), 프로세서(1020), 이미지 센서(1030) 및 추가 센서(1040)는 버스(bus)(1050)를 통해 서로 데이터를 주고 받을 수 있다.
메모리(1010)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있으며, 버스(1050)를 통해 수신된 정보를 저장할 수 있다. 메모리(1010)는 프로세서(1020)에 의해 실행 가능한 적어도 하나의 명령어를 포함할 수 있다. 또한, 메모리(1010)는 앞서 설명한 특성 파라미터를 저장할 수 있다.
프로세서(1020)는 메모리(1010)에 저장된 명령어들, 혹은 프로그램들을 실행할 수 있다. 프로세서(1020)는 차량의 속도를 획득하고, 속도에 기초하여 이미지 센서(1030)의 셔터스피드와 이미지 센서(1030)의 ISO 및 조리개 중 적어도 하나를 제어하며, 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나에 기초하여 이미지 센서(1030)에서 영상을 획득한다.
이미지 센서(1030)는 차량의 미리 정해진 위치에 고정되어 차량의 주변 영상(예컨대, 전방 영상)을 촬영할 수 있다. 이미지 센서(1030)는 프로세서(1020)에서 제어된 셔터스피드와 ISO 및 조리개 중 적어도 하나에 기초하여 영상을 촬영할 수 있다.
추가 센서(1040)는 속도 센서, 가속도 센서, 각속도 센서 중 적어도 하나를 포함할 수 있다. 속도 센서, 가속도 센서, 각속도 센서를 통해 차량의 속도, 각속도가 측정될 수 있다. 또한, 추가 센서(1040)는 레이더 센서, 라이다 센서, 추가 이미지 센서 중 적어도 하나를 포함할 수도 있다. 레이더 센서, 라이다 센서, 추가 이미지 센서를 통해 영상에 포함된 객체와 차량 간의 상대 속도가 감지되거나, 객체의 타입이 판단될 수 있다.
그 밖에, 영상 획득 장치(1000)에는 전술한 사항이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 차량에 제공된 이미지 센서로부터 이미지를 획득하는 방법에 있어서,
    상기 차량에 대한 차량 속도를 획득하는 단계;
    상기 획득된 차량 속도에 기반하여 제1 이미지에 포함되는 블러의 양을 추정하는 단계;
    상기 블러의 양을 추정하는 것에 응답하여, 상기 추정된 블러의 양에 기반하여 이미지 센서의 셔터 속도를 조정하는 단계;
    상기 셔터 속도의 조정에 응답하여, 상기 조정된 셔터 속도에 기반하여 센싱되는 빛에 따른 밝기를 결정하고, 상기 결정된 밝기에 기반하여 이미지 센서의 개구(aperture) 또는 ISO(international organization for standardization) 감도 중 적어도 하나를 조정하는 단계; 및
    상기 조정된 셔터 속도, 및 상기 조정된 개구 또는 ISO 감도 중 적어도 하나에 기반하여, 상기 이미지 센서로부터 제2 이미지를 획득하는 단계를 포함하고,
    상기 셔터 속도를 조정하는 단계는,
    상기 이미지 센서로부터 획득된 상기 제1 이미지 내에서 캡쳐된 객체를 식별하는 단계;
    상기 객체의 유형을 결정하는 단계; 및
    상기 객체의 유형에 기반하여 상기 셔터 속도를 조정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는, 상기 추정된 블러의 양이 증가하는 것에 응답하여 상기 셔터 속도를 증가시키는 단계를 포함하고, 및
    상기 개구 또는 상기 ISO 감도 중 적어도 하나를 조정하는 단계는, ISO를 증가시키기 위한 조정 및 조리개 개방을 위한 조정 중 적어도 하나를 수행하는 포함하는, 방법.
  3. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는, 상기 차량 속도가 상기 차량이 회전할 때 감지되는 차량 각속도일 때, 상기 차량 속도가 상기 차량 각속도가 아닌 경우보다 상기 셔터 속도를 더 빠르게 조정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 이미지 센서로부터 획득된 상기 제1 이미지 내에서 캡쳐된 객체를 식별하는 단계;
    상기 식별된 객체와 상기 차량 사이에 상대 속도를 계산하는 단계; 및
    상기 객체와 상기 차량 사이에 상기 상대 속도에 기반하여 상기 셔터 속도를 조정하는 단계를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 객체와 상기 차량 사이의 상기 상대 속도의 증가에 응답하여, 상기 셔터 속도를 증가시키는 단계를 포함하는, 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 객체가 보행자 또는 정지 물체인 경우보다, 상기 객체가 주변 차량인 경우, 더 빠르게 상기 셔터 속도를 조정하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 객체의 유형이 보행자 또는 정지 물체인 경우보다, 상기 객체의 유형이 주변 차량인 경우, 더 빠르게 상기 셔터 속도를 조정하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 객체가 주변 차량 또는 보행자인 경우보다, 상기 객체가 미리 결정된 위치에 정지된 객체인 경우에 상기 셔터 속도를 느리게 조정하는 단계를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 셔터 속도를 조정하는 단계는,
    상기 차량의 속도에 기초하여 상기 셔터 속도를 조정하는 단계를 포함하는, 방법.
  11. 제1항에 있어서,
    상기 결정된 밝기에 기반하여 상기 개구 또는 상기 ISO 감도 중 적어도 하나를 조정하는 단계는,
    상기 결정된 밝기가 미리 결정된 임계 값보다 크도록 상기 ISO 감도 및 상기 개구 중 적어도 하나를 조정하는 단계를 포함하는, 방법.
  12. 제1항에 있어서,
    상기 결정된 밝기에 기반하여 상기 개구 또는 상기 ISO 감도 중 적어도 하나를 조정하는 단계는,
    상기 결정된 밝기에 따라 상기 ISO 감도를 조정하는 단계; 및
    미리 결정된 임계 값 미만인 상기 조정된 ISO 감도를 갖는 상기 이미지 센서에 의해 감지된 광에 기반한 다른 밝기에 응답하여 상기 개구를 조정하는 단계를 포함하는, 방법.
  13. 제1항에 있어서,
    상기 차량의 정차 여부를 확인하는 단계를 더 포함하고,
    상기 차량의 속도를 획득, 조정하는 단계 및 상기 이미지를 획득하는 단계들은, 상기 차량이 정지할 때까지 반복적으로 수행되는, 방법.
  14. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항의 방법을 수행하도록 지시하는 명령어를 저장하는 비-일시적 컴퓨터 판독가능 기록 매체.
  15. 차량에 구비된 이미지 센서로부터 이미지를 획득하기 위한 영상 획득 장치에 있어서,
    프로세서; 및
    프로세서에 의해 실행가능한 적어도 하나의 명령어를 저장하는 메모리를 포함하고,
    상기 프로세서에 의해 실행되는 명령에 응답하여, 상기 프로세서는,
    상기 차량의 차량 속도를 획득하고,
    상기 획득된 차량 속도에 기반하여, 제1 이미지의 블러량을 추정하고,
    상기 블러량의 추정에 응답하여, 상기 제1 이미지의 상기 추정된 블러량에 기반하여, 상기 이미지 센서의 셔터 속도를 조정하고,
    상기 셔터 속도의 조정에 응답하여, 상기 조정된 셔터 속도에 따라 감지된 빛에 기반하여 밝기를 결정하고,
    상기 결정된 밝기에 따라 ISO(International Organization for Standardization) 및 조리개 중 적어도 하나를 조정하고,
    상기 조정된 셔터 속도와 상기 조정된 ISO 및 상기 조리개 중 적어도 하나에 기반하여 상기 이미지 센서로부터 제2 이미지를 획득하도록 구성되고,
    상기 프로세서는,
    상기 이미지 센서로부터 획득된 상기 제1 이미지 내에서 캡쳐된 객체를 식별하고, 상기 객체의 유형을 결정하고, 상기 객체의 유형에 기반하여 상기 셔터 속도를 더 조정하도록 구성된, 영상 획득 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 추정된 블러량의 증가에 응답하여, 상기 셔터 속도를 높이고, 상기 ISO 감도를 높이거나, 상기 조리개의 개방 중 적어도 하나를 수행하도록 구성된, 영상 획득 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 차량 속도에 따라 상기 셔터 속도를 조정하고,
    상기 조정된 셔터 속도에 따라, 상기 ISO 감도 및 상기 조리개 중 적어도 하나를 조정하도록 구성된, 영상 획득 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 결정된 밝기가, 미리 결정된 임계 값보다 크도록, 상기 ISO 감도 및 조리개 중 적어도 하나를 조정하도록 구성된, 영상 획득 장치.
  19. 삭제
  20. 삭제
KR1020170097068A 2017-07-31 2017-07-31 영상 획득 방법 및 영상 획득 장치 KR102519662B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170097068A KR102519662B1 (ko) 2017-07-31 2017-07-31 영상 획득 방법 및 영상 획득 장치
US15/805,741 US10708510B2 (en) 2017-07-31 2017-11-07 Image obtaining method and apparatus
EP18158135.6A EP3438736B1 (en) 2017-07-31 2018-02-22 Image obtaining method and apparatus
CN201810282470.XA CN109327660B (zh) 2017-07-31 2018-04-02 图像获取方法和设备
US16/875,407 US11272114B2 (en) 2017-07-31 2020-05-15 Image obtaining method and apparatus
US17/515,988 US11792528B2 (en) 2017-07-31 2021-11-01 Image obtaining method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170097068A KR102519662B1 (ko) 2017-07-31 2017-07-31 영상 획득 방법 및 영상 획득 장치

Publications (2)

Publication Number Publication Date
KR20190013080A KR20190013080A (ko) 2019-02-11
KR102519662B1 true KR102519662B1 (ko) 2023-04-07

Family

ID=61557026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097068A KR102519662B1 (ko) 2017-07-31 2017-07-31 영상 획득 방법 및 영상 획득 장치

Country Status (4)

Country Link
US (3) US10708510B2 (ko)
EP (1) EP3438736B1 (ko)
KR (1) KR102519662B1 (ko)
CN (1) CN109327660B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
CN110351491B (zh) * 2019-07-25 2021-03-02 东软睿驰汽车技术（沈阳）有限公司 一种低照环境下的补光方法、装置及***
JP2021118478A (ja) * 2020-01-28 2021-08-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム
KR102180916B1 (ko) 2020-03-30 2020-11-19 김정구 인공지능 영상 분석 시스템 및 방법
CN112235514A (zh) * 2020-10-13 2021-01-15 余波 一种基于人工智能的相机快门速度调节方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073484A1 (en) * 2005-09-27 2007-03-29 Omron Corporation Front image taking device
JP2010250503A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 車両制御装置、及び車載用撮像装置
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
KR20030055241A (ko) * 2003-06-18 2003-07-02 김기남 차량용 사고감시 영상시스템
US7023333B2 (en) 2003-10-22 2006-04-04 L-3 Communications Mobile Vision, Inc. Automatic activation of an in-car video recorder using a vehicle speed sensor signal
JP2008048066A (ja) 2006-08-11 2008-02-28 Sumitomo Electric Ind Ltd 遠赤外線撮像システム
JP2008060874A (ja) 2006-08-31 2008-03-13 Hitachi Ltd 車載カメラ及び車載カメラ用付着物検出装置
JP2008174078A (ja) 2007-01-18 2008-07-31 Xanavi Informatics Corp 車載カメラ制御装置、車載カメラ制御方法
US9726485B2 (en) * 2007-04-22 2017-08-08 Ilookabout Inc. Method of obtaining geographically related images using a vehicle
WO2009018647A1 (en) * 2007-08-08 2009-02-12 Tony Mayer Non-retro-reflective license plate imaging system
JP4470070B2 (ja) 2008-01-07 2010-06-02 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
KR101030066B1 (ko) 2009-04-06 2011-04-19 주식회사 다음커뮤니케이션 지리 정보 파노라마 사진의 제작을 위한 복수 개 카메라 자동제어 시스템
KR20110047482A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 차량의 속도에 따라 차량의 외부 영상을 촬영하는 방법 및 차량용 블랙박스
JP2011119785A (ja) 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
JP2011229066A (ja) 2010-04-22 2011-11-10 Panasonic Electric Works Co Ltd 撮像装置
TWI519156B (zh) * 2011-06-29 2016-01-21 宏達國際電子股份有限公司 影像擷取方法與影像擷取系統
JP2014135613A (ja) 2013-01-09 2014-07-24 Denso Corp カメラ露出設定装置及びカメラ露出設定プログラム
JP5737306B2 (ja) 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
KR101499502B1 (ko) 2013-02-26 2015-03-06 남서울대학교 산학협력단 인접차량과의 상대속도의 변화에 따라 리코딩 영상의 프레임 레이트 조정 방법 및 이를 이용한 블랙박스 장치
WO2015083640A1 (ja) 2013-12-04 2015-06-11 株式会社日立国際電気 監視装置
KR102149273B1 (ko) 2013-12-10 2020-08-28 한화테크윈 주식회사 번호판 인식 방법 및 장치
CN103888680B (zh) * 2014-03-28 2017-07-11 中国科学技术大学 一种摄像头曝光时间的调节方法
WO2015177643A2 (en) * 2014-05-22 2015-11-26 Erez Dagan Systems and methods for braking a vehicle based on a detected object
JP6532229B2 (ja) 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2016196233A (ja) 2015-04-03 2016-11-24 クラリオン株式会社 車両用道路標識認識装置
JP6525724B2 (ja) * 2015-05-20 2019-06-05 キヤノン株式会社 パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム
KR101625538B1 (ko) 2015-07-16 2016-06-13 비원이미지 주식회사 도시방범이 가능한 다차선 자동차 번호판 인식시스템
US9571741B1 (en) * 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
CN106791476A (zh) * 2017-01-25 2017-05-31 北京图森未来科技有限公司 一种图像采集方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073484A1 (en) * 2005-09-27 2007-03-29 Omron Corporation Front image taking device
JP2010250503A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 車両制御装置、及び車載用撮像装置
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템

Also Published As

Publication number Publication date
CN109327660A (zh) 2019-02-12
US20220053115A1 (en) 2022-02-17
US20200280666A1 (en) 2020-09-03
EP3438736A1 (en) 2019-02-06
US10708510B2 (en) 2020-07-07
CN109327660B (zh) 2021-12-28
KR20190013080A (ko) 2019-02-11
US20190037118A1 (en) 2019-01-31
US11792528B2 (en) 2023-10-17
EP3438736B1 (en) 2021-11-10
US11272114B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
KR102519662B1 (ko) 영상 획득 방법 및 영상 획득 장치
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
KR102400555B1 (ko) 주행 차량을 제어하는 방법 및 장치
KR102541560B1 (ko) 객체 인식 방법 및 장치
KR20180025591A (ko) 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
WO2013011952A1 (ja) 車線認識装置
US10625733B2 (en) Delayed parking optimization of autonomous vehicles
KR102521656B1 (ko) 객체를 인식하는 방법 및 장치
EP3850827A1 (en) Adaptive illumination for a time-of-flight camera on a vehicle
CN112172816A (zh) 自动驾驶车辆的车道变换控制装置和方法
WO2022244356A1 (en) Light interference detection during vehicle navigation
US11453390B2 (en) Driving support apparatus
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
JP2020166409A (ja) 車載装置、車載システムおよび周辺監視方法
CN111824003A (zh) 一种车灯的控制方法及控制***
US20200151464A1 (en) Method and device for ascertaining an optical flow based on an image sequence recorded by a camera of a vehicle
KR101875517B1 (ko) 영상 처리 방법 및 장치
JP2019015570A (ja) 駐車位置情報取得装置及び自動駐車制御装置
JP7223588B2 (ja) 運転特性推定方法及び運転特性推定装置
KR102371589B1 (ko) 전방 차량 검출 장치 및 방법
KR20230075032A (ko) 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법
GB2624653A (en) A system and method for object detection from a curved mirror
CN117325804A (zh) 一种摄像头的自动除雾方法、装置、设备和介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant