KR20210056336A - 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램 - Google Patents

정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210056336A
KR20210056336A KR1020217005768A KR20217005768A KR20210056336A KR 20210056336 A KR20210056336 A KR 20210056336A KR 1020217005768 A KR1020217005768 A KR 1020217005768A KR 20217005768 A KR20217005768 A KR 20217005768A KR 20210056336 A KR20210056336 A KR 20210056336A
Authority
KR
South Korea
Prior art keywords
unit
vehicle
processing
image
recognition
Prior art date
Application number
KR1020217005768A
Other languages
English (en)
Inventor
히토시 사이토
요시미츠 다카기
도시키 오노
마사후미 자마
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210056336A publication Critical patent/KR20210056336A/ko

Links

Images

Classifications

    • H04N5/23218—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H04N5/2253—
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

차량 탑재 카메라의 노광을 제어하기 위한 처리를 실시하는 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램을 제공한다. 정보 처리 장치는, 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부와, 상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비한다. 상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는, 적어도 주변 차량 또는 노면을 화상 인식한다. 그리고, 상기 제어부는, 상기 화상 중의 상기 주변 차량 또는 상기 노면의 영역의 검파 또는 현상 처리를 제어한다.

Description

정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
본 명세서에서 개시하는 기술은, 차량 탑재 카메라의 노광을 제어하기 위한 처리를 실시하는 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램에 관한 것이다.
자동 운전이나 ADAS(Advanced Driver Assistance System)의 실현을 위해, 다른 차량이나 사람, 레인 등, 다양한 물체를 검출할 필요가 있고, 또한, 청천 시의 낮에 한하지 않고, 우천 시나 야간 등 다양한 환경에서 물체를 검출할 필요가 있다. 이 때문에, 카메라, 밀리미터파 레이다, 레이저 레이다 등, 다양한 외계 인식 센서가 차량에 탑재되기 시작하고 있다.
예를 들어, 차량 탑재 카메라에 의한 촬상 화상에 있어서 인식 영역보다도 먼 곳의 밝기를 측정하고, 시간차를 두고 측정된 밝기를 비교함으로써 밝기의 변화를 검출하고, 밝기의 변화가 인식 영역에서 발생하는 타이밍을 차량의 주행 속도에 기초하여 예측하고, 예측한 타이밍에 차량 탑재 카메라의 노출 제어를 행하는 노출 제어 장치에 대하여 제안이 이루어져 있다(특허문헌 1을 참조).
또한, 타깃을 촬상 범위에 배치한 상태에서의 차량 탑재 카메라에 의한 촬상 화상으로부터 타깃을 검출하고, 검출한 촬상 화상에 있어서의 타깃의 휘도를 측정하고, 측정한 휘도를 타깃의 인식에 적합한 목표값으로 하기 위한 노출 제어값을 산출하는 차량 탑재 카메라의 노출 제어값의 결정 방법에 대하여 제안이 이루어져 있다(특허문헌 2를 참조).
또한, 소정의 기준 노출값으로 오토브라케팅 촬영을 행한 후, 얻어진 복수개의 화상 데이터로부터 적정 노출 또는 적정 노출에 가장 가까운 화상 데이터를 선택하여 새로운 기준 노출값으로 하는, 오토브라케팅 촬영의 기능을 갖는 차량 탑재 감시 카메라의 노출 제어 방법에 대하여 제안이 이루어져 있다(특허문헌 3을 참조).
일본 특허 공개 제2012-134845호 공보 일본 특허 공개 제2012-138688호 공보 일본 특허 공개 제2012-138688호 공보
본 명세서에서 개시하는 기술의 목적은, 차량 탑재 카메라의 노광을 제어하기 위한 처리를 실시하는 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램을 제공하는 것에 있다.
본 명세서에서 개시하는 기술의 제1 측면은,
이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 정보 처리 장치이다.
상기 이미지 센서는 차량에 탑재하여 사용되고, 상기 인식부는, 적어도 주변 차량 또는 노면을 화상 인식한다. 그리고, 상기 제어부는, 상기 화상 중의 상기 주변 차량 또는 상기 노면의 영역의 검파 또는 현상 처리를 제어한다.
또한, 본 명세서에서 개시하는 기술의 제2 측면은,
이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식 스텝과,
상기 인식 스텝에 있어서의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어 스텝을 갖는 정보 처리 방법이다.
또한, 본 명세서에서 개시하는 기술의 제3 측면은,
이미지 센서와,
상기 이미지 센서의 출력 신호를 처리하는 처리부와,
상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 촬상 장치이다.
또한, 본 명세서에서 개시하는 기술의 제4 측면은,
이동체와,
상기 이동체에 탑재된 이미지 센서와,
상기 이미지 센서의 출력 신호를 처리하는 처리부와,
상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부와,
상기 제어부에 의한 제어 하에 있어서의 상기 이미지 센서의 촬상 화상을 인식한 결과에 기초하여 상기 이동체에 있어서의 동작을 제어하는 동작 제어부를 구비하는 이동체 장치이다.
또한, 본 명세서에서 개시하는 기술의 제5 측면은,
이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부로서 컴퓨터를 기능시키도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램이다.
제5 측면에 관한 컴퓨터 프로그램은, 컴퓨터 상에서 소정의 처리를 실현하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 환언하면, 제5 측면에 관한 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터 상에서는 협동적 작용이 발휘되어, 제1 측면에 관한 정보 처리 장치와 마찬가지의 작용 효과를 얻을 수 있다.
본 명세서에서 개시하는 기술에 의하면, 차량 탑재 카메라의 노광을 제어하기 위한 처리를 실시하는 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램을 제공할 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 예시이며, 본 발명의 효과는 이것에 한정되는 것은 아니다. 또한, 본 발명이, 상기 효과 이외에, 부가적인 효과를 더 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 명백하게 될 것이다.
도 1은 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
도 2는 제1 실시예에 관한 촬상 장치(200)의 기능적 구성예를 모식적으로 도시한 도면이다.
도 3은 촬상 장치에 있어서의 일반적인 노광 제어 루프를 모식적으로 도시한 도면이다.
도 4는 본 명세서에서 개시하는 기술을 적용한 노광 제어 루프를 모식적으로 도시한 도면이다.
도 5는 촬상 장치(200)의 기본적인 동작 수순을 나타낸 흐름도이다.
도 6은 제2 실시예에 관한 촬상 장치(600)의 기능적 구성예를 모식적으로 도시한 도면이다.
도 7은 촬상 장치(600)의 기본적인 동작 수순을 나타낸 흐름도이다.
도 8은 촬상 장치(600)에서 촬상하는 풍경을 예시한 도면이다.
도 9는 도 8에 도시한 풍경을 부감한 모습을 도시한 도면이다.
도 10은 도 8에 도시한 촬상 화상에 검파 프레임을 배치한 모습을 도시한 도면이다.
도 11은 소실점 및 소실점 검파 프레임을 산출하는 방법을 설명하기 위한 도면이다.
도 12는 검파값에 기초하여 화상의 콘트라스트 정도를 산출하는 방법을 설명하기 위한 도면이다.
도 13은 검파값에 기초하여 화상의 콘트라스트 정도를 산출하는 방법(멀티 프레임 기능을 상정한 경우)을 설명하기 위한 도시한 도면이다.
도 14는 화상 전체에 검파 프레임을 배치한 모습을 도시한 도면이다.
도 15는 도 14에 도시한 화상 전체에 검파 프레임을 배치하여 취득한 히스토그램을 예시한 도면이다.
도 16은 터널 입구의 소실점 검파 프레임을 배치한 모습을 도시한 도면이다.
도 17은 터널 출구의 소실점 검파 프레임을 배치한 모습을 도시한 도면이다.
도 18은 소실점 검파값과 자동 노광 제어의 수렴 속도의 관계를 도시한 도면이다.
도 19는 촬상 장치(600)에서 촬상하는 풍경을 예시한 도면이다.
도 20은 도 19에 도시한 촬상 화상에 찍힌 각 차량의 거리 및 상대 속도를 도시한 도면이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대하여 상세하게 설명한다.
도 1은 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 다른 차량과 구별하는 경우, 자차 또는 자차량이라 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111), 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111), 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는, FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 간단히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는, 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU), 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은, 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이다, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서, 및 차 실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고, 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한, 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는, WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및 필요하면 케이블)를 통해, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface), 또는, MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는, MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라서, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관련되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하여, 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라서, 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치, 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 자차의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는, 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부의 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차의 주위의 물체의 검출 처리, 인식 처리, 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차의 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기, 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리, 및 차내의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라서, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153), 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위의 신호의 위치 및 상태, 자차의 주위의 교통 규제의 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차의 주위의 상황, 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라서, 자차의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도, 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라서, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위의 상황, 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생, 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차의 주위의 상황에는, 예를 들어 자차의 주위의 동물체의 거동, 신호의 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황, 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도, 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 자차의 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172), 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는, 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
자동 운전이나 ADAS의 실현을 목표로, 보다 고정밀도의 외계 인식을 행하기 위해, 카메라, 밀리미터파 레이다, 레이저 레이다 등 다양한 외계 인식 센서가 차량에 탑재되기 시작하고 있다. 각 센서는, 검출 원리에도 의거하여, 강점과 약점이 있다. 예를 들어, 가시광을 촬영하는 카메라는 암소에 취약하고, 전파의 반사를 검출하는 레이다는 사람이나 동물 등의 전파를 반사하기 어려운 물체에 취약하다. 레이다(밀리미터파 레이다), 카메라, 및 레이저 레이다(LiDAR)의 강점과 약점을 이하의 표 1에 정리해 둔다. 동 표 중에서, ◎는 최우수(높은 인식 정밀도를 가짐), ○는 우수(양호한 인식 정밀도를 가짐), △는 취약(인식 정밀도가 충분하지 않음)을 의미한다. 또한, 2 이상의 센서를 조합하는 퓨전 기술을 이용함으로써, 각 센서의 특징을 살려, 보다 고정밀도의 외계 인식을 실현할 수 있다.
Figure pct00001
일반적인 디지털 카메라가 촬영한 화상의 뷰잉 혹은 감상을 목적으로 하는 것에 비해, 차량 탑재 카메라는 충돌 회피나 레인 제어와 같은 자차량의 자동 운전이나 ADAS의 실현을 목적으로 하는 것이다. 따라서, 차량 탑재 카메라로 촬영한 화상은, 촬영한 풍경을 충실하게 재현하여 사람이 보아 위화감이 없는 것으로 하는 것보다도, 오히려 차량이나 보행자를 비롯한 장애물이나 노면 등 특정 물체를 높은 정밀도로 화상 인식할 수 있는 화상인 것이 바람직하다고 본 출원인은 생각하고 있다.
화상 인식의 정밀도를 향상하기 위해서는, 인식 대상이 되는 물체를 인식하기 쉬워지는 노광 조건에서 촬영을 행할 필요가 있다. 예를 들어, 특허문헌 2에는, 타깃을 촬상 범위에 배치한 상태에서의 차량 탑재 카메라에 의한 촬상 화상으로부터 타깃을 검출하고, 검출한 촬상 화상에 있어서의 타깃의 휘도를 측정하고, 측정한 휘도를 타깃의 인식에 적합한 목표값으로 하기 위한 노출 제어값을 산출하는 차량 탑재 카메라의 노출 제어값의 결정 방법이 개시되어 있다. 그러나, 촬영 화상 중의 타깃이 존재할 수 있는 범위로부터 타깃이 갖는 타깃 패턴을 주사하여, 타깃 패턴을 갖지 않는 물체에 맞추어 노출 제어를 행할 수 없다. 또한, 소정의 범위로부터 벗어난 물체에 맞추어 노광 제어를 행할 수도 없다.
그래서, 본 명세서에서는, 카메라로 촬영한 화상의 인식 결과에 기초하여, 인식 대상으로 하는 물체별로 적합한 자동 노광 제어를 실시함으로써, 물체마다 인식 정밀도가 높은 화상을 얻는 기술에 대하여, 이하에서 제안한다.
실시예 1
도 2에는, 본 명세서에서 개시하는 기술의 제1 실시예에 관한 촬상 장치(200)의 기능적 구성예를 모식적으로 도시하고 있다. 촬상 장치(200)는 주로 차량에 탑재되어 사용되는 것을 상정하고 있다. 촬상 장치(200)는, 차량 제어 시스템(100) 내의 데이터 취득부(102)가 구비하는 촬상 장치의 하나에 상당한다. 도시한 촬상 장치(200)는, 렌즈(201)와, 이미지 센서(202)와, 신호 처리부(203)와, 인식부(204)와, 제어부(205)를 구비하고 있다.
이미지 센서(202)는, 예를 들어 CMOS(Complementary Metal Oxyde Semiconductor)나 CCD(Charge Couopled Device) 등의 소자를 사용하여 구성되고, 렌즈(201)에 의해 촬상면에 결상된 화상을 촬상한다.
신호 처리부(203)는, 이미지 센서(202)로부터 출력되는 RAW 데이터에 대한 「현상」이라고도 불리는 처리를 실시한다. 예를 들어, 디모자이크, 노이즈 리덕션, 화이트 밸런스 조정, 감마 보정, 센서 분광 보정, YC 변환 등이 현상 처리에 해당한다.
인식부(204)는, 신호 처리부(203)에 의한 처리 후의 촬상 화상에 포함되는 물체를 인식한다. 인식부(204)는, 주변 차량이나 노면과 같은, 자동 운전이나 ADAS를 실현하기 위해서는 인식 혹은 검출하는 것이 필수가 되는 물체를 인식 대상으로 한다. 물론, 인식부(204)는, 바이크나 자전거, 보행자, 도로 표지, 신호기, 레인, 중앙 분리대, 가드레일, 가로수나 가로등 등 다른 물체를 인식 대상에 더 포함할 수도 있다. 드라이버 등 자차량의 탑승자의 매뉴얼 조작에 따라서, 인식 대상이 되는 물체를 추가, 삭제, 변경할 수 있도록 해도 된다. 또한, 촬상 장치(200)가 차량 탑재 카메라 이외에 사용되는 경우에는, 용도에 따라서 인식 대상이 되는 물체를 추가, 삭제, 변경할 수 있도록 해도 된다.
제어부(205)는, 이미지 센서(202)의 촬상 화상 중, 인식부(204)가 인식한 물체별 영역의 상태에 기초하여, 이미지 센서(202)에 있어서의 촬상 동작이나, 신호 처리부(203)에 있어서의 신호 처리를 제어한다.
제어부(205)에서는, 차량이나 노면과 같은, 자동 운전이나 ADAS의 실현을 위해 인식 혹은 검출이 필수가 되는 물체를 고정밀도로 인식할 수 있도록 하기 위해, 이미지 센서(202)나 신호 처리부(203)에 대한 제어를 행한다. 따라서, 제어부(205)에 의한 제어 하에 있어서 이미지 센서(202)로 촬영되고 또한 신호 처리부(203)에서 현상 처리된 화상은, 후단의 차량 제어 시스템(100) 내에서 행해지는 인식 처리에 있어서, 차량이나 노면 등의 특정 물체를 인식하기 쉬워지도록 화질 조정된 화상이 된다. 이 때문에, 촬상 장치(200)로부터 차량 제어 시스템(100)에 출력되는 화상은, 원래의 풍경을 충실하게 재현한 것이라고는 할 수 없어, 사람이 뷰잉 혹은 감상하였을 때는 위화감을 느끼게 할 수도 있다.
후단의 차량 제어 시스템(100)에서는, 제어부(205)에 의한 제어 하에 있어서 이미지 센서(202)로 촬영되고 또한 신호 처리부(203)에서 현상 처리된 화상을 인식 처리함으로써, 고정밀도 혹은 높은 인식률로 주변 차량이나 노면을 인식할 수 있다. 그리고, 차량 제어 시스템(100)은, 이와 같은 화상 인식 결과에 기초하여, 예를 들어 자동차간 제어(ACC), 차선 일탈 경보(LDW), 레인 킵 어시스트(LKA), 자동 긴급 브레이크(AEB), 사각 검지(BSD)와 같은, 자동 운전 또는 ADAS를 위한 차량 제어를 실시하고, 나아가 액티브 코너링 라이트(ACL), 브레이크 액추에이터(BRK), 조타 장치(STR) 등 각 구동부의 구동을 제어한다. 이에 의해, 자차량의 안전 운전에 기여할 수 있다.
도 3에는 촬상 장치(200)에 있어서의 일반적인 노광 제어 루프를 모식적으로 도시하고 있다.
이미지 센서(202)는, 셔터(301)와, 소자부(302)와, 아날로그 게인 처리부(303)를 포함하고 있다. 렌즈(201)에 의해 집광된 광은, 셔터(301)를 통과하여 소자부(302)의 촬상면에 도달한다. 소자부(302)는, 2차원 화소 어레이를 포함하고, 각 화소로부터 수광량에 따른 화소 신호가 출력된다. 각 화소 신호는, 아날로그 게인 처리부(303)에 의해 아날로그 영역에서 증폭 처리가 행해진 후, 디지털 변환되어, 신호 처리부(203)에 출력된다.
신호 처리부(203)는, 현상 처리부(304)와, 검파부(305)와, 비교부(306)를 포함하고 있다. 현상 처리부(304)는, 이미지 센서(202)로부터 출력되는 디지털 화소 신호에 대해, 디지털 게인 처리나 감마 처리를 포함하는 현상 처리를 실시한다. 또한, 검파부(305)는, 이미지 센서(202)에서 촬상한 화면 전체를 OPD(Optical Detection) 검파하여, 화면의 밝기(휘도)를 검출한다. 그리고, 비교부(306)는, 검파부(305)에서 검출한 화면 전체의 밝기를 소정의 기준값(Ref)과 비교한다.
제어부(205)는, 비교부(306)로부터 출력되는 화면의 밝기와 기준값의 차분에 기초하여, 셔터(301)의 개폐 타이밍(즉 노광 시간)을 제어하거나, 아날로그 게인 처리부(303)의 아날로그 게인을 조정하거나, 현상 처리부(304)에 있어서의 디지털 게인이나 그 밖의 현상 파라미터를 조정하거나 하여, 이미지 센서(202)의 촬상 화상이 적당한 밝기가 되도록 제어한다.
도 3에 도시한 바와 같은 일반적인 노광 제어 루프에 의하면, 화면 전체로서 밝기를 조정할 수 있지만, 주변 차량이나 노면과 같은 필요한 피사체가 반드시 적절한 밝기(혹은, 화상 인식에 적합한 밝기)로 촬영되고 있다고는 할 수 없다. 예를 들어, 햇살이 강한 염천하의 드라이브에서, 가로수 아래를 주행하고 있으면, 햇볕이 드는 부분과 응달의 부분에서 콘트라스트가 너무 강하여, 응달의 부분의 차량이나 노면을 높은 정밀도로는 화상 인식할 수 없는 촬상 화상이 되어 버리는 것이 염려된다.
도 4에는, 촬상 장치(200)에 있어서, 본 명세서에서 개시하는 기술을 적용한 노광 제어 루프를 모식적으로 도시하고 있다. 도 4에 도시한 제어 루프는, 인식부(204)가 촬상 화상으로부터 인식한 물체마다 최적의 이미지 생성을 실시하도록 구성되어 있다. 여기에서는, 인식부(204)는, 자동 운전이나 ADAS의 실현을 위해 인식 혹은 검출이 필수가 되는 물체로서, 차량(가장 가까운 선행 차량)과 노면을 각각 검출하는 것을 상정하고 있다.
이미지 센서(202)는, 셔터(401)와, 소자부(402)와, 아날로그 게인 처리부(403)를 포함하고 있다. 렌즈(201)에 의해 집광된 광은, 셔터(401)를 통과하여 소자부(402)의 촬상면에 도달한다. 소자부(402)는, 2차원 화소 어레이를 포함하고, 각 화소로부터 수광량에 따른 화소 신호가 출력된다. 각 화소 신호는, 아날로그 게인 처리부(403)에 의해 아날로그 영역에서 증폭 처리가 행해진 후, 디지털 변환되어, 신호 처리부(203)에 출력된다.
또한, 이하에서는 이미지 센서(202)는 단일 노광(즉, 1프레임 기간 내에 단일의 노광 타이밍을 가짐)을 행하는 것으로서 설명한다.
신호 처리부(203)는, 현상 처리부(404)와, 검파부(405)와, 비교부(406)를 포함하고 있다. 단, 검파부(405)는, 인식부(204)가 촬상 화상으로부터 인식한 물체마다 OPD 검파를 행할 수 있도록, 촬상 화상 중의 차량 부분의 밝기를 검파하는 차량용 검파부(405-1)와, 촬상 화상 중의 노면 부분의 밝기를 검파하는 노면용 검파부(405-2)를 구비하고 있다. 또한, 검파부(405)는, 이미지 센서(202)에서 촬상한 화면 전체를 OPD 검파하는 화면 전체 검파부(405-3)도 구비하고 있다. 또한, 인식부(204)가 차량 및 노면 이외의 물체를 추가하여 검출하는 경우에는, 추가한 물체의 밝기를 검파하는 검파부를 더 구비하고 있어도 된다.
또한, 현상 처리부(404)는, 인식부(204)가 촬상 화상으로부터 인식한 물체별로 적합한 현상 처리를 개별적으로 행할 수 있도록, 차량용 현상 처리부(404-1) 및 노면용 현상 처리부(404-2)를 구비하고 있다. 또한, 현상 처리부는, 화면 전체에 적합한 현상 처리를 행하는 화면 전체 현상 처리부(404-3)도 구비하고 있다. 또한, 인식부(204)가 차량 및 노면 이외의 물체를 추가하여 검출하는 경우에는, 추가한 물체용의 현상 처리부를 더 구비하고 있어도 된다.
도 4 중, 참조 번호 410으로 나타내는 범위 내에서는, 통상의 자동 노광 제어가 실시된다. 즉, 화면 전체 검파부(405-3)는, 이미지 센서(202)에서 촬상한 화면 전체를 OPD 검파하여, 화면의 밝기를 검출한다. 그리고, 비교부(306)는, 검파부(305)에서 검출한 화면 전체의 밝기를 소정의 기준값(Ref)과 비교한다. 제어부(205)는, 비교부(406)로부터 출력되는 화면의 밝기와 기준값의 차분에 기초하여, 셔터(401)의 개폐 타이밍(즉 노광 시간)을 제어하거나, 아날로그 게인 처리부(403)의 아날로그 게인을 조정하거나, 화면 전체 현상 처리부(404-3)에 있어서의 디지털 게인이나 그 밖의 현상 파라미터를 조정하거나 하여, 이미지 센서(202)의 촬상 화상이 최적의 밝기가 되도록 제어한다.
한편, 인식부(204)는, 신호 처리부(403)에 의한 처리 후의 촬상 화상(420)에 포함되는 물체를 인식한다. 여기에서는, 촬상 장치(200)가 차량 탑재 카메라(혹은, 차량 제어 시스템(100) 내의 데이터 취득부(102))로서 사용되는 것을 상정하고 인식부(204)는, 자동 운전이나 ADAS의 실현을 위해 인식 혹은 검출이 필수가 되는 물체로서, 차량(421) 및 노면(422)을 인식한다. 물론, 바이크나 자전거, 보행자, 도로 표지, 신호기, 가드레일, 가로수나 가로등 등 다른 물체를 인식 대상에 더 포함할 수도 있다.
차량용 검파부(405-1)는, 인식부(204)에 의한 차량(421)의 인식 결과에 기초하여, 촬상 화상(420) 중에 차량(421)의 검파 프레임을 설정하고, 그 검파 프레임 내의 밝기를 검파하여, 화면 전체 검파부(405-3)에서 검파한 화면 전체의 밝기와, 차량(421)의 검파 프레임 내의 밝기의 차분을 산출한다. 그리고, 차량용 현상 처리부(404-1) 내에서는, 그 차분에 기초하여 디지털 게인이나 감마값을 조정하여, 차량(421)의 프레임 내의 밝기를 조정한다. 즉, 차량용 현상 처리부(404-1)는, 촬상 화상으로부터 차량(421)을 물체 인식하는 데 최적이 되는 현상 처리를 행한다(화면 전체에 대하여 차량(421)의 검파 프레임이 너무 어두우면, 차량(421)이 좀 더 밝아지도록 현상 처리하고, 화면 전체에 대하여 차량(421)의 검파 프레임이 너무 밝으면, 차량(421)이 어두워지도록 현상 처리한다). 차량용 현상 처리부(404-1)에 의해 현상 처리된 촬상 화상은, 원래의 풍경을 반드시 충실하게 재현한 것은 아니어서, 사람이 뷰잉 혹은 감상하였을 때는 위화감을 느끼게 할 수도 있지만, 차량(421)을 고정밀도로 인식할 수 있는 화상이다.
또한, 노면용 검파부(405-2)는, 인식부(204)에 의한 노면(422)의 인식 결과에 기초하여, 촬상 화상(420) 중의 노면(422)의 검파 프레임을 설정하고, 그 검파 프레임 내의 밝기를 검파하여, 화면 전체 검파부(405-3)에서 검파한 화면 전체의 밝기와, 노면(422)의 검파 프레임 내의 밝기의 차분을 산출한다. 그리고, 노면용 현상 처리부(404-2) 내에서는, 그 차분에 기초하여 디지털 게인이나 감마값을 조정하여, 노면(422)의 프레임 내의 밝기를 조정한다(화면 전체에 대하여 노면(422)의 검파 프레임이 너무 어두우면, 노면(422)이 좀 더 밝아지도록 현상 처리하고, 화면 전체에 대하여 노면(422)의 검파 프레임이 너무 밝으면, 차량(421)이 어두워지도록 현상 처리한다). 즉, 노면용 현상 처리부(404-2)는, 촬상 화상으로부터 노면(422)을 물체 인식하는 데 최적이 되는 현상 처리를 행한다. 노면용 현상 처리부(404-2)에 의해 현상 처리된 촬상 화상은, 원래의 풍경을 반드시 충실하게 재현한 것은 아니어서, 사람이 뷰잉 혹은 감상하였을 때는 위화감을 느끼게 할 수도 있지만, 노면(422)을 고정밀도로 인식할 수 있는 화상이다.
도 4에 도시한 촬상 장치(200)는, 인식부(204)를 구비함과 함께, 이 인식부(204)가 인식하는 물체마다 복수의 현상 처리부 및 검파부를 탑재함으로써, 통상의 자동 노광 제어를 안정적으로 실시함과 동시에, 각 물체의 화상 인식에 최적의 현상을 행하는 것이 가능하다.
자동 운전이나 ADAS의 실현을 위해서는, 차량 및 노면의 화상 인식이 가장 중요하다. 이 관점에서, 도 4에 도시한 촬상 장치(200)에서는, 인식부(204)는 차량 및 노면의 2종류의 물체를 인식하고, 차량용 및 노면용의 복수의 검파부 및 현상 처리부를 탑재한다는 구성이다. 물론, 인식부(204)는, 바이크나 자전거, 보행자, 도로 표지, 신호기, 레인, 중앙 분리대, 가드레일, 가로수나 가로등 등 다른 물체를 인식 대상에 더 포함할 수도 있고, 이것에 대응하여, 추가한 인식 물체별 복수의 검파부 및 현상 처리부를 증설함으로써, 다종류의 물체의 화상 인식에 최적의 현상을 행하는 것이 가능해진다.
또한, 상기에서는, 이미지 센서(202)가 단일 노광을 행하는 것으로서 설명해 왔지만, 물론, 복수 동시 노광(즉, 1프레임 기간 내에 복수의 노광 타이밍을 갖고, 1프레임 기간 내에 복수의 화상을 촬상함)을 실시 가능해도 된다. 촬상 장치(200)는, 복수 동시 노광을 이용하여, 저휘도측 자동 노광 및 고휘도측 자동 노광과 같은 휘도 그룹마다의 자동 노광 제어와, LED(Light Emitting Diode) 플리커 대책용 등, 용도로 나누어 화상을 출력하도록 해도 된다.
도 5에는, 도 4에 도시한 촬상 장치(200)에 있어서 자동 노광 제어하기 위한 기본적인 동작 수순을 흐름도의 형식으로 나타내고 있다. 단, 여기에서는 이미지 센서(202)가 복수 동시 노광 가능하고, 차량용, 노면용, 및 화면 전체용의 3회 노광을 행하는 것으로 한다.
화면 전체 검파부(405-3)는, 이미지 센서(202)에 의한 촬영 화상의 화면 전체의 밝기를 검파한다(스텝 S501).
다음에, 비교부(406)는, 화면 전체 검파부(405-3)에서 검출한 화면 전체의 밝기를 소정의 기준값(Ref)과 비교하여, 에러양을 산출한다(스텝 S502).
그리고, 제어부(205)는, 스텝 S502에서 산출한 에러양에 기초하여, 셔터(401)의 개폐 타이밍(즉 노광 시간)이나, 아날로그 게인 처리부(403)의 아날로그 게인 조정과 같은 디바이스 제어를 실시한다(스텝 S503).
여기에서는, 이미지 센서(202)가 복수 동시 노광을 행하는 것을 상정하고 있다. 따라서, 스텝 S503에서는, 저휘도용, 고휘도용, 화면 전체용으로, 각각의 디바이스 제어(스텝 S503-1, S503-2, S503-3)를 실시하도록 해도 된다. 또한, 각 디바이스 제어는 마찬가지의 내용이어도 된다.
또한, 스텝 S501 내지 S503에서 실시되는 처리는, 통상의 자동 노광 제어에 상당하는 처리이다.
인식부(204)는, 스텝 S503-1 및 S503-2의 디바이스 제어에 기초하여 처리된 각 촬상 화상에 대하여 화상 인식 처리를 실시한다(스텝 S504).
인식부(204)가 촬상 화상으로부터 대상으로 하는 물체(차량, 노면)를 인식하지 못한 경우에는(스텝 S504의 "아니오"), 본 처리를 종료한다.
한편, 인식부(204)가 촬상 화상으로부터 대상으로 하는 물체(차량, 노면)를 인식한 경우에는(스텝 S504의 "예"), 신호 처리부(203)는, 인식부(204)로부터, 대상으로 하는 물체(차량, 노면)에 관한 화상 인식 정보를 취득한다(스텝 S505).
차량용 검파부(405-1)는, 인식부(204)로부터 취득한 화상 인식 정보에 기초하여 차량의 검파 프레임을 설정하여, 차량의 검파 프레임의 밝기를 검파한다(스텝 S506). 여기서, 인식부(204)가 촬상 화상으로부터 N대(단, N은 2 이상의 정수)의 차량을 인식한 경우에는, 차량용 검파부(405-1)는, N대분의 검파 프레임을 설정하여 모든 차량의 밝기를 개별로 검파해도 되고, 모든 검파 프레임의 밝기의 평균을 검파해도 되고, 우선 순위가 상위인 소정 대수까지의 밝기를 검파하도록 해도 된다. 차량의 우선 순위는, 자차량으로부터의 거리 등 자차량과 충돌할 가능성에 기초하여 할당해도 된다.
다음에, 차량용 검파부(405-1)는, 차량의 검파 프레임의 밝기를, 화면 전체 검파부(405-3)에서 검출한 화면 전체의 밝기와 비교하여, 에러양을 산출한다(스텝 S507). 그리고, 차량용 현상 처리부(404-1)는, 복수 동시 노광에 의해 차량용으로 촬상한 화상에 대하여, 스텝 S507에서 산출한 에러양에 기초하여 현상 처리한다(스텝 S508).
또한, 노면용 검파부(405-2)는, 인식부(204)로부터 취득한 화상 인식 정보에 기초하여 노면의 검파 프레임을 설정하여, 차량의 검파 프레임의 밝기를 검파한다(스텝 S509). 다음에, 노면용 검파부(405-2)는, 차량의 검파 프레임의 밝기를, 화면 전체 검파부(405-3)에서 검출한 화면 전체의 밝기와 비교하여, 에러양을 산출한다(스텝 S510). 그리고, 노면용 현상 처리부(404-2)는, 복수 동시 노광에 의해 노면용으로 촬상한 화상에 대하여, 스텝 S510에서 산출한 에러양에 기초하여 현상 처리한다(스텝 S511).
한편, 현상 처리부(404-3)는, LED 플리커 대책용의 현상 처리를 실시한다(스텝 S512).
마지막으로, 실시예 1에 대하여 정리해 둔다. 촬상 장치(200)는, 도 4에도 도시한 바와 같이, 복수 동시 노광 기능, 복수 검파 기능, 및 복수 현상 기능을 장비하고 있다. 이러한 구성에 의해, 촬상 장치(200)는, LED 플리커를 억제하면서, 급격한 피사체 변화에도 안정된 노출을 유지할 수 있다. 이에 의해, 촬상 장치(200)는, 복수의 피사체에 대하여, 서로의 노광에 의존하지 않고 최적의 현상 처리가 가능함과 함께, 현상 시의 에러양을 바로 반영할 수 있다는 특징이 있다. 또한, 촬상 장치(200)는, 피사체 검지 기능을 유지할 수 있다는 특징이 있다.
실시예 2
화상 인식의 정밀도를 향상시키기 위해서는, 인식 대상이 되는 물체를 인식하기 쉬워지는 노광 조건에서 촬영을 행할 필요가 있다. 그러나, 역광이나 암흑에서는, 인식 불능인 씬을 촬영하게 된다. 예를 들어, 햇살이 강한 염천하의 드라이브에서, 가로수 아래를 주행하고 있으면, 햇볕이 드는 부분과 응달의 부분에서 콘트라스트가 너무 강하여, 자동 노광 제어가 명암의 변화에 추종하지 못한다. 통상의 카메라의 제어에서는, 적정한 노광 조건으로 될 때까지 시간이 너무 걸려, 추종할 수 없다. 그 결과로서, 노광 오버 또는 노광 언더가 길게 계속되고, 이 동안, 화상 인식을 할 수 없는 상태가 계속되기 때문에, 차량 제어 시스템(100)에 의한 자동 운전이나 ADAS가 충분히 기능하지 않는다. 화상 인식을 할 수 없는 상태의 다른 예로서, 터널의 출입구나, 대향차의 헤드라이트를 받고 있는 상태를 들 수 있다.
그래서, 제2 실시예에서는, 주변 차량의 화상 인식을 할 수 없는 상태가 되는 문제 씬을 화상 인식 결과에 기초하여 판정하고, 이러한 문제 씬에 있어서 자동 노광을 적응적으로 제어하는 촬상 장치에 대하여 설명한다.
여기서, 화상 인식을 할 수 없는 상태가 되는 문제 씬으로서, 상술한 바와 같이, 햇살이 강한 역광 상태나, 터널의 출입구, 대향차의 헤드라이트를 받고 있는 상태를 들 수 있다. 이와 같은 문제 씬은, 촬상 화상 중의 소실점 및 콘트라스트 정도의 계산 결과에 기초하여 판정할 수 있다. 또한, 문제 씬에 있어서의 자동 노광의 적응 제어로서, 자동 노광의 수렴 속도의 가변 제어나 자동 노광 검파 영역의 가변 제어를 들 수 있다. 문제 씬의 판정 방법 및 자동 노광의 적응 제어의 상세에 대해서는 후술하기로 한다.
도 6에는 제2 실시예에 관한 촬상 장치(600)의 기능적 구성예를 모식적으로 도시하고 있다. 촬상 장치(600)는 주로 차량에 탑재되어 사용되는 것을 상정하고 있다. 도시한 촬상 장치(600)는, 렌즈(601)와, 이미지 센서(602)와, 신호 처리부(603)와, 인식부(604)와, 판정부(605)와, 제어부(605)를 구비하고 있다.
이미지 센서(602)는, 예를 들어 CMOS나 CCD 등의 소자를 사용하여 구성되고, 렌즈(601)에 의해 촬상면에 결상된 화상을 촬상한다. 신호 처리부(603)는, 이미지 센서(602)로부터 출력되는 RAW 데이터에 대한 현상 처리를 실시한다. 예를 들어, 디모자이크, 노이즈 리덕션, 화이트 밸런스 조정, 감마 보정, 센서 분광 보정, YC 변환 등이 현상 처리에 해당한다.
인식부(604)는, 신호 처리부(603)에 의한 처리 후의 촬상 화상에 포함되는 물체를 인식한다. 본 실시예에서는, 인식부(604)는, 기본적으로는, 후단의 판정부(605)에서 문제 씬의 판정에 사용하는 물체로서, 주변 차량과 사선(레인)을 화상 인식한다. 물론, 인식부(604)는, 바이크나 자전거, 보행자, 도로 표지, 신호기, 가드레일, 가로수나 가로등 등, 다른 물체를 인식 대상에 더 포함할 수도 있다.
판정부(605)는, 주변 차량의 화상 인식을 할 수 없는 상태가 되는 문제 씬을, 인식부(604)에 있어서의 화상 인식 결과에 기초하여 판정한다. 구체적으로는, 판정부(605)는, 햇살이 강한 역광 상태나, 터널의 출입구, 대향차의 헤드라이트를 받고 있는 상태를 판정한다. 판정부(605)는, 인식부(604)에 의한 화상 인식 결과에 기초하여 소실점을 산출하고, 또한, 촬상 화상의 콘트라스트 정도를 산출하여, 이들 계산 결과에 기초하여 씬 판정을 행한다.
소실점은, 투시 변환에 의해 3차원 공간 중의 복수의 평행선을 화상 상에 투영한 경우에, 그것들 평행선에 대응하는 화상 상의 직선이 수렴하는 점이며, 이론적으로는 무한 원점이다. 소실점의 계산 방법은 다양하다. 본 실시예에서는, 판정부(605)는, 인식부(604)에 의한 레인의 검출 결과나, 화상 인식된 영지의 위치나 사이즈에 기초하여 소실점을 산출하는 것으로 한다.
또한, 판정부(605)는, OPD 검파에 기초하여, 화상의 콘트라스트 정도를 산출한다. 본 실시예에서는, 판정부(605)는, 촬상 화상 중의 노면 영역의 검파값과 그것 이외의 영역의 검파값을 비교하는 방법과, 히스토그램(화상의 휘도 분포)의 형상에 기초하여 판정하는 방법의 2가지에 의해 콘트라스트 정도를 산출하는 것으로 한다.
제어부(606)는, 판정부(605)가 주변 차량의 화상 인식을 할 수 없는 상태라고 판정하는 문제 씬에 있어서, 이미지 센서(602)에 있어서의 촬상 동작이나, 신호 처리부(603)에 있어서의 현상 처리를 제어하여, 자동 노광을 적응적으로 제어한다. 구체적으로는, 제어부(606)는, 문제 씬에 있어서의 자동 노광의 적응 제어로서, 자동 노광의 수렴 속도의 가변 제어나 자동 노광 검파 영역의 가변 제어를 실시한다.
후단의 차량 제어 시스템(100)에서는, 제어부(606)에 의한 제어 하에 있어서 이미지 센서(602)로 촬영되고 또한 신호 처리부(603)에서 현상 처리된 화상을 인식 처리함으로써, 고정밀도 혹은 높은 인식률로 주변 차량을 인식할 수 있다. 그리고, 차량 제어 시스템(100)은, 이와 같은 화상 인식 결과에 기초하여, 예를 들어 자동차간 제어(ACC), 차선 일탈 경보(LDW), 레인 킵 어시스트(LKA), 자동 긴급 브레이크(AEB), 사각 검지(BSD)와 같은, 자동 운전 또는 ADAS를 위한 차량 제어를 실시하고, 나아가 액티브 코너링 라이트(ACL), 브레이크 액추에이터(BRK), 조타 장치(STR) 등 각 구동부의 구동을 제어한다. 이에 의해, 자차량의 안전 운전에 기여할 수 있다.
제2 실시예에 관한 촬상 장치(600)는, 제1 실시예(즉, 도 4에 도시한 촬상 장치(200))와는 상이하고, 이미지 센서(606)는 단일 노광이어도 되고, 또한, 신호 처리부(603) 및 검파부(604)는 1계통이어도 되고, 물체마다의 계통은 불필요하다. 즉, 촬상 장치(600)는, 도 3에 도시한 바와 같은 장치 구성이어도 된다.
도 7에는, 도 6에 도시한 촬상 장치(600)에 있어서 자동 노광 제어하기 위한 기본적인 동작 수순을 흐름도의 형식으로 나타내고 있다.
판정부(605)는, 인식부(604)에 의한 화상 인식 정보를 취득한다(스텝 S701). 인식부(604)는, 이미지 센서(602)에 의한 촬상 화상으로부터, 노면, 노면 상의 차선이나 차량 등 물체를 인식할 수 있다. 그리고, 인식부(604)에 의한 화상 인식 결과에 기초하여, 촬상 화상에 대하여, 지면(노면), 하늘, 차량, 소실점 등에 검파 프레임을 배치할 수 있다.
판정부(605)는, 인식부(604)에 의한 화상 인식 정보에 기초하여, 소실점을 산출하고(스텝 S702), 또한 소실점 영역의 검파값을 취득한다(스텝 S703).
또한, 판정부(605)는, OPD 검파에 기초하여, 화상의 콘트라스트 정도를 산출한다. 구체적으로는, 판정부(605)는, 촬상 화상 중의 노면 영역의 검파값과 그것 이외의 영역의 검파값을 비교함으로써 콘트라스트 정도를 산출함과 함께(스텝 S704), 히스토그램(화상의 휘도 분포)의 형상에 기초하여 콘트라스트 정도를 산출한다(스텝 S705).
다음에, 판정부(605)는, 스텝 S703에서 취득한 소실점 영역의 검파값이 하한 역치 THlow 이상이고 또한 상한 역치 THHigh 미만인지 여부를 체크한다(스텝 S706).
소실점 영역의 검파값이 하한 역치 THlow 이상이고 또한 상한 역치 THHigh 미만인 경우에는(스텝 S706의 "예"), 판정부(605)는, 인식부(604)가 차량을 안정적으로 인식할 수 있는지 여부를 더 체크한다(스텝 S707). 여기서, 「안정」적으로 인식하는 것이란, 인식의 우도가 높은 것이나, 인식 결과가 급준하게 변화되지 않고 안정되어 있는 것 등을 의미한다.
인식부(604)가 차량을 안정적으로 인식할 수 있는 경우에는(스텝 S707의 "예"), 제어부(606)는, 촬상 화상 중 차량 영역의 검파값을 취득하고(스텝 S708), 차량 영역의 검파값만을 사용하여 이미지 센서(602)의 자동 노광 제어 및 신호 처리부(603)에 있어서의 현상 처리의 제어를 행한다(스텝 S709).
한편, 인식부(604)가 차량을 안정적으로 인식할 수 없는 경우에는(스텝 S707의 "아니오"), 판정부(605)는, 스텝 S704 및 스텝 S705에서 산출한 콘트라스트 정도가 소정의 역치 THc 이상인지 여부를 더 체크한다(스텝 S710).
그리고, 촬상 화상의 콘트라스트 정도가 소정의 역치 THc 이상인 경우에는(스텝 S710의 "예"), 검파 영역을 노면 영역만으로 하여 OPD 검파를 행하고, 제어부(606)는, 노면 영역의 검파 결과에 기초하여, 이미지 센서(602)의 자동 노광 제어 및 신호 처리부(603)에 있어서의 현상 처리의 제어를 행한다(스텝 S711). 혹은, 노면 영역의 가중치를 그것 이외의 영역보다도 크게 하여 OPD 검파를 행하도록 해도 된다.
또한, 촬상 화상의 콘트라스트 정도가 소정의 역치 THc 이상인 경우에는(스텝 S710의 "예"), 햇살이 강한 역광 상태나, 대향차의 헤드라이트를 받고 있는 상태라고 추정되므로, 측광 영역을 노면 영역만으로 하여 자동 노광 제어를 실시한다. 한편, 촬상 화상의 콘트라스트 정도가 소정의 역치 THc 미만인 경우에는(스텝 S710의 "아니오"), 역광 상태가 아니라, 전방에 차량이 없을 뿐인 상태라고 추정되므로, 자동 노광 제어를 실시하지 않고 본 처리를 종료한다.
또한, 소실점 영역의 검파값이 하한 역치 THlow 미만, 또는 상한 역치 THHigh를 초과하는 경우(스텝 S706의 "아니오"), 자차량이 터널의 출구 부근 또는 입구 부근 중 어느 것에 도달하였다고 추정된다. 그래서, 검파 프레임을 (터널의 출입구에 상당하는) 소실점 영역에만 설정하여 OPD 검파를 행하고, 제어부(606)는, 소실점 영역의 검파 결과에 기초하여, 이미지 센서(602)의 자동 노광 제어 및 신호 처리부(603)에 있어서의 현상 처리의 제어를 행한다(스텝 S712). 또한, 적정한 노광 조건으로 될 때까지 시간이 너무 걸려서 추종할 수 없게 된다고 하는 사태를 피하기 위해, 제어부(606)는, 자동 노광 제어의 수렴 속도를 빠르게 한다(스텝 S713).
계속해서, 도 8에 도시한 바와 같은 풍경을 촬상 장치(600)로 촬영하는 경우를 예로 들어, 도 7에 도시한 동작 수순에 대하여 구체적으로 설명한다.
검파 프레임의 배치에 대하여:
도 8은 자차량이 편도 3차선의 도로를 주행 중에, 차량 탑재의 촬상 장치(600)로 자차량의 전방을 촬영한 모습이다. 도 8에 도시한 예에서는, 자차량의 전방의 노면(800)을, 자차량으로부터 거리가 가까운 순으로, 선행 차량(801, 802 및 803)이 주행하고 있다. 또한, 도 9에는, 자차량의 전방을 부감한 모습을 도시하고 있다. 자차량으로부터 선행 차량(801, 802 및 803)까지의 거리는, 각각 d1, d2, d3이다. 또한, 선행 차량(801, 802 및 803)의 상대 속도 및 방향은, 각각 v1, v2, v3이다. 선행 차량(801, 802 및 803)의 거리 및 상대 속도는, 예를 들어 차량 제어 시스템(100)이 데이터 취득부(102)로서 장비하는 레이다를 사용하여 계측할 수 있다.
인식부(604)는, 도 8에 도시한 촬상 화상에 대하여 화상 인식 처리를 행함으로써, 노면(지면)(800)이나, 선행 차량(801 내지 803), 차선(804, 805) 등의 물체를 인식한다. 그리고, 판정부(605)는, 인식부(604)에 의한 화상 인식 정보에 기초하여, 도 10에 도시한 바와 같이, 노면(800), 하늘, 소실점, 선행 차량(801 내지 803)의 각각에 대하여 검파 프레임을 배치할 수 있다.
·노면, 하늘(Wg, Ws)
·소실점(Wvp)
·선행 차량(Wv1, Wv2, Wv3)
물론, 인식부(604)는, 상술한 것 이외에, 바이크나 자전거, 보행자, 도로 표지, 신호기 등의 물체도 필요에 따라서 인식할 수 있다. 또한, 판정부(605)는, 이들 인식 물체에 대해서도 검파 프레임을 마찬가지로 배치할 수 있다.
제어부(606)는, 노면 검파 프레임 Wg 및 하늘 검파 프레임 Ws를 포함하는 전체 프레임을 베이스로, 각 선행 차량(801, 802, 803)까지의 거리 d1, d2, d3이나 상대 속도 v1, v2, v3으로부터, 선행 차량(801, 802, 803)의 가중치 부여를 제어한다. 예를 들어 자차량으로부터 거리가 가까운 차량이나, 빠른 속도로 자차량에 접근하고 있는 차량의 가중치를 크게 한다.
소실점의 산출에 대하여:
판정부(605)는, 도 7에 도시한 흐름도 중의 스텝 S702에 있어서, 인식부(604)에 의한 화상 인식 정보에 기초하여 소실점을 산출하고, 계속되는 스텝 S703에 있어서 소실점 검파 프레임을 산출한다. 도 11에는 소실점을 산출하는 모습을 도시하고 있다. 대상으로 하는 3차원 공간 중의 평행선으로서, 차선을 들 수 있다. 그래서, 판정부(605)는, 차선(804)과 차선(805)의 교점을, 소실점 검파 프레임의 중심 위치에 결정한다. 그리고, 각 차량(801 내지 803)의 위치와 사이즈에 기초하여, 소실점 검파 프레임 Wvp를 산출한다.
콘트라스트 정도의 산출 방법1 :
판정부(605)는, 도 7에 도시한 흐름도 중의 스텝 S704에 있어서, 촬상 화상 중의 노면 영역의 검파값과 그것 이외의 영역의 검파값을 비교함으로써, 콘트라스트 정도를 산출한다. 도 12에는 콘트라스트 정도를 산출하는 모습을 도시하고 있다. 판정부(605)는, 인식부(604)가 화상 인식한 선행 차량(801 내지 803), 그리고 차선(804 및 805)의 정보로부터, 노면 검파 프레임 Wg를 구하고, 그것 이외를 하늘 검파 프레임 Ws라고 가정할 수 있다. 그리고, 판정부(605)는, 노면 검파 프레임 Wg의 검파값과 하늘 검파 프레임 Ws의 검파값의 차분의 절댓값 ABS(Wg-Ws)를 콘트라스트 정도로서 산출한다. 그 후, 판정부(605)는, 스텝 S710에 있어서, 콘트라스트 정도로서 산출한 차분의 절댓값 ABS(Wg-Ws)가 소정의 역치보다도 크면, 그 촬상 화상의 콘트라스트가 강하다고 판정할 수 있다.
도 13에는 멀티 프레임 기능을 상정한 경우의, 콘트라스트 정도를 산출하는 모습을 도시하고 있다. 판정부(605)는, 인식부(604)가 화상 인식한 선행 차량(801 내지 803), 그리고 차선(804 및 805)의 정보로부터, 노면 검파 프레임 Wg를 구하고, 그것 이외를 하늘 검파 프레임 Ws라고 가정한다. 도 13 중, 노면 검파 락 Wg를 연한 회색으로 빈틈없이 칠하고, 그것 이외의 하늘 검파 프레임 Ws를 진한 회색으로 빈틈없이 칠하였다. 그리고, 판정부(605)는, 노면 검파 프레임 Wg의 검파값과 하늘 검파 프레임 Ws의 검파값의 차분 절댓값 ABS(Wg-Ws)를 콘트라스트 정도로서 산출한다. 그 후, 판정부(605)는, 스텝 S710에 있어서, 콘트라스트 정도로서 산출한 차분의 절댓값 ABS(Wg-Ws)가 소정의 역치보다도 크면, 그 촬상 화상의 콘트라스트가 강하다고 판정한다.
콘트라스트 정도의 산출 방법2 :
판정부(605)는, 도 7에 도시한 흐름도 중의 스텝 S705에 있어서, 히스토그램(화상의 휘도 분포)의 형상에 기초하여, 콘트라스트 정도를 산출한다. 판정부(605)는, 2치화 방법의 하나인 판별 분석법을 사용하여, 히스토그램의 분리도를 산출하고, 분리도가 높으면 화상의 콘트라스트 정도가 강하다고 판정할 수 있다.
예를 들어, 도 14에 도시한 바와 같이, 화상 전체에 검파 프레임을 배치하여, 히스토그램을 취득한다. 도 15에는, 도 14에 도시한 화상 전체에 검파 프레임을 배치하여 취득한 히스토그램을 예시하고 있다. 도 15에 도시한 예에서는, 화상의 휘도 레벨은 0 내지 255의 256계조를 포함하고, 휘도 레벨마다의 화소수 분포가 취득되어 있다.
여기서, 도 14에 도시한 화상 전체의 화소수가 ωt, 휘도 레벨의 평균값이 mt, 분산이 σt인 것으로 하자. 또한, 도 15에 도시한 히스토그램에 있어서, 휘도 레벨의 역치 THl을 설정하여, 화소를 휘도 레벨이 역치 THl 이상인 백색 클래스와 역치 THl 미만인 흑색 클래스의 2치로 분리한다. 그리고, 흑색 클래스의 화소수가 ω1, 휘도 레벨의 평균값이 m1, 분산이 σ1이고, 백색 클래스의 화소수가 ω2, 휘도 레벨의 평균값이 m2, 분산이 σ2인 것으로 하자. 하기 식 (1)에 따라서 클래스 내 분산 σw 2을 산출함과 함께, 하기 식 (2)에 따라서 클래스간 분산 σb 2을 산출하고, 클래스 내 분산 σw 2 및 클래스간 분산 σb 2에 기초하여 하기 식 (3)에 따라서 전체 분산 σt 2을 산출한다. 그리고, 하기 식 (4)에 나타내는, 클래스간 분산 σb 2과 클래스 내 분산 σw 2의 비가 최대가 되는 역치 THl을 구함으로써, 분리도를 산출한다. 그리고, 판정부(605)는, 분리도가 높으면 화상의 콘트라스트 정도가 강하다고 판정할 수 있다.
Figure pct00002
Figure pct00003
Figure pct00004
Figure pct00005
자동 노광 제어의 수렴 속도의 제어에 대하여:
도 16에는 자차량이 터널의 입구 부근에 도달하였을 때, 촬상 장치(600)로 자차량 전방을 촬영한 모습을 도시하고 있다. 이 경우, 터널의 입구가 소실점 영역이 되고, 또한, 소실점 영역의 검파값이 하한 역치 THlow 미만이 된다. 또한, 도 17에는, 자차량이 터널의 출구 부근에 도달하였을 때, 촬상 장치(600)로 자차량 전방을 촬영한 모습을 도시하고 있다. 이 경우, 터널의 출구가 소실점 영역이 되고, 또한, 소실점 영역의 검파값이 상한 역치 THHigh를 초과한다.
판정부(605)는, 도 7에 도시한 흐름도 중의 스텝 S706에 있어서, 소실점 영역의 검파값이 하한 역치 THlow 미만, 또는 상한 역치 THHigh를 초과하는 경우에, 자차량이 터널의 출입구 부근에 도달하였다고 추정한다. 그리고, 판정부(605)는, 도 16 및 도 17에 각각 도시한 바와 같이, 검파 프레임을 터널의 입구 또는 출구에 상당하는 소실점 영역에만 설정한다(스텝 S712). 또한, 제어부(606)는, 적정한 노광 조건으로 될 때까지 시간이 너무 걸려 추종할 수 없게 된다고 하는 사태를 피하기 위해, 스텝 S713에 있어서, 자동 노광 제어의 수렴 속도를 빠르게 한다.
도 18에는 소실점 검파값과 자동 노광 제어의 수렴 속도의 관계를 도시하고 있다. 도 18에 도시한 바와 같이, 판정부(605)는, 소실점 영역의 검파값이 하한 역치 THlow 미만이 된 경우에, 자동 노광 제어의 수렴 속도를 빠르게 한다. 또한, 판정부(605)는, 소실점 영역의 검파값이 상한 역치 THHigh를 초과하는 경우에, 자동 노광 제어의 수렴 속도를 빠르게 한다. 판정부(605)는, 소실점 영역의 검파값을 시계열로 감시함으로써, 연속적인 수렴 속도의 가변 제어를 실현할 수 있다.
또한, 판정부(605)는, 소실점 영역의 검파값이 하한 역치 THlow 이상이고 또한 상한 역치 THHigh 미만의 범위 내인 기간 중에도, 인식부(604)에 의한 차량 인식 정보에 기초하여 자차량의 전방을 상시 감시한다. 예를 들어, 과거의 수프레임분의 화상 인식 결과를 축적해 두고, 선행 차량을 인식할 수 없게 된 상태가 소정수의 프레임 이상 계속된 경우에도, 자동 노광 제어의 수렴 속도를 빠르게 하도록 해도 된다.
차량 프레임의 가중치 부여 제어에 대하여:
판정부(605)는, 도 7에 도시한 흐름도 중의 스텝 S701에서 인식부(604)에 의한 화상 인식 정보를 취득하면, 하늘, 소실점, 및 선행 차량의 각각에 대하여 검파 프레임을 배치한다. 이때, 판정부(605)는, 각 선행 차량의 거리나 상대 속도에 기초하여, 각 차량 프레임의 가중치 부여를 제어한다.
예를 들어, 도 19에 도시한 바와 같은 이미지 센서(602)의 촬상 화상(1900)으로부터, 인식부(604)에 의한 화상 인식 정보에 기초하여, 차량 프레임 Wv1, Wv2, Wv3이 배치된 것으로 하자. 또한, 도 20에 도시한 바와 같이, 자차량으로부터 각 선행 차량까지의 거리가 각각 d1, d2, d3이고, 각 선행 차량의 상대 속도가 각각 v1, v2, v3인 것으로 하자.
선행 차량과의 거리가 짧으면, 자차량과 충돌할 가능성이 높으므로, 큰 가중치를 부여해야 한다. 또한, 선행 차량의 상대 속도가 빠를수록, 자차량과 충돌할 가능성이 높으므로, 큰 가중치를 부여해야 한다. 그래서, 하기 식 (5)에 나타내는 바와 같이, 선행 차량과의 거리와 상대 속도에 기초하여, 각 차량 프레임 Wv1, Wv2, Wv3의 가중치 Wev1, Wev2, Wev3을 제어하도록 해도 된다.
Figure pct00006
또한, 인식부(604)에 의해 화상 인식된 모든 차량의 차량 프레임 Wv와, 그것 이외의 영역에서 가중치를 변화시키도록 해도 된다. 예를 들어, 모든 차량의 차량 프레임의 가중치 Wev를, 하기 식 (6)과 같이 정의할 수 있다(단, 도 19에 도시한 예에서는 n=3).
Figure pct00007
마지막으로, 실시예 2에 대하여 정리해 둔다. 촬상 장치(600)는, 단일 노광, 단일 검파, 단일 현상으로서 구성할 수도 있지만, 급격한 피사체 변화에도 안정된 노출을 유지할 수 있고, 복수의 피사체 변화에도 대응할 수 있고, 또한, 피사체 검지 기능을 유지할 수 있다는 특징이 있다.
이상, 특정 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대하여 상세하게 설명하였다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 이룰 수 있음은 자명하다.
본 명세서에서는, 차량 탑재 카메라에 관한 실시 형태를 중심으로 설명하였지만, 본 명세서에서 개시하는 기술의 적용 범위는 차량에 한정되지 않는다. 예를 들어, 드론 등의 무인 항공기, 소정의 작업 공간(가정, 오피스, 공장 등)을 자율적으로 이동하는 로봇, 선박, 항공기 등, 다양한 타입의 이동체 장치에 대하여, 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다. 물론, 이동체 장치에 설치되는 정보 단말기나, 이동형이 아닌 다양한 장치에 대해서도, 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다.
요컨대, 예시라는 형태에 의해 본 명세서에서 개시하는 기술에 대하여 설명해 왔지만, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구 범위를 참작해야 한다.
또한, 본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 정보 처리 장치.
(1-1) 상기 처리부를 더 구비하는, 상기 (1)에 기재된 정보 처리 장치.
(2) 상기 제어부는, 상기 인식부가 인식한 물체의 영역의 검파 또는 현상 처리를 제어하는, 상기 (1)에 기재된 정보 처리 장치.
(3) 상기 이미지 센서는 차량에 탑재하여 사용되고,
상기 인식부는, 적어도 주변 차량 또는 노면을 화상 인식하고,
상기 제어부는, 상기 화상 중의 상기 주변 차량 또는 상기 노면의 영역 검파 또는 현상 처리를 제어하는, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 제어부는, 상기 인식부에 의한 인식 결과에 기초하여 씬을 판정하고, 씬에 대응하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는, 상기 (1)에 기재된 정보 처리 장치.
(5) 상기 제어부는, 상기 인식부에 의한 인식 결과에 기초하여 상기 화상의 소실점을 산출하고, 상기 소실점을 포함하는 영역의 휘도가 소정의 역치 범위를 일탈하는 경우에, 상기 소실점을 포함하는 영역만을 측광 영역으로 함과 함께, 상기 이미지 센서의 자동 노광 제어의 수렴 속도를 빠르게 하는, 상기 (1)에 기재된 정보 처리 장치.
(6) 상기 제어부는, 상기 인식부가 인식한 2 이상의 차선의 교점에 기초하여 상기 소실점을 산출하는, 상기 (5)에 기재된 정보 처리 장치.
(7) 상기 인식부가 소정의 물체를 안정적으로 인식하고 있을 때는, 상기 제어부는, 상기 소정의 물체를 포함하는 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는, 상기 (1), (4) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8) 상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 주변 차량을 화상 인식하고,
상기 제어부는, 상기 인식부가 차량을 안정적으로 인식할 수 있을 때는, 상기 인식한 차량 영역을 검파하여, 상기 차량 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는, 상기 (1), (4) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.
(9) 상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 노면을 화상 인식하고,
상기 제어부는, 상기 화상의 콘트라스트 정도를 산출하고, 상기 콘트라스트 정도가 소정의 역치 이상이 될 때는, 상기 인식한 노면 영역을 검파하여, 상기 노면 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는, 상기 (1), (4) 내지 (8) 중 어느 것에 기재된 정보 처리 장치.
(10) 상기 제어부는, 상기 인식한 노면 영역과 그것 이외의 영역의 휘도의 차분에 기초하여 상기 화상의 콘트라스트 정도를 산출하는, 상기 (9)에 기재된 정보 처리 장치.
(11) 상기 제어부는, 상기 화상의 히스토그램에 기초하여 상기 화상의 콘트라스트 정도를 산출하는, 상기 (9)에 기재된 정보 처리 장치.
(12) 상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 주변 차량을 화상 인식하고,
상기 제어부는, 각 주변 차량의 거리와 상대 속도에 기초하여 가중치를 제어하는, 상기 (1) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.
(13) 상기 제어부는, 차량 영역과 그것 이외의 영역의 가중치를 제어하는, 상기 (12)에 기재된 정보 처리 장치.
(14) 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식 스텝과,
상기 인식 스텝에 있어서의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어 스텝을 갖는 정보 처리 방법.
(15) 이미지 센서와,
상기 이미지 센서의 출력 신호를 처리하는 처리부와,
상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 촬상 장치.
(16) 이동체와,
상기 이동체에 탑재된 이미지 센서와,
상기 이미지 센서의 출력 신호를 처리하는 처리부와,
상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부와,
상기 제어부에 의한 제어 하에 있어서의 상기 이미지 센서의 촬상 화상을 인식한 결과에 기초하여 상기 이동체에 있어서의 동작을 제어하는 동작 제어부를 구비하는 이동체 장치.
(17) 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부,
상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부로서 컴퓨터를 기능시키도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램.
100: 차량 제어 시스템
101: 입력부
102: 데이터 취득부
103: 통신부
104: 차내 기기
105: 출력 제어부
106: 출력부
107: 구동계 제어부
108: 구동계 시스템
109: 바디계 제어부
110: 바디계 시스템
111: 기억부
112: 자동 운전 제어부
121: 통신 네트워크
131: 검출부
132: 자기 위치 추정부
133: 상황 분석부
134: 계획부
135: 동작 제어부
141: 차외 정보 검출부
142: 차내 정보 검출부
143: 차량 상태 검출부
151: 맵 해석부
152: 교통 룰 인식부
153: 상황 인식부
154: 상황 예측부
161: 루트 계획부
162: 행동 계획부
163: 동작 계획부
171: 긴급 사태 회피부
172: 가감속 제어부
173: 방향 제어부
200: 촬상 장치
201: 렌즈
202: 이미지 센서
203: 신호 처리부
204: 인식부
205: 제어부
301: 셔터
302: 소자부
303: 아날로그 게인 처리부
304: 현상 처리부
305: 검파부
306: 비교부
401: 셔터
402: 소자부
403: 아날로그 게인 처리부
404-1: 차량용 현상 처리부
404-2: 노면용 현상 처리부
404-3: 화면 전체 현상 처리부
405-1: 차량용 검파부
405-2: 노면용 검파부
405-3: 화면 전체 검파부
406: 비교부
600: 촬상 장치
601: 렌즈
602: 이미지 센서
603: 신호 처리부
604: 인식부
605: 판정부
606: 제어부

Claims (17)

  1. 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부와,
    상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 인식부가 인식한 물체의 영역의 검파 또는 현상 처리를 제어하는 정보 처리 장치.
  3. 제1항에 있어서,
    상기 이미지 센서는 차량에 탑재되어 사용되고,
    상기 인식부는, 적어도 주변 차량 또는 노면을 화상 인식하고,
    상기 제어부는, 상기 화상 중의 상기 주변 차량 또는 상기 노면의 영역의 검파 또는 현상 처리를 제어하는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 인식부에 의한 인식 결과에 기초하여 씬을 판정하고, 씬에 대응하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는 정보 처리 장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 인식부에 의한 인식 결과에 기초하여 상기 화상의 소실점을 산출하고, 상기 소실점을 포함하는 영역의 휘도가 소정의 역치 범위를 일탈하는 경우에, 상기 소실점을 포함하는 영역만을 측광 영역으로 함과 함께, 상기 이미지 센서의 자동 노광 제어의 수렴 속도를 빠르게 하는 정보 처리 장치.
  6. 제5항에 있어서,
    상기 제어부는, 상기 인식부가 인식한 2 이상의 차선의 교점에 기초하여 상기 소실점을 산출하는 정보 처리 장치.
  7. 제1항에 있어서,
    상기 인식부가 소정의 물체를 안정적으로 인식하고 있을 때는, 상기 제어부는, 상기 소정의 물체를 포함하는 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는 정보 처리 장치.
  8. 제1항에 있어서,
    상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 주변 차량을 화상 인식하고,
    상기 제어부는, 상기 인식부가 차량을 안정적으로 인식할 수 있을 때는, 상기 인식한 차량 영역을 검파하여, 상기 차량 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는 정보 처리 장치.
  9. 제1항에 있어서,
    상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 노면을 화상 인식하고,
    상기 제어부는, 상기 화상의 콘트라스트 정도를 산출하고, 상기 콘트라스트 정도가 소정의 역치 이상이 될 때는, 상기 인식한 노면 영역을 검파하여, 상기 노면 영역에서만 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작을 제어하는 정보 처리 장치.
  10. 제9항에 있어서,
    상기 제어부는, 상기 인식한 노면 영역과 그것 이외의 영역의 휘도의 차분에 기초하여 상기 화상의 콘트라스트 정도를 산출하는 정보 처리 장치.
  11. 제9항에 있어서,
    상기 제어부는, 상기 화상의 히스토그램에 기초하여 상기 화상의 콘트라스트 정도를 산출하는 정보 처리 장치.
  12. 제1항에 있어서,
    상기 이미지 센서는 차량에 탑재되어 사용되고, 상기 인식부는 적어도 주변 차량을 화상 인식하고,
    상기 제어부는, 각 주변 차량의 거리와 상대 속도에 기초하여 가중치를 제어하는 정보 처리 장치.
  13. 제12항에 있어서,
    상기 제어부는, 차량 영역과 그것 이외의 영역의 가중치를 제어하는 정보 처리 장치.
  14. 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식 스텝과,
    상기 인식 스텝에 있어서의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어 스텝을 갖는 정보 처리 방법.
  15. 이미지 센서와,
    상기 이미지 센서의 출력 신호를 처리하는 처리부와,
    상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
    상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부를 구비하는 촬상 장치.
  16. 이동체와,
    상기 이동체에 탑재된 이미지 센서와,
    상기 이미지 센서의 출력 신호를 처리하는 처리부와,
    상기 처리부에 의한 처리 후의 화상을 인식하는 인식부와,
    상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부와,
    상기 제어부에 의한 제어 하에 있어서의 상기 이미지 센서의 촬상 화상을 인식한 결과에 기초하여 상기 이동체에 있어서의 동작을 제어하는 동작 제어부를 구비하는 이동체 장치.
  17. 이미지 센서의 출력 신호를 처리부에서 처리한 후의 화상을 인식하는 인식부,
    상기 인식부의 인식 결과에 기초하여 상기 이미지 센서의 촬상 동작 또는 상기 처리부에 있어서의 처리 동작 중 적어도 한쪽을 제어하는 제어부로서 컴퓨터를 기능시키도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램.
KR1020217005768A 2018-09-13 2019-07-31 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램 KR20210056336A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018171382 2018-09-13
JPJP-P-2018-171382 2018-09-13
PCT/JP2019/030046 WO2020054240A1 (ja) 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム

Publications (1)

Publication Number Publication Date
KR20210056336A true KR20210056336A (ko) 2021-05-18

Family

ID=69777778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217005768A KR20210056336A (ko) 2018-09-13 2019-07-31 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램

Country Status (8)

Country Link
US (1) US11815799B2 (ko)
EP (1) EP3852355A4 (ko)
JP (1) JPWO2020054240A1 (ko)
KR (1) KR20210056336A (ko)
CN (1) CN112703724A (ko)
BR (1) BR112021004210A2 (ko)
MX (1) MX2021002613A (ko)
WO (1) WO2020054240A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
EP4184912A4 (en) * 2020-07-15 2023-12-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11562572B2 (en) * 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
FR3127355B1 (fr) * 2021-09-20 2023-09-29 Renault Sas procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale
US20230140584A1 (en) * 2021-11-02 2023-05-04 Here Global B.V. Apparatus and methods for detecting light-based attributes of road segments and monitoring the light-based attributes for adverse road conditions
CN114220285A (zh) * 2021-12-14 2022-03-22 中国电信股份有限公司 超速车辆的定位与示警方法、装置、电子设备及可读介质
KR20240098615A (ko) * 2022-12-21 2024-06-28 주식회사 세미콘네트웍스 한대의 카메라로 차량의 거리 및 속도를 측정한 자율 주행 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134845A (ja) 2010-12-22 2012-07-12 Denso Corp 露出制御装置
JP2012138688A (ja) 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167842A (ja) 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
EP1699231A1 (en) * 2003-12-25 2006-09-06 Niles Co., Ltd. Imaging system
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP2010215029A (ja) 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP2011254340A (ja) 2010-06-03 2011-12-15 Hitachi Ltd 撮像装置
CN103369289B (zh) 2012-03-29 2016-05-04 深圳市腾讯计算机***有限公司 一种视频模拟形象的通信方法和装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
US10044849B2 (en) * 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
WO2016121406A1 (ja) * 2015-01-28 2016-08-04 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
WO2016194296A1 (en) * 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
DE102015118474A1 (de) 2015-10-29 2017-05-04 Connaught Electronics Ltd. Verfahren zum Anpassen eines Kameraparameters und/oder eines Bilds,Computerprogrammprodukt, Kamerasystem, Fahrerassistenzsystem und Kraftfahrzeug
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
WO2018158875A1 (ja) * 2017-03-01 2018-09-07 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
JP6889005B2 (ja) * 2017-04-05 2021-06-18 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134845A (ja) 2010-12-22 2012-07-12 Denso Corp 露出制御装置
JP2012138688A (ja) 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法

Also Published As

Publication number Publication date
US11815799B2 (en) 2023-11-14
WO2020054240A1 (ja) 2020-03-19
MX2021002613A (es) 2021-05-12
BR112021004210A2 (pt) 2021-05-25
JPWO2020054240A1 (ja) 2021-09-30
CN112703724A (zh) 2021-04-23
EP3852355A4 (en) 2021-11-10
EP3852355A1 (en) 2021-07-21
US20210218875A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
KR102533860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP7188394B2 (ja) 画像処理装置及び画像処理方法
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11288777B2 (en) Image processing device, image processing method, and program
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
US20220027643A1 (en) Information processing apparatus, information processing method, and program
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
US11417023B2 (en) Image processing device, image processing method, and program
JPWO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体