KR102533860B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102533860B1
KR102533860B1 KR1020207013945A KR20207013945A KR102533860B1 KR 102533860 B1 KR102533860 B1 KR 102533860B1 KR 1020207013945 A KR1020207013945 A KR 1020207013945A KR 20207013945 A KR20207013945 A KR 20207013945A KR 102533860 B1 KR102533860 B1 KR 102533860B1
Authority
KR
South Korea
Prior art keywords
image
region
visible light
far
modal
Prior art date
Application number
KR1020207013945A
Other languages
English (en)
Other versions
KR20200096215A (ko
Inventor
류타 사토
스구루 아오키
아츠시 이토
다케시 우에모리
히데키 오야이즈
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20200096215A publication Critical patent/KR20200096215A/ko
Application granted granted Critical
Publication of KR102533860B1 publication Critical patent/KR102533860B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

원적외선 화상을 처리하는 화상 처리 장치 및 화상 처리 방법을 제공한다. 화상 처리 장치는, 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출부와, 상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환부와, 상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩부를 구비한다. 상기 모달 변환부는, 예를 들어 데이터베이스나 조건부 확률 분포를 이용하여, 상기 주목 영역의 원적외선 화상을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환한다.

Description

화상 처리 장치 및 화상 처리 방법
본 명세서에서 개시하는 기술은, 원적외선 화상을 처리하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
근년, 자동차 운전 기술의 개발이 활발히 행해져 오고 있다. 예를 들어, 가시광 카메라나 거리 센서 등을 사용하여, 자차 전방의 사람이나 장애물을 검출하여, 자동 브레이크를 행하게 하는 등 장애물을 회피하는 기술이 개발되고 있다. 물론, 자차의 측방이나 후방의 사람이나 장애물도, 마찬가지 기술을 적용하여, 자차와의 충돌 가능성을 추정할 수 있다.
또한, 밤낮을 불문하고, 교통 사고를 방지할 필요가 있다. 이 때문에, 가시광 카메라와 원적외선 카메라를 장비한 하이브리드 카메라(예를 들어, 특허문헌 1을 참조) 등이 사용되는 경우도 있다. 하이브리드 카메라는, 밤낮, 명암 등의 촬영 환경에 따라, 가시광 카메라와 원적외선 카메라를 전환하여 사용할 수 있다. 원적외선 카메라를 사용하면, 예를 들어 10마이크로미터 부근의 장파장에서 다량의 열 정보를 포함하는 원적외선 화상을 촬영하고, 사람의 체온에 가까운 온도 영역을 추출할 수 있다.
일본 특허 공개 제2009-10447호 공보 일본 특허 공개 제2005-223605호 공보
본 명세서에서 개시하는 기술의 목적은, 원적외선 화상을 처리하는 화상 처리 장치 및 화상 처리 방법을 제공하는 데 있다.
본 명세서에서 개시하는 기술의 제1 측면은,
가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출부와,
상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환부와,
상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩부
를 구비하는 화상 처리 장치이다.
상기 모달 변환부는, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환한다. 상기 모달 변환부는, 상기 주목 영역의 원적외선 화상을, 원적외선 화상과 가시광 화상의 페어를 미리 등록한 데이터베이스나, 원적외선 화상을 조건으로 한 가시광 화상 생성의 조건부 확률 분포에 기초하여, 원적외선 화상의 모달 화상으로의 변환 처리를 실시한다.
또한, 본 명세서에서 개시하는 기술의 제2 측면은,
가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출 스텝과,
상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환 스텝과,
상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩 스텝
을 갖는 화상 처리 방법이다.
본 명세서에서 개시하는 기술에 의하면, 원적외선 화상을 처리하는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 예시이며, 본 발명의 효과는 이에 한정되는 것은 아니다. 또한, 본 발명이, 상기 효과 이외에, 추가로 부가적인 효과를 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 명백하게 될 것이다.
도 1은 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
도 2는 화상 처리 장치(200)의 기능적 구성을 도시한 도면이다.
도 3는 가시광 카메라로 촬영한 가시광 화상을 예시한 도면이다.
도 4는 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상을 예시한 도면이다.
도 5는 도 4에 도시한 원적외선 화상으로부터 추출된 주목 영역을 예시한 도면이다.
도 6는 가시광 화상의 모든 주목 영역에 모달 화상을 중첩한 제시 화상을 예시한 도면이다.
도 7는 가시광 화상의 암소에 있는 주목 영역에 모달 화상을 중첩한 제시 화상을 예시한 도면이다.
도 8는 실제의 원적외선 화상과, 그 원적외선 화상으로부터 추출된 주목 영역을 예시한 도면이다.
도 9는 도 8에 도시한 주목 영역의 원적외선 화상과, 이 주목 영역의 원적외선 화상을 모달 변환한 모달 화상을 예시한 도면이다.
도 10은 가시광 화상 중의 주목 영역에, 원적외선 화상으로부터 모달 변환한 모달 화상을 중첩한 결과를 예시한 도면이다.
도 11은 원적외선 화상의 일례를 도시한 도면이다.
도 12는 도 11과 동일한 대상을 관측한 가시광 화상을 도시한 도면이다.
도 13은 도 12에 도시한 가시광 화상(암소)으로부터 추출된 영역을 휘도 히스토그램과 함께 도시한 도면이다.
도 14는 도 12에 도시한 가시광 화상(명소)으로부터 추출된 영역을 휘도 히스토그램과 함께 도시한 도면이다.
도 15는 주목 영역(암소만)의 원적외선 화상을 모달 변환하여 생성되는 모달 화상을 예시한 도면이다.
도 16은 도 12에 예시한 가시광 화상의 주목 영역(암소만)에 모달 화상(1601)을 중첩하여 생성된 제시 화상을 예시한 도면이다.
도 17은 모달 화상을 명시하는 프레임선을 부여한 제시 화상을 예시한 도면이다.
도 18은 조건부 확률 분포를 이용한 화상의 모달 변환 방법을 설명하기 위한 도면이다.
도 19는 조건부 확률 분포를 이용한 화상의 모달 변환 방법을 설명하기 위한 도면이다.
도 20은 화상 처리 장치(2000)의 기능적 구성을 도시한 도면이다.
도 21은 가시광 화상 내의 주목 영역에 모달 화상을 중첩한 제시 화상을 생성하기 위한 처리 수순을 도시한 흐름도이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대해 상세하게 설명한다.
도 1은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 타차량과 구별하는 경우, 자차 또는 자차량이라 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 보디계 제어부(109), 보디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 보디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통하여, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통하여 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통하여 통신을 행하는 경우, 단지 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용되는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용할 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 기타 카메라와 같은 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서 및 차 실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고, 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하고, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신된 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 여기서 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니며, 또한, 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및 필요하면 케이블)를 통하여, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 이용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 장착되는 정보 기기 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차외에 대해, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하고, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하고, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다.
보디계 제어부(109)는, 각종 제어 신호를 생성하고, 보디계 시스템(110)에 공급함으로써, 보디계 시스템(110)의 제어를 행한다. 또한, 보디계 제어부(109)는, 필요에 따라, 보디계 시스템(110) 이외의 각 부에 제어 신호를 공급하고, 보디계 시스템(110)의 제어 상태의 통지 등을 행한다.
보디계 시스템(110)은, 차체에 장비된 보디계의 각종 장치를 구비한다. 예를 들어, 보디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백업 램프, 브레이크 램프, 방향 지시등, 안개등 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵 및 자차의 주위 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134) 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 외부의 정보 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차 주위의 물체 검출 처리, 인식 처리 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차의 주위 환경 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 차내의 정보 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태 검출 처리, 탑승자의 검출 처리 및 차내의 환경 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 컨디션, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 상태 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어 잠금 상태, 그리고, 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 이용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위의 상황 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하고, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축된 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 주위 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위 신호 위치 및 상태, 자차의 주위의 교통 규제의 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차 주위의 상황 및 자차의 운전자 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 컨디션, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차 주위의 상황에는, 예를 들어 자차의 주위 동물체의 거동, 신호의 상태 변화 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 컨디션 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 컨디션 등에 기초하여, 적절하게 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 자차의 동작 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
본 실시 형태에 관한 차량 제어 시스템(100)은, 자차 전방의 사람이나 장애물을 자동 검출하여 사고 방지에 연결시키기 위해, 카메라나 거리 센서 등이 탑재되고 있다. 구체적으로는, 차량 제어 시스템(100)의 데이터 취득부(102)의 구성 요소로서, 가시광 카메라와 원적외선 카메라가 내장되어 있다. 1대의 차량에 복수대의 가시광 카메라 및 원적외선 카메라가 탑재되어 있는 경우도 있다. 적어도 1세트(예를 들어, 차량의 전방 관측용)의 가시광 카메라와 원적외선 카메라는, 동일한 대상을 관측하도록 설치되는 것으로 한다.
가시광 카메라와 조합하여 원적외선 카메라를 사용하면, 예를 들어 10마이크로미터 부근의 장파장에서 열의 정보를 많이 포함하는 원적외선 화상을 촬영하여, 사람의 체온에 가까운 온도 영역을 추출할 수 있다. 따라서, 암소 등의 가시광에서는 보이기 어려운 장소에서도, 원적외선 화상으로부터 사람 등의 장애물을 검출할 수 있다.
그러나, 원적외선 카메라는, 가시광 카메라와는 광학 특성이 본질적으로 상이하기 때문에, 원적외선 카메라로 촬영하는 원적외선 화상을 그대로 표시하면, 관찰자(예를 들어, 차량의 운전자)에게 위화감을 주는 것이 우려된다. 가시광 카메라로 촬영한 가시광 화상이 통상은 컬러 화상으로서 표시되는 것에 비해, 원적외선 카메라로 촬영한 원적외선 화상은 모노크롬 화상으로서 표시되지만, 많은 관찰자에게 있어서 모노크롬 화상은 친화력이 얇다. 또한, 원적외선 화상은, 광의 강약이 아니고 피사체의 온도 레벨을 농담으로 표현한 화상이므로, 관찰자는, 모노크롬의 가시광 화상보다, 원적외선 화상에 대하고, 더욱 위화감을 느낄 것이다.
예를 들어, 가시광 카메라로 촬영한 가시광 화상과, 적외선 카메라로 촬영한 적외선 화상을 합성하고, 위화감이 없는 화상을 표시하는 것을 시도한 화상 처리 장치에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 2를 참조). 적외선 화상을 가시광 화상과 합성하면, 원래의 적외선 화상보다 시인성이 향상될 것이 기대된다. 그러나, 합성 화상은 가시광 화상 그 자체가 아니고, 가시광 화상과 같이 판독하기는 어렵다. 또한, 이 화상 처리 장치는, 차량 주위의 밝기의 상황에 따라 각각의 가중 계수를 전환하여 적외선 화상과 가시광 화상을 가중 평균하도록 구성되어 있지만, 야간과 같은 어두운 상황하이거나 터널 등의 암소로 촬영된 가시광 화상은 애당초 시인성이 낮다. 이 때문에, 이와 같은 가시광 화상을 적외선 화상과 합성해도, 적외선 화상의 시인성 향상으로는 연결되지 않을 것이라고 사료된다.
그래서, 본 명세서에서는, 원적외선 화상에 포함되는 인체 등의 주목 영역을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환하고, 이 모달 화상을 가시광 화상에 중첩함으로써, 주목 영역의 시인성을 향상시키는 화상 처리 장치에 대해, 이하에서 개시한다.
도 2에는, 본 명세서에서 개시하는 기술을 적용한 화상 처리 장치(200)의 기능적 구성을 모식적으로 도시하고 있다. 화상 처리 장치(200)는, 도 1에 도시한 차량 제어 시스템(100) 내에, 예를 들어 자동 운전 제어부(112)의 하나의 구성 요소로서 내장하는 것도 가능하다.
도시된 화상 처리 장치(200)에는, 원적외선 카메라(211)로 촬영한 원적외선 화상과, 가시광 카메라(212)로 촬영한 가시광 카메라가 입력된다. 또한, 원적외선 카메라(211)와 가시광 카메라(212)는, 차량에 탑재되어 있다. 기본적으로는, 원적외선 카메라(211)와 가시광 카메라(212)는, 동일한 대상을 관측하게 설치되어 있는 것으로 한다. 또한, 화상 처리 장치(200)도 차량에 탑재하여 사용되는 것이 상정된다. 도 2에 도시하는 예에서는, 원적외선 카메라(211)와 가시광 카메라(212)는 화상 처리 장치(200)에 외부 접속되지만, 원적외선 카메라(211)와 가시광 카메라(212) 중 적어도 하나의 카메라가 화상 처리 장치(200)와 일체로 된 장치 구성도 상정된다. 또한, 원적외선 카메라(211)와 가시광 카메라(212)는, 도 1에 도시한 차량 제어 시스템(100)의 데이터 취득부(102)의 구성 요소로서 내장되는 것이 상정된다.
화상 처리 장치(200)는, 영역 추출부(201)와, 모달 변환부(202)와, 중첩부(203)를 구비하고, 원적외선 카메라(211)로 촬영한 원적외선 화상을 입력하고, 원적외선 화상에 포함되는 인체 등의 주목 영역을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환한다.
영역 추출부(201)는, 원적외선 카메라(211)로 촬영한 원적외선 화상, 혹은 가시광 카메라(212)로 촬영한 가시광 화상에 포함되는 주목 영역을 추출한다. 여기서 말하는 주목 영역이란, 예를 들어 야간이나 터널 내와 같은 암소 등, 가시광에서는 시인하기가 어려운 장소를 걷고 있는 보행자가 비치고 있는 화상 영역이다.
영역 추출부(201)의 구성은 임의이다. 예를 들어, 영역 추출부(201)는, 원적외선 카메라(211)로 촬영한 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역을, 주목 영역으로서 추출할 수 있다.
또한, 영역 추출부(201)는, 밀리미터파 레이더, LiDAR, 초음파 센서 등의 거리 센서에 의해 검출되는 물체의 위치 정보에 기초하여, 주목 영역을 추출하도록 구성할 수도 있다. 혹은, 영역 추출부(201)는, 원적외선 카메라(211)로 촬영한 원적외선 화상 및 가시광 카메라(212)로 촬영한 가시광 화상의 각 화상으로부터 각각 특징량을 추출하고, 특징량에 기초하여 주목 영역을 추출하도록 구성할 수도 있다.
모달 변환부(202)는, 원적외선 카메라(211)로 촬영한 원적외선 화상을 입력하고, 영역 추출부(201)에서 추출된 주목 영역의 부분을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환하여 출력한다. 원적외선 화상의 모달 변환 처리의 상세에 대해서는, 후술한다.
그리고, 중첩부(203)는, 가시광 카메라(212)로 촬영한 가시광 화상을 입력하고, 영역 추출부(201)에서 추출된 주목 영역의 부분에, 모달 변환부(202)로부터 출력되는 모달 화상을 중첩하여, 사람(차량의 운전자 등)에게 제시해야 할 제시 화상으로서 출력한다.
여기서, 중첩부(203)가 행하는 화상의 중첩 처리는, 가시광 화상 중 주목 영역의 부분을 모달 화상으로 완전히 치환하는 치환 처리와, 주목 영역의 부분 가시광 화상과 모달 화상을 소정의 혼합비로 가중 평균하는 등의 합성 처리의 양쪽 의미를 포함하는 것으로 한다.
또한, 중첩부(203)가 후자의 두 화상의 합성 처리를 행하는 경우에는, 주목 영역에서의 가시광 화상의 시인성 등에 따라 가시광 화상과 모달 화상의 혼합비를 결정 혹은 제어하도록 해도 된다. 예를 들어, 주목 영역에서의 가시광 화상의 휘도 변화가 크고 시인성이 높다고 추정되는 경우에는, 모달 화상의 혼합비를 낮게 억제하는 한편, 주목 영역에서의 가시광 화상의 휘도 변화가 작고 시인성이 낮다고 추정되는 경우에는, 모달 화상의 혼합비를 높게 설정한다.
화상 처리 장치(200)로부터 출력되는 제시 화상은, 예를 들어 도 1에 도시한 차량 제어 시스템(100)이 출력부(106)로서 장비하는 표시 장치나 인스트루먼트 패널, 탑승자가 장착하는 안경형 디스플레이, 헤드업 디스플레이, 투과형 디스플레이, AR 표시 기능을 갖는 장치 등의 운전자 시야 내에 시각 정보를 표시하는 장치에 표시된다. 예를 들어, 원적외선 화상과 동일한 대상을 관측하는 가시광 화상에 모달 화상을 중첩하는 것이 아니고, 헤드업 디스플레이를 사용하여, 프론트 글래스상의 주목 영역에 대응하는 장소에 모달 화상을 표시하여, 운전자의 주의를 환기하도록 해도 된다.
영역 추출부(201)의 구성은 임의이다. 예를 들어, 영역 추출부(201)는, 원적외선 카메라(211)로 촬영한 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역을, 주목 영역으로서 추출할 수 있다.
도 3에는, 터널의 출구 부근을 가시광 카메라(212)로 촬영한 가시광 화상의 예를 나타내고 있다. 또한, 도 4에는, 동일한 터널의 출구 부근을 원적외선 카메라(211)로 촬영한 원적외선 화상의 예를 나타내고 있다. 상술한 바와 같이, 원적외선 카메라(211)와 가시광 카메라(212)는, 동일한 대상을 관측하도록 설치되어 있는 것으로 한다.
도 3을 참조하면, 터널로부터 벗어난 명소를 걷고 있는 보행자는 가시광 화상에 선명하게 비치고 있어, 시인성이 높고, 존재도 상황도 이해하기 쉽다. 한편, 터널 내의 암소를 걷고 있는 보행자는, 가시광 화상에서는 시인성이 낮고, 존재도 상황도 매우 이해하기 힘들다.
이에 반하여, 도 4를 참조하면, 터널로부터 벗어난 명소 및 터널 내의 암소 중 어디를 걷고 있는 보행자도 모두 존재를 확인하는 것이 용이하다. 단, 원적외선 화상은, 광의 강약이 아니고 피사체의 온도 레벨을 농담으로 표현한 모노크롬 화상이어서, 컬러 표시되는 가시광 화상이 눈에 익은 사람의 입장에서는 익숙하지 않다. 이 때문에, 원적외선 화상으로부터 확인할 수 있는 대상의 속성(사람이거나, 어떠한 물체이거나)이나 상황을 파악하기는 어렵다. 또한, 적외선 화상은, 통상의 모노크롬 가시광 화상보다 대상을 이해하는 것은 어렵다고 할 수도 있다.
영역 추출부(201)는, 원적외선 카메라(211)로 촬영한 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역을, 주목 영역으로서 추출할 수 있다. 도 5에는, 도 4에 도시한 원적외선 화상으로부터, 참조 번호(501 내지 505)로 나타내는, 인체의 특징을 나타내는 특정 온도 영역으로서 추출되는 주목 영역을 나타내고 있다. 단, 밀리미터파 레이더, LiDAR, 초음파 센서 등에 의해 검출되는 물체의 위치 정보에 기초해도, 마찬가지의 주목 영역(501 내지 505)을 추출할 수 있는 것이라고 이해하기 바란다.
추출된 주목 영역(501 내지 505) 중, 주목 영역(501 및 502) 내의 각 보행자는, 터널 내의 암소를 걷고 있기 때문에, 가시광 화상에서는 시인성이 낮고, 존재도 상황도 매우 이해하기 힘들다(도 3을 참조). 한편, 주목 영역(503 내지 505) 내의 각 보행자는, 터널로부터 벗어난 명소를 걷고 있으므로, 가시광 화상에 선명하게 비치고 있어, 시인성이 높고, 또한, 존재도 상황도 이해하기 쉽다.
도 6에는, 가시광 화상 중, 인체의 특징을 나타내는 특정 온도 영역으로서 추출된 모든 주목 영역(501 내지 505)에, 모달 변환부(202)에서 원적외선 화상으로부터 변환된 모달 화상을 중첩하여 생성된 제시 화상을 예시하고 있다.
주목 영역(501 및 502) 내의 각 보행자는, 터널 내의 암소를 걷고 있기 때문에, 가시광 화상에서는 시인성이 낮고, 존재도 상황도 매우 이해하기 힘들었다(도 3을 참조). 그래서, 주목 영역(501 및 502)에, 모달 변환부(202)에서 원적외선 화상으로부터 변환된 모달 화상(601 및 602)을 중첩함으로써, 시인성이 향상되고, 각 모달 화상(601 및 602) 내의 인체의 존재나 상황이, 가시광 화상 및 원적외선 화상의 어느 것을 보았을 때보다 이해하기 쉬워진다.
한편, 주목 영역(503 내지 505) 내의 각 보행자는, 터널의 출구 부근이나 터널 밖의 명소를 걷고 있으므로, 가시광 화상에 선명하게 비치고 있어, 애당초 가시광인 채로도 시인성이 높고, 주목 영역(503 내지 505) 내의 인체의 존재나 상황도 충분히 이해하기 쉬웠다. 이에 반하여, 도 6에 도시하는 바와 같이, 주목 영역(503 내지 505)에 대해, 모달 변환부(202)에서 원적외선 화상으로부터 변환된 모달 화상(603 내지 605)을 중첩하면, 오히려 원래의 가시광 화상보다 시인성이 저하되어 버려, 모달 영역(603 내지 605) 내의 인체의 존재나 상황도 이해하기 힘들어져 버린다. 모달 화상은, 인간이 눈에 익은 정보 모달을 포함하고, 원적외선 화상과 비교하면 시인성이 양호하지만, 텍스처 등의 가시광 화상이 갖는 정보를 완전히 재현할 수 있는 것은 아니기 때문에, 가시광 화상보다 시인성은 떨어진다.
따라서, 터널 내 등 암소로부터 추출된 주목 영역(501 및 502)에 대해서는 모달 화상을 중첩하는 편이 좋지만, 터널 밖 등의 명소로부터 추출된 주목 영역(503 내지 505)에 대해서는 모달 화상을 중첩하는 것을 삼가하는 편이 좋다고 할 수 있다.
그래서, 중첩부(203)는, 영역 추출부(201)에서 추출된 주목 영역에서의 가시광 화상의 시인성을 체크하고, 암소 등의 시인성이 낮은 주목 영역에 대해서만, 모달 화상의 중첩 처리를 실시하도록 하는 편이 좋다.
혹은, 영역 추출부(201)는, 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값의 화소를 포함하는 특정 온도 영역(혹은, 거리 센서의 검출 결과에 기초하여 물체가 검출된 영역)에 대응하는 가시광 화상의 영역 시인성을 체크하여, 암소 등의 시인성이 낮은 영역만을 주목 영역으로서 추출하는 편이 좋다. 이 경우, 중첩부(203)는, 영역 추출부(201)가 추출한 모든 주목 영역에 모달 화상을 중첩 처리하면 된다.
도 7에는, 암소 등의 시인성이 낮은 영역으로부터 추출된 주목 영역에 한정하고, 가시광 화상에 모달 화상을 중첩하여 생성된 제시 화상을 예시하고 있다.
주목 영역(501 및 502) 내의 각 보행자는, 터널 내의 암소를 걷고 있기 때문에, 가시광 화상에서는 시인성이 낮고, 존재도 상황도 매우 이해하기 힘들었다(도 3을 참조). 그래서, 가시광 화상의 주목 영역(601 및 602)에, 모달 변환부(202)에서 원적외선 화상으로부터 변환된 모달 화상(701 및 702)을 각각 중첩함으로써, 시인성이 향상되고, 각 모달 화상(701 및 702) 내의 인체의 존재나 상황이, 가시광 화상 및 원적외선 화상 중 어느 것을 보았을 때보다 이해하기 쉬워진다.
한편, 참조 번호(703 내지 705)로 나타내는 각 보행자는, 터널의 출구 부근이나 터널 밖의 명소를 걷고 있으므로, 가시광 화상에 선명하게 비치고 있어, 애당초 가시광인 채라도 시인성이 높다. 따라서, 도 7에 도시하는 바와 같이, 이들 보행자(703 내지 705)가 검출된 영역에는 모달 화상을 중첩하지 않음으로써, 가시광 화상이 원래 갖고 있는 텍스처 등의 정보가 유지되므로, 시인성이 손상되지 않게 된다.
이와 같이, 중첩부(203)가 암소 등의 시인성이 낮은 영역으로부터 추출된 주목 영역에 있어서 모달 화상을 중첩함으로써, 가시광 화상인 채로 보기 쉬운 영역은 그대로, 가시광 화상에서는 보기 어려운 곳을 보기 쉽게 할 수 있는 것이다.
또한, 도 7 중에서, 각 주목 영역(701 및 702)에 부여한 점선의 프레임은, 이해를 용이하게 하기 위해 부여한 것이며, 현실의 제시 화상에 반드시 표시할 필요는 없다. 단, 제시 화상의 관찰자(운전자 등)가 모달 화상을 중첩한 장소를 눈으로 봐서 확인하기 쉽게 하기 위해, 도 7에 도시하는 바와 같은 그대로 주목 영역의 프레임을 표시하도록 해도 된다.
예를 들어, 중첩부(203)는, 모달 화상을, 가시광 화상의 주목 영역에 중첩할 때 모달 화상의 주변에 프레임을 부여 하면 된다. 혹은, 모달 변환부(202)가, 원적외선 화상의 주목 영역을 모달 변환한 모달 화상에 프레임을 부여하여, 중첩부(203)에 출력하도록 해도 된다. 혹은, 모달 화상을 중첩한 장소를 표시하기 위해, 아이콘이나 마커 등 프레임 이외의 시각적 표시를 모달 화상 부근에 부여 해도 된다.
도 8에는, 실제의 원적외선 화상과, 그 원적외선 화상으로부터 추출된 주목 영역을 예시하고 있다. 도 8 좌측이 원래의 원적외선 화상이다. 그리고, 도 8 우측에 도시하는 원적외선 화상 중에서, 참조 번호(801)로 나타내는, 백선의 프레임으로 둘러싸인 영역이 주목 영역에 상당한다. 도시한 예에서는, 인체(터널 내를 걷고 있는 보행자)를 포함하는 영역이 주목 영역(801)으로서 추출되어 있다. 단, 인체 이외의 임의의 물체를 포함하는 영역을 주목 영역으로서 추출할 수 있도록, 화상 처리 장치(200)를 구성하는 것은 가능하다.
또한, 도 9에는, 도 8에 도시한 주목 영역의 원적외선 화상과, 이 주목 영역의 원적외선 화상을 모달 변환한 모달 화상을 예시하고 있다. 도 9 좌측이 원래의 원적외선 화상을 포함하는 주목 영역이며, 도 9 우측이 모달 변환한 후의 주목 영역의 모달 화상이다.
원적외선 화상은, 가시광 화상에 포함되어 있는 텍스처 등의 정보가 상실된 모노크롬 화상이다. 원적외선 화상을 모달 변환함으로써, 물체 표면의 텍스처, 물체의 윤곽이나 자세 등의 정보를 어느 정도 재현할 수 있다. 따라서, 모달 화상은, 원적외선 화상보다 시인성이 향상되어 있을 것이 기대된다. 단, 모달 변환에 의해, 가시광 화상에 포함되어 있는 텍스처 등의 정보를 완전히 재현할 수는 없으므로, 모달 화상은 가시광 화상에 비교하면 시인성이 떨어진다. 여기서, 화상의 모달 변환 처리의 상세에 대해서는 후술한다.
그리고, 도 10에는, 가시광 화상 중의 주목 영역에, 원적외선 화상으로부터 모달 변환한 모달 화상을 중첩한 결과를 예시하고 있다. 도 10 좌측은, 도 8 우측에서 도시한 원적외선 화상과 동일한 대상을 관측한, 원래의 가시광 화상을 나타내고 있다. 그리고, 도 10 우측은, 이 가시광 화상 중의, 도 8 좌측에 참조 번호(801)로 나타낸 주목 영역에, 도 9 우측에 도시하는 바와 같은, 원적외선 화상으로부터 모달 변환한 모달 화상을 중첩한 제시 화상을 나타내고 있다. 단, 도 10은, 가시광 화상의 주목 영역에 소정의 혼합비로 모달 화상을 합성하는 것이 아니라, 주목 영역의 가시광 화상을 모달 화상으로 치환한 예를 나타내고 있다.
터널 내 등의 암소에서는 가시광이 보이기 어렵다. 도 10 좌측에서도 알 수 있는 바와 같이, 터널 내를 걷고 있는 보행자를, 가시광 화상으로부터 시인하기는 어렵다. 또한, 원적외선 화상은, 예를 들어 10마이크로미터 부근의 장파장에서 열의 정보를 많이 포함하는 화상이며, 도 8 좌측에서 알 수 있는 바와 같이, 터널 내 등의 가시광이 보이기 어려운 암소에 특정의 온도 영역을 포함하는 대상이 존재하는 것을 확인할 수 있다. 그러나, 원적외선 화상은, 가시광 화상에 포함되어 있는 텍스처 등의 정보가 상실된 모노크롬 화상이기 때문에, 터널 내가 특정의 온도 영역을 포함하는 대상의 존재를 확인할 수는 있어도, 그 대상의 속성이나 상황은 이해하기 힘들다. 즉, 그 대상이 사람인 것이나, 사람이 걷고 있는 상황인 것을, 원적외선 화상을 눈으로 보는 것만으로 파악하기는 어렵다.
모달 화상은, 텍스처 등의 정보가 어느 정도 재현된 화상이다. 따라서, 도 10 우측에 도시하는 바와 같이, 가시광에서는 보기 어려웠던 암소의 주목 영역 내에, 대상이 존재하는 것을 확인하는 것이 용이하게 된다. 또한, 가시광 화상 중의 주목 영역을, 원적외선 화상이 아니라, 원적외선 화상으로부터 모달 변환한 모달 화상을 중첩하므로, 관찰자(예를 들어, 차량의 운전자)는, 적외선 화상을 관찰하는 경우나 암소를 촬영한 가시광 화상을 관찰하는 경우보다, 주목 영역에 존재하고 있는 대상의 속성이나 상황을 훨씬 인식하기 쉬워진다. 원적외선 화상을 모달 변환함으로써, 물체 표면의 텍스처, 물체의 윤곽이나 자세 등의 정보를 어느 정도 재현하므로, 원적외선 화상보다 시인성이 향상되어 있을 것이 기대된다.
계속해서, 영역 추출부(201)가 주목 영역을 추출하기 위한 처리 방법에 대해, 더욱 상세하게 설명한다. 여기서는, 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역을 주목 영역으로서 추출하는 경우를 예로 한다.
도 11에는, 원적외선 카메라(211)로 촬영한 원적외선 화상의 일례를 나타내고 있다. 또한, 도 12에는, 원적외선 카메라(211)와 동일한 대상을 관측하는 가시광 카메라(212)로 촬영한 가시광 화상을 예시하고 있다. 도 11에 도시하는 바와 같이, 원적외선 화상으로부터, 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역(1101 내지 1104)을 추출할 수 있다. 또한, 도 12에는, 원적외선 화상으로부터 추출된 각 영역(1101 내지 1104)에 각각 대응하는 영역(1201 내지 1204)을 나타내고 있다.
도 12에 도시한 가시광 화상 중의, 영역(1203 및 1204)은 터널의 출구 부근 그리고 터널 밖의 명소에 있으므로, 각 영역(1203 및 1204) 내에 비치고 있는 보행자는 선명하게 비치고 있어, 시인성이 높고, 존재도 상황도 이해하기 쉽다. 한편, 영역(1201 및 1202)은 터널 내의 암소에 있어서, 그 영역(1201 및 1202) 내에 비치고 있는 보행자의 시인성은 낮고, 존재도 상황도 매우 이해하기 힘들다.
이에 비하여, 도 11에 도시한 원적외선 화상 중의, 터널로부터 벗어난 명소 및 터널 내의 암소 중 어느 곳에 상관없이, 모든 영역(1101 내지 1104) 내에 비치고 있는 대상의 존재를 확인하는 것이 용이하다. 단, 원적외선 화상은, 광의 강약이 아니라 피사체의 온도 레벨을 농담으로 표현한 모노크롬 화상이어서, 컬러 표시되는 가시광 화상이 눈에 익은 사람의 입장에서는 익숙하지 않다. 이 때문에, 명소 및 암소 중 어느 경우에서도, 원적외선 화상의 각 영역(1101 내지 1104) 내에서 존재를 확인할 수 있던 대상의 속성이나 상황을 파악하기는 어렵다(즉, 대상이 사람인 경우나, 사람이 걷고 있는 것을 시인하기는 어렵다).
도 13에는, 원적외선 화상으로부터 추출된 영역(1101)에 대응하는, 가시광 화상 중의 영역(1201)을 확대하여 나타냄과 함께, 영역(1201) 내의 화소의 휘도 히스토그램을 함께 나타내고 있다. 도 11 및 도 12를 비교하여 알 수 있는 바와 같이, 영역(1101)은, 가시광 화상 중의 암소에 대응하는 영역이다. 따라서, 도 13 우측에 나타내는 휘도 히스토그램은, 휘도 레벨이 낮은 영역에 있어서 높은 분포를 나타내고 있다(단, 횡축이 휘도값이며, 종축이 휘도별 화소수이다).
또한, 도 14에는, 원적외선 화상으로부터 추출된 영역(1104)에 대응하는, 가시광 화상 중의 영역(1204)를 확대하여 나타냄과 함께, 영역(1204) 내의 화소의 휘도 히스토그램을 함께 나타내고 있다. 도 11 및 도 12를 비교하여 알 수 있는 바와 같이, 영역(1104)은, 가시광 화상 중의 명소에 대응하는 영역이다. 따라서, 도 14 우측에 도시하는 바와 같이, 넓은 휘도 레벨 걸쳐 화소가 분포하고 있다(단, 횡축이 휘도값이며, 종축이 휘도별 화소수이다).
도 13 및 도 14에서 알 수 있는 바와 같이, 가시광 화상의 영역마다 화소의 휘도 히스토그램을 비교함으로써, 암소 또는 명소 중 어느 곳인지를 판별할 수 있다. 예를 들어, 영역마다 휘도 히스토그램의 중간값을 소정의 임계값과 비교하여, 주목 영역으로 해야하는지 여부를 판별하도록 하면 된다. 휘도 히스토그램의 중간값이 임계값 미만이 되는 영역은, 암소에 상당하므로, 주목 영역이라고 판별하면 된다. 반대로, 휘도 히스토그램의 중간값이 임계값 이상으로 되는 영역은, 명소에 상당하므로, 주목 영역이 아니라고 판별하면 된다. 물론, 다른 방법에 의해 각 영역이 암소 또는 명소 중 어느 곳인지를 판별하도록 해도 된다.
이미 설명한 바와 같이, 암소로부터 추출된 주목 영역에 대해서는 모달 화상을 중첩한 쪽이 좋지만, 명소로부터 추출된 주목 영역에 대해서는 모달 화상을 중첩하는 것을 삼가하는 것이 좋다. 따라서, 중첩부(203)는, 영역 추출부(201)에서 추출된 주목 영역 내의 화소의 휘도 히스토그램에 기초하여, 당해 영역이 암소 또는 명소 중 어느 곳인지를 판별하고, 암소의 주목 영역에 대해서만, 모달 화상의 중첩 처리를 실시한다. 물론, 중첩부(203)는, 주목 영역 내의 화소의 휘도 히스토그램 이외의 지표에 기초하여, 당해 영역이 암소 또는 명소 중 어느 곳인지를 판별하도록 해도 된다.
혹은, (중첩부(203)가 아니고) 영역 추출부(201)는, 원적외선 화상으로부터 인체 등의 특정 대상의 특징을 나타내는 온도 범위 내의 값이 화소를 포함하는 특정 온도 영역에 대응하는 가시광 화상의 각 영역의 화소의 휘도 히스토그램에 기초하여 당해 영역이 암소 또는 명소 중 어느 곳인지를 판별하여, 암소의 영역만을 주목 영역으로서 추출하도록 해도 된다. 이 경우, 중첩부(203)는, 영역 추출부(201)가 추출한 모든 주목 영역에 모달 화상을 중첩 처리하면 된다. 물론, 영역 추출부(201)는, 영역 내의 화소의 휘도 히스토그램 이외의 지표에 기초하여, 당해 영역이 암소 또는 명소 중 어느 곳인지를 판별하도록 해도 된다.
도 11에 예시한 원적외선 화상으로부터는, 터널 내의 암소에 존재하는 영역(1101)이, 주목 영역으로서 추출된다. 도 15에는, 주목 영역(1101)의 원적외선 화상을 모달 변환하여 생성되는 모달 화상(1501)을 예시하고 있다.
또한, 도 16에는, 도 12에 예시한 가시광 화상의 주목 영역(1201 내지 1203)에 대해 각각에 대응하는 모달 화상(1601 내지 1603)을 중첩하여 생성된 제시 화상(1600)을 예시하고 있다. 도 12에 도시한 가시광 화상 내의 영역(1201 내지 1204) 중 영역(1204)은, 영역 내의 화소의 휘도 히스토그램 등에 기초하여, 암소가 아닌, 즉 주목 영역이 아니라고 판별되므로, 그 판별 결과에 기초하여 모달 화상이 중첩되지는 않는다.
주목 영역(1201 내지 1203) 내의 보행자는, 터널 내의 암소를 걷고 있기 때문에, 가시광 화상에서는 시인성이 낮아, 존재도 상황도 매우 이해하기 힘들다(도 12를 참조). 그래서, 가시광 화상의 주목 영역(1201 내지 1203)에, 모달 변환부(202)에서 원적외선 화상으로부터 변환된 모달 화상(1601 내지 1603)을 중첩함으로써, 시인성이 향상된다. 도 16에서 알 수 있는 바와 같이, 제시 화상(1600)에서는, 모달 화상(1601 내지 1603) 내의 인체의 존재나 상황은, 도 12에 도시한 가시광 화상 내의 각 영역(1201 내지 1203) 및 도 11에 도시한 원적외선 화상 내의 영역(1101 내지 1103)의 어느 것을 보았을 때보다도 이해하기 쉬워진다.
한편, 도 12에 도시한 가시광 화상 중의, 참조 번호 1204로 나타내는 각 영역 내의 보행자는, 터널 외의 명소를 걷고 있으므로, 가시광 화상에 선명하게 비치고 있어, 애당초 가시광인 채로도 시인성이 높다. 따라서, 영역(1204)에는 모달 화상을 중첩하지 않음으로써, 도 16에 도시하는 바와 같이, 제시 화상(1600)은, 가시광 화상이 원래 갖고 있는 텍스처 등의 정보를 유지할 수 있고, 시인성을 손상시키지 않아도 된다.
또한, 도 17에는, 모달 화상을 중첩한 영역에, 각 주목 영역인 것을 나타내는 프레임(1701 내지 1703)을 각각 표시한 제시 화상(1700)을 예시하고 있다. 제시 화상(1700) 중의 주목 영역에 프레임(1701 내지 1703)을 부여함으로써, 관찰자(예를 들어, 차량의 운전자)에 대해, 그 영역에 사람 등의 장애물이 존재하는 것을 명시하고, 주의를 환기할 수 있다. 혹은, 모달 화상을 중첩한 장소를 표시하기 위해, 아이콘이나 마커 등 프레임 이외의 시각적 표시를 모달 화상 부근에 부여해도 된다.
계속해서, 모달 변환부(202)가 원적외선 화상을 모달 화상으로 변환하는 처리 방법에 대해, 더욱 상세하게 설명한다.
본 명세서에서 말하는, 모달 변환이란 화상의 모달(양식)을 변환하는 처리이며, 보다 구체적으로는, 원적외선 화상을 가시광 화상으로 변환한다. 원적외선 화상을 모달 변환함으로써, 원적외선 화상에서는 상실되어 있는 물체 표면의 텍스처, 물체의 윤곽이나 자세 등의 정보를 어느 정도 재현하고, 동일한 대상을 관측한 가시광 화상에 보다 가까운 시인성을 얻는 것을 목표로 한다.
모달 변환의 하나의 방법으로서, 모달 변환 데이터베이스를 이용하는 방법을 들 수 있다. 여기서 말하는 모달 변환 데이터베이스란, 원적외선 화상과 가시광 화상의 페어를 미리 등록해 두는 데이터베이스이다.
모달 변환부(202)는, 주목 영역의 원적외선 화상을 입력하면, 템플릿 매칭 등에 의해 유사한 원적외선 화상을 모달 변환 데이터베이스 내에서 탐색하고, 선택된 원적외선 화상과 페어가 되어 있는 가시광 화상을 모달 화상으로서 출력한다. 사전 처리로서 방대한 양의 원적외선 화상과 가시광 화상의 페어를 사전에 모달 변환 데이터베이스에 등록해 둠으로써, 모달 변환부(202)는, 더 그럴듯한 가시광 화상으로 모달 변환하는 것이 가능하게 된다.
또한, 모달 변환의 다른 방법으로서, 학습을 이용하는 방법을 들 수 있다. 예를 들어, 먼저 사전 처리로서, 원적외선 화상을 조건으로 한 가시광 화상 생성(즉, 가시광 화상이 일어나는 조건 하에서의 원적외선 화상의 확률)의 조건부 확률 분포의 학습을 실시한다. 학습에는, 예를 들어 auto encoder(자기 부호화기)나 Conditional Generative Adversarial Networks(조건부 적대적 생성 네트워크)를 적용할 수 있다.
예를 들어, 도 18의 (A)에 도시하는 바와 같은 가시광 화상(RGB)이 생기는 조건 하에서의, 도 18의 (B)에 도시하는 바와 같은 원적외선 화상(FIR)이 생길 확률이 사전에 학습된다. 학습에 의해, 예를 들어 도 18의 (C)에 도시하는 바와 같은 조건부 확률 분포(p(RGB|FIR))의 곡선이 얻어진다고 하자.
그리고, 모달 변환부(202)는, 영역 추출부(201)로부터 입력된 원적외선 화상(FIR)을 조건으로 하고, 사전에 학습한 상기 조건부 확률 분포(p(RGB|FIR))로부터, 더 그럴듯한 가시광 화상(RGB)을 샘플링한다(도 19를 참조). 그리고, 샘플링된 가시광 화상(RGB)을 모달 화상으로서 중첩부(203)에 출력한다.
도 20에는, 다른 화상 처리 장치(2000)의 기능적 구성을 모식적으로 도시하고 있다. 화상 처리 장치(2000)는, 도 2에 도시한 화상 처리 장치(200)와 마찬가지로, 암소 등의 가시광 화상에서는 시인성이 낮은 주목 영역에 원적외선 화상으로부터 모달 변환한 모달 화상을 중첩하여, 시인성을 향상시키는 기능을 구비하고 있다. 화상 처리 장치(200)의 주된 상이점은, 화상 처리 장치(2000)가, 원적외선 화상 및 가시광 화상의 물체 검출 결과에 기초하여 주목 영역을 추출하는 점에 있다.
도시된 화상 처리 장치(2000)는, 도 1에 도시한 차량 제어 시스템(100) 내에, 예를 들어 자동 운전 제어부(112)의 하나의 구성 요소로서 내장하는 것도 가능하다. 또한, 화상 처리 장치(2000)에는, 원적외선 카메라(2011)로 촬영된 원적외선 화상과, 가시광 카메라(2012)로 촬영된 가시광 카메라가 입력된다. 원적외선 카메라(2011)와 가시광 카메라(2012)는, 차량에 탑재되어 있다.
기본적으로는, 원적외선 카메라(2011)와 가시광 카메라(2012)는, 동일한 대상을 관측하도록 설치되어 있는 것으로 한다. 또한, 화상 처리 장치(2000)도 차량에 탑재하여 사용되는 것이 상정된다. 도 20에 도시하는 예에서는, 원적외선 카메라(2011)와 가시광 카메라(2012)는 화상 처리 장치(2000)에 외부 접속되지만, 원적외선 카메라(2011)와 가시광 카메라(2012) 중 적어도 한쪽 카메라가 화상 처리 장치(2000)와 일체가 된 장치 구성도 상정된다. 또한, 원적외선 카메라(2011)와 가시광 카메라(2012)는, 도 1에 도시한 차량 제어 시스템(100)의 데이터 취득부(102)의 구성 요소로서 내장되는 것이 상정된다.
물체 검출부(2001)는, 원적외선 카메라(2011)로 촬영된 원적외선 화상으로부터 특징량을 추출하여, 원적외선 화상에 투영한 물체를 검출함과 함께, 가시광 카메라(2012)로 촬영된 가시광 화상으로부터 특징량을 추출하여, 가시광 화상에 투영한 물체를 검출한다.
주목 영역 판별부(2002)는, 물체 검출부(2001)가 원적외선 화상 및 가시광 화상의 각각으로부터 검출된 물체를 포함하는 영역이 주목 영역인지 여부를 판별한다. 예를 들어, 주목 영역 판별부(2002)는, 원적외선 화상에는 비치고 있지만, 가시광 화상에는 비치고 있지 않는 물체를 포함하는 영역을 주목 영역이라고 판별한다.
모달 변환부(2003)는, 원적외선 카메라(2011)로 촬영된 원적외선 화상을 입력하고, 주목 영역 판별부(2002)로 판별된 주목 영역의 부분을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환하여 출력한다.
그리고, 중첩부(2004)는, 가시광 카메라(2012)로 촬영된 가시광 화상을 입력하고, 주목 영역 판별부(2002)로 판별된 주목 영역의 부분에, 모달 변환부(2003)로부터 출력되는 모달 화상을 중첩하여, 사람(차량의 운전자 등)에게 제시해야 할 제시 화상으로서 출력한다.
화상 처리 장치(2000)로부터 출력되는 제시 화상은, 예를 들어 도 1에 도시한 차량 제어 시스템(100)이 출력부(106)로서 장비하는 표시 장치나 인스트루먼트 패널, 탑승자가 장착하는 안경형 디스플레이, 헤드업 디스플레이, 투과형 디스플레이, AR 표시 기능을 갖는 장치 등의 운전자 시야 내에 시각 정보를 표시하는 장치에 표시된다. 예를 들어, 원적외선 화상과 동일한 대상을 관측하는 가시광 화상에 모달 화상을 중첩하는 것이 아니고, 헤드업 디스플레이를 사용하여, 프론트 글래스상의 주목 영역에 대응하는 장소에 모달 화상을 표시하여, 운전자의 주의를 환기하도록 해도 된다.
도 21에는, 도 2에 도시한 화상 처리 장치(200) 혹은 도 20에 도시한 화상 처리 장치(2000)에 있어서, 가시광 화상 내의 주목 영역에 모달 화상을 중첩하여, 제시 화상을 생성하기 위한 처리 수순을 흐름도의 형식으로 나타내고 있다.
우선, 대상으로 하는 물체를 포함하는 영역을 가시광 화상으로부터 검출하는 물체 검출 처리가 실시된다(스텝 S2101). 이 물체 검출 처리는, 화상 처리 장치(200)에서는 영역 추출부(201)에 의해 실시되고, 화상 처리 장치(2000)에서는 물체 검출부(2001)에 의해 실시된다.
계속해서, 스텝 S2102 내지 S2104로 구성되는 반복 처리에서는, 스텝 S2101에서 검출된 모든 물체에 대해, 물체를 포함하는 영역이 주목 영역인지 여부를 판별하는 주목 영역 영역 판별 처리가 반복 실시된다(스텝 S2103).
스텝 S2103의 주목 영역 판별 처리는, 화상 처리 장치(200)에서는 영역 추출부(201) 또는 중첩부(203)에 의해 실시되고, 화상 처리 장치(2000)에서는 주목 영역 판별부(2002)에 의해 실시된다.
그리고, 상기 스텝 S2102 내지 2104로 구성되는 반복 처리를 통하여 얻은 주목 영역의 정보를 취득하면(스텝 S2105), 계속되는 스텝 S2106 내지 S2109에서는, 모든 주목 영역에 대해, 주목 영역의 원적외선 화상을 모달 화상으로 변환하는 모달 변환 처리와(스텝 S2107), 가시광 화상의 주목 영역에 모달 화상을 중첩하는 중첩 처리(스텝 S2108)가 반복 실시된다.
스텝 S2107의 모달 변환 처리는, 화상 처리 장치(200)에서는 모달 변환부(202)에 의해 실시되고, 화상 처리 장치(2000)에서는 모달 변환부(2003)에 의해 실시된다. 또한, 스텝 S2108의 중첩 처리는, 화상 처리 장치(200)에서는 중첩부(203)에 의해 실시되고, 화상 처리 장치(2000)에서는 중첩부(2004)에 의해 실시된다.
그리고, 가시광 화상 내의 주목 영역에 모달 화상을 중첩한 제시 화상이 화상 처리 장치(200 또는 2000)로부터 출력되어, 표시 처리가 실시된다(스텝 S2101).
제시 화상은, 예를 들어 도 1에 도시한 차량 제어 시스템(100)이 출력부(106)로서 장비하는 표시 장치나 인스트루먼트 패널, 탑승자가 장착하는 안경형 디스플레이, 헤드업 디스플레이, 투과형 디스플레이, AR 표시 기능을 갖는 장치 등의 운전자 시야 내에 시각 정보를 표시하는 장치에 표시된다.
운전자 등의 차량의 탑승자는, 제시 화상을 관찰함으로써, 암소에 있는 보행자 등을 시인하는 것이 용이하게 되어, 충돌 회피 혹은 사고 방지를 위한 운전 조작을 적합하게 행하는 것이 가능하게 된다.
이상, 특정의 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대해 상세하게 설명했다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 이룰 수 있음은 자명하다.
본 명세서에서 개시하는 기술은, 자동차(가솔린차 및 디젤차를 포함함), 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널ㆍ모빌리티와 같은 다양한 차량에 적용할 수 있다. 나아가 본 명세서에서 개시하는 기술은, 도로를 주행하는 차량 이외의 형태의 이동체에 적용할 수 있다.
또한, 본 명세서에서 개시하는 기술은, 이동체 이외에도 적용할 수 있다. 예를 들어, 본 명세서에서 개시하는 기술을 감시 카메라에 적용하면, 가시광 화상에 모달 화상을 적절하게 합성하여, 의심스러운 사람의 실체상(像)을 적확하게 포착할 수 있다.
요컨대, 예시라고 하는 형태에 의해 본 명세서에서 개시하는 기술에 대해 설명하였으며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허청구의 범위를 참작해야 한다.
또한, 본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출부와,
상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환부와,
상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩부
를 구비하는 화상 처리 장치.
(2) 상기 영역 추출부는, 상기 원적외선 화상으로부터 물체를 검출한 결과에 기초하여 상기 주목 영역을 추출하는,
상기 (1)에 기재된 화상 처리 장치.
(3) 상기 영역 추출부는, 상기 원적외선 화상으로부터, 어떤 특정의 대상의 특징을 나타내는 온도 범위 내의 값의 화소를 포함하는 특정 온도 영역을 상기 주목 영역으로서 추출하는,
상기 (1)에 기재된 화상 처리 장치.
(4) 상기 영역 추출부는, 상기 원적외선 화상 및 상기 가시광 화상의 각각으로부터 물체를 검출한 각 결과에 기초하여 상기 주목 영역을 추출하는,
상기 (1)에 기재된 화상 처리 장치.
(5) 상기 영역 추출부는, 상기 원적외선 화상에는 비치고 있지만 상기 가시광 화상에는 비치고 있지 않는 물체를 포함하는 영역을 상기 주목 영역으로서 추출하는,
상기 (4)에 기재된 화상 처리 장치.
(6) 상기 영역 추출부는, 상기 원적외선 화상 또는 가시광 화상으로부터 물체가 검출된 영역에서의 가시광 화상의 휘도 히스토그램에 기초하여, 당해 영역이 주목 영역인지 여부를 판별하는,
상기 (1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.
(7) 상기 모달 변환부는, 상기 주목 영역의 원적외선 화상을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환하는,
상기 (1) 내지 (5) 중 어느 것에 기재된 화상 처리 장치.
(8) 상기 모달 변환부는, 원적외선 화상과 가시광 화상의 페어를 미리 등록한 데이터베이스를 이용하여, 상기 주목 영역의 원적외선 화상을 모달 화상으로 변환하는,
상기 (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.
(9) 상기 모달 변환부는, 원적외선 화상을 조건으로 한 가시광 화상 생성의 조건부 확률 분포에 기초하여, 상기 주목 영역의 원적외선 화상을 모달 화상으로 변환하는,
상기 (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.
(10) 상기 중첩부는, 상기 가시광 화상에 중첩한 모달 화상에, 영역을 나타내는 프레임 또는 그 밖의 시각적 표시를 부여하는,
상기 (1)에 기재된 화상 처리 장치.
(11) 상기 제시 화상을 제시하는 제시부를 더 구비하는,
상기 (1) 내지 (10) 중 어느 것에 기재된 화상 처리 장치.
(12) 상기 가시광 카메라 및 상기 원적외선 카메라는 소정의 이동체에 탑재되어 있는,
상기 (1) 내지 (11) 중 어느 것에 기재된 화상 처리 장치.
(13) 상기 가시광 카메라 및 상기 원적외선 카메라를 더 구비하는,
상기 (1) 내지 (12) 중 어느 것에 기재된 화상 처리 장치.
(14) 상기 이동체에 탑재되는,
상기 (1) 내지 (13) 중 어느 것에 기재된 화상 처리 장치.
(15) 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출 스텝과,
상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환 스텝과,
상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩 스텝
을 갖는 화상 처리 방법.
(16) 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출부,
상기 가시광 카메라와 동일한 대상을 관측하는 적외선 카메라로 촬영한 적외선 화상의 상기 주목 영역의 화상을 모달 화상으로 변환하는 모달 변환부,
상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩부
로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터ㆍ프로그램.
100: 차량 제어 시스템
101: 입력부
102: 데이터 취득부
103: 통신부
104: 차내 기기
105: 출력 제어부
106: 출력부
107: 구동계 제어부
108: 구동계 시스템
109: 보디계 제어부
110: 보디계 시스템
111 기억부
112: 자동 운전 제어부
121: 통신 네트워크
131: 검출부
132: 자기 위치 추정부
133: 상황 분석부
134: 계획부
135: 동작 제어부
141: 차외 정보 검출부
142: 차내 정보 검출부
143: 차량 상태 검출부
151: 맵 해석부
152: 교통 룰 인식부
153: 상황 인식부
154: 상황 예측부
161: 루트 계획부
162: 행동 계획부
163: 동작 계획부
171: 긴급 사태 회피부
172: 가감속 제어부
173: 방향 제어부
200: 화상 처리 장치
201: 영역 추출부
202: 모달 변환부
202: 중첩부
211: 원적외선 카메라
212: 가시광 카메라
2000: 화상 처리 장치
2001: 물체 검출부
2002: 주목 영역 판별부
2003: 모달 변환부
2004: 중첩부
2011: 원적외선 카메라
2012: 가시광 카메라

Claims (15)

  1. 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출부와,
    상기 가시광 카메라와 동일한 대상을 관측하는 원적외선 카메라로 촬영한 원적외선 화상의 상기 주목 영역의 화상을, 원적외선 화상에 기초하여 상기 주목 영역 내에서 검출된 물체의 표면 텍스처 또는 윤곽이나 자세를 재현한 모달 화상으로 변환하는 모달 변환부와,
    상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩부
    를 구비하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 영역 추출부는, 상기 원적외선 화상으로부터 물체를 검출한 결과에 기초하여 상기 주목 영역을 추출하는,
    화상 처리 장치.
  3. 제1항에 있어서, 상기 영역 추출부는, 상기 원적외선 화상으로부터, 어떤 특정의 대상의 특징을 나타내는 온도 범위 내의 값의 화소를 포함하는 특정 온도 영역을 상기 주목 영역으로서 추출하는,
    화상 처리 장치.
  4. 제1항에 있어서, 상기 영역 추출부는, 상기 원적외선 화상 및 상기 가시광 화상의 각각으로부터 물체를 검출한 각 결과에 기초하여 상기 주목 영역을 추출하는,
    화상 처리 장치.
  5. 제4항에 있어서, 상기 영역 추출부는, 상기 원적외선 화상에는 비치고 있지만 상기 가시광 화상에는 비치고 있지 않는 물체를 포함하는 영역을 상기 주목 영역으로서 추출하는,
    화상 처리 장치.
  6. 제1항에 있어서, 상기 영역 추출부는, 상기 원적외선 화상 또는 가시광 화상으로부터 물체가 검출된 영역에서의 가시광 화상의 휘도 히스토그램에 기초하여, 당해 영역이 주목 영역인지 여부를 판별하는,
    화상 처리 장치.
  7. 제1항에 있어서, 상기 모달 변환부는, 상기 주목 영역의 원적외선 화상을, 인간이 눈에 익은 정보 모달을 포함하는 모달 화상으로 변환하는,
    화상 처리 장치.
  8. 제1항에 있어서, 상기 모달 변환부는, 원적외선 화상과 가시광 화상의 페어를 미리 등록한 데이터베이스를 이용하여, 상기 주목 영역의 원적외선 화상을 모달 화상으로 변환하는,
    화상 처리 장치.
  9. 제1항에 있어서, 상기 모달 변환부는, 원적외선 화상을 조건으로 한 가시광 화상 생성의 조건부 확률 분포에 기초하여, 상기 주목 영역의 원적외선 화상을 모달 화상으로 변환하는,
    화상 처리 장치.
  10. 제1항에 있어서, 상기 중첩부는, 상기 가시광 화상에 중첩한 모달 화상에, 영역을 나타내는 시각적 표시를 부여하는,
    화상 처리 장치.
  11. 제1항에 있어서, 상기 제시 화상을 제시하는 제시부를 더 구비하는,
    화상 처리 장치.
  12. 제1항에 있어서, 상기 가시광 카메라 및 상기 원적외선 카메라는 소정의 이동체에 탑재되어 있는,
    화상 처리 장치.
  13. 제1항에 있어서, 상기 가시광 카메라 및 상기 원적외선 카메라를 더 구비하는,
    화상 처리 장치.
  14. 제1항에 있어서, 소정의 이동체에 탑재되는,
    화상 처리 장치.
  15. 가시광 카메라로 촬영한 가시광 화상 내의 주목 영역을 추출하는 영역 추출 스텝과,
    상기 가시광 카메라와 동일한 대상을 관측하는 원적외선 카메라로 촬영한 원적외선 화상의 상기 주목 영역의 화상을, 원적외선 화상에 기초하여 상기 주목 영역 내에서 검출된 물체의 표면 텍스처 또는 윤곽이나 자세를 재현한 모달 화상으로 변환하는 모달 변환 스텝과,
    상기 가시광 화상의 주목 영역에 상기 모달 화상을 중첩한 제시 화상을 생성하는 중첩 스텝
    을 갖는 화상 처리 방법.
KR1020207013945A 2017-12-04 2018-09-04 화상 처리 장치 및 화상 처리 방법 KR102533860B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-232968 2017-12-04
JP2017232968 2017-12-04
PCT/JP2018/032719 WO2019111464A1 (ja) 2017-12-04 2018-09-04 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20200096215A KR20200096215A (ko) 2020-08-11
KR102533860B1 true KR102533860B1 (ko) 2023-05-19

Family

ID=66750876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013945A KR102533860B1 (ko) 2017-12-04 2018-09-04 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US11641492B2 (ko)
EP (1) EP3723364A4 (ko)
JP (1) JP7188397B2 (ko)
KR (1) KR102533860B1 (ko)
CN (1) CN111386701B (ko)
WO (1) WO2019111464A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) * 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
JP6526351B1 (ja) * 2018-03-29 2019-06-05 三菱電機株式会社 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3832525A1 (en) * 2019-12-03 2021-06-09 Aptiv Technologies Limited Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
CN111738132B (zh) * 2020-06-17 2024-03-05 银河水滴科技（北京）有限公司 人体温度的测量方法、装置、电子设备及可读存储介质
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
CN112464782A (zh) * 2020-11-24 2021-03-09 惠州华阳通用电子有限公司 一种行人识别方法和***
EP4298049A1 (en) * 2021-02-23 2024-01-03 Phantom Auto Inc. Smart warehouse safety mechanisms
CN113034935A (zh) * 2021-03-02 2021-06-25 山东大学 一种基于射灯的交通事故安全预警及车辆导向设备及其使用方法
CN113506264B (zh) * 2021-07-07 2023-08-29 北京航空航天大学 道路车辆数识别方法和装置
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023242891A1 (ja) * 2022-06-13 2023-12-21 日本電気株式会社 オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363207B2 (ja) 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US7822291B2 (en) * 2004-10-28 2010-10-26 Siemens Medical Solutions Usa, Inc. Non-rigid multi-modal registration using statistical learning methods
JP4872245B2 (ja) 2005-06-06 2012-02-08 トヨタ自動車株式会社 歩行者認識装置
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
JP4973334B2 (ja) 2007-06-26 2012-07-11 ソニー株式会社 撮像装置および撮像装置の切り替え方法
JP4872829B2 (ja) * 2007-06-28 2012-02-08 ソニー株式会社 撮像装置
KR101396326B1 (ko) * 2007-10-12 2014-05-16 삼성전자주식회사 얼굴 검출을 위한 디지털 영상 처리 장치의 제어 방법 및이 방법을 채용한 디지털 영상 처리 장치
CN101202845B (zh) * 2007-11-14 2011-05-18 北京大学 红外图像转换为可见光图像的方法及其装置
JP5195646B2 (ja) * 2009-05-29 2013-05-08 株式会社Ｊｖｃケンウッド 撮影装置
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
KR20130086066A (ko) * 2010-11-16 2013-07-30 코니카 미놀타 가부시키가이샤 화상 입력 장치 및 화상 처리 장치
WO2012073722A1 (ja) * 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
US9230178B2 (en) 2011-06-02 2016-01-05 Toyota Jidosha Kabushiki Kaisha Vision support apparatus for vehicle
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5991648B2 (ja) 2013-03-28 2016-09-14 株式会社デンソー 車両用表示制御装置
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及***
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
CN104935822A (zh) * 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
KR20170093490A (ko) * 2016-02-05 2017-08-16 에스엘 주식회사 차량용 모니터링 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jan Thomanek ET AL:"Comparing Visual Data Fusion Techniques Using FIR and Visible Light Sensors to Improve Pedestrian Detection", 2011 International Conference on Digital Image Computing: Techniques and Applications, Dec. 2011(2011.12.06.) 1부.*
Matthias Limmer ET AL:"Infrared Colorization Using Deep Convolutional Neural Networks", 2016 15th IEEE International Conference on Machine Learning and Applications (ICMLA), Dec. 2016(2016.12.18.) 1부.*
Patricia L. Suarez, ET AL:"Colorizing Infrared Images Through a Triplet Conditional DCGAN Architecture", ICIAP 2017: Image Analysis and Processing - ICIAP 2017 pp.287-297, Oct. 2017(2017.10.13.) 1부.*
Yajun Fang ET AL:"A shape-independent method for pedestrian detection with far-infrared images", IEEE Transactions on Vehicular Technology, Volume: 53, Issue: 6, Nov. 2004(2004.11.22.) 1부.*

Also Published As

Publication number Publication date
EP3723364A4 (en) 2021-02-24
WO2019111464A1 (ja) 2019-06-13
KR20200096215A (ko) 2020-08-11
US20200410274A1 (en) 2020-12-31
JP7188397B2 (ja) 2022-12-13
CN111386701B (zh) 2022-07-08
JPWO2019111464A1 (ja) 2021-01-14
CN111386701A (zh) 2020-07-07
EP3723364A1 (en) 2020-10-14
US11641492B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
KR102533860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP7188394B2 (ja) 画像処理装置及び画像処理方法
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11182880B2 (en) Image processing device, image processing method, and program
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JPWO2020003776A1 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
KR102645368B1 (ko) 정보 처리 장치와 정보 처리 방법과 프로그램
US20210295563A1 (en) Image processing apparatus, image processing method, and program
EP3863282B1 (en) Image processing device, and image processing method and program
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant