KR20190019904A - 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템 - Google Patents

화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20190019904A
KR20190019904A KR1020187029716A KR20187029716A KR20190019904A KR 20190019904 A KR20190019904 A KR 20190019904A KR 1020187029716 A KR1020187029716 A KR 1020187029716A KR 20187029716 A KR20187029716 A KR 20187029716A KR 20190019904 A KR20190019904 A KR 20190019904A
Authority
KR
South Korea
Prior art keywords
color
image data
pixel
image
unit
Prior art date
Application number
KR1020187029716A
Other languages
English (en)
Other versions
KR102392221B1 (ko
Inventor
히로노부 카타야마
슈지 우에하라
요시노리 무라마츠
토모히로 야마자키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190019904A publication Critical patent/KR20190019904A/ko
Application granted granted Critical
Publication of KR102392221B1 publication Critical patent/KR102392221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 화상 처리 장치는, 복수색의 화소를 포함하는 화소부로부터의 화상 데이터가 입력되고, 화소마다의 색 레벨을 조정하는 조정 파라미터를 화상 데이터에 승산하는 승산기와, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값을 조정하는 조정부와, 조정 파라미터가 승산된 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비한다.

Description

화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
본 개시는, 예를 들면 타겟 트래킹 시스템에 알맞은 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템에 관한 것이다.
특정색의 이동물체를 타겟으로서 추적하는 타겟 트래킹 시스템이 있다. 이와 같은 타겟 트래킹 시스템에서는, 예를 들면, 촬상 장치로부터의 화상 데이터를 직접, 추미(追尾)하고 싶은 타겟의 RGB의 색정보로서 임계치로 2치화(二値化)하고, 이것을 집계하여 타겟의 위치의 추정을 행한다.
일본 특개평07-086936호 공보 일본 특개평01-173269호 공보 일본 특개2003-189129호 공보 일본 특개2015-115922호 공보
상기한 타겟 트래킹 시스템에서는, 조도나 주변광에 의해 임계치가 변한 환경하(環境下)나, 사람의 피부색(肌色) 등, RGB의 비율이 광원에 의해 변하는 색의 피사체에서는 임계치를 동적으로 제어하기가 어렵고, 2치화 처리로 타겟을 추출할 수가 없고, 타겟의 추미 벗어남이 발생할 수 있다.
타겟의 추출 정밀도를 향상시킬 수 있도록 한 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템을 제공하는 것이 요망된다.
본 개시의 한 실시의 형태에 관한 화상 처리 장치는, 복수색의 화소를 포함하는 화소부로부터의 화상 데이터가 입력되고, 화소마다의 색 레벨을 조정하는 조정 파라미터를 화상 데이터에 승산하는 승산기와, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값을 조정하는 조정부와, 조정 파라미터가 승산된 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것이다.
본 개시의 한 실시의 형태에 관한 촬상 장치는, 복수색의 화소를 포함하는 화소부와, 화소부로부터의 화상 데이터가 입력되고, 화소마다의 색 레벨을 조정하는 조정 파라미터를 화상 데이터에 승산하는 승산기와, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값을 조정하는 조정부와, 조정 파라미터가 승산된 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것이다.
본 개시의 한 실시의 형태에 관한 화상 처리 시스템은, 촬상 장치와, 촬상 장치에 대해 특정색의 타겟을 추미하여 촬영시키는 액추에이터를 포함하고, 촬상 장치는, 복수색의 화소를 포함하는 화소부와, 화소부로부터의 화상 데이터가 입력되고, 화소마다의 색 레벨을 조정하는 조정 파라미터를 화상 데이터에 승산하는 승산기와, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값을 조정하는 조정부와, 조정 파라미터가 승산된 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것이다.
본 개시의 한 실시의 형태에 관한 화상 처리 장치, 촬상 장치, 또는 화상 처리 시스템에서는, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값이 조정된다. 조정 파라미터가 승산된 후의 화상 데이터에 의거하여, 특정색의 타겟 화상이 추출된다.
본 개시의 한 실시의 형태에 관한 화상 처리 장치, 촬상 장치, 또는 화상 처리 시스템에 의하면, 조정 파라미터가 승산된 화상 데이터에 의거하여 특정색의 타겟 화상을 추출하도록 하였기 때문에, 타겟의 추출 정밀도를 향상시킬 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 본 개시의 제1의 실시의 형태에 관한 화상 처리 시스템의 한 구성례를 개략적으로 도시하는 구성도.
도 2는 1의 실시의 형태에 관한 화상 처리 시스템에서의 2치화 처리부의 한 구성례를 개략적으로 도시하는 구성도.
도 3은 타겟 트래킹의 개요를 도시하는 설명도.
도 4는 2치화에 관한 설명도.
도 5는 특정색 추출의 계산례를 도시하는 설명도.
도 6은 제2의 실시의 형태에 관한 화상 처리 시스템의 한 구성례를 개략적으로 도시하는 구성도.
도 7은 플리커의 발생의 원리를 모식적으로 도시하는 설명도.
도 8은 컬러 롤링의 발생의 원리를 모식적으로 도시하는 설명도.
도 9는 고프레임 레이트 처리시의 샘플링 주기를 모식적으로 도시하는 설명도.
도 10은 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 11은 차외 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
이하, 본 개시의 실시의 형태에 관해 도면을 참조하여 상세히 설명한다. 또한, 설명은 이하의 순서로 행한다.
0. 비교례
1. 제1의 실시의 형태(타겟 추출의 정밀도를 높이는 것을 가능하게 한 화상 처리 시스템)(도 1∼도 5)
1. 1 제1의 실시의 형태에 관한 화상 처리 시스템의 구성(도 1, 도 2)
1. 2 제1의 실시의 형태에 관한 화상 처리 시스템의 동작(도 3∼도 5)
1. 3 효과
2. 제2의 실시의 형태(타겟 추출의 정밀도를 높임과 함께 플리커(flicker) 대책을 가능하게 한 화상 처리 시스템)(도 6∼도 9)
3. 응용례(도 10∼도 11)
4. 기타의 실시의 형태
<0. 비교례>
비교례의 화상 처리 시스템의 한 예로서, 이미지 센서와 화상 처리 회로를 원칩화 하여, 고속의 프레임 레이트 동작으로 다양한 기능을 실현하는 것을 가능하게 한 센싱 시스템이 있다. 예를 들면, Self Window법을 대표로 하는 고(高)프레임 레이트를 이용한 타겟 트래킹 시스템이 개발되어 있다.
도 3은, 타겟 트래킹의 개요를 도시하고 있다. 타겟 트래킹 시스템으로서는, 예를 들면, 특정색의 이동물체를 타겟으로 하여 추적하는 시스템이 있다. 이와 같은 타겟 트래킹 시스템은, 촬상 장치와, 촬상 장치에 대해 특정색의 타겟을 추미하여 촬영시키는 액추에이터를 구비하고, 예를 들면 도 3에 도시한 바와 같이, 화면 내를 이동하는 타겟(타겟 화상(30))이, 항상 화면(30)의 중앙부에 오도록 액추에이터에 의해 촬상 장치를 제어한다.
비교례의 타겟 트래킹 시스템에서는, 예를 들면, 센서 화소로부터의 데이터에 대해 직접 전압의 임계치를 설정하고, 추출하고 싶은 타겟 화상(20)의 레벨에 의해 "1", "0"의 2치화 처리를 실시하고 있다(일본 특개평07-086936호 공보, 일본 특개평01-173269호 공보). 비교례의 타겟 트래킹 시스템에서는, 이 임계치 설정에 대해, 현(現) 프레임이나 과거 프레임의 화상 상황으로부터 피드백을 행하는 경로를 갖지 않았기 때문에, 주변의 광원이나 환경 변화에 의해, 타겟 추출하고 있는 화소 레벨에 큰 변화가 발생하면 추종을 할 수가 없어서, 타겟 추출의 실패, 즉 타겟 화상(20)의 추미 벗어남 등 기능 실현의 폐해가 발생할 수 있다.
또한, 예를 들면 1000fps 정도의 고프레임 레이트 동작을 실시하는 카메라에서는, 형광등 등의 광원 영향에 의해 발생하는 플리커는, 화면 내만이 아니라, 프레임마다 밝기가 변하여 출력된다. 비교례의 기술로서, 이 광원 주기를 검출하여, 다음에 발생하는 주기적인 광원의 밝기를 상정하고, 보정을 행하는 방식이 있다(일본 특개2003-189129호 공보, 일본 특개2015-115922호 공보 등). 근래, 광원 종류의 다양화에 의해, 복수의 광원이 섞여진 환경 등에서는 점멸 주기의 상정이 어렵고, 모든 광원 환경에 대해 주기적인 보정을 행하는 것은 곤란하다.
그래서, 본 개시에서는, 이하의 것이 가능한 기술을 제공하는 것이 바람직하다.
(1) 센서 구조가 병렬 연산기(열병렬, 면병렬 어느것도 가능)를 갖는 고프레임 레이트로의 고속 이동물체의 타겟 추출 실시에 즈음하여, 환경 변화에 대해 로버스트하게 2치화를 실시한다.
(2) 고프레임 레이트 촬상에서 발생하는 면(面) 플리커(plane flicker)나 컬러 롤링에 의한 광원의 주기적인 밝기의 변화에 대해, 변화분을 신속하게 피드백하여, 플리커에 의한 밝기나 색 변화를 억압한다.
<1. 제1의 실시의 형태>
[1. 1 제1의 실시의 형태에 관한 화상 처리 장치의 구성]
도 1은, 본 개시의 제1의 실시의 형태에 관한 화상 처리 시스템의 한 구성례를 개략적으로 도시하고 있다. 도 2는, 2치화 처리부(5)의 한 구성례를 개략적으로 도시하고 있다.
본 실시의 형태에 관한 화상 처리 시스템은, 화소부(1)와, AD 변환부(2)와, 메모리부(3)와, 색별 승산기(4)와, 2치화 처리부(5)와, 조정부(40)와, 구동 정보 생성부(41)와, 액추에이터(10)를 구비하고 있다.
조정부(40)는, 색별 적분기(6)와, 색조정 비율 계산기(7)를 갖고 있다. 2치화 처리부(5)는, 도 2에 도시한 바와 같이, 특정색 추출부(51)와, 2치화 출력부(52)를 갖고 있다.
구동 정보 생성부(41)는, 액추에이터(10)를 구동하기 위한 정보를 생성하는 것이고, 화상 모멘트 추출부(8)와, 중심(重心) 계산부(9)를 갖고 있다.
본 실시의 형태에 관한 화상 처리 시스템은, 촬상 장치와, 촬상 장치에 대해 특정색의 타겟을 추미하여 촬영시키는 액추에이터(10)를 구비하고, 도 3에 도시한 바와 같은 타겟 트래킹을 행하는 시스템이라도 좋다.
촬상 장치는, 화소부(1)와, AD 변환부(2)와, 메모리부(3)와, 색별 승산기(4)와, 2치화 처리부(5)와, 조정부(40)와, 구동 정보 생성부(41)를 구비하고 있어도 좋다. 또한, 화소부(1)를 촬상 장치의 구성 요소의 일부로 하고, 다른 회로 부분(AD 변환부(2), 메모리부(3), 색별 승산기(4), 2치화 처리부(5), 조정부(40), 및 구동 정보 생성부(41))를 화상 처리 장치로서 구성하여도 좋다.
본 실시의 형태에 관한 화상 처리 시스템에서, 적어도 화상 처리 장치의 부분을 원칩화한 구성으로 하여도 좋다. 또는, 액추에이터(10) 이외의 부분을 원칩화한 구성으로 하여도 좋다.
화소부(1)는, CMOS(Complementary MOS) 이미지 센서라도 좋다. 화소부(1)는, 예를 들면, 복수의 광전 변환 소자가 소정의 간격으로 2차원 배치된 수광부와, 수광부의 광입사면에 배치된 컬러 필터 어레이를 갖고 있다. 화소부(1)는, CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서에 의해 구성되어 있다. 또한, 도 1에서는, 화소부(1)가, 예를 들면, R(적), G(녹), B(청)의 3개의 색 화소가 베이어 배열된 구조의 예를 도시하고 있다. 베이어 배열인 경우, 1화소는, 1개의 R색 화소와, 1개의 B색 화소와, 2개의 G색 화소를 포함한다. 단, 화소부(1)는, 베이어 배열과는 다른 배열로 되어 있어도 좋다.
AD 변환부(2), 메모리부(3), 색별 승산기(4), 및 2치화 처리부(5)는, 열병렬로 설치되어 있어도 좋다.
색별 승산기(4)에는, AD 변환부(2) 및 메모리부(3)를 통하여, 1화소가 복수색의 색 화소를 포함하는 화소부(1)로부터의 화상 데이터가 입력된다. 색별 승산기(4)는, 화소마다의 색 레벨을 조정하는 조정 파라미터를 화상 데이터에 승산하는 기능을 갖고 있다.
조정부(40)는, 화상 데이터에서의 화소마다의 각 색의 비율을 산출하고, 각 색의 비율에 의거하여, 조정 파라미터의 값을 조정하는 기능을 갖고 있다.
2치화 처리부(5)는, 색별 승산기(4)에 의해 조정 파라미터가 승산된 후의 화상 데이터에 의거하여, 특정색의 타겟 화상(20)을 추출하는 기능을 갖고 있다.
특정색 추출부(51)는, 조정 파라미터가 승산된 후의 화상 데이터에서의 화소마다 색성분을 비교하고, 특정색의 화소 데이터를 추출하는 기능을 갖고 있다.
2치화 출력부(52)는, 조정 파라미터가 승산된 후의 화상 데이터에 대해, 특정색 추출부(51)에 의해 추출된 특정색의 화소 데이터를 1, 특정색 이외의 화소 데이터를 0으로 하는 2치화 처리를 시행한 2치화 화상 데이터를, 구동 정보 생성부(41)에 출력하는 기능을 갖고 있다.
색별 적분기(6)는, 화상 데이터를 화소마다 소정 기간분(期間分)(예를 들면 1프레임 기간분), 적분하는 기능을 갖고 있다. 색별 적분기(6)는, RGB의 색별로 적분하는 RGB 색별 적분기와, 휘도(Y)를 계산하는 휘도 계산기를 갖고 있다.
색조정 비율 계산기(7)는, 색별 적분기(6)에 의해 적분된 후의 화상 데이터에서의 화소마다의 각 색의 비율을 산출하는 기능을 갖고 있다.
[1. 2 제1의 실시의 형태에 관한 화상 처리 장치의 동작]
본 실시의 형태에 관한 화상 처리 시스템에서는, 화소부(1)에서 광전 변환된 열 단위의 화상 데이터가, AD 변환부(2)에 출력된다. AD 변환부(2)에서는, 열병렬로 각화소의 AD 변환을 실시한다. 메모리부(3)는, AD 변환부(2)에 의해 AD 변환된 화상 데이터를 열병렬로 래치한다.
색별 승산기(4)는, 메모리부(3)에 래치된 화상 데이터를 판독하고, 이 화상 데이터에 화소마다 각 색에 응한 조정 파라미터를 승산하고, 승산한 후의 화상 데이터를 2치화 처리부(5)의 특정색 추출부(51)에 출력한다. 또한, 색별 승산기(4)에서 승산하는 조정 파라미터는, 색조정 비율 계산기(7)에서 계산되어, 색별 승산기(4)에 피드백된 것이다.
특정색 추출부(51)에서는, 특정색 추출의 파라미터를 특정색에 설정하고, 조정 파라미터가 승산된 후의 화상 데이터에 대해, 그 파라미터로 특정색의 화소 데이터를 추출한다.
또는, 특정색 추출부(51)에서는, 각 색 레벨에 임계치를 설정하고, 특정색의 화소 데이터를 추출한다.
2치화 출력부(52)에서는, 도 4에 도시한 바와 같이, 특정색 추출부(51)에 의해 추출된 특정색의 화소 데이터를 1, 특정색 이외의 화소 데이터를 0으로 하는 2치화 처리를 시행한 2치화 화상 데이터를, 구동 정보 생성부(41)에 출력한다.
도 5는, 특정색 추출의 계산례를 도시하고 있다.
또한, 도 5는, 색공간을 HSV 모델에 대응시켜서 도시하고 있다. HSV 모델은, 색상(Hue), 채도(Saturation·Chroma), 및 명도(Value·Lightness·Brightness)의 3개의 성분으로 이루어지는 색공간 모델이다.
도 5에는, R을 기준색(reference color)으로 한 특정색의 화소 데이터의 추출, 검출을 행하는 예(피부색 검출)(1)와, G를 기준색으로 한 특정색의 화소 데이터의 추출, 검출을 행하는 예(2)와, B를 기준색으로 한 특정색의 화소 데이터의 추출, 검출을 행하는 예(3)를 도시한다.
도 5의 계산례에서, α, β, γ는, 2치화 출력부(52)에서, 특정색의 화소 데이터인지, 특정색 이외의 화소 데이터인지를 정하는 임계치를 결정하는 계수이다. 2치화 출력부(52)에는, 기간색(基幹色, basic color) 외 비율 임계치과, 기간색 절대 임계치가 입력된다. 기간색은, 특정색에 대응하는 색이다.
2치화 출력부(52)로부터 출력된 2치화 화상 데이터는, 구동 정보 생성부(41)(화상 모멘트 추출부(8) 및 중심 계산부(9))에서, 모멘트나 중심 등이 산출되어, 액추에이터(10)를 구동하기 위한 정보가 생성된다.
한편, 색별 적분기(6)에서는, 메모리부(3)에 래치된 화상 데이터를 화소마다 색별로 소정 기간분(예를 들면 1프레임 기간분), 적분한다. 색별 적분기(6)에서는, 화면 전체의 화상 데이터를 R, G, B 색별로 적분한다.
색조정 비율 계산기(7)에서는, R, G, B의 적분 결과로부터 R, G, B의 비율을 계산하고, 각 색의 비율에 의거하여, 색별 승산기(4)에서 승산하는 조정 파라미터의 값을 조정한다(피드백한다). 색조정 비율 계산기(7)에서는, 예를 들면, R:G:B가 1:1:1의 비율이 되도록 화이트 밸런스를 계산하고, 색별 승산기(4)의 조정 파라미터의 값에 반영시킨다.
또한, 색별 적분기(6)에서는, 메모리부(3)에 래치된 화상 데이터에 의거하여 화소마다 R, G, B의 색별로 휘도(Y)를 계산한다. 색별 적분기(6)에서는, 휘도(Y)를 일반적인 계산식, 예를 들면 「Y=0.30R+0.59G+0.11B」 등에 의해 산출하고, 휘도(Y)를 소정 기간분(예를 들면 1프레임 기간분), 적분한다. 이 적분은, 예를 들면 중심 계산부(9)에서 산출한 중심 주변의 타겟 영역 또는 화면 전체에서 행하여도 좋다. 휘도(Y)의 적분 결과가 적절한 레벨이 되도록, 색조정 비율 계산기(7)에서 오토 익스포저(AE, 자동 노출) 레벨을 계산(조정)하여, 화소부(1)의 각 화소의 축적 시간(셔터) 또는 색별 승산기(4)에 반영하도록 하여도 좋다.
이상의 처리는, 매(每) 프레임마다 실시하여도 좋다.
[1. 3 효과]
이상과 같이, 본 실시의 형태에 의하면, 조정 파라미터가 승산된 후의 화상 데이터에 의거하여 특정색의 타겟 화상(20)을 추출하도록 하였기 때문에, 타겟의 추출 정밀도를 향상시킬 수 있다.
본 실시의 형태에 관한 화상 처리 시스템에 의하면, 타겟 화상(20)의 추출이 정밀도가 향상하고, 결과로서, 물체 추적 정밀도가 향상한다. 본 실시의 형태에 관한 화상 처리 시스템에 의하면, 주변 환경광 변화에 의한 피사체 추미 벗어남을 억제한다.
또한, 본 실시의 형태에 관한 화상 처리 시스템에 의하면, 고속 프레임 레이트 카메라에서, 프레임마다의 화면 전체에 발생하는 화상의 밝기나 색의 변화를 억제할 수 있다. 결과로서 화질 성능을 향상시키는 것을 기대할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니고, 또한 다른 효과가 있어도 좋다. 이후의 다른 실시의 형태의 효과에 대해서도 마찬가지이다.
<2. 제2의 실시의 형태>
다음에, 본 개시의 제2의 실시의 형태에 관한 화상 처리 시스템에 관해 설명한다. 또한, 이하에서는, 상기 제1의 실시의 형태에 관한 화상 처리 시스템의 구성 요소와 개략 같은 부분에 관해서는, 동일 부호를 붙이고, 적절히 설명을 생략한다.
도 6은, 본 개시의 제2의 실시의 형태에 관한 화상 처리 시스템의 한 구성례를 개략적으로 도시하고 있다.
본 실시의 형태에서는, 타겟 추출의 정밀도를 높임과 함께 플리커 대책을 가능하게 한 화상 처리 시스템을 제공한다.
본 실시의 형태에 관한 화상 처리 시스템은, 상기 제1의 실시의 형태에 관한 화상 처리 시스템의 구성에 대해, 화상 I/F(인터페이스)(11)와, 외부 장치(12)를 또한 구비하고 있다.
외부 장치(12)는, 다른 화상 처리 장치나, 디스플레이 등의 화상 출력 장치라도 좋다.
본 실시의 형태에 관한 화상 처리 시스템에서는, 색별 적분기(4)로부터의 출력이, 색별 적분기(6)와 화상 I/F(11)에 입력된다.
도 7은, 플리커의 발생 이미지를 도시하고 있다. 도 7에는, 전원의 주기와, 형광등의 명멸의 주기와, 수직 동기 신호(VD)를 도시한다. 이후의 도 8 및 도 9에 대해서도 마찬가지이다.
도 7에 도시한 바와 같이, 프레임 레이트가 늦으면, 프레임마다 밝기가 다르기 때문에, 플리커가 발생한다. 플리커를 억제하기 위해서는, 형광등의 주기에 맞춘 프레임 레이트 동작이 필요해진다.
도 8은, 컬러 롤링의 발생 이미지를 도시하고 있다. 프레임마다 색성분의 비율이 다름으로써, 컬러 롤링이 발생한다.
본 실시의 형태에 관한 화상 처리 시스템에서는, 색조정 비율 계산기(7)로부터의 출력을 색별 승산기(4)에 피드백하는 동작을 매 프레임마다 행하는 것이 가능해하게 되어 있다. 이 때문에, 고프레임 레이트에서의 오토 화이트 밸런스(AWB) 동작이나 AE 동작이 가능하게 되어 있다.
도 9는, 고프레임 레이트 촬영시의 샘플링 주기의 한 예를 도시한다.
도 9와 같이, 샘플링한 밝기에 대응하여, 고프레임 레이트로 매 프레임마다 AE 동작을 시킴으로써, 도 7에 도시한 플리커의 영향을 거의 없앨 수 있다. 이에 의해, 외부 장치(12)에 출력하는 화상 데이터에서의 플리커의 발생을 억제할 수 있다.
또한, 도 8에 도시한 컬러 롤링에 대해서도, 고프레임 레이트로 매 프레임마다 AWB 동작을 시킴으로써, 컬러 롤링의 영향을 최소한으로 억제할 수 있다. 이에 의해, 외부 장치(12)에 출력하는 화상 데이터에서의 컬러 롤링의 발생을 억제할 수 있다.
기타의 구성, 동작, 및 효과는, 상기 제1의 실시의 형태에 관한 화상 처리 시스템과 개략 같아도 좋다.
<3. 응용례>
본 개시에 관한 기술은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 한 종류의 이동체에 탑재된 장치로서 실현되어도 좋다.
도 10은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템(7000)의 개략적인 구성례를 도시하는 블록도이다. 차량 제어 시스템(7000)은, 통신 네트워크(7010)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 10에 도시한 예에서는, 차량 제어 시스템(7000)은, 구동계 제어 유닛(7100), 바디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500), 및 통합 제어 유닛(7600)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들면, CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차량탑재 통신 네트워크면 좋다.
각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로 컴퓨터와, 마이크로 컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 이용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통하여 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차 내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 10에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로 컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차량탑재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로 컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(7100)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 좋다.
구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들면, 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 또는, 액셀 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중의 적어도 하나가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 이용하여 연산 처리를 행하여, 내연 기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.
바디계 제어 유닛(7200)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 바디계 제어 유닛(7200)은, 키레스 엔트리 시스템(keyless entry system), 스마트키 시스템, 파워 윈도우 장치, 또는, 헤드램프, 백 램프, 브레이크 램프, 잉커 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(7200)은, 이들의 전파 또는 신호의 입력을 접수하여, 차량의 도어 로크 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 2차 전지(7310)를 제어한다. 예를 들면, 배터리 제어 유닛(7300)에는, 2차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이들의 신호를 이용하여 연산 처리를 행하여, 2차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(7400)은, 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 중의 적어도 일방이 접속된다. 촬상부(7410)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안(單眼) 카메라, 적외선 카메라 및 그 밖의 카메라 중의 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는, 예를 들면, 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 또는, 차량 제어 시스템(7000)을 탑재한 차량의 주위의 다른 차량, 장애물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중의 적어도 하나가 포함된다.
환경 센서는, 예를 들면, 우천(雨天)을 검출하는 우적(雨滴) 센서, 안개를 검출한 안개 센서, 일조(日照) 정도를 검출하는 일조 센서, 및 강설(降雪)을 검출하는 눈(雪) 센서 중의 적어도 하나면 좋다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중의 적어도 하나면 좋다. 이들의 촬상부(7410) 및 차외 정보 검출부(7420)는, 각각 독립한 센서 내지 장치로서 구비되어도 좋고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 좋다.
여기서, 도 11은, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 도시한다. 촬상부(7910, 7912, 7914, 7916), 7918)는, 예를 들면, 차량(7900)의 프런트 노우즈, 사이드미러, 리어 범퍼, 백 도어 및 차실 내의 프론트유리의 상부 중의 적어도 하나의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(7910) 및 차실 내의 프론트유리의 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 차실 내의 프론트유리의 상부에 구비되는 촬상부(7918)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 11에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(a)는, 프런트 노우즈에 마련된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위(b, c)는, 각각 사이드미러에 마련된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 )위(d)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(7910, 7912, 7914, 7916)에서 촬상된 화상 데이터가 겹쳐짐에 의해, 차량(7900)을 상방에서 본 부감(俯瞰) 화상을 얻을 수 있다.
차량(7900)의 프런트, 리어, 사이드, 코너 및 차실 내의 프론트유리의 상부에 마련된 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들면 초음파 센서 또는 레이더 장치라도 좋다. 차량(7900)의 프런트 노우즈, 리어 범퍼, 백 도어 및 차실 내의 프론트유리의 상부에 마련된 차외 정보 검출부(7920, 7926, 7930)는, 예를 들면 LIDAR 장치라도 좋다. 이들의 차외 정보 검출부(7920∼7930)는, 주로 선행 차량, 보행자 또는 장애물 등의 검출에 이용된다.
도 10으로 되돌아와 설명을 계속한다. 차외 정보 검출 유닛(7400)은, 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은, 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은, 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 의거하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 의거하여, 강우, 안개 또는 노면상황 등을 인식하는 환경 인식 처리를 행하여도 좋다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 의거하여, 차외의 물체까지의 거리를 산출하여도 좋다.
또한, 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 의거하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행하여도 좋다. 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대해왜곡 보정 또는 위치맞춤 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성하여도 좋다. 차외 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 이용하여, 시점(視點) 변환 처리를 행하여도 좋다.
차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실 내의 음성을 집음(集音)하는 마이크로폰 등을 포함하여도 좋다. 생체 센서는, 예를 들면, 좌면(座面) 또는 스티어링 휠 등에 마련되고, 좌석에 앉은 탑승자 또는 스티어링 휠을 쥐는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력된 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 앉아서 졸지 않는지를 판별하여도 좋다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대해 노이즈 캔슬링 처리 등의 처리를 행하여도 좋다.
통합 제어 유닛(7600)은, 각종 프로그램에 따라 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들면, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함에 의해 얻은 데이터가 입력되어도 좋다. 입력부(7800)는, 예를 들면, 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치라도 좋고, 차량 제어 시스템(7000)의 조작에 대응하는 휴대 전화 또는 PDA(Personal Digital Assistant) 등 외부 접속 기기라도 좋다. 입력부(7800)는, 예를 들면 카메라라도 좋고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 또는, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 좋다. 또한, 입력부(7800)는, 예를 들면, 상기한 입력부(7800)를 이용하여 탑승자 등에 의해 입력된 정보에 의거하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함하여도 좋다. 탑승자 등은, 이 입력부(7800)를 조작함에 의해, 차량 제어 시스템(7000)에 대해 각종의 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(7690)는, 마이크로 컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory), 및 각종 파라미터, 연산 결과 또는 센서 치 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 좋다. 또한, 기억부(7690)는, HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현하여도 좋다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 다양한 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(Global System of Mobile communications)(등록상표), WiMAX, LTE(Long Term Evolution) 또는 LTE-A(LTE-Advanced) 등의 셀러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록상표)라고도 한다), Bluetooth(등록상표) 등의 그 밖의 무선 통신 프로토콜을 실장하여도 좋다. 범용 통신 I/F(7620)는, 예를 들면, 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들면, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)상에 존재하는 기기(예를 들면, 어플리케이션 서버 또는 제어 서버)에 접속하여도 좋다. 또한, 범용 통신 I/F(7620)는, 예를 들면 P2P(Peer To Peer) 기술을 이용하여, 차량의 부근에 존재하는 단말(예를 들면, 운전자, 보행자 또는 점포의 단말, 또는 MTC(Machine Type Communication) 단말)과 접속하여도 좋다.
전용 통신 I/F(7630)는, 차량에서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들면, 하위 레이어인 IEEE802. 11p와 상위 레이어인 IEEE1609와의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀러 통신 프로토콜이라는 표준 프로토콜을 실장하여도 좋다. 전용 통신 I/F(7630)는, 전형적으로는, 차차간(車車間)(Vehicle to Vehicle) 통신, 노차간(路車間)(Vehicle to Infrastructure) 통신, 차량과 집과의 사이(Vehicle to Home)의 통신 및 보차간(步車間)(Vehicle to Pedestrian) 통신 중의 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는, 예를 들면, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들면, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행하고, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정하여도 좋고, 또는 측위 기능을 갖는 휴대 전화, PHS 또는 스마트 폰이라는 단말로부터 위치 정보를 취득하여도 좋다.
비컨 수신부(7650)는, 예를 들면, 도로상에 설치된 무선국 등으로부터 발신되는 전파 또는 전자파를 수신하고, 현재 위치, 정체, 통행금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비컨 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 좋다.
차내 기기 I/F(7660)는, 마이크로 컴퓨터(7610)와 차내에 존재하는 다양한 차내 기기(7760)와의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)라는 무선 통신 프로토콜을 이용하여 무선 접속을 확립하여도 좋다. 또한, 차내 기기 I/F(7660)는, 도시하지 않는 접속단자(및, 필요하면 케이블)를 통하여, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface)(등록상표), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립하여도 좋다. 차내 기기(7760)는, 예를 들면, 탑승자가 갖는 모바일 기기 또는 웨어러블 기기, 또는 차량에 반입되고 또는 장착되는 정보 기기 중의 적어도 하나를 포함하고 있어도 좋다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함하고 있어도 좋다. 차내 기기 I/F(7660)는, 이들의 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량탑재 네트워크 I/F(7680)는, 마이크로 컴퓨터(7610)와 통신 네트워크(7010) 사이의 통신을 중개하는 인터페이스이다. 차량탑재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 준거하여, 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로 컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660) 및 차량탑재 네트워크 I/F(7680) 중의 적어도 하나를 통하여 취득된 정보에 의거하여, 각종 프로그램에 따라, 차량 제어 시스템(7000)을 제어한다. 예를 들면, 마이크로 컴퓨터(7610)는, 취득되는 차 내외의 정보에 의거하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(7100)에 대해 제어 지령을 출력하여도 좋다. 예를 들면, 마이크로 컴퓨터(7610)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행하여도 좋다. 또한, 마이크로 컴퓨터(7610)는, 취득된 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 하는 협조 제어를 행하여도 좋다.
마이크로 컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660) 및 차량탑재 네트워크 I/F(7680) 중의 적어도 하나를 통하여 취득된 정보에 의거하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이의 3차원 거리 정보를 생성하고, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성하여도 좋다. 또한, 마이크로 컴퓨터(7610)는, 취득되는 정보에 의거하여, 차량의 충돌, 보행자 등의 근접 또는 통행금지의 도로에의 진입 등의 위험을 예측하고, 경고용 신호를 생성하여도 좋다. 경고용 신호는, 예를 들면, 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호라도 좋다.
음성 화상 출력부(7670)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적d으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 10의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다. 표시부(7720)는, AR(Augmented Reality) 표시 기능을 갖고 있어도 좋다. 출력 장치는, 이들의 장치 이외의, 헤드폰, 탑승자가 장착한 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치라도 좋다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로 컴퓨터(7610)가 행하는 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는, 재생된 음성 데이터 또는 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
또한, 도 10에 도시한 예에서, 통신 네트워크(7010)를 통하여 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 좋다. 또는, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 좋다. 또한, 차량 제어 시스템(7000)이, 도시되지 않은 다른 제어 유닛을 구비하여도 좋다. 또한, 상기한 설명에서, 어느 하나의 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 하여도 좋다. 즉, 통신 네트워크(7010)를 통하여 정보의 송수신이 되도록 되어 있으면, 소정의 연산 처리가, 어느 하나의 제어 유닛에서 행해지게 되어도 좋다. 마찬가지로, 어느 하나의 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통하여 상호 검출 정보를 송수신하여도 좋다.
이상 설명한 차량 제어 시스템(7000)에서, 본 개시의 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템은, 예를 들면, 차외 정보 검출 유닛(7400) 및 촬상부(7410), 또는, 차내 정보 검출 유닛(7500) 및 운전자 상태 검출부(7510)에 적용할 수 있다.
<4. 기타의 실시의 형태>
본 개시에 의한 기술은, 상기 각 실시의 형태의 설명으로 한정되지 않고 여러 가지의 변형 실시가 가능하다.
예를 들면, 상기 각 실시의 형태에서는, 화상 처리 시스템의 한 예로서 타겟 트래킹 시스템의 예를 나타냈지만, 본 기술은 2치화 화상 데이터를 이용하는 그 밖의 센싱 시스템에 널리 적용 가능하다.
예를 들면, 본 기술은 이하와 같은 구성을 취할 수도 있다.
(1)
복수색의 화소를 포함하는 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 화상 처리 장치.
(2)
상기 2치화 처리부는,
상기 조정 파라미터가 승산된 상기 화상 데이터에서의 상기 화소마다 색성분을 비교하고, 상기 특정색의 화소 데이터를 추출하는 특정색 추출부를 갖는 상기 (1)에 기재된 화상 처리 장치.
(3)
상기 2치화 처리부는,
상기 조정 파라미터가 승산된 상기 화상 데이터에 대해, 상기 특정색 추출부에 의해 추출된 상기 특정색의 화소 데이터를 1, 상기 특정색 이외의 화소 데이터를 0으로 하는 2치화 처리를 시행한 2치화 화상 데이터를 출력하는 2치화 출력부를 또한 갖는 상기 (2)에 기재된 화상 처리 장치.
(4)
상기 2치화 화상 데이터에 의거하여, 상기 특정색의 타겟을 추미하는 액추에이터를 구동하는 정보를 생성하는 구동 정보 생성부를 또한 구비하는 상기 (3)에 기재된 화상 처리 장치.
(5)
상기 조정부는,
상기 화상 데이터를 상기 화소마다 소정 기간분, 적분하는 적분기와,
상기 적분한 후의 상기 화상 데이터에서의 상기 화소마다의 상기 각 색의 비율을 산출하는 색조정 비율 계산기를 갖는 상기 (1) 내지 (4)의 어느 하나에 기재된 화상 처리 장치.
(6)
복수색의 화소를 포함하는 화소부와,
상기 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 촬상 장치.
(7)
촬상 장치와,
상기 촬상 장치에 대해 특정색의 타겟을 추미하여 촬영시키는 액추에이터를 포함하고,
상기 촬상 장치는,
복수색의 화소를 포함하는 화소부와,
상기 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 상기 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 화상 처리 시스템.
본 출원은, 일본 특허청에서 2016년 6월 17일에 출원된 일본 특허출원 번호 제2016-120965호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여, 여러 가지의 수정, 콤비네이션, 서브 콤비네이션, 및 변경을 상도할 수 있는데, 그들은 첨부의 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (7)

  1. 복수색의 화소를 포함하는 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
    상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
    상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 2치화 처리부는,
    상기 조정 파라미터가 승산된 상기 화상 데이터에서의 상기 화소마다 색성분을 비교하고, 상기 특정색의 화소 데이터를 추출하는 특정색 추출부를 갖는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 2치화 처리부는,
    상기 조정 파라미터가 승산된 상기 화상 데이터에 대해, 상기 특정색 추출부에 의해 추출된 상기 특정색의 화소 데이터를 1, 상기 특정색 이외의 화소 데이터를 0으로 하는 2치화 처리를 시행한 2치화 화상 데이터를 출력하는 2치화 출력부를 또한 갖는 것을 특징으로 하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 2치화 화상 데이터에 의거하여, 상기 특정색의 타겟을 추미하는 액추에이터를 구동하는 정보를 생성하는 구동 정보 생성부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 조정부는,
    상기 화상 데이터를 상기 화소마다 소정 기간분, 적분하는 적분기와,
    상기 적분한 후의 상기 화상 데이터에서의 상기 화소마다의 상기 각 색의 비율을 산출하는 색조정 비율 계산기를 갖는 것을 특징으로 하는 화상 처리 장치.
  6. 복수색의 화소를 포함하는 화소부와,
    상기 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
    상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
    상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것을 특징으로 하는 촬상 장치.
  7. 촬상 장치와,
    상기 촬상 장치에 대해 특정색의 타겟을 추미하여 촬영시키는 액추에이터를 포함하고,
    상기 촬상 장치는,
    복수색의 화소를 포함하는 화소부와,
    상기 화소부로부터의 화상 데이터가 입력되고, 상기 화소마다의 색 레벨을 조정하는 조정 파라미터를 상기 화상 데이터에 승산하는 승산기와,
    상기 화상 데이터에서의 상기 화소마다의 각 색의 비율을 산출하고, 상기 각 색의 비율에 의거하여, 상기 조정 파라미터의 값을 조정하는 조정부와,
    상기 조정 파라미터가 승산된 상기 화상 데이터에 의거하여, 상기 특정색의 타겟 화상을 추출하는 2치화 처리부를 구비하는 것을 특징으로 하는 화상 처리 시스템.
KR1020187029716A 2016-06-17 2017-05-17 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템 KR102392221B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016120965 2016-06-17
JPJP-P-2016-120965 2016-06-17
PCT/JP2017/018538 WO2017217177A1 (ja) 2016-06-17 2017-05-17 画像処理装置、および撮像装置、ならびに画像処理システム

Publications (2)

Publication Number Publication Date
KR20190019904A true KR20190019904A (ko) 2019-02-27
KR102392221B1 KR102392221B1 (ko) 2022-05-02

Family

ID=60663106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029716A KR102392221B1 (ko) 2016-06-17 2017-05-17 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템

Country Status (6)

Country Link
US (1) US11202046B2 (ko)
EP (1) EP3474534B1 (ko)
JP (1) JP6977722B2 (ko)
KR (1) KR102392221B1 (ko)
CN (1) CN109076167A (ko)
WO (1) WO2017217177A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092495A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
US10863155B2 (en) * 2018-12-24 2020-12-08 Gopro, Inc. Reduction of banding artifacts in image processing
CN109299711B (zh) * 2018-12-25 2019-04-05 常州纺织服装职业技术学院 颜色跟踪方法和装置
CN109961450B (zh) * 2019-02-19 2021-08-24 厦门码灵半导体技术有限公司 图像二值化处理方法、装置、存储介质和电子设备
CN112132861B (zh) * 2020-08-17 2024-04-26 浙江大华技术股份有限公司 一种车辆事故监测方法、***和计算机设备
CN113421183B (zh) * 2021-05-31 2022-09-20 中汽数据(天津)有限公司 车辆环视全景图的生成方法、装置、设备和存储介质
CN113942458B (zh) * 2021-10-29 2022-07-29 禾多科技（北京）有限公司 用于车载摄像头调整***的控制方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01173269A (ja) 1987-12-28 1989-07-07 Fujitsu Ltd 色物***置自動測定装置
JPH0786936A (ja) 1993-09-14 1995-03-31 Nippon Steel Corp Ａ／ｄコンバータ
US20020167596A1 (en) * 2000-12-08 2002-11-14 Nikon Corporation Image signal processing device, digital camera and computer program product for processing image signal
JP2003189129A (ja) 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
JP2003259352A (ja) * 2002-02-26 2003-09-12 Minolta Co Ltd 物体検出装置、物体検出方法、および物体検出プログラム
US20110304719A1 (en) * 2010-06-14 2011-12-15 Sony Corporation Image processing apparatus, image processing method, program, and electronic apparatus
CN102651818A (zh) * 2011-02-28 2012-08-29 索尼公司 图像处理装置、图像处理方法和程序
JP2015115922A (ja) 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
JPH06203157A (ja) * 1992-10-14 1994-07-22 Fujitsu Ltd カラー画像処理方法および装置
JPH09298693A (ja) 1996-05-08 1997-11-18 Fuji Photo Film Co Ltd 電子スチルカメラの記録制御方法
EP1619876A3 (en) * 1997-06-17 2006-02-01 Seiko Epson Corporation Colour image processing apparatus and method
JP4649734B2 (ja) * 2000-12-08 2011-03-16 株式会社ニコン 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
US7633523B2 (en) * 2001-02-09 2009-12-15 Olympus Corporation Image capturing device using correction information for preventing at least a part of correction process from being performed when image data is corrected at an external device
JP2003348601A (ja) * 2002-05-27 2003-12-05 Fuji Photo Film Co Ltd オートホワイトバランス制御方法及び電子カメラ
KR100707269B1 (ko) * 2005-08-18 2007-04-16 삼성전자주식회사 영상의 칼라를 픽셀에 적응적으로 조절할 수 있는칼라조절장치 및 방법
WO2007132652A1 (ja) * 2006-05-12 2007-11-22 Konica Minolta Business Technologies, Inc. 画像処理方法および装置
JP5111789B2 (ja) 2006-06-08 2013-01-09 オリンパスイメージング株式会社 ズームレンズ及びそれを備えた電子撮像装置
JP2008306377A (ja) * 2007-06-06 2008-12-18 Fuji Xerox Co Ltd 色調整装置および色調整プログラム
JP2009193429A (ja) * 2008-02-15 2009-08-27 Mitsubishi Electric Corp 画像読取装置
JP5147994B2 (ja) * 2009-12-17 2013-02-20 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
JP2011203814A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
WO2011148799A1 (ja) * 2010-05-28 2011-12-01 富士フイルム株式会社 撮像装置及びホワイトバランスゲイン算出方法
CN102170640A (zh) * 2011-06-01 2011-08-31 南通海韵信息技术服务有限公司 基于模式库的智能手机端不良内容网站鉴别方法
US9196056B2 (en) * 2013-08-19 2015-11-24 Manufacturing Techniques, Inc. Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
JP2016161763A (ja) * 2015-03-02 2016-09-05 株式会社ジャパンディスプレイ 表示装置
CN105491120A (zh) * 2015-12-01 2016-04-13 小米科技有限责任公司 图片传输的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01173269A (ja) 1987-12-28 1989-07-07 Fujitsu Ltd 色物***置自動測定装置
JPH0786936A (ja) 1993-09-14 1995-03-31 Nippon Steel Corp Ａ／ｄコンバータ
US20020167596A1 (en) * 2000-12-08 2002-11-14 Nikon Corporation Image signal processing device, digital camera and computer program product for processing image signal
JP2003189129A (ja) 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
JP2003259352A (ja) * 2002-02-26 2003-09-12 Minolta Co Ltd 物体検出装置、物体検出方法、および物体検出プログラム
US20110304719A1 (en) * 2010-06-14 2011-12-15 Sony Corporation Image processing apparatus, image processing method, program, and electronic apparatus
CN102651818A (zh) * 2011-02-28 2012-08-29 索尼公司 图像处理装置、图像处理方法和程序
JP2012178788A (ja) * 2011-02-28 2012-09-13 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2015115922A (ja) 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
EP3474534B1 (en) 2023-12-20
US11202046B2 (en) 2021-12-14
CN109076167A (zh) 2018-12-21
WO2017217177A1 (ja) 2017-12-21
KR102392221B1 (ko) 2022-05-02
JP6977722B2 (ja) 2021-12-08
JPWO2017217177A1 (ja) 2019-04-04
EP3474534A4 (en) 2019-10-16
US20190166345A1 (en) 2019-05-30
EP3474534A1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
KR102392221B1 (ko) 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US10704957B2 (en) Imaging device and imaging method
US11895398B2 (en) Imaging device and imaging system
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2022009664A1 (ja) 撮像装置及び撮像方法
US20220148432A1 (en) Imaging system
JP7235906B2 (ja) 固体撮像装置
CN110012215B (zh) 图像处理装置和图像处理方法
US11375137B2 (en) Image processor, image processing method, and imaging device
US20230179879A1 (en) Imaging device and imaging method
CN115668963A (zh) 成像装置和成像方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2024004644A1 (ja) センサ装置
US20230108884A1 (en) Imaging device and imaging method
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法
CN116724562A (zh) 图像处理装置、图像处理方法和图像处理***

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant