KR102461610B1 - 화상 처리 장치, 화상 처리 방법, 및 전자 기기 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 전자 기기 Download PDF

Info

Publication number
KR102461610B1
KR102461610B1 KR1020197022220A KR20197022220A KR102461610B1 KR 102461610 B1 KR102461610 B1 KR 102461610B1 KR 1020197022220 A KR1020197022220 A KR 1020197022220A KR 20197022220 A KR20197022220 A KR 20197022220A KR 102461610 B1 KR102461610 B1 KR 102461610B1
Authority
KR
South Korea
Prior art keywords
pixel
unit
temperature
signal
pixel signal
Prior art date
Application number
KR1020197022220A
Other languages
English (en)
Other versions
KR20190133663A (ko
Inventor
히로유키 미즈노
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190133663A publication Critical patent/KR20190133663A/ko
Application granted granted Critical
Publication of KR102461610B1 publication Critical patent/KR102461610B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/374—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H04N5/35563—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 기술은, 대 화소의 화소 신호와 소 화소의 화소 신호를 합성하여 WD 화상을 생성할 때, WD 화상의 화질 열화를 억제할 수 있도록 하는 화상 처리 장치, 화상 처리 방법, 및 전자 기기에 관한 것이다. 본 기술의 제1 측면인 화상 처리 장치는, 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와, 상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와, 온도를 검출하는 온도 검출부와, 검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와, 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부를 구비한다. 본 기술은, 예를 들면, CMOS 이미지 센서에 적용할 수 있다.

Description

화상 처리 장치, 화상 처리 방법, 및 전자 기기
본 기술은, 화상 처리 장치, 화상 처리 방법, 및 전자 기기에 관한 것으로, 특히, 수광 감도가 다른 화소로부터 출력되는 화소 신호를 합성하여 WD(와이드 다이내믹 레인지) 화상을 생성하도록 한 화상 처리 장치, 화상 처리 방법, 및 전자 기기에 관한 것이다.
종래, WD 화상을 생성하는 방법으로서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등의 화소 어레이 상에 감도가 다른 제1 화소와 제2 화소를 설치하고, 각각의 출력으로 이루어진 제1 화상과 제2 화상을 합성하는 방법이 알려져 있다.
여기서, 감도가 다른 화소를 설치하는 방법으로는, 예를 들면, 노광 시간이 긴 화소(이하, 장축 화소라 칭한다)와 짧은 화소(이하, 단축 화소라 칭한다)를 설치하거나, PD(포토 다이오드) 등의 광전 변환부의 사이즈가 큰 화소(이하, 대 화소라 칭한다)와 작은 화소(이하, 소 화소라 칭한다)를 설치하거나 하는 방법이 있다(예를 들면, 특허문헌 1 참조).
일본특허공개 제2004－222154호 공보
장축(長蓄) 화소와 단축(短蓄) 화소를 설치하는 방법에서는, 양 화소의 구조가 동일하고, 양 화소의 온도에 의존할 수 있는 다양한 특성이 공통이기 때문에, 양 화소의 화소 신호를 합성할 때에도 온도를 고려하여 합성할 필요는 생기지 않는다.
한편, 대 화소와 소 화소를 설치하는 방법에서는, 양 화소의 구조가 다르다. 즉, 양 화소의 PD 등의 광전 변환부의 사이즈가 다르고, 양 화소의 온도에 의존하여 변화하는 각종의 특성이 다르다. 여기서, 온도에 의존하여 변화하는 각종의 특성으로서는, 감도 특성, 포화 전하량 Qs, 변환 효율, 백점(white spot) 발생 특성, 흑점(black spot) 발생 특성 등을 들 수 있다. 이하, 이들을 일괄하여 온도 의존 특성이라 부른다.
따라서, 대 화소의 화소 신호와 소 화소의 화소 신호를 합성할 경우, 상술한 온도 의존 특성을 고려하지 않으면, 온도에 따라서는 대 화소의 화소 신호와 소 화소의 화소 신호의 연결부에 단차가 생기거나, 피사체의 휘도의 변화에 대한 화소 신호의 변화가 리니어리티(linearity)를 유지할 수 없거나 하는 일이 일어날 수 있다. 이러한 경우, 생성된 WD 화상 상에 위색(僞色)이 발생하는 등의 화질 열화가 생겨 버린다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것으로, 대 화소의 화소 신호와 소 화소의 화소 신호를 합성하여 WD 화상을 생성할 때, WD 화상의 화질 열화를 억제할 수 있도록 하는 것이다.
본 기술의 제1 측면인 화상 처리 장치는, 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와, 상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와, 온도를 검출하는 온도 검출부와, 검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와, 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부를 구비한다.
본 기술의 제1 측면인 화상 처리 방법은, 화상 처리 장치의 화상 처리 방법에 있어서, 상기 화상 처리 장치에 의한, 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득 스텝과, 상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득 스텝과, 온도를 검출하는 온도 검출 스텝과, 검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정 스텝과, 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성 스텝을 포함한다.
본 기술의 제2 측면인 전자 기기는, 고체 촬상 소자가 탑재된 전자 기기에 있어서, 상기 고체 촬상 소자는, 복수의 제1 화소와 상기 제1 화소보다 사이즈가 작은 복수의 제2 화소가 배치되어 있는 화소부와, 상기 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와, 상기 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와, 온도를 검출하는 온도 검출부와, 검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와, 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부를 구비한다.
본 기술의 제1 및 제2 측면에 있어서는, 제1 화소로부터 출력된 제1 화소 신호가 취득되고, 상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호가 취득되고, 온도가 검출되고, 검출된 상기 온도에 대응하는 합성 게인이 결정되고, 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호가 합성된다.
본 기술의 제1 측면에 따르면, 대 화소의 화소 신호와 소 화소의 화소 신호를 합성한 WD 화상의 화질 열화를 억제할 수 있다.
[도 1] 본 기술을 적용한 화상 처리 장치의 구성예를 나타내는 블록도이다.
[도 2] 온도에 대응하는 온도 의존 보정량의 일례를 나타내는 도면이다.
[도 3] 본 기술을 적용한 화상 처리 장치에 의한 WD 화상 생성 처리를 설명하는 흐름도이다.
[도 4] 60℃에 있어서의 종래의 합성 방법의 결과를 나타내는 도면이다.
[도 5] 105℃에 있어서의 종래의 합성 방법의 결과를 나타내는 도면이다.
[도 6] 105℃에 있어서의 WD 화상 생성 처리의 결과를 나타내는 도면이다.
[도 7] 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
[도 8] 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
[도 9] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
[도 10] 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 기술을 실시하기 위한 최선의 형태(이하, 실시형태라 칭한다)에 대해, 도면을 참조하면서 상세하게 설명한다.
＜본 기술의 실시형태인 화상 처리 장치의 구성예＞
도 1은, 본 기술의 실시형태인 화상 처리 장치의 구성예를 나타내는 블록도이다.
해당 화상 처리 장치는, 화소부(11), 촬상 제어부(12), 온도 검출부(13), 대 화소 신호 처리부(14), 대 화소용 테이블(15), 소 화소 신호 처리부(16), 소 화소용 테이블(17), 합성 게인 결정부(18), 합성 게인 테이블(19), 및 합성부(20)를 갖는다.
화소부(11)는, 수광 감도가 다른 대 화소와 소 화소가 소정의 규칙에 따라 배열된 CMOS 이미지 센서 등의 고체 촬상 소자로 이루어진다. 또한, 대 화소와 소 화소는, R(적색), G(녹색), B(청색) 중 어느 색의 칼라 필터, 또는 가시광 이외의 파장대를 취득하기 위한 필터 중 어느 것을 갖고 있으며, R, G, B 중 어느 색 성분, 또는 가시광 이외의 파장대를 포함하는 화소 신호를 생성한다. 화소부(11)는, 대 화소의 화소 신호를 대 화소 신호 처리부(14)에 출력하고, 소 화소의 화소 신호를 소 화소 신호 처리부(16)에 출력한다. 이하, 대 화소의 화소 신호를 대 화소 신호, 소 화소의 화소 신호를 소 화소 신호라 칭한다.
촬상 제어부(12)는, 화소부(11)의 동작을 제어한다. 특히, 촬상 제어부(12)는, 화소부(11)의 대 화소의 노광 시간과, 소 화소의 노광 시간을 제어하여, 각각을 합성 게인 결정부(18)에 통지한다.
온도 검출부(13)는, 화소부(11)의 온도를 검출하여 대 화소 신호 처리부(14), 소 화소 신호 처리부(16), 및 합성 게인 결정부(18)에 통지한다.
대 화소 신호 처리부(14)는, 화소부(11)로부터 입력되는 대 화소 신호에 대해, 온도에 대응한 소정의 신호 처리를 행하고, 신호 처리가 끝난 대 화소 신호를 합성부(20)에 출력한다.
예를 들면, 대 화소 신호 처리부(14)는, 온도의 변화에 의존하여 변화하는 OB(옵티컬 블랙) 클램프값을 대 화소용 테이블(15)로부터 취득하고, 대 화소 신호에 OB 클램프 처리를 행한다. 또한, 예를 들면, 대 화소 신호 처리부(14)는, 온도의 변화에 의존하여 변화하는 포화 신호량 Qs에 대응하는 미니멈 게인을 대 화소용 테이블(15)로부터 취득하고, 취득한 미니멈 게인을 대 화소 신호에 승산한다.
나아가, 대 화소 신호 처리부(14)는, 대 화소 신호에 승산한 미니멈 게인을 합성 게인 결정부(18)에 통지한다.
대 화소용 테이블(15)에는, 대 화소 신호 처리부(14)에 있어서의 신호 처리에서 이용되는, 대 화소와 소 화소의 온도 의존 특성에 차이가 없다고 상정할 수 있는 45℃를 기준으로 하는 온도 의존의 각종 파라미터가 테이블로서 미리 보관되어 있다. 또한, 테이블 대신에, 온도 의존의 각종 파라미터를, 온도에 대한 함수로서 보관하도록 해도 된다.
소 화소 신호 처리부(16)는, 화소부(11)로부터 입력되는 소 화소 신호에 대하여, 온도에 대응한 소정의 신호 처리를 행하고, 신호 처리가 끝난 대 화소 신호를 합성부(20)에 출력한다.
예를 들면, 소 화소 신호 처리부(16)는, 온도의 변화에 의존하여 변화하는 OB 클램프값을 소 화소용 테이블(17)로부터 취득하고, 소 화소 신호에 OB 클램프 처리를 행한다. 또한, 예를 들면, 소 화소 신호 처리부(16)는, 온도의 변화에 의존하여 변화하는 포화 신호량 Qs에 대응하는 미니멈 게인을 소 화소용 테이블(17)로부터 취득하고, 취득한 미니멈 게인을 소 화소 신호에 승산한다.
나아가, 소 화소 신호 처리부(16)는, 소 화소 신호에 승산한 미니멈 게인을 합성 게인 결정부(18)에 통지한다.
소 화소용 테이블(17)에는, 소 화소 신호 처리부(16)에 있어서의 신호 처리에서 이용되는, 대 화소와 소 화소의 온도 의존 특성에 차이가 없다고 상정할 수 있는 45℃를 기준으로 하는 온도 의존의 각종 파라미터가 테이블로서 미리 보관되어 있다. 또한, 테이블 대신에, 온도 의존의 각종 파라미터를, 온도에 대한 함수로서 보관하도록 해도 된다.
합성 게인 결정부(18)는, 온도 검출부(13)로부터 통지되는 온도에 대응하는, R, G, B의 색 성분마다 다른 온도 의존 보정량을 합성 게인 테이블(19)로부터 취득한다. 또한, 합성 게인 결정부(18)는, 온도 의존 보정량과, 촬상 제어부(12)로부터 통지되는 대 화소와 소 화소 각각의 노광 시간과, 대 화소 신호 처리부(14)로부터 통지되는 미니멈 게인과, 소 화소 신호 처리부(16)로부터 통지되는 미니멈 게인과, 미리 보관 유지하는 45℃ 시의 합성 게인을 다음의 식 (1)에 적용함으로써, 색 성분 마다의 합성 게인을 결정하고, 결정한 합성 게인을 합성부(20)에 통지한다.
Figure 112019077357991-pct00001
합성 게인 테이블(19)에는, 온도에 대응하는 적절한 값이 얻어져 있는 온도 의존 보정량이 테이블로서 미리 보관되어 있다.
도 2는, 온도에 대응하는 온도 의존 보정량의 일례를 나타내고 있다. 이 도 2의 횡축은 온도[℃], 종축은 보정량을 나타내고 있다. 도 2에 있어서는, 기준값으로 하는 45℃에 있어서의 보정량이 1로 되어 있고, 온도가 상승함에 따라 보정량도 서서히 상승하도록 설정되어 있다. 반대로, 기준값으로 하는 45℃보다 온도가 저하하면 보정량도 저하하도록 설정되어 있다.
또한, 대 화소의 노광 시간, 소 화소의 노광 시간, 대 화소의 미니멈 게인, 및 대 화소의 미니멈 게인이 고정값이거나, 온도에 의존하는 변수이거나 할 경우, 합성 게인 테이블(19)에, 온도에 대응하는 온도 의존 보정량을 보관 유지시키는 대신에, 미리 산출한 온도에 대응하는 합성 게인을 보관 유지시키도록 해도 된다.
합성부(20)는, 소정의 신호 처리가 끝난 대 화소 신호와, 소정의 신호 처리가 끝난 소 화소 신호에 합성 게인을 승산한 결과를 합성하여 WD 화상을 생성한다. 예를 들면, 피사체의 휘도가 낮은 쪽으로부터 대 화소 신호가 포화할 때까지는 대 화소 신호를 채용하고, 대 화소가 포화한 휘도 이상의 휘도에 있어서는, 합성 게인을 승산한 소 화소 신호를 채용하도록 하여 WD 화상을 생성한다. 또한 예를 들면, 휘도에 대응한 1 이하의 합성율을 설정하고, 소정의 신호 처리가 끝난 대 화소 신호에 가산율을 승산한 결과와, 소정의 신호 처리가 끝난 소 화소 신호에 합성 게인(1－합성율)을 승산한 결과를 가산하여 WD 화상을 생성한다.
＜본 기술의 실시형태인 화상 처리 장치에 의한 WD 화상 생성 처리＞
도 3은, 당해 화상 처리 장치에 의한 WD 화상 생성 처리를 설명하는 흐름도이다.
스텝(S1)에 있어서, 화소부(11)가 촬상 제어부(12)로부터의 제어에 따라 촬상을 행하고, 대 화소 신호 및 소 화소 신호를 출력한다. 대 화소 신호는 대 화소 신호 처리부(14)에 취득되고, 소 화소 신호는 소 화소 신호 처리부(16)에 취득된다. 스텝(S2)에 있어서, 온도 검출부(13)는, 화소부(11)의 온도를 검출하여 대 화소 신호 처리부(14), 소 화소 신호 처리부(16), 및 합성 게인 결정부(18)에 통지한다.
스텝(S3)에 있어서, 대 화소 신호 처리부(14)는, 화소부(11)로부터 입력된 대 화소 신호에 대해, 온도에 대응한 소정의 신호 처리를 행하고, 신호 처리가 끝난 대 화소 신호를 합성부(20)에 출력한다. 스텝(S4)에 있어서, 소 화소 신호 처리부(16)는, 화소부(11)로부터 입력된 소 화소 신호에 대해, 온도에 대응한 소정의 신호 처리를 행하고, 신호 처리가 끝난 소 화소 신호를 합성부(20)에 출력한다.
스텝(S5)에 있어서, 합성 게인 결정부(18)는, 온도 검출부(13)로부터 통지되는 온도에 대응하는 온도 의존 보정량을 합성 게인 테이블(19)로부터 취득한다. 또한, 합성 게인 결정부(18)는, 온도 의존 보정량과, 촬상 제어부(12)로부터 통지되는 대 화소와 소 화소 각각의 노광 시간과, 대 화소 신호 처리부(14)로부터 통지되는 미니멈 게인과, 소 화소 신호 처리부(16)로부터 통지되는 미니멈 게인과, 미리 보관 유지하는 60℃ 시의 합성 게인을 식 (1)에 적용함으로써 합성 게인을 결정하고, 결정한 합성 게인을 합성부(20)에 통지한다.
스텝(S6)에 있어서, 합성부(20)는, 소정의 신호 처리가 끝난 대 화소 신호와, 소정의 신호 처리가 끝난 소 화소 신호에 합성 게인을 승산한 결과를 합성하여 WD 화상을 생성한다. 이상으로, WD 화상 생성 처리는 종료된다.
＜본 기술의 실시형태인 화상 처리 장치에 의한 WD 화상 생성 처리의 효과＞
상술한 WD 화상 생성 처리에 의한 효과에 대해 설명한다.
도 4는, 대 화소와 소 화소의 온도 의존 특성에 차이가 없다고 상정할 수 있는 온도의 기준값으로 하는 45℃에 있어서, 대 화소와 소 화소의 온도 의존 특성이 고려되고 있지 않은 종래의 방법에 의해, 대 화소 신호와 소 화소 신호를 합성한 경우에 있어서의 피사체의 휘도의 변화와 화소 신호의 레벨의 변화를 나타내고 있다. 도 4에 있어, 실선 RL, GL, BL은 각각 대 화소 신호의 R, G, B 성분을 나타내고, 파선 RS, GS, BS는 각각 합성 게인을 승산한 소 화소 신호의 R, G, B 성분을 나타낸다.
또한, 45℃에 있어서 WD 화상 생성 처리에 의해 대 화소 신호와 소 화소 신호를 합성한 경우도 결과는 도 4와 마찬가지로 된다.
즉, 실선 RL과 파선 RS, 실선 GL과 파선 GS, 실선 BL과 파선 BS가 각각 단차 없이 연결되고, 휘도 변화에 대한 화소 신호 레벨이 리니어리티를 유지할 수 있다.
도 5는, 기준값 45℃를 크게 넘은 105℃에 있어서, 대 화소와 소 화소의 온도 의존 특성이 고려되고 있지 않은 종래의 방법에 의해, 대 화소 신호와 소 화소 신호를 합성한 경우에 있어서의 피사체의 휘도의 변화와 화소 신호의 레벨의 변화를 나타내고 있다. 도 5에 있어서, 실선 RL, GL, BL은 각각 대 화소 신호의 R, G, B 성분을 나타내고, 파선 RS, GS, BS는 각각 합성 게인을 승산한 소 화소 신호의 R, G, B 성분을 나타낸다.
105℃의 경우, 대 화소와 소 화소의 온도 의존 특성에 차이가 생기므로, 도 5에 나타낸 것처럼, 실선 RL과 파선 RS, 실선 GL과 파선 GS, 실선 BL과 파선 BS가 각각 잘 연결되지 않고, 연결부 부근에서 위색이 발생하는 등의 화질 열화가 발생해 버린다.
도 6은, 기준값 45℃를 크게 넘은 105℃에 있어서, 상술한 WD 합성 처리에 의해, 대 화소 신호와 소 화소 신호를 합성한 경우에 있어서의 피사체의 휘도의 변화와 화소 신호의 레벨의 변화를 나타내고 있다. 도 6에 있어서, 실선 RL, GL, BL은 각각 대 화소 신호의 R, G, B 성분을 나타내고, 파선 RS, GS, BS는 각각 합성 게인을 승산한 소 화소 신호의 R, G, B 성분을 나타낸다.
105℃의 경우, 대 화소와 소 화소의 온도 의존 특성에 차이가 생기고 있지만, 소 화소 신호의 승산하는 합성 게인이 온도에 대응하여 결정되고 있으므로, 도 6에 나타낸 것처럼, 실선 RL과 파선 RS, 실선 GL과 파선 GS, 실선 BL과 파선 BS가 각각, 도 5와 비교하여 스무드하게 연결되고, 휘도 변화에 대한 화소 신호 레벨이 리니어리티를 유지할 수 있다. 따라서, 연결부 부근에서의 위색 발생 등의 화질 열화를 억제할 수 있다.
＜변형예＞
상술한 설명에서는, 도 1에 나타낸 화상 처리 장치에 있어서의 화소부(11)를 CMOS 이미지 센서 등의 고체 촬상 소자로 이루어진다고 하였으나, 도 1에 있어서의 화소부(11) 이외의 구성 요소를 고체 촬상 소자에 포함하여 구성해도 된다. 즉, 도 1에 나타낸 모든 구성 요소가 고체 촬상 소자에 포함되도록 구성해도 된다.
＜내시경 수술 시스템에의 응용예＞
본 개시와 관련되는 기술(본 기술)은, 여러가지 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은, 내시경 수술 시스템에 적용되어도 된다.
도 7은, 본 개시와 관련되는 기술(본 기술)이 적용될 수 있는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 7에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 상의 환자(11132)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시한 것처럼, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의, 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경을 이용한 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정 길이의 영역이 환자(11132)의 체강 내로 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성되는 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 당해 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부로 연장 설치되는 라이트 가이드에 의해 당해 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있으며, 관찰 대상으로부터의 반사광(관찰광)은 당해 광학계에 의해 해당 촬상 소자에 집광된다. 당해 촬상 소자에 의해 관찰광이 광전 변환되어, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 당해 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU： Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되며, 내시경(11100) 및 표시 장치(11202)의 동작을 총괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 당해 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 당해 CCU(11201)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 시술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력장치(11204)를 거쳐, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 위해, 기복 튜브(11111)를 거쳐 당해 체강 내로 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로부터 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 당해 방법에 따르면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)의 구동은, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 밝은 부분이 날아가거나 어두운 부분의 뭉개짐이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급할 수 있게 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 높은 콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)이 이루어진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 이루어져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하고 해당 체조직으로부터의 형광을 관찰(자가 형광 관찰)하거나, 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국부적으로 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등을 행할 수 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 8은, 도 7에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되어, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)는, 촬상 소자로 구성된다. 촬상부(11402)를 구성하는 촬상 소자는, 1개(이른바 단판식)이어도 되고, 복수(이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면, 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻을 수 있어도 된다. 또는, 촬상부(11402)는, 3D(Dimensional) 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 좋다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되며, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 거쳐 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하여, 카메라 헤드 제어부(11405)에 공급한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되고 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 거쳐 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 거쳐 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해서, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기 통신이나 광 통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 실시한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및 시술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 실시된 화상 신호에 기초하여, 시술부 등이 찍힌 촬상 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식해도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트(mist) 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에게 제시됨으로써, 시술자(11131)의 부담을 경감하는 것이나, 시술자(11131)가 확실히 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)을 이용하여 유선으로 통신이 이루어지고 있었지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 이루어져도 된다.
이상, 본 개시와 관련되는 기술이 적용될 수 있는 내시경 수술 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 가운데, 예를 들면, 내시경(11100)이나, 카메라 헤드(11102)(의 촬상부(11402)), CCU(11201)(의 화상 처리부(11412) 등)에 적용할 수 있다.
＜이동체에의 응용예＞
본 개시와 관련되는 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 임의의 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 9는, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 9에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)로 하여금 차외의 화상을 촬상하도록 시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는, 광을 수광하여, 그 광의 수광량에 따른 전기신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해서 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 이탈 경고 등을 포함하는 ADAS(Adｖanced Driｖer Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해서 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해서, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치에 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 9의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 10은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 10에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글라스의 상부 등의 위치에 설치된다. 프런트노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글라스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)로 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 10에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 나타내어져 있다. 촬상 범위(12111)는, 프런트노즈에 설치된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상이 얻어진다.
촬상부(12101 내지 12104) 중 적어도 하나는, 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에서 앞에 미리 확보해야 할 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함한다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때는, 오디오 스피커(12061)나 표시부(12062)를 거쳐 드라이버에게 경보를 출력하거나, 구동계 제어 유닛(12010)을 거쳐 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 순서에 의해 이루어진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시와 관련되는 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 중, 예를 들면, 촬상부(12031) 등에 적용될 수 있다.
또한, 본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에 있어 각종의 변경이 가능하다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
화상 처리 장치로서,
제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와,
상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와,
온도를 검출하는 온도 검출부와,
검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와,
상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부
를 구비하는,
화상 처리 장치.
(2)
상기 (1)에 있어서,
복수의 상기 제1 화소와 복수의 상기 제2 화소가 배치되어 있는 화소부를 더 구비하는,
화상 처리 장치.
(3)
상기 (1) 또는 (2)에 있어서,
상기 제1 화소와 상기 제2 화소는, 온도 의존 특성이 다른,
화상 처리 장치.
(4)
상기 (1) 내지 (3) 중 어느 하나에 있어서,
온도에 대응지어서 온도 의존 보정량을 보유하는 테이블을 더 구비하고,
상기 합성 게인 결정부는, 상기 테이블로부터, 검출된 상기 온도에 대응하는 상기 온도 의존 보정량을 취득하고, 취득한 상기 온도 의존 보정량을 이용하여 상기 합성 게인을 산출하는,
화상 처리 장치.
(5)
상기 (1) 내지 (3) 중 어느 하나에 있어서,
온도에 대응지어서 상기 합성 게인을 보유 지지하는 테이블을 더 구비하고,
상기 합성 게인 결정부는, 상기 테이블로부터, 검출된 상기 온도에 대응하는 상기 합성 게인을 취득하는,
화상 처리 장치.
(6)
상기 (1) 내지 (5) 중 어느 하나에 있어서,
상기 제1 화소 신호에 소정의 신호 처리를 행하는 제1 신호 처리부와,
상기 제2 화소 신호에 소정의 신호 처리를 행하는 제2 신호 처리부
를 더 구비하고,
상기 합성부는, 상기 소정의 신호 처리가 끝난 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 소정의 신호 처리가 끝난 상기 제2 화소 신호를 합성하는,
화상 처리 장치.
(7)
상기 (6)에 있어서,
상기 제1 신호 처리부 또는 상기 제2 신호 처리부 중 적어도 일방은, 검출된 상기 온도에 대응하는 OB(옵티컬 블랙) 클램프 처리를 행하는,
화상 처리 장치.
(8)
상기 (6) 또는 (7)에 있어서,
상기 제1 신호 처리부 또는 상기 제2 신호 처리부 중 적어도 일방은, 검출된 상기 온도에 대응하는 미니멈 게인을 승산하는 처리를 행하는,
화상 처리 장치.
(9)
화상 처리 장치의 화상 처리 방법에 있어서,
상기 화상 처리 장치에 의한,
제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득 스텝과,
상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득 스텝과,
온도를 검출하는 온도 검출 스텝과,
검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정 스텝과,
상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성 스텝
을 포함하는 화상 처리 방법.
(10)
고체 촬상 소자가 탑재된 전자 기기에 있어서,
상기 고체 촬상 소자는,
복수의 제1 화소와 상기 제1 화소보다 사이즈가 작은 복수의 제2 화소가 배치되어 있는 화소부와,
상기 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와,
상기 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와,
온도를 검출하는 온도 검출부와,
검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와,
상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부를 구비하는,
전자 기기.
11: 화소부
12: 촬상 제어부
13: 온도 검지부
14: 대 화소 신호 처리부
15: 대 화소용 테이블
16: 소 화소 신호 처리부
17: 소 화소용 테이블
18: 합성 게인 결정부
19: 합성 테이블
20: 합성부

Claims (10)

  1. 화상 처리 장치로서,
    제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와,
    상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와,
    온도를 검출하는 온도 검출부와,
    검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와,
    상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부와,
    복수의 상기 제1 화소와 복수의 상기 제2 화소가 배치되어 있는 화소부와,
    상기 제1 화소 신호에 소정의 신호 처리를 행하는 제1 신호 처리부와,
    상기 제2 화소 신호에 소정의 신호 처리를 행하는 제2 신호 처리부
    를 구비하고,
    상기 합성부는, 상기 소정의 신호 처리가 끝난 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 소정의 신호 처리가 끝난 상기 제2 화소 신호를 합성하며,
    상기 제1 신호 처리부와 상기 제2 신호 처리부 중 적어도 일방은, 검출된 상기 온도에 따른 OB(옵티컬 블랙) 클램프값에 대응하는 OB 클램프 처리를 행하는,
    화상 처리 장치.
  2. 화상 처리 장치로서,
    제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와,
    상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와,
    온도를 검출하는 온도 검출부와,
    검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와,
    상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부와,
    복수의 상기 제1 화소와 복수의 상기 제2 화소가 배치되어 있는 화소부와,
    상기 제1 화소 신호에 소정의 신호 처리를 행하는 제1 신호 처리부와,
    상기 제2 화소 신호에 소정의 신호 처리를 행하는 제2 신호 처리부
    를 구비하고,
    상기 합성부는, 상기 소정의 신호 처리가 끝난 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 소정의 신호 처리가 끝난 상기 제2 화소 신호를 합성하며,
    상기 제1 신호 처리부와 상기 제2 신호 처리부 중 적어도 일방은, 검출된 상기 온도에 따른 포화신호량에 대응하는 미니멈 게인을 승산하는 처리를 행하는,
    화상 처리 장치.
  3. 삭제
  4. 제1항 또는 제2항에 있어서,
    온도에 대응지어서 온도 의존 보정량을 보유하는 테이블을 더 구비하고,
    상기 합성 게인 결정부는, 상기 테이블로부터, 검출된 상기 온도에 대응하는 상기 온도 의존 보정량을 취득하고, 취득한 상기 온도 의존 보정량을 이용하여 상기 합성 게인을 산출하는,
    화상 처리 장치.
  5. 제1항 또는 제2항에 있어서,
    온도에 대응지어서 상기 합성 게인을 보유 지지하는 테이블을 더 구비하고,
    상기 합성 게인 결정부는, 상기 테이블로부터, 검출된 상기 온도에 대응하는 상기 합성 게인을 취득하는,
    화상 처리 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 화상 처리 장치의 화상 처리 방법에 있어서,
    상기 화상 처리 장치에 의한,
    제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득 스텝과,
    상기 제1 화소보다 사이즈가 작은 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득 스텝과,
    온도를 검출하는 온도 검출 스텝과,
    검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정 스텝과,
    상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성 스텝을 포함하고,
    상기 제1 화소 신호에 소정의 신호 처리를 행하는 제1 신호 처리 스텝과,
    상기 제2 화소 신호에 소정의 신호 처리를 행하는 제2 신호 처리 스텝을 더 포함하고,
    상기 제1 신호 처리 스텝과 상기 제2 신호 처리 스텝 중 적어도 하나의 스텝에서는, 검출된 상기 온도에 따른 OB(옵티컬 블랙) 클램프값에 대응하는 OB 클램프 처리 또는 검출된 상기 온도에 따른 포화신호량에 대응하는 미니멈 게인을 승산하는 처리를 행하는,
    화상 처리 방법.
  10. 고체 촬상 소자가 탑재된 전자 기기에 있어서,
    상기 고체 촬상 소자는,
    복수의 제1 화소와 상기 제1 화소보다 사이즈가 작은 복수의 제2 화소가 배치되어 있는 화소부와,
    상기 제1 화소로부터 출력된 제1 화소 신호를 취득하는 제1 취득부와,
    상기 제2 화소로부터 출력된 제2 화소 신호를 취득하는 제2 취득부와,
    온도를 검출하는 온도 검출부와,
    검출된 상기 온도에 대응하는 합성 게인을 결정하는 합성 게인 결정부와,
    상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 제2 화소 신호를 합성하는 합성부와,
    상기 제1 화소 신호에 소정의 신호 처리를 행하는 제1 신호 처리부와,
    상기 제2 화소 신호에 소정의 신호 처리를 행하는 제2 신호 처리부
    를 구비하고,
    상기 합성부는, 상기 소정의 신호 처리가 끝난 상기 제1 화소 신호와, 상기 합성 게인을 승산한 상기 소정의 신호 처리가 끝난 상기 제2 화소 신호를 합성하며,
    상기 제1 신호 처리부와 상기 제2 신호 처리부 중 적어도 일방은, 검출된 상기 온도에 따른 포화신호량에 대응하는 미니멈 게인을 승산하는 처리 또는 검출된 상기 온도에 따른 포화신호량에 대응하는 미니멈 게인을 승산하는 처리를 행하는,
    전자 기기.
KR1020197022220A 2017-03-28 2018-03-15 화상 처리 장치, 화상 처리 방법, 및 전자 기기 KR102461610B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017062306A JP2018166242A (ja) 2017-03-28 2017-03-28 画像処理装置、画像処理方法、および電子機器
JPJP-P-2017-062306 2017-03-28
PCT/JP2018/010162 WO2018180528A1 (ja) 2017-03-28 2018-03-15 画像処理装置、画像処理方法、および電子機器

Publications (2)

Publication Number Publication Date
KR20190133663A KR20190133663A (ko) 2019-12-03
KR102461610B1 true KR102461610B1 (ko) 2022-10-31

Family

ID=63675558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022220A KR102461610B1 (ko) 2017-03-28 2018-03-15 화상 처리 장치, 화상 처리 방법, 및 전자 기기

Country Status (5)

Country Link
US (3) US10951841B2 (ko)
JP (1) JP2018166242A (ko)
KR (1) KR102461610B1 (ko)
CN (2) CN110447221B (ko)
WO (1) WO2018180528A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018166242A (ja) * 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器
JP2020174149A (ja) * 2019-04-12 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 受光装置、撮像装置および距離測定装置
KR102195072B1 (ko) * 2019-07-09 2020-12-24 주식회사 허브테크 열화상 카메라 시스템 및 그 구동 방법
WO2023136134A1 (ja) * 2022-01-12 2023-07-20 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および信号処理方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222184A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2007214932A (ja) * 2006-02-10 2007-08-23 Sharp Corp 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100363826B1 (ko) * 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
US7443431B2 (en) * 2002-09-13 2008-10-28 Eastman Kodak Company Fixed pattern noise removal in CMOS imagers across various operational conditions
JP4004943B2 (ja) * 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置
US7598986B2 (en) * 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
JP4051674B2 (ja) 2003-01-17 2008-02-27 富士フイルム株式会社 撮像装置
JP2005051695A (ja) * 2003-07-31 2005-02-24 Fuji Photo Film Co Ltd 画像合成方法及び固体撮像装置並びにデジタルカメラ
DE102005043048A1 (de) * 2005-09-09 2007-03-22 Siemens Ag Verfahren zur Korrektur eines Bilddatensatzes sowie Verfahren zur Erstellung eines Bildes
JP2007259344A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 撮像装置および画像処理方法
JP2007288522A (ja) * 2006-04-17 2007-11-01 Fujifilm Corp 撮像装置及び固体撮像素子駆動方法
CN101444084B (zh) * 2006-05-09 2012-02-15 夏普株式会社 摄像装置
JP2012222742A (ja) * 2011-04-13 2012-11-12 Sony Corp 撮像素子および撮像装置
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP6150502B2 (ja) * 2012-11-28 2017-06-21 キヤノン株式会社 撮像装置及びその制御方法
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
WO2015084991A1 (en) * 2013-12-04 2015-06-11 Rambus Inc. High dynamic-range image sensor
KR20150128168A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
JP6370207B2 (ja) * 2014-12-17 2018-08-08 オリンパス株式会社 撮像装置、画像処理装置、撮像方法、およびプログラム
JP2018166242A (ja) * 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222184A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2007214932A (ja) * 2006-02-10 2007-08-23 Sharp Corp 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム

Also Published As

Publication number Publication date
US20200014865A1 (en) 2020-01-09
US20210168310A1 (en) 2021-06-03
US11750932B2 (en) 2023-09-05
US10951841B2 (en) 2021-03-16
KR20190133663A (ko) 2019-12-03
CN115225813A (zh) 2022-10-21
US11553143B2 (en) 2023-01-10
JP2018166242A (ja) 2018-10-25
CN110447221B (zh) 2022-06-14
CN110447221A (zh) 2019-11-12
WO2018180528A1 (ja) 2018-10-04
US20230085852A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
JP7022057B2 (ja) 撮像装置
CN110622315B (zh) 成像装置、固态图像传感器和电子设备
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
CN110573922B (zh) 摄像装置和电子设备
US11936979B2 (en) Imaging device
JP7123908B2 (ja) 固体撮像素子、電子機器、および半導体装置
US11082654B2 (en) Solid-state imaging element and electronic
WO2021029252A1 (ja) 撮像装置および撮像方法
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
WO2021075116A1 (ja) 固体撮像装置及び電子機器
JPWO2020100697A1 (ja) 固体撮像素子、固体撮像装置及び電子機器
WO2022254845A1 (ja) 信号処理方法、信号処理装置および撮像装置
JP2023077673A (ja) 光検出装置及び電子機器
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant