JP7039639B2 - 画像処理装置、撮像装置、および画像処理方法 - Google Patents
画像処理装置、撮像装置、および画像処理方法 Download PDFInfo
- Publication number
- JP7039639B2 JP7039639B2 JP2020040819A JP2020040819A JP7039639B2 JP 7039639 B2 JP7039639 B2 JP 7039639B2 JP 2020040819 A JP2020040819 A JP 2020040819A JP 2020040819 A JP2020040819 A JP 2020040819A JP 7039639 B2 JP7039639 B2 JP 7039639B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- visible light
- saturation
- saturated
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 175
- 238000003672 processing method Methods 0.000 title claims description 4
- 229920006395 saturated elastomer Polymers 0.000 claims description 102
- 238000000034 method Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
求めることは、農作物の生育観察やリモートセンシングに有用である。
可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とが入力される入力部と、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定部と、
飽和している可視光画素を検出する検出部と、
飽和している可視光画素に適用する飽和処理を、前記判定部の判定結果に基づいて切り替える切替部と、
を備える、画像処理装置である。
可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近
赤外光画素の画像信号とを入力する入力ステップと、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定ステップと、
飽和している可視光画素を検出する検出ステップと、
飽和している可視光画素に適用する飽和処理を、前記判定ステップでの判定結果に基づいて切り替える切替ステップと、
を含む、画像処理方法である。
(全体構成)
図1は、本発明の一実施形態に係る画像処理装置の構成例を示した図であり、画像処理装置に撮像部が設けられている。本実施形態の画像処理装置は撮像装置とも捉えられる。本発明の別の実施形態としては、別体の撮像部からの信号を入力する画像処理部のみから構成される画像処理装置もありうる。
和処理適用部114を備える。これらの各部は、ASICのような専用のハードウェア回路によって実現されてもよいし、CPUのような汎用プロセッサーがプログラムを実行することにより実現されてもよい。
づいて切り替える。具体的には、飽和処理切替部113は、飽和画素の近傍の赤外光画素の出力信号がレベル判定閾値より小さければ第1の飽和処理を選択し、レベル判定閾値よりも大きければ第2の飽和処理を選択する。
図2Aおよび図2Bは、第一の実施形態の撮像部101から入力する画像情報の説明図である。
図4A~図6Cを用いて、可視光画像において飽和が生じる場合の問題点について説明する。ここでは、図2Aで説明した可視光画素と近赤外光画素を含む撮像素子203を用いてリンゴを撮像した例を用いて説明する。
している。704,705,706は、近赤外光成分減算後の赤(R)、緑(G)、青(B)各可視光画像信号604,605,606に対して、ホワイトバランス係数を乗算した値となっている。
図1を参照しながら、図7~図9を用いて、第一の実施形態の動作を説明する。図7は第一の実施形態における可視光画素の出力信号からカラー画像信号を生成するためのフローであり、図8~図9は、その動作を説明するための信号レベルを示した説明図である。
い値となっている。
なっている。
(全体構成)
図10は、第2の実施形態に係る画像処理装置1800の構成例を示す。第1の実施形態と同様に、画像処理装置1800は、撮像部101と画像処理部1804から構成される。以下の説明において、第1の実施形態と同様の構成に対しては同一の符号を付して、繰り返しの説明は省略する。
素フラグ検出部1815を追加で有する点が異なる。また、第2の飽和処理部1812および飽和処理適用部1817の処理内容が、第1の実施形態における第2の飽和処理部112および飽和処理適用部114と異なる。
図10および図11を参照しながら、第2の実施形態の動作を説明する。図11は、第2の実施形態における可視光画素の出力信号からカラー画像信号を生成するためのフローである。
る場合(S1909-YES)は、処理はステップS1912に進む。ステップS1912では、近赤外光レベル判定部107が、可視光画素の近傍の近赤外光画像信号のレベル判定、すなわち判定閾値との比較を行う。レベル判定結果に基づく制御信号は、飽和処理切替部113に入力される。ステップ1913において、飽和処理切替部113は、ステップS1912の判定結果にしたがって、飽和処理を切り替える。飽和処理切替部113は、IR画素信号が低レベル、すなわち判定閾値以下であれば、第1の飽和処理部111による第1の飽和処理(クリップ処理)を選択する。一方、IR画素信号が高レベル、すなわち判定閾値より大きければ、第2の飽和処理部1812による第2の飽和処理(色補正処理)を選択する。
適用する飽和処理の内容は、上記第1および第2の実施形態で説明した処理に限定されない。近赤外光のレベルが高いときに適用する第2の飽和処理は、飽和画素の周囲の画素の画素値に基づいて飽和画素の画素値を決定する処理であれば、上記で説明した以外の処理であっても構わない。例えば、飽和画素の周囲の画素の画素値から、あらかじめ構築されたデータベースを用いて飽和画素の色情報を推定して、飽和画素の色情報を当該透いてされた色情報に置換してもよい。あるいは、周囲の画素値から中心画素の色情報を推定するようにあらかじめ機械学習された学習モデルを用いて、当該学習モデルに飽和画素の周囲の画素の画素値を入力して得られる色情報で、飽和画素の色情報を置換してもよい。
た、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
105:近赤外光画像信号入力部
106:可視光画像信号入力部
107:近赤外光レベル判定部
108:飽和画素検出部
109:近赤外成分減算部
113:飽和処理切替部
Claims (17)
- 可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とが入力される入力部と、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定部と、
飽和している可視光画素を検出する検出部と、
飽和している可視光画素に適用する飽和処理を、前記判定部の判定結果に基づいて切り替える切替部と、
を備える、画像処理装置。 - 前記切替部は、
前記近赤外光画素の出力信号が閾値より小さい場合には、飽和している可視光画素の各色の画素値を所定の値に置換する第1の飽和処理を選択し、
前記近赤外光画素の出力信号が閾値より大きい場合には、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素の画素値に基づいて決定する第2の飽和処理を選択する、
請求項1に記載の画像処理装置。 - 前記センサは、第1の可視光画素、第2の可視光画素、第3の可視光画素を有するグループを複数有しており、
前記第1の飽和処理は、飽和している可視光画素の画素値を、同じグループ内のいずれかの1つの可視光画素の画素値と同じ値に置換する処理である、
請求項2に記載の画像処理装置。 - 前記第2の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素であり、かつ、飽和していない画素の画素値に基づいて決定する処理である、
請求項3に記載の画像処理装置。 - 前記第2の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の複数の可視光画素から補間によって得られる画素値に置換する処理である、
請求項3または4に記載の画像処理装置。 - 前記第2の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素の色情報に基づいて補正する処理である、
請求項3または4に記載の画像処理装置。 - 前記第2の飽和処理は、前記周囲の可視光画素の色度と同じ色度になるように、飽和している可視光画素の画素値を補正する処理である、
請求項6に記載の画像処理装置。 - 前記可視光画素の画像信号の画素値に色に応じたゲインをかけるホワイトバランス処理を行うホワイトバランス処理部と、
前記切替部によって選択された飽和処理を、前記ホワイトバランス処理後の画像信号に対して適用する飽和処理適用部と、
をさらに備える、
請求項1から7のいずれか1項に記載の画像処理装置。 - 前記飽和処理適用部は、飽和している可視光画素に対しては前記切替部によって選択された飽和処理を適用し、飽和していない可視光画素に対しては前記ホワイトバランス処理
後の画像信号をそのまま出力する、
請求項8に記載の画像処理装置。 - 前記検出部の検出結果は、前記飽和処理適用部に入力され、
前記飽和処理適用部は、前記検出結果に基づいて、可視光画素に対して飽和処理を適用するか否かを決定する、
請求項9に記載の画像処理装置。 - 前記検出部は、可視光画素が飽和しているか否かを示す情報を、前記可視光画素の画像信号に付加し、
前記飽和処理適用部は、前記可視光画素の画像信号に付加されている前記情報に基づいて、可視光画素に対して飽和処理を適用するか否かを決定する、
請求項9に記載の画像処理装置。 - 前記可視光画素の出力信号から、当該可視光画素の近傍の赤外光画素の出力値を減算する減算部をさらに備え、
前記赤外光画素の出力値が減算された前記可視光画素の出力信号に対して、前記ホワイトバランス処理が行われる、
請求項8から11のいずれか1項に記載の画像処理装置。 - 可視光画素と近赤外光画素を含むセンサと、
請求項1から12のいずれか1項に記載の画像処理装置と、
を備える撮像装置。 - 前記センサには、前記可視光画素と前記近赤外光画素が同一面上に配置されている、
請求項13に記載の撮像装置。 - 前記センサに入射される光から、近赤外領域の波長帯のうち、可視光画素の受光感度と近赤外光画素の受光感度が異なる波長帯を除去するバンドカットフィルタをさらに備える、
請求項13または14に記載の撮像装置。 - 可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とを入力する入力ステップと、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定ステップと、
飽和している可視光画素を検出する検出ステップと、
飽和している可視光画素に適用する飽和処理を、前記判定ステップでの判定結果に基づいて切り替える切替ステップと、
を含む、画像処理方法。 - 請求項16に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040819A JP7039639B2 (ja) | 2020-03-10 | 2020-03-10 | 画像処理装置、撮像装置、および画像処理方法 |
US17/195,754 US11943518B2 (en) | 2020-03-10 | 2021-03-09 | Image processing apparatus, imaging apparatus, and image processing method |
CN202110259106.3A CN113382215A (zh) | 2020-03-10 | 2021-03-10 | 图像处理装置、成像装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040819A JP7039639B2 (ja) | 2020-03-10 | 2020-03-10 | 画像処理装置、撮像装置、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021145167A JP2021145167A (ja) | 2021-09-24 |
JP7039639B2 true JP7039639B2 (ja) | 2022-03-22 |
Family
ID=77570621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040819A Active JP7039639B2 (ja) | 2020-03-10 | 2020-03-10 | 画像処理装置、撮像装置、および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11943518B2 (ja) |
JP (1) | JP7039639B2 (ja) |
CN (1) | CN113382215A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014165528A (ja) | 2013-02-21 | 2014-09-08 | Clarion Co Ltd | 撮像装置 |
JP2017046204A (ja) | 2015-08-27 | 2017-03-02 | クラリオン株式会社 | 撮像装置 |
JP2018107817A (ja) | 2014-06-24 | 2018-07-05 | マクセル株式会社 | 撮像処理装置および撮像処理方法 |
JP2019062286A (ja) | 2017-09-25 | 2019-04-18 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004016400A2 (en) * | 2002-08-16 | 2004-02-26 | Evolution Robotics, Inc. | Systems and methods for the automated sensing of motion in a mobile robot using visual data |
JP4949806B2 (ja) * | 2006-11-10 | 2012-06-13 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置及び画像信号処理装置 |
JP2010093472A (ja) | 2008-10-07 | 2010-04-22 | Panasonic Corp | 撮像装置および撮像装置用信号処理回路 |
JP2011239259A (ja) | 2010-05-12 | 2011-11-24 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2012029269A (ja) | 2010-06-21 | 2012-02-09 | Sanyo Electric Co Ltd | 撮像装置および投写型映像表示装置 |
JP2012024344A (ja) * | 2010-07-23 | 2012-02-09 | Canon Inc | X線撮影装置、x線撮影方法、プログラム及びコンピュータ記録媒体 |
US9245332B2 (en) * | 2011-03-09 | 2016-01-26 | Alcatel Lucent | Method and apparatus for image production |
JP6164849B2 (ja) * | 2013-01-18 | 2017-07-19 | キヤノン株式会社 | 信号処理装置、撮像装置、および、撮像システム |
KR102171387B1 (ko) * | 2014-03-06 | 2020-10-28 | 삼성전자주식회사 | 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법 |
CN107405093A (zh) | 2015-04-08 | 2017-11-28 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法和程序 |
CN108600725B (zh) | 2018-05-10 | 2024-03-19 | 浙江芯劢微电子股份有限公司 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
KR102610542B1 (ko) * | 2019-03-07 | 2023-12-07 | 삼성전자주식회사 | 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법 |
-
2020
- 2020-03-10 JP JP2020040819A patent/JP7039639B2/ja active Active
-
2021
- 2021-03-09 US US17/195,754 patent/US11943518B2/en active Active
- 2021-03-10 CN CN202110259106.3A patent/CN113382215A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014165528A (ja) | 2013-02-21 | 2014-09-08 | Clarion Co Ltd | 撮像装置 |
JP2018107817A (ja) | 2014-06-24 | 2018-07-05 | マクセル株式会社 | 撮像処理装置および撮像処理方法 |
JP2017046204A (ja) | 2015-08-27 | 2017-03-02 | クラリオン株式会社 | 撮像装置 |
JP2019062286A (ja) | 2017-09-25 | 2019-04-18 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US11943518B2 (en) | 2024-03-26 |
JP2021145167A (ja) | 2021-09-24 |
CN113382215A (zh) | 2021-09-10 |
US20210289149A1 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102170410B1 (ko) | 이중 모드 영상들을 획득하기 위한 장치 | |
JP5250342B2 (ja) | 画像処理装置およびプログラム | |
JP6568719B2 (ja) | 撮像方法及び撮像装置 | |
RU2381737C2 (ru) | Устройство для наблюдения биологических объектов | |
US8754957B2 (en) | Image processing apparatus and method | |
US9095269B2 (en) | Image processing device, image processing method, and program | |
US10171757B2 (en) | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter | |
US10039439B2 (en) | Endoscope system and method for operating the same | |
JP6367683B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
JP2018514335A (ja) | カラーイメージセンサを用いた組織のレーザスペックルイメージングのための方法及びシステム | |
JP6484504B2 (ja) | 撮像装置 | |
KR20070102399A (ko) | 촬상 장치 | |
EP3756532B1 (en) | Endoscope system | |
US10052015B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP2016192985A (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
US20200121175A1 (en) | Image processing device, endoscope apparatus, and operating method of image processing device | |
JP7039639B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
WO2018235179A1 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
CN111970954B (zh) | 医疗图像处理*** | |
JP6613028B2 (ja) | 撮像装置 | |
WO2022014258A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
US10249020B2 (en) | Image processing unit, imaging device, computer-readable medium, and image processing method | |
WO2014208188A1 (ja) | 画像処理装置及び画像処理方法 | |
JP6585623B2 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
CN111345902B (zh) | 用于创建发萤光的荧光团的hdr单色图像的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7039639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |