JP6381219B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6381219B2 JP6381219B2 JP2014021643A JP2014021643A JP6381219B2 JP 6381219 B2 JP6381219 B2 JP 6381219B2 JP 2014021643 A JP2014021643 A JP 2014021643A JP 2014021643 A JP2014021643 A JP 2014021643A JP 6381219 B2 JP6381219 B2 JP 6381219B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixels
- pixel
- array
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 76
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 31
- 239000003086 colorant Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 44
- 238000000605 extraction Methods 0.000 description 27
- 230000009467 reduction Effects 0.000 description 22
- 238000011161 development Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000011946 reduction process Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
このようなダイナミックレンジの広い撮影を可能にするための処理として、銀塩写真の場合には、現像時に暗室内で行われる覆い焼き処理というものがある。この覆い焼き処理をデジタル画像処理によって実現し、明暗差のある被写体、特に逆光の被写体を補正する技術がある(特許文献1を参照)。以下の説明では、この技術を必要に応じてデジタル覆い焼きと称する。
ここで、非特許文献1に開示された撮像素子を使用して複数の画素の信号を同時に処理するケースとして、例えば、以下のケースを検討する。
まず、1サイクルに6画素の信号を同時に処理するケースを検討する。このケースでは、撮像素子のカラーフィルタにおける色の配列の繰り返しの単位と、同時に処理する画素の数とが同じである。このため、同一のラインで同時に処理される画素に対応するカラーフィルタの色の配列は、サイクルによって変わらない。
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、画像処理装置100の構成の一例を示す図である。画像処理装置100は、例えば、デジタルカメラやデジタルビデオカメラの内部に備わる。
図1に示す画像処理装置100は、主として、覆い焼き処理とその前後の関連する画像処理を行うブロックを有する。図1に示す例では、画像処理装置100は、センサ補正部101、現像画像縮小部102、現像処理部103、覆い焼き補正部104、及び覆い焼きゲイン生成部110を有する。覆い焼きゲイン生成部110は、ウインドウ領域導出部111、輝度抽出部112、画像縮小部113a、113b、画像拡大部114a、114b、及び補正係数演算部115a、115bを更に有する。
センサ補正部101は、入力画像データ180に対してセンサ補正処理を行う。具体的にセンサ補正部101は、シェーディング補正、黒引きノイズ補正、画素欠陥補正等の撮像素子に関連したデータ補正等を行う。
一方、静止画撮影モードで、大きいサイズの出力画像が必要な場合、現像画像縮小部102は、センサ補正処理が行われた画像データに対する縮小処理を行わずに、当該画像データをそのまま現像処理部103に出力する。
ウインドウ領域導出部111は、センサ補正処理が行われた画像データの領域全体から、覆い焼き処理に必要な画像領域(ウインドウ領域)を抽出する。現像処理と覆い焼き処理とで縮小処理やフィルタ処理の内容が異なる場合、ウインドウ領域を現像処理と覆い焼き処理とで異ならせる(現像画像縮小部102で設定するウインドウ領域とウインドウ領域導出部111で抽出するウインドウ領域とを異ならせる)。以下の説明では、ウインドウ領域の左上の画素の水平方向、垂直方向の座標をそれぞれ必要に応じて「水平切り出し座標」、「垂直切り出し座標」と称する。
以上が、覆い焼きゲイン生成部110の構成の一例である。
図2は、輝度抽出部112の構成の一例を示す図である。輝度抽出部112は、覆い焼き処理のために、センサ補正処理が行われた画像データから輝度データ(輝度成分)を導出するものである。
図4(a)は、画素の読み出し順の一例を示す図である。図4(a)において、左上端の画素401からラスター方向に画素を出力する場合、図4(a)のアルファベットAからNの順に撮像素子から画素の信号が読み出される。
図4(b)は、1サイクルあたりに4画素が同時に輝度抽出部112に入力される様子を概念的に示す図である。最初のサイクル(1)でAからDまでの画素の信号が輝度抽出部112に入力される。次に、サイクル(2)でEからHまでの画素の信号が輝度抽出部112に入力される。次に、サイクル(3)でIからLまでの画素の信号が輝度抽出部112に入力される。以下同様にして1サイクルに4画素の信号が同時に輝度抽出部112に入力される。
カラーID配列保持部214は、カラーフィルタにおける色の配列300の単位配列分(垂直方向・水平方向それぞれ1周期分)のカラーIDを保持する。カラーIDは、各カラーフィルタに対応する。図5に示す例では、マス目(画素)内に示されている「0」が緑、「1」が赤、「2」が青を表す。
また、本実施形態では、色を数値化したカラーIDをカラーID配列保持部214に記憶するようにしたが、色を識別する情報であれば、必ずしもカラーIDを記憶する必要はない。
また、本実施形態では、カラーフィルタの単位配列のカラーIDを保持するようにした。しかしながら、記憶容量は大きくなるが、少なくともカラーフィルタの単位配列のカラーIDを保持していれば、その他のカラーIDを保持してもよい。例えば、カラーフィルタの単位配列の4倍((4×M)×(4×N)画素のカラーフィルタの配列)のカラーIDを保持してもよい。
次に、第2の実施形態について説明する。第1の実施形態では、撮像素子から出力される全ての画素の信号を入力画像データとして読み出す場合を例に挙げて説明した。しかしながら、処理時間の短縮や、出力として必要な画素数が小さい場合には、画素の信号を所定の方法で間引いて撮像素子から読み出す場合がある。そこで、本実施形態では、このように画素の信号を間引いて撮像素子から読み出す場合のカラーID配列の選択の方法について説明する。このように本実施形態と第1の実施形態は、カラーID配列保持部214へのカラーIDの保持のさせ方と、カラーID配列保持部214からのカラーIDの読み出し方とが主として異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図5に付した符号と同一の符号を付す等して詳細な説明を省略する。
ここで、撮像素子から出力される画素の信号の読み出し方向は、ラスター方向である場合が多い。そのため、間引きの方向は垂直方向である場合が多い。そこで本実施形態では、垂直方向に1行ずつ間引いて撮像素子から画素の信号を読み出す場合を例に挙げて説明する。
カラーID配列保持部214は、カラーフィルタの色の配列300から、垂直方向に1行ずつ間引いた配列(奇数行の配列)のカラーIDを保持する。図6に示す例でも、図5に示す例と同様に、カラーIDは、各カラーフィルタに対応しており、マス目(画素)内に示されている「0」が緑、「1」が赤、「2」が青を表す。
図6に示すように、カラーフィルタの配列300を間引いて保持することで、簡易な方法で間引き読み出しに対応することができる。尚、図6に示す例では、垂直カウンタ212の最大値は「3」になる。
本実施形態においても、第1の実施形態で説明した変形例を採用することができる。
次に、本発明の第3の実施形態を説明する。第1の実施形態では、カラーフィルタの単位配列のカラーIDを全て保持する場合を例に挙げて説明した。これに対し、本実施形態では、カラーフィルタの単位配列内の色の配列の規則性を利用して、保持するカラーフィルタの配列の(カラーID)の数を削減する。このように本実施形態と第1の実施形態とは、カラーID配列保持部214へのカラーIDの保持のさせ方と、カラーID配列保持部214からのカラーIDの読み出し方とが主として異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図5に付した符号と同一の符号を付す等して詳細な説明を省略する。
図7(a)に示すように本実施形態では、カラーID配列保持部214は、図5に示したカラーIDの配列の最初の2行のみを保持する。それぞれの配列をα、βと呼ぶ。さらに、カラーID選択部213は、垂直方向のカラーID配列を選択するための垂直方向選択セレクタを持つ。カラーID選択部213は、この垂直方向選択セレクタの値に基づいて、垂直方向のカラーID配列を選択する。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- M×N画素(M、Nは、正の整数であり、MとNの少なくとも何れか一方は2以上の整数)の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像に基づいて得られた画像信号を入力する入力手段と、
少なくとも前記M×N画素の各画素に対応する色の配列を記憶する記憶手段と、
前記画像信号のうち、1サイクルで処理される複数の画素の信号のそれぞれに対応する色を、前記記憶手段により記憶された色の配列に基づいて選択する選択手段と、
前記1サイクルで処理される複数の画素の信号に対して、当該画素に対応する色に応じた処理を行う処理手段と、
を有し、
前記選択手段は、前記記憶手段により記憶された色の配列のうち、前記画像信号から間引かれる画素に対応する色の配列に基づく色の選択をしないことを特徴とする画像処理装置。 - 前記1サイクルで処理される複数の画素の数は、前記Mでも前記Nでもないことを特徴とする請求項1に記載の画像処理装置。
- 前記カラーフィルタの前記M×N画素における色の配列は規則性を有し、
前記記憶手段は、前記M×N画素の各画素に対応する色の配列のうち、前記規則性の基礎をなす部分の色の配列と、当該規則性の基礎をなす部分の色の配列を用いて前記M×N画素の各画素に対応する色の配列を導出する方法を示す情報と、を記憶し、
前記選択手段は、前記M×N画素の各画素に対応する色の配列を、前記記憶手段に記憶されている前記規則性の基礎をなす部分の色の配列と前記情報とを用いて導出することを特徴とする請求項1または2に記載の画像処理装置。 - 前記カラーフィルタの前記M×N画素における色の配列は、
水平方向の1つの行の色の配列において、前記M×N画素の水平方向の中心を通る垂直方向の線を軸とする線対称の関係にある画素を相互に入れ替えることにより、その他の少なくとも1つの行の色の配列が得られる配列と、
垂直方向の1つの列の色の配列において、前記M×N画素の垂直方向の中心を通る水平方向の線を軸とする線対称の関係にある画素を相互に入れ替えることにより、その他の少なくとも1つの列の色の配列が得られる配列と、
の少なくとも何れかの配列を含むことを特徴とする請求項3に記載の画像処理装置。 - 前記選択手段は、前記複数の画素の信号として所定の値の信号を入力すると、当該所定の値を有する画素に対応する色を、前記記憶手段により記憶された色の配列に基づいて選択せず、
前記処理手段は、前記色に応じた処理が行われた画素の信号を用いた補間処理を、前記所定の値を有する画素の信号に対する処理として行うことを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。 - 前記記憶手段は、前記色の配列として、色を数値化して示す情報を記憶することを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。
- 前記処理手段は、前記画素の信号に対して、当該画素に対応する色に応じた係数を用いた演算を行って、前記画素の輝度成分を抽出することを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。
- M×N画素(M、Nは、正の整数であり、MとNの少なくとも何れか一方は2以上の整数)の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像に基づいて得られた画像信号を入力する入力工程と、
少なくとも前記M×N画素の各画素に対応する色の配列を記憶する記憶工程と、
前記画像信号のうち、1サイクルで処理される複数の画素の信号のそれぞれに対応する色を、前記記憶工程により記憶された色の配列に基づいて選択する選択工程と、
前記1サイクルで処理される複数の画素の信号に対して、当該画素に対応する色に応じた処理を行う処理工程と、
を有し、
前記選択工程では、前記記憶工程により記憶された色の配列のうち、前記画像信号から間引かれる画素に対応する色の配列に基づく色の選択をしないことを特徴とする画像処理方法。 - 請求項1〜7の何れか1項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021643A JP6381219B2 (ja) | 2014-02-06 | 2014-02-06 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021643A JP6381219B2 (ja) | 2014-02-06 | 2014-02-06 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015149622A JP2015149622A (ja) | 2015-08-20 |
JP6381219B2 true JP6381219B2 (ja) | 2018-08-29 |
Family
ID=53892678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014021643A Expired - Fee Related JP6381219B2 (ja) | 2014-02-06 | 2014-02-06 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6381219B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6395398B2 (ja) * | 2014-03-05 | 2018-09-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11262025A (ja) * | 1998-03-16 | 1999-09-24 | Toshiba Corp | 画像入力装置および画像補正方法 |
WO2001084851A1 (fr) * | 2000-04-12 | 2001-11-08 | Hitachi, Ltd. | Procede, dispositif et systeme de traitement de signal image |
KR20100017626A (ko) * | 2007-06-07 | 2010-02-16 | 소니 주식회사 | 신호 처리 방법 및 신호 처리 장치 |
WO2013001869A1 (ja) * | 2011-06-30 | 2013-01-03 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
-
2014
- 2014-02-06 JP JP2014021643A patent/JP6381219B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015149622A (ja) | 2015-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011041208A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
KR100873880B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP2011171885A (ja) | 画像処理装置及び画像処理方法 | |
EP2847998B1 (en) | Systems, methods, and computer program products for compound image demosaicing and warping | |
JP4649171B2 (ja) | 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム | |
JP6557499B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 | |
JP6381219B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4133283B2 (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
WO2016084253A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2019198008A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JPWO2014156669A1 (ja) | 画像処理装置および画像処理方法 | |
JP5246045B2 (ja) | 動画像処理装置およびそれを用いたビデオカメラ装置 | |
JP2009253760A (ja) | 画像処理装置、画像処理方法及び電子機器 | |
JP2008181017A (ja) | オンスクリーン表示装置、オンスクリーン表示方法及び撮像装置 | |
JP2006094225A (ja) | 画像処理装置、画像処理方法、およびそのプログラム | |
JP6415086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020092288A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006303693A (ja) | 縮小画像の生成機能を備える電子カメラ | |
JP2014086957A (ja) | 画像処理装置及び画像処理方法 | |
WO2016051911A1 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
CN110505435B (zh) | 图像传输方法及其***与图像传送端装置 | |
JP6012167B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
JP5775413B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP2014220626A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |