JP2016197377A - 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 - Google Patents
画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 Download PDFInfo
- Publication number
- JP2016197377A JP2016197377A JP2015077914A JP2015077914A JP2016197377A JP 2016197377 A JP2016197377 A JP 2016197377A JP 2015077914 A JP2015077914 A JP 2015077914A JP 2015077914 A JP2015077914 A JP 2015077914A JP 2016197377 A JP2016197377 A JP 2016197377A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- background
- candidate
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003702 image correction Methods 0.000 title claims abstract description 62
- 238000004590 computer program Methods 0.000 title claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 56
- 238000009499 grossing Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 23
- 238000005286 illumination Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000009467 reduction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910019687 S105-No Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる画像補正用コンピュータプログラムを提供する。【解決手段】画像補正用コンピュータプログラムは、前景と背景とを含む被写体が写った画像の各画素に対して、その画素を含む領域内の画素値の分布に応じてその画素が前景が写っている候補となる前景候補画素か背景が写っている候補となる背景候補画素かを判定し、前景候補画素のそれぞれについて、その前景候補画素の画素値を、背景候補画素の何れかの画素値で置換した背景補間画像を生成し、背景補間画像を平滑化して平滑化画像を生成し、補正画像の各画素の画素値を、平滑化画像の対応画素の画素値に対する画像の対応画素の画素値の比に応じた値として算出することで補正画像を生成することをコンピュータに実行させるための命令を有する。【選択図】図10
Description
本発明は、例えば、画像に写っている被写体のコントラストを補正する画像補正用コンピュータプログラム、画像補正装置及び画像補正方法に関する。
被写体を撮影する際に、被写体の一部が照明され、被写体の他の一部に影がかかっていることがある。このような場合、得られた画像上では、被写体のうちの照明された部分の輝度と、影が掛かった部分の輝度の差が大き過ぎて、何れか一方の部分が識別し難くなることがある。そこで、ダイナミックレンジを圧縮することで、被写体のコントラストを改善できる技術が提案されている(例えば、特許文献1を参照)。
例えば、特許文献1に開示された方法は、i番目のスペクトル帯域における各位置(x,y)における強度値I(x,y)にN個の周囲視野関数のそれぞれを畳み込んで得られた値に対する強度値I(x,y)の比の対数の重み付け和を調整された強度値として算出する。そしてその方法は、i番目のスペクトル帯域における各位置における調整された強度値を共通関数でフィルタリングすることで得られた、i番目のスペクトル帯域に対して調整された強度値に基づいて改善されたディジタル画像を表示する。
しかしながら、被写体が媒体に印刷された文書のように、前景(例えば、文字)の幅が狭いと、画像上では、前景の幅が1画素前後となることがある。このような場合、前景に相当する画素でも、前景に相当する部分と背景に相当する部分とが含まれるために、前景に相当する画素の輝度値が、その周囲の背景の輝度値に影響される。その結果として、前景に相当する画素の輝度値と背景に相当する画素の輝度値との差が小さいことがある。
また、撮影時の照明光が、室内の蛍光灯による光などである場合、照明光の照度が低く、その結果として、画像上で、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さいことがある。
このように、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さい場合には、特許文献1に開示された技術を適用しても、被写体のコントラストの改善が不十分となることがある。
そこで本明細書は、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる画像補正用コンピュータプログラムを提供することを目的とする。
一つの実施形態によれば、画像補正用コンピュータプログラムが提供される。この画像補正用コンピュータプログラムは、前景と背景とを含む被写体が写った画像の各画素に対して、その画素を含む領域内の画素値の分布に応じてその画素が前景が写っている候補となる前景候補画素か背景が写っている候補となる背景候補画素かを判定し、前景候補画素のそれぞれについて、その前景候補画素の画素値を、背景候補画素の何れかの画素値で置換した背景補間画像を生成し、背景補間画像を平滑化して平滑化画像を生成し、補正画像の画素のそれぞれについて、その画素の画素値を、平滑化画像の対応画素の画素値に対する画像の対応画素の画素値の比に応じた値として算出することで補正画像を生成する、ことをコンピュータに実行させるための命令を有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
本明細書に開示された画像補正用コンピュータプログラムは、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる。
以下、図を参照しつつ、画像補正装置について説明する。
最初に、理解を容易にするために、特許文献1に開示の技術のような、いわゆるRetinex処理について説明する。Retinex処理は、人間の視覚系は、物体からの反射光の分布よりも、むしろ、その反射光の分布から、照明光の照度分布を除去した物体表面の反射率の分布に基づいて物体を知覚しているという仮定に基づいている。そのため、Retinex処理では、原画像の画素(x,y)の輝度値をI(x,y)、原画像の画素(x,y)に写っている被写体の反射率をR(x,y)、その画素(x,y)における照明光の照度をL(x,y)としたときに、次式が成立することが仮定される。
I(x,y)=R(x,y)L(x,y)
最初に、理解を容易にするために、特許文献1に開示の技術のような、いわゆるRetinex処理について説明する。Retinex処理は、人間の視覚系は、物体からの反射光の分布よりも、むしろ、その反射光の分布から、照明光の照度分布を除去した物体表面の反射率の分布に基づいて物体を知覚しているという仮定に基づいている。そのため、Retinex処理では、原画像の画素(x,y)の輝度値をI(x,y)、原画像の画素(x,y)に写っている被写体の反射率をR(x,y)、その画素(x,y)における照明光の照度をL(x,y)としたときに、次式が成立することが仮定される。
I(x,y)=R(x,y)L(x,y)
ここで、照明光の照度の分布Lは、例えば、原画像に対してガウシアンフィルタなどのローパスフィルタを適用して得られる平滑化画像が用いられる。そしてRetinex処理では、R(x,y)=I(x,y)/L(x,y)の演算を行って各画素の反射率R(x,y)を求め、各画素の反射率R(x,y)に定数k(ただし、k>1)を乗じることで、補正画像が得られる。
しかし、Retinex処理では、被写体によっては必ずしも被写体のコントラストが向上しないことがある。
図1(a)は、被写体である文書を撮影して得られた原画像の一例を示す図である。図1(b)は、図1(a)に示された原画像の平滑化画像の輝度値に対する原画像の輝度値の比を表す補正画像の一例である。
図1(a)に示される原画像100では、前景となる文字の幅が1画素程度であるため、全体的には、前景部分の輝度値と背景部分の輝度値との差がそれほど大きくない。また、Retinex処理において使用される平滑化画像において、前景が写っている画素またはその周囲の画素の輝度値は、前景の影響を受けて、背景そのものの輝度値よりも、ある程度前景の輝度値に近い値となる。そのため、図1(b)に示される補正画像110において、前景(文字)が写っている画素と、その周囲の画素とで、平滑化画像の輝度値に対する原画像の輝度値の比の差は小さくなる。
また、画素101あるいは画素102のように、前景とその周囲の背景との輝度値の差が他の部分と比較して大きいところに相当する画素があると、補正画像110において、最小輝度値と最大輝度値がそのような輝度差が大きいところに基づいて決まってしまう。そのため、その他の前景(文字)が写っている画素については、画素101及び画素102ほど、周囲の画素との輝度差が大きくないので、補正画像110上でも、その周囲の背景の画素の輝度との差が小さくなる。その結果、補正画像110は全体的にコントラストが低い画像となる。
上記のように、平滑化画像において、前景が写っている画素またはその周囲の画素の輝度値が前景の影響を受けることは、被写体のコントラストの向上を抑制してしまう。また、平滑化画像は、本来、照明の照度の分布を表すものであり、前景と背景の輝度値の違いとは無関係であることが好ましい。そのため、平滑化画像の各画素の輝度値が、前景と背景の輝度値の違いに影響されることは好ましくない。
そこで、本実施形態による画像補正装置は、原画像の各画素について、背景が写っている候補となる画素である背景候補画素と、前景が写っている候補となる画素である前景候補画素の何れに該当するかを判定する。そして画像補正装置は、前景候補画素のそれぞれについて、その輝度値を、その周囲の背景候補画素の輝度値で置換する。そして画像補正装置は、そのような置換がなされた画像に対して平滑化処理を行うことで、照明光の照度分布を疑似的に表す平滑化画像を生成する。そして画像補正装置は、画素ごとに、その平滑化画像と原画像の輝度値の比を求め、その比に応じた値を、補正画像のその画素の値とする。
なお、本実施形態では、処理対象となる画像は、各画素の画素値が輝度成分を持つ、グレー画像あるいはHLS表色系で表された画像とする。しかし、処理対象となる画像は、各画素の画素値が複数の色成分を持つ、RGB表色系で表されるカラーデジタル画像であってもよい。この場合には、任意の色成分について下記に説明する処理が実行されればよく、下記の説明における輝度は、色成分と読み替えられる。
図2は、一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。撮像装置1は、ユーザインターフェース部2と、撮像部3と、記憶媒体アクセス装置4と、記憶部5と、制御部6とを有する。ユーザインターフェース部2、撮像部3、記憶媒体アクセス装置4、記憶部5及び制御部6は、筐体7内に配置される。なお、撮像装置1は、例えば、携帯電話機、携帯情報端末、デジタルカメラまたはタブレット型コンピュータである。さらに撮像装置1は、撮像装置1を他の機器に接続するための通信インターフェース回路(図示せず)を有していてもよい。なお、図2は、撮像装置1が有する構成要素を説明するための図であり、撮像装置1の各構成要素の実際の配置を表した図ではないことに留意されたい。
ユーザインターフェース部2は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部2の表示画面が、筐体7の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部2は、撮像部3により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部2は、ユーザが撮像装置1に対する操作を行うための複数の操作ボタンを有していてもよい。あるいは、ユーザインターフェース部2は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部2は、例えば、様々なアイコンまたは操作ボタンを、制御部6からの制御信号に応じて表示する。そしてユーザインターフェース部2は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部6へ出力する。
撮像部3は、例えば、2次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。
撮像部3は、ユーザの操作に応じて被写体を撮影することで、その被写体が写った画像を生成する。そして撮像部3は、画像を生成する度に、生成した画像を制御部6へ出力する。
記憶媒体アクセス装置4は、例えば、半導体メモリカードといった記憶媒体8にアクセスする装置である。記憶媒体アクセス装置4は、例えば、記憶媒体8に記憶された、制御部6上で実行されるコンピュータプログラムを読み込み、制御部6に渡す。また、後述するように、制御部6が画像補正装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置4は、記憶媒体8から画像補正用コンピュータプログラムを読み込んで、制御部6に渡してもよい。
記憶部5は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部5は、制御部6上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部5は、画像補正処理の対象となる画像、画像補正処理の実行により生成された補正画像、及び、画像補正処理に利用される各種のデータあるいは画像補正処理の途中で生成される各種のデータを記憶する。
制御部6は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部6は、撮像装置1の各部と信号線を介して接続されており、撮像装置1全体を制御する。
また制御部6は、画像補正装置として動作し、撮像部3から受け取った画像に対して画像補正処理を実行する。
また制御部6は、画像補正装置として動作し、撮像部3から受け取った画像に対して画像補正処理を実行する。
図3は、画像補正処理に関する制御部6の機能ブロック図である。制御部6は、局所的2値化部11と、置換部12と、平滑化部13と、補正画像生成部14とを有する。制御部6が有するこれらの各部は、例えば、制御部6上で実行されるコンピュータプログラムにより実現される。なお、制御部6が有するこれらの各部は、制御部6が有するプロセッサとは別個に、これらの各部の機能を実現する集積回路として、撮像装置1に実装されてもよい。
なお、以下の説明では、画像補正処理の対象となる画像を原画像と呼ぶ。また、本実施形態では、被写体は、媒体上に印刷された文書などであり、原画像上での前景(例えば、文字)の輝度が背景(例えば、媒体の文字が印刷されていない部分)の輝度よりも低いものとする。
なお、以下の説明では、画像補正処理の対象となる画像を原画像と呼ぶ。また、本実施形態では、被写体は、媒体上に印刷された文書などであり、原画像上での前景(例えば、文字)の輝度が背景(例えば、媒体の文字が印刷されていない部分)の輝度よりも低いものとする。
局所的2値化部11は、判定部の一例であり、原画像の各画素について、その画素を含む領域内の輝度分布に応じてその画素が前景候補画素か背景候補画素かを判定する。本実施形態では、前景と背景の違いは、原画像上では輝度の違いとして表される。そこで、局所的2値化部11は、原画像の各画素について、その画素を含むウインドウ内の各画素の輝度値に基づく局所的2値化処理を行って、前景候補画素か、背景候補画素かを判定し、その判定結果を表す2値画像を生成する。
図4は、局所的2値化部11により実行される、局所的2値化処理の動作フローチャートである。局所的2値化部11は、原画像の各画素ごとに、下記の動作フローチャートにしたがって2値化する。
局所的2値化部11は、着目する画素の周囲に所定サイズのウインドウを設定する(ステップS101)。なお、ウインドウのサイズは、例えば、前景の想定される最小幅よりも大きく、かつ、原画像よりも小さいサイズ、例えば、7x7画素に設定される。そして局所的2値化部11は、ウインドウに含まれる各画素の輝度値の平均値mと分散σを算出する(ステップS102)。
局所的2値化部11は、分散σが予め設定された分散閾値Thσよりも大きいか否か判定する(ステップS103)。なお、分散閾値Thσは、各画素の輝度値の取り得る範囲が0〜255である場合、例えば、6に設定される。分散σが分散閾値Thσ以下である場合(ステップS103−No)、ウインドウ内の輝度分布は比較的一様であると想定される。そして輝度分布が一様であれば、そのウインドウ内には背景しか含まれない可能性が高い。そこで局所的2値化部11は、着目する画素に対応する2値画像上の画素の値を背景候補画素であることを表す値(例えば、0)に設定する(ステップS104)。
一方、分散σが分散閾値Thσよりも大きい場合(ステップS103−Yes)、局所的2値化部11は、着目する画素の輝度値が平均値mよりも高いか否か判定する(ステップS105)。着目する画素の輝度値が平均値mよりも高い場合(ステップS105−Yes)、着目する画素の輝度値がウインドウ内で相対的に高いので、着目する画素には、背景が写っている可能性が高い。そこで局所的2値化部11は、ステップS104の処理を実行する。
一方、着目する画素の輝度値が平均値m以下である場合(ステップS105−No)、着目する画素の輝度値がウインドウ内で相対的に低いので、着目する画素には、前景が写っている可能性が高い。そこで局所的2値化部11は、着目する画素に対応する2値画像上の画素の値を前景候補画素であることを表す値(例えば、1)に設定する(ステップS106)。ステップS104またはS106の後、局所的2値化部11は、局所的2値化処理を終了する。
このように、局所的2値化部11は、原画像の各画素に対して局所的2値化処理を行うことにより、原画像に写っている被写体に対する照明のムラがある場合でも、各画素が、前景候補画素か背景候補画素かを適切に判断できる。
このように、局所的2値化部11は、原画像の各画素に対して局所的2値化処理を行うことにより、原画像に写っている被写体に対する照明のムラがある場合でも、各画素が、前景候補画素か背景候補画素かを適切に判断できる。
なお、ステップS103にて、分散σが分散閾値Thσ以下である場合には、ウインドウ内の輝度値の分布が一様なので、そのウインドウ全体が背景に対応する可能性が高い。そこで局所的2値化部11は、分散σが分散閾値Thσ以下である場合、ウインドウに含まれる全ての画素のそれぞれに対応する2値画像上の画素の値を背景候補画素であることを表す値に設定してもよい。
また、局所的2値化部11は、原画像をウインドウごとに分割し、ウインドウ内の各画素の輝度値の分散及び平均値を算出した後、ウインドウ内の各画素を順次着目画素として、ステップS103〜S106の処理を実行してもよい。この場合、輝度値の分散及び平均値の算出回数が削減されるので、局所的2値化部11は、演算量を削減できる。
図5(a)は、原画像の一例を示す図であり、図5(b)は、得られた2値画像の一例を示す図である。図5(a)に示される原画像500には、数字'2'が表されている。そして原画像500の右側に示した、原画像500の各画素の輝度値の分布501に示されるように、数字'2'に相当する画素の輝度値が、その周囲の画素の輝度値よりも相対的に低くなっている。
一方、局所的2値化処理により得られた2値画像510でも、2値画像510の各画素の値の分布511に示されるように、原画像500上の数値'2'に対応する画素の値が前景候補画素であることを表す値となっている。
局所的2値化部11は、生成した2値画像を置換部12へ出力する。
置換部12は、背景補間画像生成部の一例であり、2値画像を参照して、原画像のうちの前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した画像(以下、便宜上、背景補間画像と呼ぶ)を生成する。
上記のように、平滑化画像は、照明の照度の分布を表すものであり、前景と背景の輝度値の違いとは無関係であることが好ましい。そのため、平滑化画像の各画素の輝度値が、前景と背景の輝度値の違いに影響されることは好ましくない。
そこで、本実施形態では、置換部12は、平滑化画像を生成する前段階として、疑似的に背景だけが写っている画像に相当する背景補間画像を生成する。
図6は、置換部12により実行される、置換処理の動作フローチャートである。置換部12は、下記の動作フローチャートにしたがって、2値画像から前景候補画素が無くなるまで置換処理を繰り返す。なお、2回目以降の置換処理は、背景補間画像に対して実行される。
置換部12は、原画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する(ステップS201)。そして置換部12は、2値画像を参照して、着目画素が前景候補画素であり、かつ、着目画素に隣接する画素の何れかが背景候補画素であるか否か判定する(ステップS202)。
着目画素が前景候補画素であり、かつ、着目画素に隣接する画素の何れかが背景候補画素である場合(ステップS202−Yes)、置換部12は、2値画像の着目画素を背景候補画素に置換する。そして置換部12は、原画像の着目画素に対応する背景補間画像上の画素の輝度値を、着目画素に隣接する背景候補画素の何れかの輝度値とする(ステップS203)。なお、原画像の着目画素に隣接する背景候補画素が複数存在する場合、置換部12は、その背景候補画素の何れの輝度値を背景補間画像上の着目画素に対応する画素の輝度値としてもよい。
一方、着目画素が前景候補画素でないか、あるいは、着目画素に隣接する画素の何れも背景候補画素でない場合(ステップS202−No)、置換部12は、2値画像の着目画素をそのままとする。そして置換部12は、原画像の着目画素に対応する背景補間画像上の画素の輝度値を、着目画素の輝度値とする(ステップS204)。
ステップS203またはステップS204の後、置換部12は、未着目の画素が残っているか否か判定する(ステップS205)。未着目の画素が残っていれば(ステップS205−Yes)、置換部12は、ステップS201以降の処理を繰り返す。一方、未着目の画素が残っていなければ(ステップS205−No)、置換部12は、1回の置換処理を終了する。
図7(a)は、図5(a)に示された原画像500に対して置換処理が1回行われたときの背景補間画像700及び背景補間画像700の各画素の輝度値の分布701を表す。また、図7(b)は、原画像500に対して置換処理が1回行われたときの2値画像710及び2値画像710の各画素の輝度値の分布711を表す。輝度値の分布701に示されるように、ハッチングで表された前景候補画素702の輝度値が、隣接する背景候補画素の輝度値で置換されている。この例では、2値画像710では、1回目の置換処理によって、分布711に示されるように、画素712以外の画素は、背景候補画素となっている。
図7(c)は、2回目の置換処理が行われたときの背景補間画像720及び背景補間画像720の各画素の輝度値の分布721を表す。輝度値の分布721において、ハッチングで表された前景候補画素712が、隣接する背景候補画素の輝度値で置換されている。この例では、2回目の置換処理によって、背景補間画像上の全ての前景候補画素の輝度値は、その周囲の背景候補画素の輝度値で置換されている。
このように、前景候補画素の輝度値は、隣接する背景候補画素が存在する場合には、その隣接する背景候補画素の輝度値で置換され、一方、隣接する背景候補画素が存在しない場合には、その前景候補画素に最も近い背景候補画素の輝度値で置換される。
置換部12は、全ての前景の候補画素が背景の候補画素の輝度値で置換された背景補間画像を生成すると、その背景補間画像を平滑化部13へ出力する。
平滑化部13は、背景補間画像に対して平滑化処理を実行することで、照明光の照度分布を疑似的に表す平滑化画像を生成する。上記のように、背景補間画像は、疑似的に生成した、背景だけが写っている画像に相当する。そのため、背景補間画像に対して平滑化処理を行って得られる平滑化画像は、前景の影響を受けないので、原画像を平滑化して得られる画像よりも、より正確に照明光の照度分布を表している。
図8は、平滑化部13により実行される、平滑化処理の動作フローチャートである。平滑化部13は、下記の動作フローチャートにしたがって、背景補間画像に対して平滑化処理を実行する。
平滑化部13は、背景補間画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する(ステップS301)。そして平滑化部13は、着目画素を中心とする所定サイズのウインドウを設定する(ステップS302)。なお、ウインドウのサイズは、例えば、局所的2値化処理において用いられるウインドウと同サイズ、例えば、7x7画素に設定される。あるいは、ウインドウのサイズは、局所的2値化処理において用いられるウインドウよりも大きなサイズ(例えば、9x9〜15x15画素)に設定されてもよい。
平滑化部13は、ウインドウに含まれる各画素の輝度値の平均値mを算出する(ステップS303)。そして平滑化部13は、着目画素の輝度値を平均値mで置換する(ステップS304)。
ステップS304の後、平滑化部13は、未着目の画素が残っているか否か判定する(ステップS305)。未着目の画素が残っていれば(ステップS305−Yes)、平滑化部13は、ステップS301以降の処理を繰り返す。一方、未着目の画素が残っていなければ(ステップS305−No)、平滑化部13は、平滑化処理を終了する。
なお、平滑化部13は、平滑化処理として、メディアンフィルタ処理、あるいはガウシアンフィルタ処理を用いてもよい。
なお、平滑化部13は、平滑化処理として、メディアンフィルタ処理、あるいはガウシアンフィルタ処理を用いてもよい。
平滑化部13は、平滑化画像を補正画像生成部14へ出力する。
補正画像生成部14は、補正画像の各画素について、平滑化画像の対応画素の輝度値に対する原画像の対応画素の輝度値の比に応じてその画素の値を算出することで補正画像を生成する。上記のように、平滑化画像は、照明光の照度分布を疑似的に表すものであるため、原画像と平滑化画像の対応画素間の輝度値の比に応じて得られる補正画像は、被写体の反射率の分布を表す画像となる。そのため、被写体の一部に影がかかっていても、補正画像は、その陰に影響されない画像となる。また、本実施形態による平滑化画像は、前景に影響されない背景補間画像を平滑化することで生成されているので、補正画像における被写体のコントラストも向上する。
図9は、補正画像生成部14により実行される処理の動作フローチャートである。補正画像生成部14は、下記の動作フローチャートにしたがって、平滑化画像と原画像とから補正画像を生成する。
補正画像生成部14は、背景補間画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する(ステップS401)。そして補正画像生成部14は、次式に従って、補正画像の着目画素の画素値を算出する(ステップS402)。
ここで、I(x,y)は、座標(x,y)に位置する原画像の着目画素の輝度値を表し、L(x,y)は、座標(x,y)に位置する背景補間画素の輝度値を表す。またkは定数であり、1よりも大きい値、例えば、2〜5に設定される。そしてR(x,y)は、座標(x,y)に位置する補正画像の画素の値を表す。補正画像の画素の値R(x,y)は、被写体の反射率に対応する値となる。
ステップS402の後、補正画像生成部14は、未着目の画素が残っているか否か判定する(ステップS403)。未着目の画素が残っていれば(ステップS403−Yes)、補正画像生成部14は、ステップS401以降の処理を繰り返す。一方、未着目の画素が残っていなければ(ステップS403−No)、補正画像生成部14は、処理を終了する。
なお、補正画像生成部14は、(1)式において、I(x,y)/L(x,y)の代わりに、log(I(x,y)/L(x,y))を求めてもよい。さらに、補正画像生成部14は、得られた補正画像に対して、前景と背景とが異なる値となるように、局所的2値化部11が原画像に対して実行する局所的2値化処理と同様の局所的2値化処理を行ってもよい。ただし、前景に対応する画素と背景に対応する画素との間で画素値の差が明確となるように、例えば、前景に対応する画素の値は、画素値の取り得る最小値に設定され、一方、背景に相当する画素の値は、画素値の取り得る最大値に設定される。なお、補正画像では、照明光の照度分布による被写体の輝度ムラは補正されているので、補正画像生成部14は、補正画像全体に対して2値化処理を実行してもよい。この場合には、補正画像生成部14は、例えば、大津の2値化処理を補正画像に適用して、2値化閾値を決定してもよい。
さらに、補正画像生成部14は、補正画像に対して、例えば、補正画像上の画素値の最大値と最小値の差が拡大するように、コントラスト強調処理を実行してもよい。
さらに、補正画像生成部14は、補正画像に対して、例えば、補正画像上の画素値の最大値と最小値の差が拡大するように、コントラスト強調処理を実行してもよい。
図10は、画像補正処理の動作フローチャートである。
局所的2値化部11は、原画像に対して局所的2値化処理を実行して、原画像上での前景候補画素と背景候補画素とを表す2値画像を生成する(ステップS501)。置換部12は、2値画像を参照して、前景候補画素のそれぞれについて、その前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した背景補間画像を生成する(ステップS502)。
局所的2値化部11は、原画像に対して局所的2値化処理を実行して、原画像上での前景候補画素と背景候補画素とを表す2値画像を生成する(ステップS501)。置換部12は、2値画像を参照して、前景候補画素のそれぞれについて、その前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した背景補間画像を生成する(ステップS502)。
平滑化部13は、背景補間画像に対して平滑化処理を行って、平滑化画像を生成する(ステップS503)。そして補正画像生成部14は、補正画像の画素ごとに、平滑化画像の対応画素の輝度値に対する原画像の対応画素の輝度値の比に応じた画素値を算出することで補正画像を生成する(ステップS504)。そして制御部6は、画像補正処理を終了する。
図11(a)は、被写体を文書とする原画像の一例を表す図である。この例では、原画像1100において、被写体の一部に影がかかっている。図11(b)は、原画像1100に対して局所的2値化処理を適用して得られた2値画像1101を表す。2値画像1101では、影の境界付近がノイズとなって表れていることが分かる。
図11(c)は、原画像1100と2値画像1101から求められる背景補間画像の一例を示す図である。背景補間画像1102では、前景(この例では、文字)に相当する画素の輝度値がその周囲の背景に相当する画素の輝度値で置換されている。
図11(d)は、図11(c)に示された背景補間画像1102が平滑化された平滑化画像の一例を示す図である。平滑化画像1103では、背景補間画像1102と比較して、輝度変化が滑らかになり、照度分布を表すものとなっている。
図11(e)は、原画像1100と平滑化画像1103とから算出される補正画像の一例を示す図である。補正画像1104では、原画像1100と比較して、前景と背景間のコントラストが向上されていることが分かる。さらに、補正画像1104では、影の境界部分にノイズが現れることなく、影の影響が除去されていることが分かる。
以上に説明してきたように、この画像補正装置は、原画像に対して局所的2値化処理を行って検出した前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した背景補間画像に基づいて、照明の照度の分布を疑似的に表す平滑化画像を生成する。そのため、この画像補正装置は、照明の照度の分布をより正確に表した平滑化画像を用いて補正画像を生成できるので、前景と背景の画素値の差を大きくした、コントラストの高い補正画像を得ることができる。またこの画像補正装置は、平滑化画像と原画像の対応画素間の輝度値の比に応じて補正画像の画素値を求めるので、影の影響が除去され、かつ、影がかかっている領域と影がかかっていない領域間の境界で補正画像上にノイズが重畳されることを防止できる。
なお、他の実施形態によれば、画像補正装置は、原画像の縮小画像を生成し、その縮小画像から照明光の照度分布を表す画像を生成してもよい。
図12は、第2の実施形態による画像補正装置として動作する制御部の機能ブロック図である。制御部61は、縮小部15と、局所的2値化部11と、置換部12と、平滑化部13と、拡大部16と、補正画像生成部14とを有する。
図12において、制御部61が有する各構成要素には、図3に示された第1の実施形態による制御部6が有する対応する構成要素の参照番号と同じ参照番号を付した。
図13は、第2の実施形態による画像補正処理の動作フローチャートである。以下では、図13に示される動作フローチャートにしたがって、制御部61が有する各部の処理を説明する。ただし、第2の実施形態による制御部61は、第1の実施形態による制御部6と比較して、縮小部15と、拡大部16とを有する点で異なるので、以下では、縮小部15の処理と拡大部16の処理について主として説明する。
縮小部15は、原画像に対して所定の間引き率で画素を間引くことにより、縮小画像を生成する(ステップS601)。なお、所定の間引き率は、例えば、1/4〜1/8に設定される。すなわち、原画像の4〜8画素の中から1画素が選択される。
縮小部15は、生成した縮小画像を局所的2値化部11及び置換部12へ出力する。
縮小部15は、生成した縮小画像を局所的2値化部11及び置換部12へ出力する。
局所的2値化部11は、縮小画像に対して局所的2値化処理を実行することで、縮小画像上での前景候補画素と背景候補画素とを表す2値画像を生成する(ステップS602)。置換部12は、その2値画像を参照して、縮小画像上の前景候補画素の輝度値を、その周囲の背景候補画素の輝度値で置換した背景補間画像を生成する(ステップS603)。そして平滑化部13は、縮小画像から生成された背景補間画像に対して平滑化処理を実行して平滑化画像を生成する(ステップS604)。平滑化部13は、その平滑化画像を拡大部16へ出力する。
拡大部16は、平滑化画像に対して補間処理を実行することで、原画像と同サイズの補間平滑化画像を生成する(ステップS605)。なお、拡大部16は、補間処理として、例えば、最近傍補間、バイリニア補間、あるいはバイキュービック補間を用いることができる。
拡大部16は、補間平滑化画像を補正画像生成部14へ出力する。
拡大部16は、補間平滑化画像を補正画像生成部14へ出力する。
補正画像生成部14は、補正画像の画素ごとに、(1)式に従って補間平滑化画像と原画像の対応画素間の輝度値の比に応じた画素値を算出することで、補正画像を生成する(ステップS606)。そして制御部61は、画像補正処理を終了する。
この実施形態によれば、画像補正装置は、原画像の縮小画像に基づいて算出した平滑化画像を、照明光の照度分布を疑似的に表す画像として利用する。縮小画像は、原画像の輝度分布を粗く表すものであるため、原画像よりも照明光の照度分布に近い画像となる。そのため、この画像補正装置は、照明光の照度分布をより適切に表す画像を補正画像の生成に利用できる。
また、上記の各実施形態において、互いに隣接する複数の前景候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれていると、前景候補画素間で、隣接する背景候補画素の輝度値が大きく異なることがある。このような場合、背景補間画像で、互いに隣接する複数の前景候補画素のそれぞれの置換後の輝度値の差も大きく異なり、エッジが形成されることがある。そのような背景補間画像から生成された平滑化画像を用いて補正画像を求めると、補正画像上で、そのエッジに相当する領域にノイズが表れる可能性がある。
そこで、上記の各実施形態の変形例では、置換部12は、前景候補画素の集合に対して、輝度勾配の方向に沿ってその集合の両端に隣接する二つの背景候補画素の輝度値を用いて補間処理を行って得られる補間値で、前景候補画素の輝度値を置換する。なお、集合に含まれる前景候補画素の数は一つでもよい。
図14は、この変形例による置換処理の概念を表す図である。図14において領域1400は、互いに隣接する複数の前景候補画素が含まれる領域を表す。また、領域1400での輝度勾配の方向が線1401で表される。この場合、領域1400内の前景候補画素1402に対して、その前景候補画素1402を通り、かつ、輝度勾配の方向に沿った線上に位置する、領域1400の両端に隣接する二つの背景候補画素1403、1404が特定される。そして背景候補画素1403の輝度値G1と、背景候補画素1404の輝度値G2とを、例えば、線形補間することで得られた輝度値で、前景候補画素1402の輝度値が置換される。
図15(a)は、上記の何れかの実施形態による、前景候補画素の輝度値とその周囲の背景候補画素の輝度値と、前景候補画素の輝度値を置換する輝度値の関係を表す。一方、図15(b)は、この変形例による、前景候補画素の輝度値とその周囲の背景候補画素の輝度値と、前景候補画素の輝度値を置換する輝度値の関係を表す。図15(a)及び図15(b)において、横軸は画像上の位置を表し、縦軸は輝度値を表す。
図15(a)において、実線で表されるプロファイル1500は、原画像における、前景候補画素が含まれる領域1501及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。また、点線で表されるプロファイル1502は、上記の何れかの実施形態による、背景補間画像における、領域1501及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。プロファイル1502に示されるように、領域1501内で左側に位置する前景候補画素a1の輝度値は、領域1501の左側に隣接する背景候補画素b1の輝度値となる。一方、領域1501内で右側に位置する前景候補画素a2の輝度値は、領域1501の右側に隣接する背景候補画素b2の輝度値となる。そのため、背景補間画像の領域1501内で、エッジが形成されてしまう。
一方、図15(b)において、実線で表されるプロファイル1500は、原画像における、前景の候補画素が含まれる領域1501及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。また、点線で表されるプロファイル1510は、この変形例による、背景補間画像における、領域1501及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。
プロファイル1510に示されるように、領域1501内の前景候補画素a1、a2の輝度値は、領域1501の左側に隣接する背景候補画素b1の輝度値と領域1501の右側に隣接する背景候補画素b2の輝度値とを線形補間することで算出される。そのため、背景補間画像上での領域1501内での各画素の値も、その周囲の輝度勾配に応じて滑らかに変化する。
図16は、この変形例による、置換部12により実行される置換処理の動作フローチャートである。
置換部12は、原画像の各背景候補画素について、輝度勾配方向を求める(ステップS701)。なお、置換部12は、例えば、着目する背景候補画素について、水平方向に隣接する画素との輝度値の差Δxと、垂直方向に隣接する画素との輝度値の差Δyを求め、その比(Δy/Δx)の逆正接θ=arctan(Δy/Δx)を、輝度勾配方向とする。なお、輝度勾配方向を算出するために参照される、隣接画素も、背景候補画素であることが好ましい。
置換部12は、原画像の各背景候補画素について、輝度勾配方向を求める(ステップS701)。なお、置換部12は、例えば、着目する背景候補画素について、水平方向に隣接する画素との輝度値の差Δxと、垂直方向に隣接する画素との輝度値の差Δyを求め、その比(Δy/Δx)の逆正接θ=arctan(Δy/Δx)を、輝度勾配方向とする。なお、輝度勾配方向を算出するために参照される、隣接画素も、背景候補画素であることが好ましい。
置換部12は、原画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する(ステップS702)。そして置換部12は、2値画像を参照して、着目画素が前景候補画素であるか否か判定する(ステップS703)。
着目画素が前景候補画素である場合(ステップS703−Yes)、置換部12は、着目画素に最も近い背景候補画素の輝度勾配方向に沿って、着目画素を挟んだ両側のそれぞれについて、着目画素に最も近い背景候補画素を特定する(ステップS704)。そして置換部12は、特定した二つの背景候補画素の輝度値を線形補間することで得られた値を、着目画素に対応する背景補間画像の画素の輝度値とする(ステップS705)。また、置換部12は、2値画像の着目画素を背景候補画素に置換する。
一方、着目画素が前景候補画素でない場合(ステップS703−No)、置換部12は、2値画像の着目画素をそのままとする。そして置換部12は、背景補間画像上の着目画素に対応する画素の輝度値を、原画像の着目画素の輝度値とする(ステップS706)。
ステップS705またはステップS706の後、置換部12は、未着目の画素が残っているか否か判定する(ステップS707)。未着目の画素が残っていれば(ステップS707−Yes)、置換部12は、ステップS702以降の処理を繰り返す。一方、未着目の画素が残っていなければ(ステップS707−No)、置換部12は、置換処理を終了する。なお、置換部12は、前景候補画素の両側に背景候補画素が検出されない場合には、その前景候補画素の輝度値を、その前景候補画素に最も近い背景候補画素の輝度値で置換してもよい。
この変形例によれば、画像補正装置は、前景候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれている場合でも、その集合に対応する領域において輝度が滑らかに変化する背景補間画像を生成できる。そのため、この画像補正装置は、そのような集合に相当する領域において補正画像上でノイズが生じることを抑制できる。
また他の変形例によれば、置換部は、前景候補画素のそれぞれについて、その候補画素を中心とする所定サイズ(例えば、7x7画素)のウインドウを設定し、そのウインドウ内の背景の候補画素の輝度値の平均値で、前景の候補画素の輝度値を置換してもよい。この変形例でも、画像補正装置は、互いに隣接する複数の前景の候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれている場合でも、その集合に対応する領域において輝度が滑らかに変化する背景補間画像を生成できる。そのため、この画像補正装置は、そのような集合に相当する領域において補正画像上でノイズが生じることを抑制できる。
さらに他の変形例によれば、画像補正装置は、前景が背景よりも明るい被写体を撮影して得られる画像に適用されてもよい。さらに、前景が背景よりも明るい被写体の一部に強いスポットライトが照射され、原画像上で、スポットライトが照射されている部分とそうでない部分との境界が生じている場合がある。この場合には、局所的2値化部11は、局所的2値化処理のステップS105において、着目する画素の輝度値が平均値以上の場合に、その画素を前景候補画素に設定し、着目する画素の輝度値が平均値未満の場合に、その画素を背景候補画素に設定すればよい。これにより、前景が背景よりも明るい場合でも、画像補正装置は、スポットライトが照射されている部分とそうでない部分との境界に相当するノイズを抑制し、かつ、被写体のコントラストを向上させた補正画像を生成できる。
上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
(付記2)
前記画像を所定の間引き率で間引くことにより縮小画像を生成することをさらに含み、
前記前景候補画素か前記背景候補画素かを判定することは、前記縮小画像の各画素について、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景候補画素か前記背景候補画素かを判定し、
前記背景補間画像を生成することは、前記縮小画像上の前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記縮小画像上の前記背景候補画素の何れかの画素値で置換することで前記背景補間画像を生成し、
前記平滑化画像を生成することは、前記背景補間画像を平滑化して得られた画像に対して補間処理を行うことで前記画像と同サイズの前記平滑化画像を生成する、
付記1に記載の画像補正用コンピュータプログラム。
(付記3)
前記背景補間画像を生成することは、前記前景候補画素のそれぞれについて、前記背景候補画素のうちの当該前景候補画素に隣接する背景候補画素の画素値か、または当該前景候補画素に最も近い背景候補画素の画素値で当該前景候補画素の画素値を置換する、付記1または2に記載の画像補正用コンピュータプログラム。
(付記4)
前記背景補間画像を生成することは、前記背景候補画素のそれぞれについて輝度勾配方向を求め、前記前景候補画素のそれぞれについて、当該前景候補画素に最も近い第1の前記背景候補画素についての前記輝度勾配方向に沿って、当該前景候補画素を挟んで位置する二つの第2の前記背景候補画素の画素値に基づく補間によって算出される値で当該前景候補画素の画素値を置換する、
付記1または2に記載の画像補正用コンピュータプログラム。
(付記5)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことを含む画像補正方法。
(付記6)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定する判定部と、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成する背景補間画像生成部と、
前記背景補間画像を平滑化して平滑化画像を生成する平滑化部と、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する補正画像生成部と、
を有する画像補正装置。
(付記1)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
(付記2)
前記画像を所定の間引き率で間引くことにより縮小画像を生成することをさらに含み、
前記前景候補画素か前記背景候補画素かを判定することは、前記縮小画像の各画素について、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景候補画素か前記背景候補画素かを判定し、
前記背景補間画像を生成することは、前記縮小画像上の前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記縮小画像上の前記背景候補画素の何れかの画素値で置換することで前記背景補間画像を生成し、
前記平滑化画像を生成することは、前記背景補間画像を平滑化して得られた画像に対して補間処理を行うことで前記画像と同サイズの前記平滑化画像を生成する、
付記1に記載の画像補正用コンピュータプログラム。
(付記3)
前記背景補間画像を生成することは、前記前景候補画素のそれぞれについて、前記背景候補画素のうちの当該前景候補画素に隣接する背景候補画素の画素値か、または当該前景候補画素に最も近い背景候補画素の画素値で当該前景候補画素の画素値を置換する、付記1または2に記載の画像補正用コンピュータプログラム。
(付記4)
前記背景補間画像を生成することは、前記背景候補画素のそれぞれについて輝度勾配方向を求め、前記前景候補画素のそれぞれについて、当該前景候補画素に最も近い第1の前記背景候補画素についての前記輝度勾配方向に沿って、当該前景候補画素を挟んで位置する二つの第2の前記背景候補画素の画素値に基づく補間によって算出される値で当該前景候補画素の画素値を置換する、
付記1または2に記載の画像補正用コンピュータプログラム。
(付記5)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことを含む画像補正方法。
(付記6)
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定する判定部と、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成する背景補間画像生成部と、
前記背景補間画像を平滑化して平滑化画像を生成する平滑化部と、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する補正画像生成部と、
を有する画像補正装置。
1 撮像装置
2 ユーザインターフェース部
3 撮像部
4 記憶媒体アクセス装置
5 記憶部
6、61 制御部
7 筐体
8 記憶媒体
11 局所的2値化部
12 置換部
13 平滑化部
14 補正画像生成部
15 縮小部
16 拡大部
2 ユーザインターフェース部
3 撮像部
4 記憶媒体アクセス装置
5 記憶部
6、61 制御部
7 筐体
8 記憶媒体
11 局所的2値化部
12 置換部
13 平滑化部
14 補正画像生成部
15 縮小部
16 拡大部
Claims (5)
- 前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。 - 前記画像を所定の間引き率で間引くことにより縮小画像を生成することをさらに含み、
前記前景候補画素か前記背景候補画素かを判定することは、前記縮小画像の各画素について、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景候補画素か前記背景候補画素かを判定し、
前記背景補間画像を生成することは、前記縮小画像上の前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記縮小画像上の前記背景候補画素の何れかの画素値で置換することで前記背景補間画像を生成し、
前記平滑化画像を生成することは、前記背景補間画像を平滑化して得られた画像に対して補間処理を行うことで前記画像と同サイズの前記平滑化画像を生成する、
請求項1に記載の画像補正用コンピュータプログラム。 - 前記背景補間画像を生成することは、前記背景候補画素のそれぞれについて輝度勾配方向を求め、前記前景候補画素のそれぞれについて、当該前景候補画素に最も近い第1の前記背景候補画素についての前記輝度勾配方向に沿って、当該前景候補画素を挟んで位置する二つの第2の前記背景候補画素の画素値に基づく補間によって算出される値で当該前景候補画素の画素値を置換する、
請求項1または2に記載の画像補正用コンピュータプログラム。 - 前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことを含む画像補正方法。 - 前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定する判定部と、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成する背景補間画像生成部と、
前記背景補間画像を平滑化して平滑化画像を生成する平滑化部と、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する補正画像生成部と、
を有する画像補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077914A JP2016197377A (ja) | 2015-04-06 | 2015-04-06 | 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077914A JP2016197377A (ja) | 2015-04-06 | 2015-04-06 | 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016197377A true JP2016197377A (ja) | 2016-11-24 |
Family
ID=57358186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015077914A Pending JP2016197377A (ja) | 2015-04-06 | 2015-04-06 | 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016197377A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632588A (zh) * | 2017-03-17 | 2018-10-09 | 精工爱普生株式会社 | 投影仪以及投影仪的控制方法 |
JP2021072484A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021072483A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021072482A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2015
- 2015-04-06 JP JP2015077914A patent/JP2016197377A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632588A (zh) * | 2017-03-17 | 2018-10-09 | 精工爱普生株式会社 | 投影仪以及投影仪的控制方法 |
JP2021072484A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021072483A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021072482A (ja) * | 2019-10-29 | 2021-05-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7357853B2 (ja) | 2019-10-29 | 2023-10-10 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7357852B2 (ja) | 2019-10-29 | 2023-10-10 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7357851B2 (ja) | 2019-10-29 | 2023-10-10 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6623832B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
JP6469678B2 (ja) | 画像アーティファクトを補正するシステム及び方法 | |
WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
US20180350043A1 (en) | Shallow Depth Of Field Rendering | |
US11138695B2 (en) | Method and device for video processing, electronic device, and storage medium | |
US20130278788A1 (en) | Method for determining the extent of a foreground object in an image | |
WO2021083059A1 (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
US10863077B2 (en) | Image photographing method, apparatus, and terminal | |
CN107622504B (zh) | 用于处理图片的方法和装置 | |
WO2018151891A1 (en) | Refinement of structured light depth maps using rgb color data | |
US20200059587A1 (en) | Real-time glare detection inside a dynamic region of an image | |
CN110503704B (zh) | 三分图的构造方法、装置和电子设备 | |
US20220044349A1 (en) | Multi-scale warping circuit for image fusion architecture | |
JP2016197377A (ja) | 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法 | |
WO2017096814A1 (zh) | 一种图像处理方法及装置 | |
CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
CN107357422B (zh) | 摄像机-投影交互触控方法、装置及计算机可读存储介质 | |
JP6737108B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2016026072A1 (en) | Method, apparatus and computer program product for generation of extended dynamic range color images | |
JP2004133919A (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
KR20130103217A (ko) | 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법 | |
JP5927265B2 (ja) | 画像処理装置及びプログラム | |
CN115428009B (zh) | 基于内容的图像处理 | |
JP6583008B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム |