JP4427097B2 - 画像処理装置、撮像装置、方法、およびプログラム - Google Patents

画像処理装置、撮像装置、方法、およびプログラム Download PDF

Info

Publication number
JP4427097B2
JP4427097B2 JP2009541666A JP2009541666A JP4427097B2 JP 4427097 B2 JP4427097 B2 JP 4427097B2 JP 2009541666 A JP2009541666 A JP 2009541666A JP 2009541666 A JP2009541666 A JP 2009541666A JP 4427097 B2 JP4427097 B2 JP 4427097B2
Authority
JP
Japan
Prior art keywords
image
image data
light
wavelength
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009541666A
Other languages
English (en)
Other versions
JPWO2009153983A1 (ja
Inventor
太郎 今川
健夫 吾妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4427097B2 publication Critical patent/JP4427097B2/ja
Publication of JPWO2009153983A1 publication Critical patent/JPWO2009153983A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像データを補正する画像処理装置などに関し、特に画像データを高精細化する技術に関する。
近年普及したデジタルカメラの撮像素子において、高画質化を目的とした多画素化と、携帯性の向上を目的とした撮像素子の小型化が進んでいる。このような、撮像素子の多画素化および小型化を実現するために、デジタル撮像素子の画素の微細化が進んできている。
しかしながら、撮像素子を設置するカメラの結像面では入射光の回折による回折ボケが生じるため、回折ボケの大きさを下回るサイズに撮像素子の画素を微細化しても、解像度を向上させることができない（回折限界）という課題が生じる。特に回折ボケは、撮像光学系の絞りを絞った場合に影響が出やすくなる。
このような回折ボケの影響を抑える従来の撮像装置が、特許文献１および特許文献２に記載されている。
特許文献１の撮像装置は、撮像時に被写体からの光量が多い場合、撮像光学系の絞りを絞る代わりに、撮像素子の利得を下げて撮像する。これにより、光量が多い場合にでも撮像素子からの信号出力が過剰になることを抑え、絞りによる回折ボケの発生を回避する。
また、特許文献２の撮像装置は、撮像時の光量が多い場合、撮像光学系の絞りを絞る代わりに、ＮＤフィルタ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ Ｆｉｌｔｅｒ）すなわち減光フィルタを用いて入射光量を減少させるように制御して撮影を行う。このように減光フィルタを用いることで、絞りによる回折ボケの発生を回避する。
特許第３３６３４７７号公報 特開２００８−３５２６８号公報
しかしながら、特許文献１および特許文献２の撮像装置では、絞りを絞った場合に生じる回折ボケは回避できるものの、絞りを開放にした状態ですでに発生している回折ボケを回避することはできない。すなわち、撮像素子の微細化に伴って解像度の限界となる回折ボケを回避することはできない。
本発明は、このような事情に鑑みてなされたものであり、正の屈折率を持つ既存の素材を用いた光学系および撮像素子を用いて、回折限界を超えた解像度の画像を生成する画像処理装置を提供することを目的とする。
上記課題を解決するために、本発明に係る画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
前記画像入力部は、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得してもよく、また、前記画像処理部は、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正してもよい。
なお、本発明は、このような画像処理装置として実現できるだけでなく、撮像装置、画像処理方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
本発明の画像処理装置によれば、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳する。そして、前記第２の画像データとして、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを用いるので、前記第１の画像データに、前記第１の波長を持つ光の回折限界を超えて空間的な高周波情報を付与する（以下、高解像度化するという）ことができる。
本発明の画像処理装置は、例えば既存のカラー撮像システムに良好な適応性を有している。すなわち、既存のカラー撮像システムでは、赤、緑、青のように異なる色（波長）の光で同じ被写体を撮像することで生成された色ごとの画像データを処理するため、例えば赤色または緑色に対応する画像データを第１の画像データとし、青色に対応する画像データを第２の画像データとして、容易に本発明が適用される。
そして、本発明の適用によって、新たな光学素材や光学デバイスなどを必要とせずに、簡便に、長い波長の色に対応する画像データを高解像度化できる。
図１は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。 図２は、第１の実施の形態における画像処理装置の構成を示す機能ブロック図である。 図３は、回折ボケの大きさと画素配置との関係の一例を示す図である。 図４は、第１の画像処理装置の動作を示すフローチャートである。 図５（ａ）〜（ｃ）は、撮像装置の画素の配置例を示す図である。 図６（ａ）〜（ｃ）は、撮像装置の構成の具体例を示す図である。 図７は、撮像装置の画素の配置例を示す図である。 図８は、回折ボケの形状の一例を示す図である。 図９（ａ）〜（ｃ）は、赤画像、緑画像、青画像の一例を示す図である。 図１０（ａ）〜（ｃ）は、生成カラー画像の一例を示す図である。 図１１は、第２の実施の形態における画像処理装置の構成を示す機能ブロック図である。 図１２は、撮像装置の画素の配置例を示す図である。 図１３（ａ）、（ｂ）は、撮像装置の具体例を示す図である。 図１４は、第２の画像処理装置の動作を示すフローチャートである。 図１５は、第３の実施の形態における画像処理装置の構成を示す機能ブロック図である。 図１６（ａ）、（ｂ）は、集光状態の例を示す図である。 図１７は、第３の画像処理装置の動作を示すフローチャートである。 図１８は、第４の実施の形態における画像処理装置の構成を示す機能ブロック図である。 図１９は、第４の画像処理装置の動作を示すフローチャートである。 図２０は、ＲＧＢ色空間と球面座標系との対応の一例を示す図である。 図２１は、画像生成システムの変形例としてのカメラの構成を示すブロック図である。 図２２は、画像生成システムの変形例としてのディスプレイ機器の構成を示すブロック図である。
本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する。
また、前記画像入力部は、前記第２の画像データを生成した前記受光素子の配置密度よりも低い密度で配置された複数の受光素子によって生成された画像データを、前記第１の画像データとして取得してもよい。
この構成によれば、波長の長い光の画像は少ない画素数で構成されるため、撮像時に画素の読み出し速度を抑えることができるという利点がある。また、波長の長い光の画像の画素数を少なくすることで、各画素の面積を大きくすることが可能となり、暗い場所など光量が不足する場合でもＳ／Ｎ比の低下を抑えることが可能となる。
また、前記第２の画像データとして紫外光による前記被写体の画像を表す画像データを用いることにより、可視光画像を、可視光の回折限界を超えて高解像度化することが可能となる。この時、入射光から紫外光を分離して高解像度化処理にのみ使用することで、可視光画像の色再現性も高められるという効果もある。
また、前記画像処理部は、補正後の前記第１の画像データおよび補正後の前記第２の画像データにより表されるカラー画像における色の空間的な連続性が維持されるように、前記第１の画像データおよび前記第２の画像データの両方を補正してもよい。
この構成によれば、第１の画像データのみを補正して第２の画像データと組み合わせてカラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
また、前記画像入力部は、前記第２の波長を持つ光の合焦位置に設置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得してもよい。
この構成によれば、前記第２の波長の光による画像の焦点ボケが最小となることで、前記第２の画像データには空間的な高周波成分が豊富に含まれることになり、当該高周波成分を重畳することで前記第１の画像データを効果的に高解像度化できる。
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する。
この構成によれば、前記絞り値から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する。
この構成によれば、前記焦点距離から前記第１の画像データで表される画像が回折限界を超えていないと判断される場合、前記補正処理を不要と判定することが可能となる。回折限界を超えていない場合に、前記補正処理を行わないことで、処理にかかる時間とエネルギーを抑えることができる。
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、前記画像処理部は、前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う。
この構成によれば、前記受光素子の設置面の位置に応じて、前記設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じた焦点ボケの除去処理が前記第１の画像データに対して行われる結果、回折ボケの補正のみを行う場合に比べて、前記第１の画像データをさらに高品質に補正することが可能となる。
また、本発明の一つの態様における画像処理装置は、赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力部と、前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理部とを備え、前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する。
この構成によれば、青色光の画像データの高周波成分を用いて赤色光または緑色光の画像データを高品質に補正することが可能となる。
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理部とを備え、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する。
この構成によれば、最も短い波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
また、本発明の一つの態様における画像処理装置は、それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部とを備え、前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する。
この構成によれば、それ以上収束しない領域の最小の大きさが最も小さい波長の画像データの高周波成分を用いて他の光の画像データを高品質に補正することが可能となる。
（第１の実施の形態）
以下、図面を参照しながら本発明の第１の実施の形態に係る画像生成システムについて詳細に説明する。
図１は、本発明の実施の形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像処理装置３０と、表示装置４０とから構成される。
撮像装置１０は、同一の視点、または被写体に対して視差が無視できる程度に近接した視点から被写体を撮影することにより、第１の波長を持つ光による前記被写体の画像である長波長光画像を表す第１の画像データと、前記第１の波長よりも短い第２の波長を持つ光による前記被写体の画像である短波長光画像を表す第２の画像データとを生成するカメラである。
撮像装置１０には、前記第１の画像データを生成するための、前記第１の波長を持つ光に対する複数の受光素子、および前記第２の画像データを生成するための、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさ（最小錯乱円の大きさとして知られている）よりも狭い間隔で配置された、前記第２の波長を持つ光に対する複数の受光素子が設けられる。
以下の例では、撮像装置１０を、被写体を同一視点から撮影することで、赤色光、緑色光、および青色光による前記被写体の画像をそれぞれ表す、赤画像データ、緑画像データ、および青画像データを生成するカラーカメラであるとして説明する。
この場合、赤色光による画像および緑色光による画像が前記長波長光画像に対応し、赤画像データおよび緑画像データが前記第１の画像データに対応する。また、波長が最も短い青色光による画像が前記短波長光画像に対応し、青画像データが前記第２の画像データに対応する。
被写体またはカメラが移動する場合には、各色の画像データを同時に生成することが望ましく、静止被写体を静止カメラで撮影する場合には、時間を変えて各色の画像データを順次生成してもよい。
画像記憶装置２０は、撮像装置１０で生成された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を一時的に記憶するメモリである。
画像処理装置３０は、画像記憶装置２０に記憶された各色に対応する画像データ（赤画像データ、緑画像データ、青画像データ）を読み出し、読み出した複数の画像データから、赤画像データおよび緑画像データに対して空間解像度を高める補正を行う装置である。
表示装置４０は、青画像データ、ならびに、画像処理装置３０で補正された赤画像データおよび緑画像データによって表されるカラー画像を表示する表示装置である。
なお、この構成において、画像処理装置３０が本発明の画像処理装置の一例である。画像処理装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。
図２は、図１に示される画像生成システム１００における画像処理装置３０の内部構成を示す機能ブロック図である。画像処理装置３０は、画像入力部１０１と、撮影条件取得部１０２と、画像処理部１０３と、画像出力部１０４とを備える。
画像入力部１０１は、波長が異なる複数の光にそれぞれ対応する画像データを受け付けるインターフェースである。画像入力部１０１は、赤画像データ、緑画像データ、および青画像データのそれぞれの画像データを取得する、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃを有する。
赤画像入力部１０１ａ、緑画像入力部１０１ｂ、青画像入力部１０１ｃにそれぞれ入力される画像データは、撮像装置１０によって、同一の被写体を同一の視点または視差が無視できる程度に近接した視点から撮影することにより得られる。青画像データは、撮像装置１０において、赤色光および緑色光のいずれの最小錯乱円の大きさよりも狭い間隔で配置された複数の受光素子によって生成される。
図３は、撮像装置１０において青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色で被写体を撮影するそれぞれの撮像素子について、各色同一の縮尺で、画素配置の一例および赤色光の最小錯乱円の大きさを模式的に示した図である。図３において、破線の円１６０〜円１６２は赤色光の最小錯乱円の大きさを表す。また、縦横に区切られた各区画が１つの画素領域を表し、各画素領域には、青色光、緑色光、または赤色光に対する１つの受光素子が含まれる。
図３に示されるように、赤に対する画素間隔（赤色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさに対応しているが、緑および青に対応する画素間隔（緑色光または青色光に対する受光素子の配置間隔）は赤色光の最小錯乱円の大きさよりも小さい。
撮像装置１０の詳細な構成、および撮像素子における画素配置の他の例について、後で詳しく説明する。
再び図２において、撮影条件取得部１０２は、画像入力部１０１で取得された画像データを生成したときの撮像装置１０における光学系の撮影条件として、絞り、焦点距離、画素間隔を表す撮影条件データを取得する。
画像処理部１０３は、画像入力部１０１で取得された各色の画像データから、青画像データに含まれる空間的な高周波成分を用いて赤画像データおよび緑画像データを高解像度化のために補正する処理部であり、制御部１０３ａと、補正部１０３ｂと、抽出部１０３ｃとを有する。
制御部１０３ａは、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離、画素間隔に基づいて、赤画像データおよび緑画像データのそれぞれに対する補正の要否を判定し、どの波長の色による画像データを補正するかを決定する。
抽出部１０３ｃは、青画像データから、制御部１０３ａが決定した画像データに重畳されるべき高周波成分を抽出する。
補正部１０３ｂは、制御部１０３ａによる判定に応じて、赤画像データおよび緑画像データのいずれか一方または両方に対して、抽出部１０３ｃにて青画像データから抽出された高周波成分を重畳する。
画像出力部１０４は、画像処理部１０３で処理された各色の画像データを合成したカラー画像データを出力する。
次に、上述したように構成された画像処理装置３０が実行する処理について説明する。
図４は、画像処理装置３０が実行する処理の一例を示すフローチャートである。
ステップＳ４０１では、画像入力部１０１における赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃがそれぞれ、赤画像データ、緑画像データ、および青画像データを取得する。
ここで、画像入力部１０１で取得される画像データを生成する撮像装置１０の構成、および受光素子の配置について、詳しく説明する。
図５（ａ）〜図５（ｃ）はそれぞれ、撮像装置１０における各色の撮像素子における画素配置の例を、図３と同様の表記法により示した図である。
図５（ａ）は、各色の画素間隔が等しい例を示す。この場合、青画像に対して、緑画像と赤画像の画素密度は過剰になるが、全ての色に対する画素配置を共通化できるという利点がある。また、余分に画素が含まれることで、画素欠陥に対する補間処理が容易になるという利点もある。
図５（ｂ）は、各色の画素間隔を、対応する色の波長が長いほど広く取った例を示す。この場合、大きな回折ボケが生じる色ほど画素間隔が広く取られるため、必要十分な解像度を得るために、効率の良い画素配置となる。このとき、図５（ａ）の配置と比較して、画素値の読み取り速度を抑えることが可能になると同時に、緑画像、赤画像では画素サイズが大きくなるために、集光性能が向上し、Ｓ／Ｎ比が向上する利点もある。
また、図５（ｃ）は、緑と赤の画素間隔を、図５（ｂ）と比べてさらに大きくした例を示す。この場合、図５（ｂ）の場合と比べて画素値の読み取り速度をさらに抑え、撮像時のＳ／Ｎ比を向上させることが可能になる。
図６（ａ）〜図６（ｃ）は、撮像装置１０の構成の一例を示す図である。
図６（ａ）は、ダイクロイックプリズムを用いた多素子方式による撮像装置の構成の一例、図６（ｂ）は、単一素子多層方式による撮像装置の構成の一例を示しており、それぞれの構成において、青画像用の撮像素子Ｂ、緑画像用の撮像素子Ｇ、赤画像用の撮像素子Ｒが示されている。
図６（ｃ）は、単一素子単層方式による撮像装置の構成の一例を示している。
図７は、単一素子単層方式による撮像装置に用いられる撮像素子の画素配置の例を示す図である。１つの撮像素子の各画素には、画素ごとに青（Ｂ）、緑（Ｇ）、赤（Ｒ）のうちの所定の１色のカラーフィルタが設置される。
図７の撮像素子おいて、最も波長が短い青色に関する画素は、他の色に関する画素と比べて、高い密度で配置される。これにより、回折の影響の少ない青画像を高解像度で得ることが可能となる。
また、図７の撮像素子を用いる場合には、一般的に高周波成分の折り返し防止で用いられる前置光学ローパスフィルタを、青色光に対してのみ有効にしておくことが望ましい。
あるいは、回折ボケ自体をローパスフィルタの代わりに利用することで、ローパスフィルタを除いた構成でもよい。この場合、撮像素子の構造を簡素化できる利点がある。これにより、青よりも長い波長の光に対応するローパスフィルタを設置することで、青画像に含まれる空間的な高周波成分が低下することを避ける。
上記のように構成された撮像装置１０で被写体を撮影することで、同一視点で撮影された被写体に関し、回折ボケ特性の異なる各色の画像データを得る。
ステップＳ４０２では、撮影条件取得部１０２で取得された撮影条件データによって表される光学系の絞り、焦点距離に基づいて、各波長光のボケ特性を決定する。
円形の開口部を持った光学系の場合、例えば、点光源に対する像において回折により生じる最小の暗環の直径を回折ボケの大きさＤとして用いることができる。その場合の回折ボケの大きさＤは、絞り（開口部の直径）ｄ、焦点距離ｆ、および光の波長λとして、Ｄ＝２．４４λ・ｆ／ｄとなる。
また、開口部の形状が円形以外の場合においても、円形の場合と同様のスケールで、開口部の形状のパワースペクトル分布形状を伴ったボケが生じる。
図８は、回折ボケによる光強度分布の一例を示すグラフである。図８に示されるグラフ１００１は、開口が円形の場合に、点光源に対する像の光強度分布を示している。縦軸は像の光強度（明るさ）で最大値を１．０になるように表現している。横軸は像の中心位置からの距離を表す。グラフ１００１に示されるように、像は中心位置で最も明るく、明暗の同心円環が生じる。
回折ボケの大きさＤには、前述したように、点光源に対する像の光強度が理論上０になる最小の暗環の直径（図８のＤ0）が用いられる。また、回折ボケの大きさＤとして、像の光強度が最大値の一定割合（１／２＝０．５や１／３など）になる直径（図８のＤ1）など、実質的に回折ボケの影響が及ぶ範囲を定めて用いても良い。このように、絞り、焦点距離から、各色の画像における回折ボケの特性（回折ボケの形状と大きさ）を決定する。
次に、ステップＳ４０３では、ステップＳ４０２で決定した各色の回折ボケ特性と、各色の撮像素子の間隔に基づき、どの色の画像データを高解像度化の処理対象とするかを決定する。
ここで、長波長光（色Ａ）に対する回折ボケの大きさ（例えば直径）が、短波長光（色Ｂ）の撮像素子における画素間隔よりも大きい場合、色Ａの画像データを高解像度化の処理対象とする。
例えば、赤色光および緑色光のいずれの回折ボケの大きさよりも青色光の撮像素子における画素間隔が狭い場合、青画像データの高周波成分を赤画像データと緑画像データとに重畳する。緑色光の回折ボケの大きさよりも青色光の撮像素子における画素間隔が広い場合には、青画像データの高周波成分を赤画像データのみに重畳する。
ステップＳ４０４では、ステップＳ４０３での決定に従って、短波長光の画像データの高周波成分を長波長光の画像データに重畳する。例えば、赤画像と緑画像の回折ボケの大きさが、青色光の撮像素子における受光素子の配置間隔を超えている場合、青画像の高周波成分を赤画像に重畳して新たな赤画像および緑画像を生成する。
高周波成分の重畳方法としては、赤画像データｆｒと緑画像データｆｇと青画像データｆｂとをフーリエ変換して周波数空間に展開し、それぞれＦｒ、Ｆｇ、Ｆｂとし、赤色光の回折ボケから決定される周波数の上限ωthを超える青画像データＦｂ（ω）の周波数成分Ｆｂ（ω）［ω＞ωth］を赤画像データＦｒ（ω）に加算して補正された赤画像データＦｒ’（ω）を生成する。補正された赤画像データＦｒ’（ω）を逆フーリエ変換することで、青画像データｆｇの高周波成分を重畳した補正された赤画像データｆｒを得る。
緑画像データｆｇについても同様の処理を行い、補正された緑画像データｆｇ’を得る。
上記例では、周波数空間への展開をフーリエ変換で説明したが、離散コサイン変換やウェーブレット変換など、画像を周波数空間へ変換する他の変換および対となる逆変換とを用いてもよい。
図９（ａ）〜図９（ｃ）を用いてステップＳ４０４の高解像度化のための補正処理を説明する。図９（ａ）は正解の画像の例、図９（ｂ）は補正前の画像の例、図９（ｃ）は補正後の画像の例を、青（Ｂ）画像、緑（Ｇ）画像、および赤（Ｒ）画像のそれぞれについて示している。図９（ａ）〜図９（ｃ）の各画像を構成する小矩形は、画素の大きさと位置の関係を表わしており、矩形の模様の違いは画素値の違いを表現している。
図９（ａ）は、どの色も回折限界を超えない条件で被写体を撮影できた場合の画像を示している。図９（ａ）では青画像、緑画像、赤画像のそれぞれが縦横４画素の１６画素を持ち、１列間隔の縦縞が表現されている。
図９（ｂ）は、図９（ａ）の被写体を回折ボケの大きさに合わせた画素サイズと画素間隔で撮影した例を示している。このような画像は、例えば図５（ｂ）に示すように受光素子を配置した撮像素子で被写体を撮影することにより得られる。ここで、青画像は回折ボケが小さいため画素間隔は図９（ａ）と同じであるが、緑画像と赤画像は回折ボケが青画像よりも大きいため、画素のサイズと画素間隔が大きくなっている。回折ボケのため、図９（ｂ）の緑画像と赤画像は図９（ａ）の緑画像と赤画像をそれぞれ空間的にぼかした画像しか撮影することができない。
ステップＳ４０４では、図９（ｂ）の赤画像や緑画像のようにボケた画像には含まれない高周波成分（１列間隔の縦縞の周波数成分）を青画像から抽出する。抽出した高周波成分を、実際に撮影で得た図９（ｂ）の赤画像や緑画像に重畳する。高周波成分の重畳において、高解像度化前の画素数が高解像度化後に必要な画素数に満たない場合（図９（ｂ）の緑画像、赤画像）、高周波成分の重畳に合わせて、補間により必要な画素数の画像に変換する。
重畳した結果の画像の例を図９（ｃ）に示す。図９（ｃ）の緑画像と赤画像は、それぞれ図９（ｂ）の緑画像と赤画像を補間処理で縦横４画素の１６画像に変換し、高周波成分を重畳した結果である。青画像の高周波成分が重畳された結果、１列間隔の縦縞の周波数成分が再現されている。
次に、ステップＳ４０５では、青画像、ならびに補正された赤画像および緑画像で表されるＲＧＢカラー画像を出力する。
比較の為に、図９（ａ）の赤画像、緑画像、青画像で表されるカラー画像を図１０（ａ）に示す。カラー画像においても１列間隔の縦縞が現れている。
図１０（ｂ）には、図９（ｂ）の赤画像、緑画像、青画像から合成されたカラー画像を示す。ここで、図１０（ｂ）のようなカラー画像の合成において、元になる赤画像、緑画像、青画像の画素数が合成されるべきカラー画像の画素数よりも小さい場合、補間処理により画素数を合わせた画像を生成した上でカラー合成を行う。図１０（ｂ）では空間解像度が低い緑画像と赤画像が合成されるため、単独の青画像に比べてボケた画像になっている。
さらに、図９（ａ）のように本来ＲＧＢ共通で白色（画素値が０）である画素位置（列８ａ０１〜列８ａ０６）についても、緑画像と赤画像が組み合わさることで、本来存在しない色（偽色）が生じてしまう（列９ｂ０１、列９ｂ０２）。
図１０（ｃ）には、図９（ｃ）の赤画像、緑画像、青画像を用いてカラー画像を合成した結果を示す。図１０（ａ）の白色（画素値が０）の画素（列９ａ０１、列９ａ０２）は、図１０（ｃ）では再現されている（列９ｃ０１、列９ｃ０２）。
なお、上記例では、青画像の高周波成分を緑画像と赤画像に重畳したが、緑画像か赤画像のどちらか一方にのみ重畳するだけでも本願発明の効果は得られる。また、緑画像の高周波成分を赤画像に重畳することでも本願発明の効果は得られる。
このように、上記構成では、赤色光や緑色光の回折ボケの大きさよりも狭い間隔で配置された受光素子で生成した青画像データを用いて、赤画像データと緑画像データとを高解像度化のために補正することで、本来は回折限界によって得られない高解像度のカラー画像を得ることが可能になる。
以上の例では、赤画像、緑画像、青画像で被写体のカラー画像を表す場合を説明した。赤色光、緑色光、青色光を用いた場合、既存の原色系カラー撮像素子を用いて本願発明を構成することが可能となる利点がある。
また、原色系の色表現の場合と同様に、補色系の色表現を用いることもできる。
シアン（赤の補色）、マゼンタ（緑の補色）、イエロー（青の補色）の補色系を用いる場合、それぞれの補色の光の波長の回折ボケの大きさに基づいて、上記と同様の処理を行う。
すなわち、赤色光や緑色光の回折ボケの大きさよりも狭い間隔でイエロー（青の補色）の画素を配置して得た画像から高周波成分を抽出する。そして、抽出した高周波成分をシアン画像またはマゼンタ画像に重畳し、補正されたシアン画像またはマゼンタ画像を得る。この場合、画素の配置は、図５（ａ）〜図５（ｃ）、図７においてＢ、Ｇ、Ｒをそれぞれイエロー、マゼンタ、シアンに置き換えたものになる。
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像生成システムについて詳細に説明する。
第２の実施の形態における画像処理装置では、可視光により被写体を撮影するとともに、可視光の回折ボケの大きさよりも狭い画素密度で波長が最も短い紫外光により前記被写体を撮影し、紫外画像の高周波成分を可視画像に重畳する。
図１１は、第２の実施の形態における、画像処理装置３１の内部構成を示す機能ブロック図である。画像処理装置３１では、第１の実施の形態の画像処理装置３０（図２を参照）と比べて、紫外画像入力部１０１ｄが追加された画像入力部１１１が用いられる。紫外画像入力部１０１ｄは、紫外光による被写体の画像を表す紫外画像データを取得する。
図１２に、撮影に用いる画素の配置の例を示す。図１２においてＲ、Ｇ、Ｂ、ＵＶは、それぞれ赤色光、緑色光、青色光、紫外光による撮影に用いられる撮像素子における画素配置を示している。観賞用の画像には必要としない紫外光の画像の撮影は、例えば図１３のように予めダイクロイックミラーやダイクロイックプリズムで分離して撮影し、第１の実施の形態において青画像データから高周波成分を抽出したのと同様に紫外画像データから高周波成分を抽出し、抽出した高周波成分を赤画像データ、緑画像データ、青画像データにそれぞれ重畳してもよい。
図１４は、第２の実施の形態において、画像処理装置３１が実行する処理の一例を示すフローチャートである。ステップＳ１８０１〜ステップＳ１８０５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５と大まかには同様であるが、ステップＳ１８０１で、画像入力部１１１が紫外画像データと可視画像データとを入力し、ステップＳ１８０４において紫外画像の高周波成分を可視画像に重畳する点が異なる。
また、可視画像はカラー画像ではなくモノクロ画像であっても、高解像度化することができ、本願発明の効果を得ることができる。
本構成では、可視画像の光量を必ずしも減らすことなく撮影した紫外画像から高周波成分を得ることで、可視画像（モノクロ、カラー）を可視光の回折限界を超えて高解像度化した画像を得ることが可能となる。
また、可視光以外の波長光を用いる例としては、赤外光による撮影と可視光による撮影とを同時に行い、赤外画像に対して可視画像の高周波成分を重畳して補正された赤外画像を生成してもよい。可視画像の高周波成分を赤外画像に重畳することで、回折ボケの大きさが可視光よりも大きく、高精細の画像を撮影しにくい赤外光による高解像度画像を得ることが可能となる。
（第３の実施の形態）
次に、本発明の第３の実施の形態に係る画像生成システムについて詳細に説明する。
第１の実施の形態および第２の実施の形態の画像処理装置では、異なる複数の波長光による画像が全て同時に合焦している場合に、より高い解像度の画像が得られる。第３の実施の形態では、光学系に色収差が含まれる場合に好適な処理を行う画像処理装置について説明する。
図１５は、第３の実施の形態における画像処理装置３２の内部構成を示す機能ブロック図である。画像処理装置３２では、第１の実施の形態の画像処理装置３０（図２を参照）の撮影条件取得部１０２に代えて、撮影条件取得部１１２が用いられる。撮影条件取得部１１２は、画像入力部１０１で取得された画像データを生成したときの撮影条件として、光学系の絞り、焦点距離、画素間隔に加えて、色収差特性、撮像面の位置を取得する。
色収差とは、光の屈折率が波長に応じて異なるために、波長が異なる光の集光位置がずれる光学系の特性を意味している。図１６（ａ）、図１６（ｂ）に色収差の例を示す。
図１６（ａ）において左方からの光はレンズ３０１で屈折し、絞り３０２を通した後、集光される。ここで、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）は屈折率が異なるため、それぞれ位置３０５、３０４、３０３に集光する。図１６（ａ）において、赤色光、緑色光、青色光の経路を、それぞれ破線、点線、実線で示している。
図１６（ａ）では、位置３０３、３０４、３０５での各色光の集光状態を、模式的に同心円の大きさで示している。特定の波長の光が最も集光している位置では、他の波長の光は必ずしも集光度が最大とはならない。
図１６（ｂ）は複数のレンズを組み合わせた光学系３０６の例を示す。絞り３０７を通じた光の集光位置は、図１６（ａ）とは異なるものの、波長によって集光位置は異なっている。図１６（ｂ）では、位置３０８、３０９、３１０での各色光の集光状態を模式的に同心円で示している。図１６ではレンズ左方水平方向からの光線の例のみを示しているが、水平とは異なる向きからの光線の集光特性も同様に波長や向きによって異なってくる。色収差特性はこれらの集光特性を示し、レンズ系に依存して決まる。
このように、色収差が発生する光学系で画像を得る場合、高周波成分を取得する波長光画像に最も合焦するように被写体を撮影して得た画像を用いることが望ましい。すなわち、図１６（ａ）では位置３０３、図１６（ｂ）では位置３１０において得た青画像を用いる。撮像面の位置をこのように設定することで、高周波成分を豊富に含んだ短波長光画像を取得することができ、焦点ボケの発生している他の波長光画像の高解像度化を効果的に行うことが可能となる。
また、焦点ボケが生じている画像については、図１６（ａ）、図１６（ｂ）のように焦点ボケの大きさが既知の場合、予め、焦点ボケを除く処理を行った画像を生成し、その画像に対して上記の高解像度化のための補正処理を行えば、より解像度の高い画像が得られる。
図１６（ａ）の場合、位置３０３で撮影すると赤画像と緑画像については色収差による焦点ボケが生じる。焦点ボケは、合焦位置から撮像面のずれに比例した大きさで、開口部の形状を伴ったボケとなる。最終的なボケ特性は、回折ボケが焦点ボケや収差によるボケに畳み込まれた特性となる。
図１７は、第３の実施の形態において、画像処理装置３２が実行する処理の一例を示すフローチャートである。ステップＳ２００１〜ステップＳ２００５の処理は、第１の実施の形態のステップＳ４０１〜ステップＳ４０５の処理と大まかには同様であるが、ステップＳ２００２において撮像系に対応付けられた上記色収差特性と撮像面の位置を、撮影条件取得部１０２が取得することで、各色の画像における焦点ボケの特性（ボケの形状と大きさ）を決定し、焦点ボケを除去するための画像復元処理を行う点が異なる。
“Ａ ｎｅｗ ｓｅｎｓｅ ｆｏｒ ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．９， ｎｏ．４， ｐｐ．５２３−５３１， １９８７（非特許文献１）に記載されているように、焦点ボケの半径をｒ（焦点ボケ特性）、ｆを焦点距離、ｚを光学系から被写体までの距離、ｄを開口部の直径（絞り）、ｖを光学系と撮像面との距離（撮像面の位置）、αを撮像素子に依存する定数とおくと（式１）の関係が満たされる。ここで、色収差特性とは、焦点距離ｆが波長毎に異なる特性に相当する。
Figure 0004427097
（式１）に基づき、青画像で合焦している場合に、ｒ＝０となる被写体までの距離ｚが定まり、焦点距離ｆの異なる他の波長についての焦点ボケの半径ｒを上記関係式から求めることができる。このようにして、レンズの色収差特性から、赤画像と緑画像の焦点ボケの大きさを決定する。
焦点ボケの形状が既知であるとして、ステップＳ２００２において、ボケ関数の形状に基づいたウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除いた赤画像と緑画像を生成する。
これらの焦点ボケを除いた赤画像と緑画像に対して、ステップＳ２００３で高解像度化の処理対象画像を決定し、ステップＳ２００４で高周波成分を重畳する。
以上のような構成では、色収差を含む光学系においても、波長の最も短い、もしくはそれ以上収束しない領域の最小の大きさが最も小さい青画像（短波長光画像）の高周波成分を用いて他の波長成分の画像を効果的に高解像度化することができる。
なお、短波長光による高解像度の画像に対して合焦するように焦点を調整して、撮像することが望ましいが、全ての波長光画像に対して焦点ボケが生じている場合、焦点ボケと回折ボケとを合わせたボケ特性について、回折ボケ単独の場合と同様の処理を用いても、本発明の効果は得られる。
また、光学系の色収差によって、それ以上収束しない領域の最小の大きさが最も小さい波長の大小関係が、実際の波長の大小関係と異なる場合がある。このような場合には、それ以上収束しない領域の最小の大きさが最も小さい波長の高周波成分を用いて他の波長成分の画像を高解像度化することで本発明の効果が得られる。
更に、焦点ボケについては、焦点位置（光学系と撮像面との距離）を撮影条件取得部１１２が取得しておくことで、（式１）の関係式を用いることで、予め対象としている距離の被写体に対する、焦点ボケの大きさが推定できる。これを色収差のボケ復元と同様にウィナーフィルタや射影フィルタなどの画像復元手法により、焦点ボケを除く。次に、残った波長ごとに大きさの異なる回折ボケについては、上述のステップＳ２００２〜ステップＳ２００５の処理によって高解像度化することができる。
（第４の実施の形態）
次に、本発明の第４の実施の形態に係る画像生成システムについて詳細に説明する。
第１の実施の形態〜第３の実施の形態の画像処理装置では、周波数空間への変換を用いて、短波長光画像に含まれる高周波成分を抽出し、回折ボケを含む波長光の画像へ重畳していたが、第４の実施の形態の画像処理装置では、高周波成分の抽出と重畳を同時に行う。
図１８は、第４の実施の形態における、画像処理装置３３の内部構成を示す機能ブロック図である。
画像処理装置３３は、第３の実施の形態における画像処理装置３２（図１５）の画像処理部１０３を、画像処理部１１３に置き換えて構成される。
画像処理部１１３において、制御部１１３ａは、撮影条件取得部１１２から得た光学系の絞り、焦点距離、撮像面の位置、色収差特性、画素間隔に基づいて、補正処理の対象となる波長光画像を決定する。
評価関数設定部１１３ｂは、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）がより良く維持されている程度を数値で表す評価関数を設定する。
画像統合処理部１１３ｃは、設定された評価関数に従って、色の空間的な連続性がより良く維持された目的画像が得られるように、各色の画像を補正する。
目的画像における色の空間的な連続性を維持するように各色の画像を補正することで、各色の空間的な変化が相似となる結果、短波長光画像の高周波成分が長波長光画像に重畳される。同時に、色の連続性を維持するように短波長光画像も処理することで、偽色の発生（色境界などで本来存在しない色が局所的に生成される事象）を抑える。
図１９は、第４の実施の形態において、画像処理装置３３が実行する処理の一例を示すフローチャートである。ステップＳ２２０１〜ステップＳ２２０３、ステップＳ２２０５の処理は、第３の実施の形態のステップＳ２００１〜ステップＳ２００３、ステップＳ２００５の処理と同等であるが、ステップＳ２２０４では、各色の画像の組み合わせで得られる目的画像の色の空間的な連続性（画素値の連続性や画素値の変化の連続性を含む）を維持するように、長波長光画像と短波長光画像とを処理する。
目的画像の色の空間的な連続性を維持する処理の例を説明する。
評価関数設定部１１３ｂで、目的画像ｇにおける各色の画像の空間的変化パタンが近い（青画像の空間的変化と赤画像および緑画像の空間的変化とが相似している）ほど値が小さくなる評価関数Ｊを設定し、画像統合処理部１１３ｃで、Ｊを最小化する目的画像ｇを求める。Ｊの一例を（式２）に示す。
Figure 0004427097
Ｊは、生成したい高解像度カラー画像ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。ＨR、ＨGは、それぞれ目的画像ｇの各色画像ＲH、ＧHから、各色の入力画像ＲL、ＧL（ベクトル表記）への低解像度化変換を表す。ＨR、ＨGは、例えば、それぞれ（式３）、（式４）のような低解像度化の変換である。
Figure 0004427097
Figure 0004427097
入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
（式３）、（式４）において、ＲH（ｘ，ｙ）、ＧH（ｘ，ｙ）は、それぞれ目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値を示す。
ＲL（ｘRL，ｙRL）、ＧL（ｘGL，ｙGL）は、それぞれ赤入力画像の画素位置（ｘRL，ｙRL）の画素値、緑入力画像の画素位置（ｘGL，ｙGL）の画素値を示している。
ｘ（ｘRL）、ｙ（ｙRL）、ｘ（ｘGL）、ｙ（ｙGL）はそれぞれ、入力画像の赤画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。
また、ｗRとｗGは、赤画像と緑画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。（ｘ’，ｙ’）∈ＣはｗRとｗGとが定義される局所領域の範囲を示している。
低解像度化画像（青画像の場合は同じ解像度の画像）および入力画像の対応画素位置における画素値の差の２乗和を評価関数の評価条件として設定する（（式２）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
（式２）の第４項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。
Ｑsの例であるＱs1およびＱs2を（式５）および（式６）に示す。
Figure 0004427097
（式５）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
図２０に、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図２０では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図２０に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、個別に取り扱うことができる。
（式５）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式５）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（式５）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（式５）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
また、画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
なお、（式５）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
Figure 0004427097
（式６）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
（式６）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式６）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
例えば、（式５）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
（式６）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
なお、評価関数Ｊは、上記に限定するものではなく、（式２）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
次に、画像統合処理部１１３ｃで、（式２）のＪの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（式７）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
Figure 0004427097
以上のように、高周波成分の抽出と、回折ボケを含む波長光画像への重畳を同時に行う際に、全ての色画像を空間的な色変化の滑らかさを満たすように生成することで、長波長光画像（赤画像、緑画像）のみを修正して短波長光画像（青画像）と組み合わせる場合よりも、カラー画像を構成した場合に発生し得る偽色を抑える効果が得られる。
なお、上述の例では画像生成システム１００の動作を説明したが、図２１に示すように、図１に示された画像生成システム１００から表示装置４０を除いて構成されるカメラ３００も、本発明に含まれる。さらに、図２０に示されたカメラ３００に表示装置４０を付加して構成される、動画像録画再生機能付きのカメラも、本発明に含まれる。
また、図２２に示すように、図１に示された画像生成システム１００から撮像装置１０を除いて構成されるテレビなどのディスプレイ機器４００も、本発明に含まれる。そのようなディスプレイ機器４００では、あらかじめ録画してある複数色コンポーネントの動画像を入力動画像として、フレームレートを向上させた目的動画像を生成して表示することが可能になる。
以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
本発明の画像処理装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。
本発明は、回折ボケの生じた波長光を含む多色画像から新たな画像を生成する画像処理装置として、特に、回折ボケを含む色画像と前記回折ボケの大きさよりも狭い間隔で得た短波長色の画像から、回折限界を超える高解像度画像を生成する画像処理装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
１０ 撮像装置
２０ 画像記憶装置
３０〜３３ 画像処理装置
４０ 表示装置
１００ 画像生成システム
１０１、１１１ 画像入力部
１０１ａ 赤画像入力部
１０１ｂ 緑画像入力部
１０１ｃ 青画像入力部
１０１ｄ 紫外画像入力部
１０２、１１２ 撮影条件取得部
１０３、１１３ 画像処理部
１０３ａ 制御部
１０３ｂ 補正部
１０３ｃ 抽出部
１０４ 画像出力部
１１３ａ 制御部
１１３ｂ 評価関数設定部
１１３ｃ 画像統合処理部
３００ カメラ
３０１ レンズ
３０２、３０７ 絞り
３０６ 光学系
４００ ディスプレイ機器

Claims (16)

  1. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する
    画像処理装置。
  2. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得部を備え、
    前記画像処理部は、
    前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
    画像処理装置。
  3. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得部を備え、
    前記画像処理部は、
    前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
    画像処理装置。
  4. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得部を備え、
    前記画像処理部は、
    前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う
    画像処理装置。
  5. 赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力部と、
    前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理部と
    を備え、
    前記画像入力部は、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する
    画像処理装置。
  6. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する
    画像処理装置。
  7. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力部と、
    前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
    を備え、
    前記画像入力部は、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
    画像処理装置。
  8. 第１の波長を持つ光による被写体の画像を表す第１の画像データを生成する複数の受光素子と、
    前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置され、前記第１の波長よりも短い第２の波長を持つ光である紫外光による前記被写体の画像を表す第２の画像データを生成する複数の受光素子と、
    前記第１の画像データおよび前記第２の画像データを取得する画像入力部と、
    前記第２の画像データに含まれる空間的な高周波成分を前記第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理部と
    を備える撮像装置。
  9. 波長が異なる複数の光のそれぞれにより１つの被写体の画像を表す、前記光と同数の画像データを取得する画像入力ステップと、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された、紫外光による前記被写体の画像を表す画像データを、前記第２の画像データとして取得する
    画像処理方法。
  10. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である絞り値を表す撮影条件データを取得する撮影条件取得ステップを含み、
    前記画像処理ステップで、
    前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
    画像処理方法。
  11. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である焦点距離を表す撮影条件データを取得する撮影条件取得ステップを含み、
    前記画像処理ステップで、
    前記取得された撮影条件データから前記第１の画像データの補正の要否を判定し、補正が必要と判定した場合のみ前記第１の画像データを補正する
    画像処理方法。
  12. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
    前記複数の画像データのうち、第１の波長を持つ光による第１の画像データに、前記第１の波長よりも短い第２の波長を持つ光による第２の画像データに含まれる空間的な高周波成分を重畳することにより、前記第１の画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記第１の波長を持つ光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得し、
    さらに、前記第１の画像データを生成したときの撮影条件である受光素子の設置面の位置を表す撮影条件データを取得する撮影条件取得ステップを含み、
    前記画像処理ステップで、
    前記取得された撮影条件データによって表される前記受光素子の設置面の前記第１の波長の波長を持つ光の合焦位置からのずれ量に応じて、前記第１の画像データに対して焦点ボケの除去処理を行う
    画像処理方法。
  13. 赤色光による被写体の画像を表す赤画像データ、緑色光による前記被写体の画像を表す緑画像データ、および青色光による前記被写体の画像を表す青画像データを取得する画像入力ステップと、
    前記青画像データに含まれる空間的な高周波成分を前記赤画像データおよび前記緑画像データのうち少なくともいずれか一方に重畳することにより、前記赤画像データおよび緑画像データのうち少なくとも前記一方を補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記赤色光または緑色光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記青画像データとして取得する
    画像処理方法。
  14. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
    前記画像データのうち、最も短い波長を持つ光による画像データに含まれる空間的な高周波成分を、他の波長の光による画像データに重畳することにより、前記他の波長の光による画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記最も短い波長の光の画像データとして取得する
    画像処理方法。
  15. それぞれ波長が異なる光により１つの被写体の画像を表す複数の画像データを取得する画像入力ステップと、
    前記複数の画像データのうち、それ以上収束しない領域の最小の大きさが最も小さい波長の光による第２の画像データに含まれる空間的な高周波成分を、他の波長の光による第１の画像データに重畳することにより、前記第１の画像データを補正する画像処理ステップと
    を含み、
    前記画像入力ステップで、前記他の波長の光がそれ以上収束しない領域の最小の大きさよりも狭い間隔で配置された複数の受光素子によって生成された画像データを、前記第２の画像データとして取得する
    画像処理方法。
  16. 画像を処理するためのプログラムであって、請求項９から請求項１４のいずれか１項に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
JP2009541666A 2008-06-18 2009-06-17 画像処理装置、撮像装置、方法、およびプログラム Active JP4427097B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008159694 2008-06-18
JP2008159694 2008-06-18
PCT/JP2009/002754 WO2009153983A1 (ja) 2008-06-18 2009-06-17 画像処理装置、撮像装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP4427097B2 true JP4427097B2 (ja) 2010-03-03
JPWO2009153983A1 JPWO2009153983A1 (ja) 2011-11-24

Family

ID=41433901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009541666A Active JP4427097B2 (ja) 2008-06-18 2009-06-17 画像処理装置、撮像装置、方法、およびプログラム

Country Status (5)

Country Link
US (1) US7986352B2 (ja)
EP (2) EP2268043B1 (ja)
JP (1) JP4427097B2 (ja)
CN (1) CN101889453B (ja)
WO (1) WO2009153983A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
US9756264B2 (en) * 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
CN102450019B (zh) * 2010-01-07 2014-12-10 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
US20120033888A1 (en) * 2010-08-09 2012-02-09 Tetsuya Takamori Image processing system, image processing method, and computer readable medium
JP5582935B2 (ja) * 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
WO2012168322A2 (en) 2011-06-06 2012-12-13 3Shape A/S Dual-resolution 3d scanner
CN107093192B (zh) 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
JP5686376B2 (ja) * 2011-10-25 2015-03-18 日本電信電話株式会社 画像処理装置、方法、及びプログラム
JP6102061B2 (ja) * 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
JP6394960B2 (ja) * 2014-04-25 2018-09-26 パナソニックＩｐマネジメント株式会社 画像形成装置および画像形成方法
JP2015219282A (ja) * 2014-05-14 2015-12-07 ソニー株式会社 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム
US10455056B2 (en) * 2015-08-21 2019-10-22 Abobe Inc. Cloud-based storage and interchange mechanism for design elements
US10496241B2 (en) 2015-08-21 2019-12-03 Adobe Inc. Cloud-based inter-application interchange of style information
US10021320B2 (en) * 2016-06-28 2018-07-10 Foveon, Inc. Electronically controlled graduated density filters in stacked image sensors
JP6834614B2 (ja) * 2016-07-12 2021-02-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11472928B2 (en) 2018-02-14 2022-10-18 Dover Chemical Corporation Use of a polymeric polyphosphite as a polymer processing aid
EP3979199A4 (en) * 2019-05-30 2022-08-03 Panasonic Intellectual Property Management Co., Ltd. IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS AND PROGRAM
CN112167074A (zh) * 2020-10-14 2021-01-05 北京科技大学 一种基于宠物脸识别的自动喂食装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363477B2 (ja) 1992-06-12 2003-01-08 富士写真フイルム株式会社 撮像装置
JPH07203318A (ja) * 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP3697459B2 (ja) * 2002-09-18 2005-09-21 コニカミノルタフォトイメージング株式会社 画像処理方法及び画像処理装置
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP4453976B2 (ja) * 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
JP5535476B2 (ja) * 2005-03-07 2014-07-02 ディーエックスオー ラブズ カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
US8233710B2 (en) * 2005-07-14 2012-07-31 Nikon Corporation Image processing device and image processing method
CN101053249B (zh) * 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
JP4916187B2 (ja) 2006-02-24 2012-04-11 オリンパス株式会社 レンズ系
JP4732264B2 (ja) * 2006-07-28 2011-07-27 キヤノン株式会社 撮像装置
CN101485193B (zh) * 2006-10-19 2012-04-18 松下电器产业株式会社 图像生成装置以及图像生成方法

Also Published As

Publication number Publication date
US7986352B2 (en) 2011-07-26
EP2312858A1 (en) 2011-04-20
WO2009153983A1 (ja) 2009-12-23
EP2268043A1 (en) 2010-12-29
CN101889453A (zh) 2010-11-17
EP2268043B1 (en) 2013-11-06
JPWO2009153983A1 (ja) 2011-11-24
EP2268043A4 (en) 2010-12-29
EP2312858B1 (en) 2012-09-26
CN101889453B (zh) 2013-11-13
US20100208104A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
JP4427097B2 (ja) 画像処理装置、撮像装置、方法、およびプログラム
CN102968761B (zh) 图像处理设备和图像处理方法
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
US9392241B2 (en) Image processing apparatus and image processing method
JP4289419B2 (ja) 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
KR101536162B1 (ko) 화상처리장치 및 방법
CN102209245B (zh) 图像处理装置、图像拾取装置和图像处理方法
US8036481B2 (en) Image processing apparatus and image restoration method and program
JP5006814B2 (ja) 撮像装置
US8736737B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018196083A (ja) 画像処理装置
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US8781223B2 (en) Image processing system and image processing method
JP5159715B2 (ja) 画像処理装置
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
US8798364B2 (en) Image processing system and image processing method
JP2009147762A (ja) 画像処理装置、画像処理方法、プログラム
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP5147577B2 (ja) 画像処理装置およびその方法
JP2009047733A (ja) 撮像装置及び画像処理プログラム
JP2016158106A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091211

R150 Certificate of patent or registration of utility model

Ref document number: 4427097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4