JP4701187B2 - 画像処理方法、画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、例えば動画の高解像化などの解像度変換を行うための技術に関するものである。

デジタル映像機器ネットワークの普及により、異なる規格形式のデジタル画像が様々な入出力機器において取り扱われることが、普通になっている。特に画像のサイズ種類は、低解像度から超高解像まで様々な種類がある。静止画では、民生用デジタルスチルカメラの撮像素子は５００万画素以上が普通となり、現在では１０００万画素を越える製品も登場しており、デジタル写真プリント用途に十分な高解像度化が達成されつつある。

しかしながら、今後のデジタル画像の用途としては、リアルなＣＧ生成のために、実写画像の一部を切り出して大きく拡大または変形し、テキスチャマッピングを行うといった用途が発展すると考えられる。また電子商取引や医療などの用途では、商品や患部をディスプレイに提示する場合、画像の興味領域を自在に大きく表示したいというインタラクティブ表示用途もある。また静止画での高解像度化がある程度達成されたため、今後は動画での解像度拡大、特に映画のようにフレーム画像のそれぞれが静止画として通用する程度の高解像度動画が、大きなニーズになってくると予想されている。

このように、より一層の画像のデジタル的な高解像度化が求められている。ところが、この要求に答えるためには、単に撮像素子の進歩だけでなく、デジタル画像処理の高度化が必須である。

画像高解像度化の応用先としては、カメラのような画像入力系の分野と、テレビのような画像表示系の分野の２つがある。本願は主として、画像入力系への応用に関するものである。

本分野の従来技術としては、低解像度の撮像素子を用いながらも、光学ズーム機構を用いて、最終的に高画角で高解像度の静止画を得るものがあった。

例えば、特許文献１では、連続的な光学ズームを行いながら撮影した動画を、ズーム率を考慮しつつ次々と画像バッファ上に重ねることによって、１枚の広画角・高解像度静止画を生成するカメラが開示されている。また、特許文献２では、ズームレンズを望遠側の最大ズーム位置から広角側の最低ズーム位置までステップ的に移動させ、各位置における複数の画像を磁気テープに書き込み、その読み出し時に各画像を縮小拡大して同じ倍率の画像に変換して重畳し、マスターメモリ上に高解像度の画像を生成するといった技術が開示されている。さらに、特許文献３では、光学ズーム画像を位置合わせをしながら相互に貼り付けて１枚の高解像度静止画を生成し、ヘテロ構造のピラミッド形式に組み立てる技術が開示されている。

また、特許文献４には、光学ズームを用いないで、低解像度と高解像度の画像から高解像度の動画を作り出す技術が開示されている。すなわち、低解像度で高速フレームレートのカメラによる連続した動画の中の対応点情報から、高解像度で低速のカメラによる少ないフレーム数の動画内の対応点を見出し、時間方向の補間技術を用いて、高解像度画像から、高解像度の連続フレーム動画を生成する。

また、特許文献５にも、低解像度と高解像度の画像から高解像度の動画を作り出す技術が開示されている。上述の特許文献４では、高解像度の静止画に動きを付加して動画化しているのに対して、この特許文献５の技術では、低解像度動画の１フレームと高解像度静止画とをサンプル時間毎に対応づけて、動画を空間的に補間して高解像度化している。
特開平１１−２５２４２８号公報（図３） 特開平８−２５１４７７号公報（図２） 米国特許第６６８１０５６号明細書 特開２００３−２０３２３７号公報（図１） 特許第３２４０３３９号公報（図１４）

しかしながら、従来の技術には、次のような問題があった。

まず、特許文献１〜３に示されたような、光学ズームを用いて高解像度画像を生成する技術では、生成される高解像度画像が静止画に限定されてしまう、という問題がある。現実には、デジタル動画の解像度はデジタル静止画に比較して低いという事実があり、デジタル動画の高解像度化の要望が非常に大きい。

動画の高解像度について、従来技術では、以下の３つの問題がある。

第１に、特許文献１〜３の技術を動画に適用する場合、撮影者の意図に従ったカメラワークによって動画を撮影する録画プロセスと、光学ズームによる部分的な画像取得を行う画像取得プロセスとの両方を実行する必要がある。この両者を時間的にずらして行った場合、高解像度画像と低解像度画像の各領域の対応づけが不明になる。また、空間的対応づけを画像内の各領域について求めるためには、各領域について光学ズームによる画像取得プロセスを行う必要があるが、このためには、画面内の微小領域を選択して光学ズームさせるといった動作を繰り返し実行することになり、煩雑な作業となって、人手で行うには非現実的である。

第２に、特許文献４に開示されたものは、高解像度静止画像のフレームレートを時間的補間技術によって向上させる技術であり、静止画に動きベクトルで動作を付加しているため、生成される動画は、静止画の連続という域を得ない。特に、動画では、パン、チルト、ズームなどの操作によるカメラワークや被写体自身の変形や回転などによって、滑らかに変化する様々なシーンが生じるが、その全ての高解像度画像を静止画からの補間技術によって生成することは困難である。

第３に、特許文献５に開示されたものは、低解像度の動画から、空間的に高解像度の動画を作り出す技術である。具体的には、動画と静止画の対応づけが時間軸上の離散点で行われるため、対応情報が存在しない動画フレームについて、既に対応付けが判明したフレームの情報を用い、類似した信号レベルのエッジを探索し、これを同一の被写体が動いたと考えて空間的に補間する画素を決定する。このため、探索処理の負担が重いという問題があるだけでなく、被写体との距離が変化したり、被写体の変形が生じた場合には、対応づけができず、高解像度化が困難になる可能性が高い。

前記の問題に鑑み、本発明は、動画の高解像度化のような画像の解像度変換を行う技術として、少ない処理量で、精度の高い解像度変換を実現可能にすることを課題とする。

本発明は、被写体について取得した解像度が互いに異なる複数の画像から、被写体特性毎に解像度変換ルールを学習し、取得した原画像を被写体特性に基づき領域分割し、分割された領域に、対応する被写体特性に関して学習した解像度変換ルールを適用することによって、原画像を解像度変換するものである。

この発明によると、まず、被写体について、解像度変換ルールが、解像度が互いに異なる複数の画像から、被写体特性毎に学習される。また、解像度変換の対象となる原画像は、被写体特性に基づき、領域分割される。そして、分割された領域に、対応する被写体特性に関して学習した解像度変換ルールを適用することによって、原画像の解像度変換がなされる。すなわち、原画像の解像度変換が、被写体特性毎の解像度変換ルールを適用して実行されるので、被写体特性が反映された精度の高い解像度変換が実現される。また、原画像上の位置にかかわらず、被写体特性が共通の領域では同じ解像度変換ルールが適用されるので、画像処理の処理量は大幅に削減される。

本発明によると、被写体特性が反映された精度の高い解像度変換を、少ない画像処理量で、実現することができる。したがって本発明は、低解像度の動画を高解像度化するのに有効である。被写体特性として、各画素から算出できる光学的特性を用いることができるので、複雑なカメラワークや被写体との距離の変化や変形や回転などによる、滑らかに変化する様々なシーンにも、容易に適用でき、高品質な動画を生成することができる。また本発明は、高解像度化に限らず、一般的な解像度変換にも適用できるため、例えば、携帯電話のような低解像度表示系への画像表示のための低解像度画像生成にも、有効に利用できる。

本発明の第１態様では、被写体のターゲット領域について、解像度が異なる第１および第２の画像と被写体特性を示す第３の画像とを取得可能に構成された取得部と、前記第１および第２の画像からこの第１および第２の画像を互いに対応付ける解像度変換ルールを生成するルール生成部と、前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する領域分割画像生成部とを備え、前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性ととともに記録する画像処理装置を提供する。

本発明の第２態様では、前記取得部は、被写体の分光情報からなる分光画像を、前記第３の画像として取得するものである第１態様の画像処理装置を提供する。

本発明の第３態様では、前記取得部は、被写体表面における鏡面反射成分と拡散反射成分との比率を表す鏡面・拡散比率画像を、前記第３の画像として取得する第１態様の画像処理装置を提供する。

本発明の第４態様では、前記取得部は、鏡面反射画像と拡散反射画像とのそれぞれについて、解像度が異なる第１および第２の画像を取得する第１態様の画像処理装置を提供する。

本発明の第５態様では、前記取得部は、ズームレンズを有し、光学ズーム手法を用いて、前記第１および第２の画像を取得する第１態様の画像処理装置を提供する。

本発明の第６態様では、外部から、解像度変換ルール生成を指示するための学習ボタンを備えた第１態様の画像処理装置を提供する。

本発明の第７態様では、前記領域分割画像を表示するための前記表示部を備えた第１態様の画像処理装置を提供する。

本発明の第８態様では、前記取得部は、光軸可変ズーム機構を有し、この光軸可変ズーム機構を用いて、指定されたターゲット領域に光学ズーミングを行い、前記第１および第２の画像を取得する第１態様の画像処理装置を提供する。

本発明の第９態様では、静止画撮影機能とセルフタイマー機構とを有し、前記セルフタイマー機構を用いた静止画撮影を行うとき、撮影前のタイマー動作期間において、前記取得部が前記第１、第２および第３の画像の取得を行う第８態様の画像処理装置を提供する。

本発明の第１０態様では、撮影機能と照明環境の変化を検出する照明推定部とを備え、撮影中に前記照明推定部によって照明環境の変化を検出したとき、解像度変換ルールの再生成が必要である旨を撮影者に通知する第１態様の画像処理装置を提供する。

本発明の第１１態様では、撮影機能と、解像度変換ルールの生成が必要であるとき、撮影を禁止する機能とを備えた第１態様の画像処理装置を提供する。

本発明の第１２態様では、動画録画機能を備え、前記取得部は、前記第１および第２の画像の取得を、動画録画と並列に実行可能に構成されている第１態様の画像処理装置を提供する。

本発明の第１３態様では、前記第１および第２の画像のうち前記第１の画像の方が解像度が高いものとすると、前記取得部は、動画録画中に、前記第１の画像として静止画像を撮影するとともに、前記第２の画像として録画されている動画像を取得するものである第１２態様の画像処理装置を提供する。

本発明の第１４態様では、前記取得部は、前記第３の画像から未学習の被写体特性を認識したとき、前記第１および第２の画像の取得を行う第１３態様の画像処理装置を提供する。

本発明の第１５態様では、前記取得部は、所定時間が経過する毎に、前記第１および第２の画像の取得を行う第１３態様の画像処理装置を提供する。

本発明の第１６態様では、前記取得部は、前記第１および第２の画像を撮影するための、解像度が異なる複数の撮像素子を有する第１態様の画像処理装置を提供する。

本発明の第１７態様では、被写体のターゲット領域について、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像とを取得する第１の工程と、前記第１および第２の画像から、この第１および第２の画像を互いに対応付ける解像度変換ルールを、生成する第２の工程と、前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する第３の工程とを備え、前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性とともに記録する画像処理方法を提供する。

本発明の第１８態様では、被写体のターゲット領域について取得した、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像とを用いた画像処理を行うプログラムとして、前記第１および第２の画像から、この第１および第２の画像を互いに対応付ける解像度変換ルールを、生成する第１の工程と、前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する第２の工程と、前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性とともに記録する第３の工程とをコンピュータに実行させるものを提供する。

以下、本発明の実施の形態について、図面を参照して、詳細に説明する。

（第１の実施形態）
図１〜図３は本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。図１は学習プロセスを示し、ここでは、被写体について解像度が互いに異なる複数の画像を取得し、この複数の画像から被写体特性毎に解像度変換ルールを学習する。図２は録画プロセスを示し、ここでは、被写体の静止画像または動画像を原画像として取得するとともに、この原画像を被写体特性に基づき領域分割する。図３は高解像度化プロセスを示し、ここでは、分割された領域に、対応する被写体特性に関して学習した解像度変換ルールを適用することによって、原画像を解像度変換する。ここでは、記録された原画像をディスプレイに高解像度表示するために、高解像度化する。

ここで、被写体特性とは、例えば、被写体の分光情報から得ることができる。分光情報は、被写体の材質に依存する。ここでいう材質とは、被写体自体の材料の性質の他に、被写体表面の粗さなどの表面状態を含む。なお、本発明での被写体特性は、分光情報に限定されるものではなく、撮像距離に依存しない光学的特性であれば、どのようなものであってもよい。たとえば、被写体表面の反射特性（ＢＲＤＦ：bi directional distribution function）や、鏡面反射成分と拡散反射成分との比率といった物理的な反射特性も、光の偏光成分を画像と同時に取得することによって、被写体特性として用いることができる。

図１の学習プロセスにおいて、まず、被写体の注目領域であるターゲット領域において、解像度が異なる画像を取得する（Ｓ１０１）。例えば、低解像度画像と高解像度画像とを取得する。また、ターゲット領域について、被写体特性を取得する（Ｓ１０２）。そして、解像度が異なる画像から解像度変換ルールを学習し、これを被写体特性ととともに記憶手段に記録する（Ｓ１０３）。そして、このような処理を、全てのターゲット領域について実行する（Ｓ１０４）。

ステップＳ１０３においては、例えば、低解像度画像と高解像度画像とについてそれぞれテキスチャ特徴量を求め、このテキスチャ特徴量同士の対応関係をパラメータ化し、このパラメータを解像度変換ルールとする。なお、このパラメータのことを、本願明細書において、高解像度化パラメータとも呼ぶものとする。

ここで、テキスチャ特徴量は、上述した被写体特性とは全く別の概念である。被写体特性は、例えば分光情報から得られ、被写体の材質などを反映した光学的特性であるのに対して、テキスチャ特徴量は、画像自体の画素パターンの情報である。

図２の録画プロセスにおいて、局所的なターゲット領域でなく、通常の動画や静止画を原画像として取得する（Ｓ２０１）。これとともに、被写体特性を識別し、これを基にして画像領域分割を行い、領域分割画像を生成記録する（Ｓ２０２）。

図３の高解像度化プロセスにおいて、まず、録画プロセスで記録された原画像および領域分割画像と、学習プロセスで学習された被写体特性毎の解像度変換ルールとを、取得する（Ｓ３０１）。そして、原画像の画素を取得し（Ｓ３０２）、当該画素が属する領域の被写体特性について解像度変換ルールが学習済みか否かを判断し（Ｓ３０３）、学習済みのときは（Ｓ３０３でＹｅｓ）、当該被写体特性に係る解像度変換ルールを適用して高解像度化し（Ｓ３０４）、もし未学習のときは（Ｓ３０３でＮｏ）、通常の補間処理を実施して高解像度化する（Ｓ３０５）。このような処理を、解像度変換の対象となる全ての画素について実行する（Ｓ３０６）。

本発明では、被写体特性を用いて、解像度変換ルールの対応付けや画像領域の分割を行う。ここで、テキスチャなどの画像自身の特徴を用いないで被写体特性を用いたのは、以下の理由による。

第一に、画像特徴を用いた場合は、領域分割を高精度に実施することは難しく、処理量も多くなるためである。特に、動画をリタルタイムで領域分割することが困難になると予想される。第二に、画像特徴は、画像自身のボケや撮像距離の違いに起因して識別が困難になることが多いためである。これに対して、被写体特性は、基本的に１個の画素が持つ情報から取得できるので、識別処理が簡単であり、また撮像距離やボケに対してもロバストである。すなわち、画像特徴を失うほど画像がボケていても、被写体特性は情報として残る可能性が高い。また動画では、被写体は通常静止しておらず、画面内を移動するが、この場合、画像特徴を用いたときは、画像内から該当部分を探索することが必要になるが、被写体特性を用いたときは、探索は極めて容易である。

なお、図１〜図３に示した各プロセスは、典型的には、学習プロセス、録画プロセス、高解像度化プロセスの順に実施されるが、例えば、学習プロセスと録画プロセスとを、時間的に並行に実施してもかまわない。

（第２の実施形態）
本発明の第２の実施形態では、上述の第１の実施形態をベースとして、具体的な画像処理方法について説明する。ここでは、解像度が異なる画像取得のために、光学ズーム手法を用いる。また、被写体特性として、被写体の分光情報を用い、解像度変換ルールとして、高解像度化パラメータ、すなわち、画像のテキスチャ特徴量同士の対応関係を表すパラメータを用いる。

図４は学習プロセスと録画プロセスの例を示す概念図である。図４（ａ）に示すように、人物の動画撮影に際し、学習プロセスにおいて、ターゲット領域ＴＡ１（図では人物の顔）を予め設定し、このターゲット領域ＴＡ１にカメラＣＡの光軸を向けて光学ズームを行う。その後、図４（ｂ）に示すように、録画プロセスに進む。ここでは、人物は多少のの動きはあるがほぼ静止しているので、録画する被写体それ自身に関して学習プロセスを実施することができる。このことは、高解像度化の品質を高める上では望ましい。もちろん、例えば一度しか発生しない事象に対しては、このような順序でプロセスを実行することは必ずもできない。このような場合には、録画プロセスを実施した後、時間的余裕があれば学習プロセスを実施する。また、両者を同時に実施する場合も考えられ、これについては後述する。

図５は本実施形態における学習プロセスを示すフローチャートである。図５において、撮影者がターゲット領域を設定し（Ｓ５０１）、撮影者の指示によってカメラＣＡの光学ズームが同期して動作する（Ｓ５０２）。これにより、ターゲット領域の高解像度画像と低解像度画像とが取得される。具体的には、可視光画像と分光画像とが生成される（Ｓ５０３，Ｓ５０４）。ここで、可視光画像は、人間の視覚特性に合致したカラー画像やモノクロ画像であり、分光画像は、カラー成分を狭帯域特性をもつフィルタで分光した情報であり、被写体の特性たる材質をよりよく識別するために用いる。そして、可視光画像をテキスチャ特徴量に変換し、ターゲット領域において高解像度テキスチャ特徴量と低解像度テキスチャ特徴量との対応関係をパラメータ化する（Ｓ５０６）。本願明細書では、このパラメータ化のことを学習とも称する。

図６は画像をテキスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いた方法を示す図である。図６では、３段階のスケーリングによるウェーブレット変換を用いている。第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解されるが、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向への分解、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。このようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテキスチャ特徴量ＴＦ１である。

以上のようにして、低解像度画像と高解像度画像とをそれぞれテキスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、このような処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭協調」電子情報通信学会論文誌 Vol.J79A 1996/5 （１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ５０６におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。

次に、ステップＳ５０７において、分光画像からターゲット領域の被写体特性を求めて、これを学習済み材質として登録する。具体的には図８に示すように、低解像度で取得された分光画像のカラー情報を特徴ベクトル量子化処理によって１つの特徴量に生成し、これを１つの固有な材質を表現する代表ベクトルとして、登録する。

ステップＳ５０８において、他のターゲット領域について学習を行うときは、再度ターゲット領域を設定して、ステップＳ５０３〜Ｓ５０７を繰り返す。そうでないときは、画像取得（学習プロセス）を終了する。

ここで図９を用いて、ターゲット領域と光学ズームとの関係について説明する。

図９（ａ）はズーム前の状態であり、被写体となる人物を広画角で撮影しようとしている。このとき、図４（ａ）のようにターゲット領域を人物の顔に設定すると、ターゲット領域を中心とした基準枠ＦＬ１が設定される。この基準枠ＦＬ１は、光学ズームの最大倍率において画面一杯に撮影される狭画角の範囲に相当する。テキスチャ特徴量などの画像処理は、この基準枠ＦＬ１を光学ズームの最大倍率での画像サイズに正規化した上で実行される。

そこで、撮影者はターゲット領域、すなわち、基準枠ＦＬ１に向かって高解像度画像取得プロセスを起動させる。これに同期して光学ズームが行われる。図９（ｂ）は光学ズームの途中過程を示す図であり、基準枠ＦＬ１領域に対してさらにズームが続けられる。そして、最終的に図９（ｃ）に示すような、最大倍率にて光学ズームした基準枠ＦＬ１内一杯に高解像度で狭画角の画像が得られる。

ＩＭａ，ＩＭｂ，ＩＭｃは、それぞれ、図９（ａ）〜（ｃ）の状態における基準枠ＦＬ１内の画像であり、サイズを正規化したものである。画像ＩＭａは不十分な画素サイズをデジタル補間して画像サイズのみを合致させているため、大幅なボケを生じている。同様に、光学ズーム途中の画像ＩＭｂは、画像ＩＭａよりは高解像度化されているものの、補間の影響によってややボケることはやむをえない。そして光学最大ズーム倍率による画像ＩＭｃは鮮明な高解像度画像になっている。したがって、基準枠ＦＬ１の中心部であるターゲット領域ＴＡ１についても、画像ＩＭａでは非常にボケたテキスチャを呈するが、画像ＩＭｂでは中間的なボケとなり、画像ＩＭｃは非常に鮮明なものとなる。図５のステップＳ５０６では、これらのテキスチャ特徴間の対応関係を、ウェーブレット変換を用いた多重解像度ベクトル間の関係としてパラメータ化する。

次にパラメータ化につき説明する。ここでは、パラメータ化は、ベクトル量子化と、分析コードブックと再生コードブックという２種の対応テーブルの作成とによって実現する。

ボケ画像と鮮鋭化画像について、１００画素の画素位置ごとに多重解像度ベクトルに変換する。これを、Ｕ１〜Ｕ１００、Ｖ１〜Ｖ１００とする。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。

図１０の例では、ベクトルＵはＵＡとＵＢの２種に量子化され、ベクトルＶはＶＡとＶＢの２種に量子化されている。解析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合ＶＡには代表ベクトルＺ１が、量子化集合ＶＢには代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。

次に、図１１に示すように、ベクトル番号から量子化インデックス（１または２）を出力する解析コードブックＣＢ１と、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＣＢ２とが生成される。このようにして生成した解析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。

また、上の例では、一対の低解像度画像と高解像度画像を各々別個に量子化して学習を行うものとしたが、次に、低解像度画像から高解像度画像までの複数の画像サンプル集合を用いて学習を行う例について説明する。

例えば、後述する録画プロセスにおいて滑らかな光学ズームが行われた場合、高解像度表示を行うためには、１×１から２×２、３×３、４×４・・・のようにズームが行われる過程における画像を全て、高解像度化する必要がある。例えば、このようなズーム画像を、２倍の画素数を持つ表示装置に高解像度化表示するためには、ズーム過程における全ての画像について２×２の高解像度化を実行する必要がある。

図１２に示すように、上述の２×２の高解像度化を実施するための学習をする画像の対は、光学ズーム率が１×１の画像ＩＭ１に対しては、光学ズーム率が２×２の画像ＩＭ２であり、光学ズーム率が２×２の画像ＩＭ２に対しては、光学ズーム率が４×４の画像ＩＭ４である。一般に、学習サンプルとしては、解像度化の倍率Ｍと撮像された画像自身の光学ズーム倍率Ｎの積Ｍ・Ｎの光学ズーム画像までが必要である。ただし、これらの学習を別個に実行することは大変な負担になる上、表示プロセスにおいて別々の高解像度化パラメータを用いることとなり、本来滑らかな光学ズーム映像がフレーム毎に変動してしまう可能性もある。

そこで、学習プロセスにおいて、Ｍ・Ｎ倍までの光学ズームを実施し、これらのサイズの画像を正規化して多重解像度ベクトルの集合を求めて、共通の分析コードブックＣＢを作成する。コードブックＣＢにおいて、Ｚ１〜Ｚ３が画像ＩＭ１の量子化ベクトル、Ｚ２〜Ｚ６が画像ＩＭ２の量子化ベクトル、Ｚ５〜Ｚ９までが画像ＩＭ４の量子化ベクトルとする。そして再生コードブックを作るために、分析コードブックＣＢ内での対応を、対になる各画像の画素対応に基づき決定する。この対の学習により、画像ＩＭ１の場合は例えば、Ｚ１がＺ２に、Ｚ２がＺ３に、Ｚ３がＺ４にという対応が生成されて、再生コードブックが生成される。

以上のように、高解像度化のための特徴ベクトルは、一連の光学ズーム画像群ＩＭ１〜ＩＭ４から一度に生成される。このため、使用する量子化ベクトルのバリエーションは制限される可能性があるものの、利用するベクトルの共通性が高まるため、動画として滑らかな光学ズームを維持しつつ、高解像度化を達成することができる。なお、ズーム動画においてより滑らかな高解像度化を実現するためには、離散的な再生コードブックを時間的に補間する手法を採用しても良い。

図１３は本実施形態における録画プロセスを示すフローチャートである。録画プロセスでは、図４（ｂ）に示すように例えば動いている人物の動画撮影を実施するが、このときの画角は広画角状態から光学ズーム状態まで様々である。画像が取得されると、図５に示した学習プロセスと同様に、可視光画像の生成（Ｓ６０１）および分光画像の生成（Ｓ６０２）とテキスチャ特徴量変換とが、動画のフレームレートで行われる。そして、分光画像から、分光情報を量子化することによって、材質を表現する被写体特性を算出し（Ｓ６０３）、登録されていた学習済み材質を参照して、画像領域を分割し、同一材質領域をラベリングして材質画像を生成する（Ｓ６０４）。そして、この材質画像と録画された可視光画像である録画動画とを記録、蓄積、転送する（Ｓ６０５）。

図１４は材質画像の一例の模式図であり、図４の状況において、人物の顔の肌部分をターゲット領域として学習し、登録した場合の材質画像の例である。図１４の画像では、斜線が付された部分が、肌と同質の材質領域として識別されている。

図１５は本実施形態において蓄積・転送される画像ファイルフォーマットを模式的に示す図である。図１５において、１５０１は録画プロセスにおいて記録される原画像を表す画像データであり、ここでは、輝度画像またはＲＧＢ画像の動画像であり、２次元的な位置と時間の関数としてＩ（ｘ，ｙ，ｔ）のように表される。従来の動画カメラ機能によって取得されるものと特に変わることはなく、例えばＤＶやＭＰＥＧなどの圧縮された動画像ファイルであればよい。１５０２は録画プロセスにおいて生成される、原画像における被写体特性に基づき分割された領域を示す領域分割画像データであり、これも動画としてＭｉ（ｘ，ｙ，ｔ）と表される。図１５の画像データ１５０２では人物の肌と同一材質領域のみを示しているが、複数の材質が登録されている場合は、学習登録された各材質の領域と、未学習領域とを示す画像となる。１５０３は画像学習プロセスにおいて被写体特性毎に学習された高解像度化パラメータデータであり、上述した分析コードブックＡＣ（Ｍｉ）および再生コードブックＳＣ（Ｍｉ）を含む。

図１５に示したような情報は、カメラ装置においてメモリカード等に一緒に記録されてもよいし、ネットワーク経由で転送されてもよい。また図１５の情報を全て１個にまとめた画像ファイルを定義して、これを表示系に送るようにしてもよい。これにより、非常にデータ量の多い高解像度動画をそのまま送ることなく、表示側にて自由自在な高解像度化が可能になる。

図１６は本実施形態における高解像度化プロセスすなわち表示側での処理を示すフローチャートである。まず、図１５に示すような蓄積転送データを受け取り、記録動画（動画像１５０１）、材質領域分割画像１５０２、および高解像度化パラメータ（パラメータファイル１５０３）を取得する（Ｓ７０１）。そして、記録動画の１フレームの各画素を順次処理のために取得する（Ｓ７０２）。材質領域分割画像を参照して、当該画素が学習されたいずれの材質に該当するかを判定する（Ｓ７０３）。学習済みの材質に該当すると判定したときは、画素をテキスチャ特徴量に変換し（Ｓ７０４）、これに、該当する材質に係る高解像度化パラメータを適用して、高解像度テキスチャ特徴量を生成する（Ｓ７０５）。そして、高解像度テキスチャ特徴から画像に逆変換を行う（Ｓ７０６）。これは、図６および図７で説明した処理の逆変換を実施すればよい。一方、学習済みの材質に該当しないと判定された画素については、従来の補間処理を行う（Ｓ７０７）。これらの結果、高解像度動画が表示される。

（第３の実施形態）
図１７は本発明の第３の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した例を示すブロック図である。図１７の画像処理装置は、ズームレンズ３０１、ズーム制御部３０２、可視光・分光撮像部３０３、被写体の分光情報からなる第３の画像としての分光画像を生成する分光画像生成部３０４、可視光画像生成部３０５、材質画像生成部３０６、テキスチャ特徴変換部３０７、学習済み領域分割部３０８、ディスプレイなどの表示部としての学習済み領域表示部３０９、材質領域分割画像記録部３１０、テキスチャ特徴学習部３１１、高解像度化パラメータ記録部３１２、学習ボタン３１３、記録ボタン３１４、および画像記録部３１５を備えている。

ズームレンズ３０１、ズーム制御部３０２、可視光・分光撮像部３０３、分光画像生成部３０４および可視光画像生成部３０５によって、被写体のターゲット領域について、解像度が異なる第１および第２の画像と被写体特性を示す第３の画像としての分光画像を取得可能に構成された取得部が、構成されている。テキスチャ特徴変換部３０７およびテキスチャ特徴学習部３１１によって、取得部によって取得された第１および第２の画像からこの第１および第２の画像を互いに対応付ける解像度変換ルールを生成するルール生成部が、構成されている。材質画像生成部３０６および学習済み領域分割部３０８によって、分光画像から被写体特性に基づいて領域分割された領域分割画像を生成する領域分割画像生成部が、構成されている。

撮影者は、動画記録プロセスに先立ち、画像学習プロセスを実行する。まず被写体のターゲット領域を決定して、該当する個所にカメラを向けて学習ボタン３１３を押す。この信号を受けてズーム制御部３０２はズームレンズ３０１を動作させ、可視光・分光撮像部３０３がターゲット領域の低解像度画像と高解像度画像を取得する。取得画像は、分光画像生成部３０４および可視光画像生成部３０５によって、分光画像と、解像度が異なる第１および第２の画像としての可視光画像とに分離される。テキスチャ特徴変換部３０７は可視光画像をテキスチャ特徴に変換し、材質画像生成部３０６は分光画像から材質画像を生成する。ここでの材質画像とは、材質という被写体特性に基づき量子化識別された画像を意味する。そして、学習済み領域分割部３０８が、材質画像の領域分割を行い、材質領域分割画像を生成する。生成された材質領域分割画像は、学習済み領域表示部３０９に表示される。

図１８は学習済み領域表示部の表示例である。図１８に示すように、被写体画像を材質で分割した材質領域分割画像が画面中央に表示されている。また、画面左上には、学習済み領域の凡例を示すウィンドウＷＤ１が表示されており、画面右下には、未学習領域の凡例を示すウィンドウＷＤ２が表示されている。ウィンドウＷＤ１から、Ｍ１（肌部）、Ｍ２（髪部）、Ｍ３（コップ）およびＭ４（革靴）が、すでに学習済みであることが分かる。また、白い領域は未学習領域である。

このような表示を見た撮影者は、学習ボタン３１３を操作し、例えば、未学習領域である被写体の洋服の上にターゲット領域ＴＡ３を設定して、学習を実行する。すなわち、学習済み領域表示部３０９は、撮影者が未学習領域を確認して他のターゲット領域を設定するための補助を行う役割を持っている。学習開始ボタン３１３からの信号は、テキスチャ特徴学習部３１１と高解像度化パラメータ記録部３１２にも送られ、テキスチャ特徴間の高解像度化パラメータが上述の実施形態で説明したようにして作成され記録される。図１９は学習後における学習済み領域表示部３０９の表示例である。すなわち、Ｍ５（洋服部）が学習され、未学習領域は背景部だけになっている。

また、撮影者は、学習済み領域表示部３０９の表示から、学習した材質が画像内のどの領域に分布しているかを確認し、もし、誤った領域が同一材質としてラベリングされている場合は、再度、ターゲット領域を設定して再学習を行ってもよい。例えば、人物の顔の肌の部分をターゲット領域として設定したとき、図１８のように、手足の肌領域が同質として識別されたとする。このとき、撮影者が顔の肌と手足の肌とではテキスチャが異なる、と判断した場合は、顔と手足とが異なる領域に識別されるように、識別閾値等を調整すればよい。

学習プロセスの後に、撮影者は録画プロセスを実行するため、記録ボタン３１４を押す。これにより、可視光画像生成部３０５からの動画が画像記録部３１５に記録される。この場合、適当な画像圧縮が行われることが望ましい。

図２０は可視光・分光撮像部３０３の構成例を示す図である。図２０の構成では、３ＣＣＤ方式の通常のビデオムービーにおけるカラー画像撮像用の光学系と、撮像素子を改良した６バンドの分光画像撮像可能な素子とを用いている。３ＣＣＤ方式では、ダイクロックプリズム３２１によって波長帯域がレッド、グリーン、ブルーに分離され、各々のカラーバンドにＣＣＤ素子が割り当てられる。この点は同様であるが、図２０の構成において異なるのは、各ＣＣＤ素子内に異なる２種類の透過帯域のＣＣＤ素子が配列されている点である。すなわち、レッド波長域のＣＣＤ３２２には、波長域１および波長域２で示すＣＣＤ素子が、グリーン波長域のＣＣＤ３２３には、波長域３および波長域４で示すＣＣＤ素子が、ブルー波長域のＣＣＤ３２４には波長域５および波長域６で示すＣＣＤ素子が、各々配列されている。これらのＣＣＤ３２２，３２３，３２４からの出力の補間信号処理によって、画素深度６バンドの分光画像ＩＭＧ１と、画素深度ＲＧＢの３バンドからなる可視光画像ＩＭＧ２とが、素子画素数と同じ画像サイズで生成できる。

図２１は分光画像における各バンドの波長感度を示すグラフである。６個のバンドはそれぞれ、約３８０ｎｍ〜７８０ｎｍの可視域において、図２１に示すような狭い波長域を有する。これにより、Ｒ（λ）のような分光情報を３バンドに比べて正確に取得できる。したがって、照明に依存することのない被写体に固有の分光反射率をより正確に求めることができる。加えて、３バンドのカラー画像では同じ緑色に観測されるような被写体についても、植物なのか緑色の紙なのか、というような材質の違いを細かく識別することができる。なお、材質の識別を実現するためには、波長域位置はかならずしも可視域に限定することはなく、近赤外域にバンドを設定することも非常に有効である。また、６バンド画像から可視光画像を生成することは、例えば、
のように簡易に実現できる。

（第４の実施形態）
図２２は本発明の第４の実施形態に係る画像処理装置であって、撮影者が操作することなく、自動的に被写体のターゲット領域各部を学習して撮影を行うカメラの構成を示すブロック図である。図２２において、図１７と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。図１７と異なるのは、光軸可変ズーム機構４０１、光軸可変ズーム制御部４０２、カメラ動作プログラム設定部４０３、カメラ動作表示部４０４、カメラ動作プログラム蓄積部４０５、照明推定部４０６および録画許可部４０７を備えている点である。光軸可変ズーム機構４０１、光軸可変ズーム制御部４０２、可視光・分光撮像部３０３、分光画像生成部３０４および可視光画像生成部３０５によって、取得部が構成されている。

図２３は光軸可変ズーム機構の一例を示す概念図である。図２３の構成では、光学的手ブレ補正用の技術であるレンズシフト機構を用いている（例えば、特開平１１−３４４６６９号などを参照）。物体側より正の屈折力を有し像面に対して固定された第１レンズ群４１１と、負の屈折力を有し光軸上を移動して変倍作用を有する第２レンズ群４１２と、像面に固定された正の屈折力を有する第３レンズ群４１３と、像面に固定された負の屈折力を有する第４レンズ群４１４と、第２レンズ群４１２の移動及び物体の移動によって変動する像面を基準面から一定の位置を保つように光軸上を移動する正の屈折力を有する第５レンズ群４１５と、電磁石等によって構成されるレンズシフト機構４１６とを備えている。光軸の変化は、第３レンズ群４１３をレンズシフト機構４１６によって光軸と垂直方向にシフトさせることによって行い、ズーム機能は第２レンズ群４１２および第５レンズ群４１５の移動作用によって行う。この機構によって、撮影する画角の中の一定の部位であるターゲット領域を光軸中心に移動でき、同時に光学ズームを行うことができる。これにより、カメラ自身を動かさなくても、画面内ターゲット領域の全てに対して自動的に光学ズームを実行できる。

カメラ動作表示部４０４には、ターゲット領域の指定などの操作が可能なように、タッチパネルなどの操作手段が、設けられている。

撮影者は、カメラ動作表示部４０４の表示を見ながら、カメラの録画画角を決定する。本実施形態では、学習プロセスにおいて、カメラがレンズ機構を用いて自動的にターゲットの学習をするため、学習期間中にカメラ位置を固定しておく必要がある。この意味で、記録プロセスにおいてもカメラ画角や向きは固定することが望ましい。

まず、学習プロセスにおいて、撮影範囲と、被写体における複数の異材質ターゲット領域を、画像上の座標で指定する。ここでいう異材質ターゲット領域の指定とは、画面に映った被写体の画像領域を指定することによって、学習を行う被写体の材質を指定する、ことを意味する。指定された内容は、カメラ動作プログラム設定部４０３においてプログラム化され、ズームと光軸変化によるパン動作とを組み合わせた、画像学習プロセスと録画プロセスの両方の制御プログラムとして、カメラ動作プログラム蓄積部４０５に蓄積される。

画像学習プロセスでは、光軸可変ズーム制御部４０２が、カメラ動作プログラム蓄積部４０５に蓄積されたプログラムに従って、光軸可変ズーム機構４０１を自動的に制御する。そして、被写体の任意の位置に光軸を合わせて光学ズームを行いつつ、複数のターゲット領域について、高解像度画像の取得と材質の学習とが行われる。

録画プロセスでは、カメラ動作プログラム蓄積部４０５に蓄積されたプログラムに従って、自動的に、一定時間の動画撮影が行われる。このとき、基本的には、カメラは画角も向きも架台上で固定されている。

照明推定部４０６は、画像全体の画像処理によって被写体の照明環境の変化を検知して、学習の再実施の必要性を判断する。ここでの学習とは、解像度変換ルールの生成を含む。そして、学習の再実施が必要であると判断されたときは、カメラは、例えばカメラ動作表示部４０４を介して、その旨を撮影者に通知する。

また、録画許可部４０７は、学習が終了しないまま録画や撮影を実施しようとした場合、または、照明条件が変化したために再度学習が必要になったのにこれが未実施の場合、録画や撮影を許諾せず、録画ボタンやシャッターを動作させない機構を有する。すなわち、本実施形態に係るカメラは、解像度変換ルールの生成が必要なとき、撮影を禁止する機能を有する。これによって、高解像度化の失敗を未然に防止することができる。

本実施形態に係るカメラの典型的な用途として、図２４（ａ）のような、ステージ上での大人数の合唱を録画する場合が考えられる。この場合、従来は、各メンバーの顔のアップは、撮影者が自分なりのカメラワークによって撮影していた。ところがこれでは、撮影者の好みの人物やグループの中心人物がアップになる率が高く、他のメンバーから不満が出る可能性がある。また、熟練したカメラマンでないと全景や個人のアップを上手く撮影することができず、しかも撮影には相当な集中力が必要とされていた。これに対して本実施形態に係るカメラを用いた場合、撮影者はカメラワークを考えることなくただ全景を撮影してさえいればよく、撮影後の編集によって自在に画像の高解像度化が可能となり、メンバー全員のアップも容易に得られる、という大きな利点がある。

図２４（ａ）において、カメラＣＡとカメラ架台ＢＳは、被写体であるステージ上の合唱団を撮影するために、例えば客席に設置されている。この場合の学習プロセスを、図２５のフローチャートを用いて説明する。

まず撮影者は、合唱団全体の映像の中から特定の場所を光学ズームすることを指定し、カメラ動作表示部４０４の表示を見ながら、異材質ターゲット領域を手動によって指定する（Ｓ８０１）。図２４（ｂ）はこのときの表示と異材質ターゲット領域の指定の一例である。図２４（ｂ）では、個人の顔領域（１）、黒い髪（２）、茶髪（３）、データー（４）および楽譜表面の紙（５）が、異材質ターゲット領域としてそれぞれ指定されている。なお、これらの領域は、異なった材質を学習させるために指定しているのであって、その位置の情報は必要ではない。

その後、カメラは、材質画像を生成し（Ｓ８０２）、指定された異材質ターゲット領域と被写体特性（材質）が同じ領域を、画面内から全て自動的に検出する（Ｓ８０３）。そして、光軸可変ズーム機構を持いて異材質ターゲット領域に光学ズームして（Ｓ８０４）、以降は、その異材質ターゲット領域について自動的に学習を行う（Ｓ５０３〜Ｓ５０７）。ここでの処理は第２の実施形態と同様であり、詳細は省略する。全ての異材質ターゲット領域について学習を終了したとき（Ｓ８０５でＮｏ）、学習プロセスを終了する。

図２６は学習プロセスと録画プロセスとの時間的な関係を示すタイミングチャートである。図２６（ａ）は動画録画を行う場合を示す。合唱が開始される直前までにターゲット学習（期間ｔ１）を終了し、合唱を動画録画する（期間ｔ２）。録画中は特別なカメラワークは必要なく、ただ全景を撮影するだけでよい。また、例えばステージ上の照明が変化したような場合、分光情報による学習内容が適切でなくなってしまうため、再度の学習（期間ｔ３）が必要となる場合もある。また、所定時間が経過する毎に、学習を行うようにしてもよい。このような場合は、カメラは、照明推定部４０６によって状況変化を感知し、再度学習が必要であるという指示を撮影者に出す。このとき、録画しつつターゲット学習を行うのが好ましいが、ターゲット学習のために撮影した画像をそのまま録画として代用してもよい。

また、図２６（ｂ）は合唱団の集合写真を撮影する場合を示す。この場合は、セルフタイマー機構を用いて、タイマー動作期間において、集合したメンバー全員が静止している状態で、ターゲットとして検出された人物の顔を次々と光学ズームして高解像度化パラメータ化していく（期間ｔ５）。その後、全員の集合写真を撮影する。これにより、１枚の静止画から、後の編集によって、各人の顔を高解像度化することができる。また、照明が変化した場合は、再度の学習を行った後に静止画撮影を行う。この場合、学習が未だなされていない間は、録画許可部４０７の制御によって、撮影ができないようにすればよい。

なお、この例では、各人の顔は、同じ肌という材質と見なされるため、個別の手法による高解像度化はできない。もし、各人の顔を個別の手法によって高解像度化したい場合には、個々の被写体特性を異なさせるような手法、たとえば、各人が別個の特性を持つ化粧品を用いる、などといった工夫が必要になる。

（第５の実施形態）
図２７は本発明の第５の実施形態に係る画像処理装置であって、撮影者が操作することなく、自動的に被写体のターゲット領域各部を学習して撮影を行うカメラの構成を示すブロック図である。図２７において、図１７および図２２と共通の構成要素には同一の符号を付している。

第４の実施形態と異なるのは、画像学習プロセスと録画プロセスとの区別が無くなり、撮影者が通常のムービーカメラと同様の操作によって被写体に向かって録画を開始すると、学習が、必要に応じて、光軸可変ズーム機構を用いて並列に実行される点である。このため、第４の実施形態では学習プロセスの期間はカメラは架台に固定しておくことが必須であったが、本実施形態では手持ちのカメラによって学習と録画を自由に実行することができる。さらに、第３の実施形態では、撮影者が意識して特別な学習プロセスを実施していたが、本実施形態ではその必要がなくなり、撮影者は録画だけに集中できる。

図２７において、記録部５０１と学習部５０２とは並列に設置されており、ハーフミラー５０３によって光が分割される。レンズ５０４を通過した光は、可視光・分光撮像部４０３を介して記録部５０１に入力され、第３の実施形態と同様の動作によって、材質画像は材質領域分割画像記録部３１０に記録され、可視光画像は画像記録部３１５に記録される。レンズ５０４はズーム機能を有しているが、録画プロセス時に学習のためのズームが別途可能なように、学習部５０２の入力側に光軸可変ズーム機構４０１と光軸可変ズーム制御部４０２が設けられている。レンズ５０４、ハーフミラー５０３、光軸可変ズーム機構４０１、光軸可変ズーム制御部４０２、可視光・分光撮像部４０３、分光画像生成部３０４および可視光画像生成部３０５によって、取得部が構成されている。

学習材質制御部５０５は、予めプログラムされた学習計画（動作プログラム設定部４０３に格納）に基づき、光軸可変ズーム制御部４０２およびテキスチャ特徴学習部３１１を制御する。すなわち、材質画像生成部３０６の出力から特定の材質の記録が開始されたことを判定すると、光軸可変ズーム制御部４０２に信号を送って光軸可変ズーム機構４０１を動作させるとともに、テキスチャ特徴学習部３１１に信号を送り、高解像度化パラメータを生成させる。生成された高解像度化パラメータは、高解像度化パラメータ記録部３１２に記録される。

図２８は本実施形態における画像録画プロセスを示すフローチャートである。第４の実施形態の図２５と異なるのは、画像の録画が学習プロセスと並列に動作する（Ｓ９０１）点のみである。他のステップの処理は第４の実施形態と同様であり、ステップＳ８０１では、撮影者はカメラ動作表示部４０４を見ながら、カメラの録画範囲とその内部における複数のターゲット領域を画像上の座標で選択する。これにより、カメラ動作プログラムが設定される。

図２９は本実施形態における低解像度画像および高解像度画像と被写体特性（材質）空間との関係を示す概念図である。図２９では、簡単のため、画像は４×４画素にて撮影されているものとする。本実施形態ではまず、低解像度の動画記録画像が取得され、次に被写体特性空間において、画像が領域ＡＲ１（材質Ａに対応）と領域ＡＲ２（材質Ｂに対応）に分割される。ここで、「材質Ａを学習する」というプログラムが予めあると仮定すると、次に領域ＡＲ１の位置中心部へ光軸可変ズームし、同一位置で高解像度ではあるが狭画角の画像が取得される。そして、位置が互いに同一の、低解像度画像の領域ＡＲ１と高解像度画像の領域ＡＲ３との間で、テキスチャ特徴の対応づけ学習が行われる。このように、上述した各実施形態と同様に、２枚の画像間での学習は、単に同一材質の領域同士ではなく、必ず同一被写体の同一位置にて実行される。これによって、高精度の高解像度化を実現することができる。

（第６の実施形態）
図３０は本発明の第６の実施形態に係る画像処理装置であって、第５の実施形態と同様に、撮影者が操作することなく、自動的に被写体のターゲット領域各部を学習して撮影を行うカメラの構成を示すブロック図である。図３０において、図１７および図２７と共通の構成要素には同一の符号を付している。

第５の実施形態と異なるのは、光学ズーム機構や光軸可変ズーム機構などを使用せず、低解像度撮像素子６０３と高解像度撮像素子６０４とを用いて、同時に同じ画角にて被写体を撮影する点である。高解像度撮像素子は通常、静止画用途のものが多く、動画のフレームレートには対応できないことが多いため、本実施形態では、高解像度撮像素子を用いた学習は動画録画の途中に所定のタイミングで行われるものとする。また、高解像度撮像素子は、分光情報を取得する必要はなく可視光画像のみ取得すればよいものとする。

図３０において、記録部６０１と学習部６０２とは並列に設置されており、ハーフミラー５０３によって光が分割される。レンズ５０４を通過した光は、低解像度撮像素子６０３を介して動画として記録部６０１に入力され、第５の実施形態と同様の動作によって、材質画像は材質領域分割画像記録部３１０に記録され、可視光画像は画像記録部３１５に記録される。

学習材質制御部５０５は、予めプログラムされた学習計画に基づき、高解像度撮像素子６０４およびテキスチャ特徴学習部３１１を制御する。すなわち、材質画像生成部３０６の出力から特定の材質の記録が開始されたことを判定すると、高解像度撮像素子６０４を動作させ、動画と同一画角にて静止画像を撮影させるとともに、学習部６０２のテキスチャ特徴学習部３１１に信号を送り、高解像度化パラメータを生成させる。生成された高解像度化パラメータは、高解像度化パラメータ記録部３１２に記録される。

図３１は本実施形態における低解像度画像および高解像度画像と被写体特性（材質）空間との関係を示す概念図である。図３１では、簡単のため、低解像度画像は４×４画素にて、高解像度画像は８×８画素にて撮影されているものとする。本実施形態ではまず、広い画角の低解像度画像が動画撮影によって取得され、次に被写体特性空間において、画像が領域ＡＲ１（材質Ａに対応）と領域ＡＲ２（材質Ｂに対応）に分割される。ここまでは図２９と同様である。ここで、「材質Ａを学習する」というプログラムが予めあると仮定すると、高解像度撮像素子６０４によって、低解像度画像と同一位置であり、高解像度で同一画角の静止画像が取得される。そして、位置が互いに同一の、低解像度画像の領域ＡＲ１と高解像度画像の領域ＡＲ４との間で、テキスチャ特徴の対応づけ学習が行われる。このように、上述した各実施形態と同様に、２枚の画像間での学習は、単に同一材質の領域同士ではなく、必ず同一被写体の同一位置にて実行されるので、これによって高精度の高解像度化を実現することができる。

図３２は本実施形態において、高解像度画像の撮影を行うタイミングの例を示す図である。ここで、高解像度画像（静止画）の解像度は、低解像度画像（動画）の２×２倍であるものと仮定する。動画シーケンスでは、期間ｔＡにおいて、材質Ａの物体ＯＢＡが記録されている。いま、この材質Ａを学習するものとすると、まず動画フレームａのタイミングにおいて、フレーム画像Ｍａの２倍の解像度で高解像度の静止画Ｓａが取得される。次のタイミングｂでは、物体ＯＢＡが光学ズーミングされて大きく撮影されて状態で、再び、高解像度静止画Ｓｂが撮影される。画像Ｍａと画像Ｓａ、画像Ｍｂと画像Ｓｂとの間でテキスチャ特徴の対応付け学習をそれぞれ行い、パラメータ化を実施する。

次に、タイミングｚにおいて同じ物体ＯＢＡが現れているが、すでに同じ材質Ａについて学習済みであるから高解像度撮影は不要である。期間ｔＢでは、別の材質Ｂを持つ物体ＯＢＢが映り始めている。そこで、タイミングｃにおいて、材質Ｂに関する学習を行うため、再び、高解像度静止画Ｓｃが撮影される。ある被写体特性が未学習であることは、分光画像から、認識することができる。

このように本実施形態では、被写体の録画プロセスに従って、次々と現れる新しい材質に対して学習を行ってパラメータ化を進めることができる、という利点を有している。

なお、本実施形態では、異なる解像度を持つ２種類の撮像素子を用いるものとしているが、例えば、単一の高解像度の撮像センサを動画用に解像度を落として用いる方法でも、実現は可能である。

本実施形態では、光学ズームを用いていないため、低解像度画像と高解像度画像とにおいて画面の画角および位置座標が常に一致する、という特徴がある。この特徴を活かすと、同一材質と判定された領域であっても、画像内の位置の違いによって、また、撮影した時間の違いによって、個別に異なる高解像度化を実現できる。このことを、上述した合唱団の例をとって、図３３を用いて説明する。

いま、合唱団を、時間ｔ１ではフレーミング枠ＦＬ１において、時間ｔ２ではフレーミング枠ＦＬ２において、動画録画したとする。前列の３名のうち、フレーミング枠ＦＬ１ではＡさんとＢさんがズームされており、フレーミング枠ＦＬ２ではＢさんとＣさんがズームされている。低解像度画像と高解像度画像とは常に対応関係を保っている。

ここで、ＡさんとＢさんがたとえ同じ材質と判定されたとしても、Ａさんの画像の高解像度化パラメータＰＲ１とＢさんの画像の高解像度化パラメータＰＲ２とは、画像上の位置が異なるため、区別が可能である。また、同じＢさんの画像であっても、時間ｔ１における高解像度化パラメータＰＲ２と時間ｔ２における高解像度化パラメータＰＲ３とは、区別が可能である。したがって、高解像度化パラメータを、位置（ｘ，ｙ）と時間ｔをインデックスとして用いて蓄積すれば、合唱団の各人の顔を、それぞれ別個の解像度変換ルールによって高解像度化でき、より精度を高めることができる。

図３４は本実施形態に係る録画プロセスのフローチャートである。ステップＳ８０１〜Ｓ８０３は図２５と同様である。まず撮影者は、ターゲット領域を手動によって指定する（Ｓ８０１）。ここで、本実施形態では、材質だけでなく、画像内の空間的位置が高解像化に反映されるため、指定するターゲット領域を異位置ターゲット領域と称する。その後、カメラは、材質画像を生成し（Ｓ８０２）、指定された異位置ターゲット領域と被写体特性（材質）が同じ領域を、画面内から全て自動的に検出する（Ｓ８０３）。

このとき、例えば、ＡさんとＢさんの顔を異位置ターゲット領域として指定したとすると、同じ材質（肌）であるＣさん、Ｄさん…と、多数の領域が検出される可能性がある。この場合、検出されたそれぞれの領域に対して、どの学習結果すなわち高解像度化パラメータを適用すればよいか、という問題が生じる。例えば、指定したターゲット領域では、そのターゲット領域について学習した高解像度化パラメータを優先採用する。そして、ステップＳ８０３において検出された領域では、指定したターゲット領域の高解像度化パラメータのいずれを採用してもよいし、複数の高解像度化パラメータを補間して用いてもよい。

そして図２９と同様に、学習と並行して録画が行われる（Ｓ９０１）。学習では、未学習領域が検出されたとき、または、動画録画が一定時間経過したとき、高解像度の静止画像が取得される（Ｓ１００１，Ｓ１００２）。その後、高解像度静止画像と低解像度動画像像とから、高解像度化パラメータが学習される。ただしこの高解像度化パラメータは、画面空間（ｘ、ｙ）と時間ｔの関数として蓄積される（Ｓ１００３）。

図３５は本実施形態において得られる画像ファイルフォーマットを模式的に示す図である。図１５と対比すると、分析コードブックＡＣ（Ｍｉ，ｘ，ｙ，ｔ）および再生コードブックＳＣ（Ｍｉ，ｘ，ｙ，ｔ）からなる高解像度化パラメータデータ３５０１が、位置（ｘ，ｙ）と時間ｔの関数として表されている点が異なる。図３５のフォーマットを用いた本実施形態における高解像度化プロセスは図１６とほぼ同様であり、ステップＳ７０５において、空間位置（ｘ、ｙ）と時間ｔが合った高解像度化パラメータを用いるようにすればよい。

図３６は本実施形態における高解像度化の例を示す模式図である。第４の実施形態と異なり、個々人の顔は同一材質（肌部）と見なされるが位置が異なるため、個別の高解像度化パラメータを用いて高解像度化できる。すなわち、ＡさんからＦさんまでの個人毎に高解像度化が実現できる。例えば、低解像度でボケた状態で録画された動画から、個人の顔を別人として高解像度できる。また当然、髪部１や髪部２、楽譜の紙部など、材質別に高解像度化できればよいものは、特に必要がなければ、個別の高解像度化を行わなくてよい。

（第７の実施形態）
図３７は本発明の第７の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した例を示すブロック図である。本実施形態では、被写体特性として、鏡面反射成分と拡散反射成分とから得た被写体の表面反射状態を用いて、画像を表面反射状態に基づいて領域分割し、領域ごとに学習によって高解像度化する。上述の第３の実施形態における図１７の構成との相違は、被写体表面における鏡面反射成分と拡散反射成分との比率を表す鏡面・拡散比率画像７１１を、可視光画像７１３とともに生成する鏡面反射・拡散反射分離撮像部７０１が設けられている点である。また、鏡面・拡散比率画像７１１を２値化することによって、鏡面反射領域と拡散反射領域とに領域分割された表面反射分割画像７１２を生成する学習済み領域分割部７０２と、この表面反射分割画像７１２を記録する表面反射分割画像記録部７０３が設けられている。表面反射分割画像７１２を学習済み領域表示部３０９に表示することによって、撮影者に学習の便を図っている。また、表面反射分割画像７１２は高解像度化プロセスにおいて領域識別情報として用いられる。

ズームレンズ３０１、ズーム制御部３０２、および鏡面反射・拡散反射分離撮像部７０１によって、被写体のターゲット領域について、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像としての鏡面・拡散比率画像を取得可能に構成された取得部が、構成されている。テキスチャ特徴変換部３０７およびテキスチャ特徴学習部３１１によって、取得部によって取得された第１および第２の画像からこの第１および第２の画像を互いに対応付ける解像度変換ルールを生成するルール生成部が、構成されている。学習済み領域分割部７０２によって、鏡面・拡散比率画像から被写体特性に基づいて領域分割された領域分割画像としての表面反射分割画像を生成する領域分割画像生成部が、構成されている。

上述した第６の実施形態までは、被写体特性は、被写体表面の材質など物質固有の性質としてきた。しかし同じ材質の被写体であっても、ある照明下である方向から観察した場合、表面での光の反射状態は位置によって異なる場合がある。すなわち、高解像度化に必要となる表面の凹凸などに起因するテキスチャ特徴は、被写体表面の反射状態によって全く異なってくるはずである。例えば、表面に凹凸が多い果物などを撮影する場合、表面の材質は同質であっても、ハイライト部分とシャドウ部分とでは表面凹凸が作るテキスチャは異なるため、これらは異なる領域として学習するのが好ましい。表面反射分割画像７１２は、照明と観察条件から決定される見かけの反射特性すなわち被写体表面の反射状態の違いに応じて、領域分割された画像である。

撮影者は、動画記録プロセスに先立ち、画像学習プロセスを実行する。まず被写体のターゲット領域を決定して、該当する個所にカメラを向けて学習ボタン３１３を押す。この信号を受けてズーム制御部３０２はズームレンズ３０１を動作させ、鏡面反射・拡散反射分離撮像部７０１がターゲット領域の低解像度画像と高解像度画像（可視光画像７１３）を取得する。また鏡面反射・拡散反射分離撮像部７０１は、鏡面反射成分と拡散反射成分とを分離し、鏡面・拡散比率画像７１１を生成する。学習済み領域分割部７０２は鏡面・拡散比率画像７１１を２値化して、表面反射分割画像７１２を生成する。生成された表面反射分割画像７１２は学習済み領域表示部３０９に表示される。

図３８は学習済み領域表示部３０９の表示例である。図３８では、被写体は表面に光沢を有する円筒としている。図３８の例では、被写体画像を「光沢部(鏡面反射領域)」と「マット部（拡散反射領域）」とに分割した表面反射分割画像７１２が、画面中央に表示されている。また、画面左上には、学習済み領域の凡例を示すウィンドウＷＤ１が表示されている。ウィンドウＷＤ１から、Diffuse（拡散反射領域）だけがすでに学習済みであることが分かる。一方、円筒の光沢部についてはまだ学習がなされていない。

このような表示を見た撮影者は、学習ボタン３１３を操作し、未学習領域である被写体の領域にターゲット領域ＴＡ１を設定して、学習を実行する。すなわち、学習済み領域表示部３０９は、撮影者が未学習領域を確認して他のターゲット領域を設定するための補助を行う役割を持っている。学習ボタン３１３からの信号は、テキスチャ特徴学習部３１１と高解像度化パラメータ記録部３１２にも送られ、テキスチャ特徴間の高解像度化パラメータが作成され記録される。

また、撮影者は、学習済み領域表示部３０９の表示から、学習した領域が画像内のどの領域に分布しているかを確認し、もし、誤った領域が同一としてラベリングされている場合は、再度、ターゲット領域を設定して再学習を行ってもよい。

学習プロセスの後に、撮影者は録画プロセスを実行するため、記録ボタン３１４を押す。これにより、可視光画像７１３の動画が画像記録部３１５に記録される。この場合、適当な画像圧縮が行われることが望ましい。

図３９は鏡面反射・拡散反射分離撮像部７０１の構成例を示す図である。この構成では、ズームレンズを通った被写体からの光はハーフミラー７２１で分解され、各々異なる偏光軸を有する偏光板７２２，７２３を透過して、単板撮像素子７２４，７２５に到達する。単板撮像素子７２４，７２５としては、非常に輝度の明るい鏡面反射を撮影できる広ダイナミックレンジ素子を用いる。推定部７２６は各撮像素子７２４，７２５からの画像信号を用いて、鏡面反射成分と拡散反射成分とを分離し、鏡面反射画像７２８と拡散反射画像７２９とを生成する。この詳細手法については、たとえば「拡散／鏡面反射分離のための２画像同時観測システムの試作」（第９回画像センシングシンポジウム講演論文集 I-1,PP537-542）などに詳しい。なお本手法によって分離可能な被写体は、非金属のプラスチックなど２色性反射モデルに合致する材質の被写体に限られる。そして反射画像加工部７２７は、鏡面反射画像７２８と拡散反射画像７２９から、各画素位置での鏡面反射成分と拡散反射成分との比率を示す鏡面・拡散比率画像７１１と、分離前の可視光画像７１３（分離した鏡面反射画像７２８と拡散反射画像７２９の和）を生成する。

図４０〜図４２は本実施形態における処理の流れを示す図であり、図４０は学習プロセス、図４１は動画記録プロセス、図４２は高解像度化プロセスをそれぞれ示している。図４０に示すように、学習プロセスでは、まず被写体７３１を撮影し、表面反射分割画像７１２を生成する。図中で、「Ｓ」は鏡面反射領域を示し、「Ｄ」は拡散反射領域を示す。この表面反射分割画像７１２から、撮影者はズームするターゲット領域を知り、被写体７３１表面をズームレンズで撮影して高解像度と低解像度の画像対の学習を実施する。この結果、領域ごとの高解像度化パラメータとして、拡散反射領域高解像度化パラメータ７３２、鏡面反射領域高解像度化パラメータ７３３が得られる。

次に図４１に示すように、動画記録プロセスでは、被写体７４１を撮影し、低解像度動画７４２を記録する。このとき、低解像度の表面反射分割動画７４３も同時に記録される。なお、このときの被写体７４１は、学習プロセスの際の被写体７３１と必ずしも同一とはいえず、また、照明条件や撮影条件も必ずしも同一とはいえない。図４１において、被写体７４１を図４０と異なり寝かせた状態として描いているのは、このことを意味する。

次に図４２に示すように、高解像度化プロセスでは、低解像度動画７４２を高解像度化して高解像度動画７５２を生成する。このとき、領域識別部７５１が表面反射分割動画７４３を用いて領域を識別する。そして、拡散反射領域では拡散反射領域高解像度化パラメータ７３２が用いられ、鏡面反射領域では鏡面反射領域高解像度化パラメータ７３３が用いられて、高解像度化が行われる。高解像度化の詳細については、上述した実施形態と同様であるため、説明を省略する。

以上のように本実施形態によると、被写体は鏡面反射と拡散反射という表面反射状態に依存して異なるテキスチャ特徴を持つため、この表面反射状態を識別して、それぞれに最適な高解像度化を実施することができる。したがって、従来の輝度だけを用いる学習型の高解像度化手法や、分光画像など材質による被写体画像の分離よりも、優れた高解像度化が実現できる。

なお、本実施形態では、鏡面反射・拡散反射分離撮像部７０１の構成として、ハーフミラーと偏光板を用いた構成を例示したが、この代わりに、ハーフミラーを用いないで、偏光板を回転させて異なる２種以上の偏光軸で撮影するようにして鏡面反射成分と拡散反射成分とを分離してもよいし、また照明を偏光させる方法を利用してもよい。また、偏光板を用いないで鏡面反射成分と拡散反射成分とを分離する手法についても、反射光の色特性を用いる方法、光源を変動させるフォトメトリックステレオと画像の線形化を用いた方法など様々知られている。これらについては「物体の見えからの拡散／鏡面反射成分の分離 −偏光フィルタを介した多重観測と確率的独立性を用いて−」、画像の認識・理解シンポジウム （MIRU）2002、I-469〜476に詳しい。鏡面反射・拡散反射分離撮像部７０１の構成としてこれら既存の方法を利用してもよい。

（第８の実施形態）
図４３は本発明の第８の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した例を示すブロック図である。第７の実施形態における図３７の構成との相違は、可視光画像７１３の代わりに、鏡面反射画像７２８と拡散反射画像７２９とのそれぞれについて、学習・記録を行う点である。図３７の構成では、可視光画像７１３について解像度が異なる第１および第２の画像を取得していたが、図４３の構成では、鏡面反射画像７２８と拡散反射画像７２９とのそれぞれについて、解像度が異なる第１および第２の画像を取得する。鏡面反射画像用として、テキスチャ特徴変換部３０７ａ、テキスチャ特徴学習部３１１ａ、高解像度化パラメータ記録部３１２ａおよび画像記録部３１５ａが設けられ、拡散反射画像用として、テキスチャ特徴変換部３０７ｂ、テキスチャ特徴学習部３１１ｂ、高解像度化パラメータ記録部３１２ｂおよび画像記録部３１５ｂが設けられている。

鏡面反射成分を輝度から分離することによって、被写体表面の凹凸による微細テキスチャ情報がより正確に求められ、また、拡散反射成分を分離することによって、被写体表面の印刷など反射率（アルベド）の情報がより正確に求められる。このため、鏡面反射画像と拡散反射画像とについてそれぞれ高解像度化を行い、両者を合成することによって、従来よりも高性能な高解像度化が実現できる。

また、鏡面反射画像と拡散反射画像とが分離されて記録されるため、表面反射分割画像７１２の記録は不要となる。すなわち、表面反射分割画像７１２は、学習済み領域表示部３０９に表示して、撮影者に被写体のどの部分を学習すればよいかを示すだけの役割となる。

撮影者は、動画記録プロセスに先立ち、画像学習プロセスを実行する。まず被写体のターゲット領域を決定して、該当する個所にカメラを向けて学習ボタン３１３を押す。この信号を受けてズーム制御部３０２はズームレンズ３０１を動作させ、鏡面反射・拡散反射分離撮像部３７０３がターゲット領域の低解像度画像と高解像度画像を、鏡面反射画像７２８と拡散反射画像７２９とのそれぞれについて取得する。また鏡面反射・拡散反射分離撮像部７０１は、鏡面・拡散比率画像７１１を生成し、学習済み領域分割部７０２は鏡面・拡散比率画像７１１を２値化して、表面反射分割画像７１２を生成する。生成された表面反射分割画像７１２は学習済み領域表示部３０９に表示される。

学習済み領域表示部３０９に表示された表面反射分割画像７１２を見た撮影者は、学習ボタン３１３を操作し、未学習領域である被写体の領域にターゲット領域を設定して、学習を実行する。学習開始ボタン３１３からの信号は、テキスチャ特徴学習部３１１ａ，３１１ｂと高解像度化パラメータ記録部３１２ａ，３１２ｂにも送られ、テキスチャ特徴間の高解像度化パラメータが作成され記録される。

図４４〜図４６は本実施形態における処理の流れを示す図であり、図４４は学習プロセス、図４５は動画記録プロセス、図４６は高解像度化プロセスをそれぞれ示している。図４４に示すように、学習プロセスでは、被写体８０１について鏡面反射画像７２８と拡散反射画像７２９とが取得され、鏡面反射成分高解像度化パラメータ８０２と拡散反射成分高解像度化パラメータ８０３とが蓄積される。

学習プロセスの後に、撮影者は録画プロセスを実行するため、記録ボタン３１４を押す。これにより、図４５に示すように、被写体８１１について撮影が行われ、可視光画像の動画が成分分離されて、鏡面反射画像８１２と拡散反射画像８１３とが記録される。これらの画像は、ズームせずに低解像度にて撮影記録された動画である。この場合、適当な画像圧縮が行われることが望ましい。

次に図４６に示すように、高解像度化プロセスでは、まず、記録された鏡面反射画像８１２について鏡面反射成分高解像度化パラメータ８０２を用いて高解像度化が行われ、高解像度鏡面反射画像８２２が生成される。また同時に、拡散反射画像８１３について拡散反射成分高解像度化パラメータ８０３を用いて高解像度化が行われ、高解像度拡散反射画像８２３が生成される。高解像度化の詳細については、上述した実施形態と同様であり、説明を省略する。最後に、高解像度化された２成分の画像８２２，８２３が加算部８２４によって加算され、高解像度画像８２５が生成される。

最後に、第７および第８の実施形態に係る発明の実施検出の可能性について述べておく。この発明では、同一の材質の被写体であっても、照明と観察条件によって反射状態が異なる領域ごとに、異なるタイプの高解像度化が実施されることが特徴である。したがって、同じ材質の被写体を、反射状態が異なる領域が生じるように撮影して、その際の高解像度化の様子が領域に応じて異なることが検出されれば、発明の実施の明確な証拠となる。

本発明は、被写体特性が反映された精度の高い解像度変換を、少ない画像処理量で、実現することができるので、例えば、視覚的情報量が重要視される様々な応用分野において、材質感あふれるデジタル高解像度動画像を生成するのに有効である。また例えば、携帯電話のような低解像度表示系への画像表示にも、有効である。

本発明の第１の実施形態に係る画像処理方法における学習プロセスを示すフローチャートである。 本発明の第１実施形態に係る画像処理方法における録画プロセスを示すフローチャートである。 本発明の第１実施形態に係る画像処理方法における高解像度化プロセスを示すフローチャートである。 学習プロセスと録画プロセスの例を示す概念図である。 本発明の第２の実施形態に係る画像処理方法における学習プロセスを示すフローチャートである。 テキスチャ特徴量への変換手法の一例を示す図である。 変換後のテキスチャ特徴量を示す図である。 学習済み材質の登録を説明するための図である。 ターゲット領域と光学ズームとの関係を説明するための図である。 コードブックの作成を具体的に説明するための図である。 コードブックの作成を具体的に説明するための図である。 ズーム画像とコードブックとの関係を示す図である。 本発明の第２の実施形態に係る画像処理方法における録画プロセスを示すフローチャートである。 材質割画像の一例を示す模式図である。 本発明の第２の実施形態における画像ファイルフォーマットを示す図である。 本発明の第２の実施形態に係る画像処理方法における高解像度化プロセスを示すフローチャートである。 本発明の第３の実施形態に係る画像処理装置を示すブロック図である。 学習済み領域表示部の表示例である。 学習済み領域表示部の学習後の表示例である。 可視光・分光撮像部の構成例を示す図である。 分光画像における各バンドの波長感度を示すグラフである。 本発明の第４の実施形態に係る画像処理装置を示すブロック図である。 光軸可変ズーム機構の一例を示す概念図である。 本発明の第４の実施形態に係るカメラの利用例と、ターゲット領域の設定例を示す図である。 本発明の第４の実施形態における学習プロセスを示すフローチャートである。 本発明の第４の実施形態における学習プロセスと録画プロセスの時間的な関係を示すタイミングチャートである。 本発明の第５の実施形態に係る画像処理装置を示すブロック図である。 本発明の第５の実施形態における画像録画プロセスを示すフローチャートである。 本発明の第５の実施形態における低解像度および高解像度画像と被写体特性空間との関係を示す概念図である。 本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第６の実施形態における低解像度および高解像度画像と被写体特性空間との関係を示す概念図である。 本発明の第６の実施形態における高解像度画像の撮影タイミングの例を示す図である。 本発明の第６の実施形態における低解像度画像と高解像度画像との対応関係を示す図である。 本発明の第６の実施形態における録画プロセスを示すフローチャートである。 本発明の第６の実施形態における画像ファイルフォーマットを示す図である。 本発明の第６の実施形態における高解像度化の例を示す模式図である。 本発明の第７の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第７の実施形態における表面反射分割画像の表示例である。 本発明の第７の実施形態における鏡面反射・拡散反射分離撮像部の構成例を示す図である。 本発明の第７の実施形態における学習プロセスを示す図である。 本発明の第７の実施形態における動画記録プロセスを示す図である。 本発明の第７の実施形態における高解像度化プロセスを示す図である。 本発明の第８の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第８の実施形態における学習プロセスを示す図である。 本発明の第８の実施形態における動画記録プロセスを示す図である。 本発明の第８の実施形態における高解像度化プロセスを示す図である。

ＴＡ１ ターゲット領域
ＩＭａ，ＩＭｂ，ＩＭｃ 画像
３０１ ズームレンズ
３０２ ズーム制御部
３０３ 可視光・分光撮像部
３０４ 分光画像生成部
３０５ 可視光画像生成部
３０６ 材質画像生成部
３０７ テキスチャ特徴変換部
３０８ 学習済み領域分割部
３０９ 学習済み領域表示部（表示部）
３１１ テキスチャ特徴学習部
３１３ 学習ボタン
４０１ 光軸可変ズーム機構
４０２ 光軸可変ズーム制御部
４０４ カメラ動作表示部
４０６ 照明推定部
４０７ 録画許可部
６０３ 低解像度撮像素子
６０４ 高解像度撮像素子
７０１ 鏡面反射・拡散反射分離撮像部
７１１ 鏡面・拡散比率画像
７２８ 鏡面反射画像
７２９ 拡散反射画像
１５０１ 画像データ
１５０２ 領域分割画像データ
１５０３ 高解像度化パラメータデータ
３５０１ 高解像度化パラメータデータ

Claims (18)

1. 被写体のターゲット領域について、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像とを取得可能に構成された取得部と、
   前記第１および第２の画像から、この第１および第２の画像を互いに対応付ける解像度変換ルールを、生成するルール生成部と、
   前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する領域分割画像生成部とを備え、
   前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性とともに記録する
   ことを特徴とする画像処理装置。
2. 請求項１において、
   前記取得部は、被写体の分光情報からなる分光画像を、前記第３の画像として取得するものである
   ことを特徴とする画像処理装置。
3. 請求項１において、
   前記取得部は、被写体表面における鏡面反射成分と拡散反射成分との比率を表す鏡面・拡散比率画像を、前記第３の画像として取得する
   ことを特徴とする画像処理装置。
4. 請求項１において、
   前記取得部は、鏡面反射画像と拡散反射画像とのそれぞれについて、解像度が異なる第１および第２の画像を取得する
   ことを特徴とする画像処理装置。
5. 請求項１において、
   前記取得部は、ズームレンズを有し、光学ズーム手法を用いて、前記第１および第２の画像を取得するものである
   ことを特徴とする画像処理装置。
6. 請求項１において、
   外部から、解像度変換ルール生成を指示するための学習ボタンを、備えた
   ことを特徴とする画像処理装置。
7. 請求項１において、
   前記領域分割画像を表示するための前記表示部を、備えた
   ことを特徴とする画像処理装置。
8. 請求項１において、
   前記取得部は、光軸可変ズーム機構を有し、この光軸可変ズーム機構を用いて、指定されたターゲット領域に光学ズーミングを行い、前記第１および第２の画像を取得するものである
   ことを特徴とする画像処理装置。
9. 請求項８において、
   静止画撮影機能と、セルフタイマー機構とを有し、
   前記セルフタイマー機構を用いた静止画撮影を行うとき、撮影前のタイマー動作期間において、前記取得部が、前記第１、第２および第３の画像の取得を行うものである
   ことを特徴とする画像処理装置。
10. 請求項１において、
    撮影機能と、照明環境の変化を検出する照明推定部とを備え、
    撮影中に、前記照明推定部によって照明環境の変化を検出したとき、解像度変換ルールの再生成が必要である旨を、撮影者に通知する
    ことを特徴とする画像処理装置。
11. 請求項１において、
    撮影機能と、
    解像度変換ルールの生成が必要であるとき、撮影を禁止する機能とを備えた
    ことを特徴とする画像処理装置。
12. 請求項１において、
    動画録画機能を備え、
    前記取得部は、前記第１および第２の画像の取得を、動画録画と並列に、実行可能に構成されている
    ことを特徴とする画像処理装置。
13. 請求項１２において、
    前記第１および第２の画像のうち、前記第１の画像の方が、解像度が高いものとすると、
    前記取得部は、動画録画中に、前記第１の画像として、静止画像を撮影するとともに、前記第２の画像として、録画されている動画像を取得するものである
    ことを特徴とする画像処理装置。
14. 請求項１３において、
    前記取得部は、前記第３の画像から未学習の被写体特性を認識したとき、前記第１および第２の画像の取得を行う
    ことを特徴とする画像処理装置。
15. 請求項１３において、
    前記取得部は、所定時間が経過する毎に、前記第１および第２の画像の取得を行う
    ことを特徴とする画像処理装置。
16. 請求項１において、
    前記取得部は、前記第１および第２の画像を撮影するための、解像度が異なる複数の撮像素子を有する
    ことを特徴とする画像処理装置。
17. 被写体のターゲット領域について、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像とを取得する第１の工程と、
    前記第１および第２の画像から、この第１および第２の画像を互いに対応付ける解像度変換ルールを、生成する第２の工程と、
    前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する第３の工程とを備え、
    前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性とともに記録する
    ことを特徴とする画像処理方法。
18. 被写体のターゲット領域について取得した、解像度が異なる第１および第２の画像と、被写体特性を示す第３の画像とを用いた画像処理を行うプログラムであって、
    前記第１および第２の画像から、この第１および第２の画像を互いに対応付ける解像度変換ルールを、生成する第１の工程と、
    前記第３の画像から前記ターゲット領域の被写体特性を特定し、特定した被写体特性を用いて、被写体特性に基づいて被写体画像を領域分割した領域分割画像を生成する第２の工程と、
    前記領域分割画像を表示部に表示するとともに、解像度変換のために、前記解像度変換ルールを前記被写体特性ととともに記録する第３の工程とを
    コンピュータに実行させる画像処理プログラム。