JP5944170B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP5944170B2 JP5944170B2 JP2012010718A JP2012010718A JP5944170B2 JP 5944170 B2 JP5944170 B2 JP 5944170B2 JP 2012010718 A JP2012010718 A JP 2012010718A JP 2012010718 A JP2012010718 A JP 2012010718A JP 5944170 B2 JP5944170 B2 JP 5944170B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- environment
- unit
- images
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
本実施の形態において、後述するルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置1について説明する。なお、目的に応じて脳負荷が調整された画像とは、例えば、視聴時に脳負荷をより低減できる画像や、視聴時により脳に刺激を与えエンターテインメント性が増加する画像などである。視聴時に脳の負荷をより低減できる画像とは、例えば対象をより認知しやすい画像のことである。また、目的とは、通常、視聴者の画像視聴時の目的であり、例えば、リラックスして視聴したいという目的、できるだけ疲れずに長時間視聴したいという目的、エンターテインメント性を味わいたいという目的等がある。
また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分(第二の時空間ブロック)を、対応情報から取得する。
本実施の形態において、実施の形態1と比較して、画像処理装置2は、分割部105、および合成部108を具備しない。
本実施の形態において、ルックアップテーブルを生成するルックアップテーブル取得装置3について説明する。ルックアップテーブル取得装置3は、本明細書で言う第一の画像の全部または一部分を、第二の画像の全部または一部分に変換するために用いられるルックアップテーブルを学習するための装置である。
具体例1は、光量が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
具体例2は、色が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
具体例3は、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
具体例4は、異なる光量で、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
具体例5は、天候、温度、湿度のうちの1以上が異なる環境で、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
具体例6は、異なる被写界深度の画像を撮影できる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
具体例7は、シャッタースピードが異なる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
具体例8は、異なる画素数のカメラで、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。ここでは、第一の画像は、例えば、SDビデオ信号の画像であり、第二の画像は、例えば、HDビデオ信号の画像である。
(実施の形態4)
本実施の形態において、ルックアップテーブル取得装置3を用いて、ルックアップテーブルを生成する処理の具体例について、さらに説明する。
本具体例は、ルックアップテーブルを構成する対応情報が、特徴量ベクトルと画像の変換フィルタである場合である。なお、特徴量ベクトルとは、入力画像(第一の画像)から抽出される情報である。また、画像の変換フィルタは、例えば、1以上のフィルタ係数の集合である。
今、第一画像格納部31には、例えば、図16に示すような被写界深度の浅い第一の画像をはじめ、多数の画像が格納されている。また、第二画像格納部32には、例えば、図17に示すような被写界深度の深い第二の画像をはじめ、多数の画像が格納されている。なお、ある第一の画像とある第二の画像とは対応付けられている。つまり、例えば、図16の第一の画像と図17の第二の画像とは対応付けられている。
また、第一の画像より第二の画像の方が、被写界深度が深い。また、図16の被写界深度は浅く、画像の手前の赤い車にフォーカスが合っている。一方、図17の被写界深度は深く、画像の奥の黄色い車にもフォーカスが合っている。なお、一般的に、第一の画像と比較して、被写界深度の深い第二の画像の方が画像全体を理解しやすく、脳の負荷の少ない好ましい画像であると言える。
かかる状況において、ユーザから、ルックアップテーブルを構築する指示が入力された、とする。次に、第一画像関連情報取得部36は、第一の画像(ここでは、例えば、図16)を第一画像格納部31から読み出す。そして、第一画像関連情報取得部36は、第一の画像を分割し、複数の時空間ブロックを取得する。ここでは、図18に示すように、第一画像関連情報取得部36は、第一の画像を16分割し、16の第一の時空間ブロックを取得する。なお、図18において、各第一の時空間ブロックには、ブロック識別子が記載されている。
次に、第二画像関連情報取得部37は、第二の画像(ここでは、例えば、図17)を第二画像格納部32から読み出す。そして、第二画像関連情報取得部37は、第二の画像を分割し、複数の時空間ブロックを取得する。ここでは、図19に示すように、第二画像関連情報取得部37は、第二の画像を16分割し、16の第二の時空間ブロックを取得する。なお、図19において、各第二の時空間ブロックには、ブロック識別子が記載されている。
次に、ルックアップテーブル構成部38は、第一の画像の1番目の第一の時空間ブロックを、第二の画像の1番目の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、例えば、最小二乗推定を用いて算出する。
同様に、ルックアップテーブル構成部38は、第一の画像のn番目(nは2〜16)の第一の時空間ブロックを、第二の画像のn番目(nは2〜16)の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、順次、例えば、最小二乗推定を用いて算出する。
以上により、16種類の画像変換フィルタのフィルタ係数が得られる。なお、図20は、ルックアップテーブル構成部38が行うかかる動作を説明する概念図である。図20において、F04は4番目の画像変換フィルタを示し、F15は15番目の画像変換フィルタを示す。
次に、ルックアップテーブル構成部38は、第一の画像の16の各第一の時空間ブロックの近傍特徴量を取得する。なお、例えば、ルックアップテーブル構成部38は、各第一の時空間ブロックに対して、離散フーリエ変換を用いて周波数成分を算出し、帯域別のパワーを取得する。この帯域別のパワーを近傍特徴量の特徴量ベクトルとする。なお、かかる処理の概念を図21に示す。図21において、例えば、ルックアップテーブル構成部38は、4番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α04=(p04-1,p04-2,p04-3,p04-4)」を取得し、15番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α15=(p15-1,p15-2,p15-3,p15-4)」を取得している。
次に、ルックアップテーブル構成部38は、第一の画像全体の特徴量である全体特徴量を算出する。例えば、ルックアップテーブル構成部38は、局所で求めた特徴量ベクトル(近傍特徴量のベクトル)の各成分毎の分散「A1=(V1,V2,V3,V4)」を、全体特徴量として算出する。なお、かかる処理の概念を図22に示す。
次に、ルックアップテーブル構成部38は、各領域毎の全体特徴量と近傍特徴量とを連結し、対応情報を構成する特徴量ベクトル「(A1,α01)等」を構成する。また、ルックアップテーブル構成部38は、特徴量ベクトルとフィルタ係数とを対応付けた対応情報を構成する。
そして、ルックアップテーブル蓄積部39は、特徴量ベクトルとフィルタ係数とを対応付けた16の対応情報を格納部101に蓄積する。
以上の処理を、他の組の第一の画像と第二の画像に対して行う。そして、ルックアップテーブル取得装置3は、図23に示すルックアップテーブルを取得する。図23のルックアップテーブルは、多数の対応情報を有する。また、対応情報は、ここでは、特徴量ベクトルとフィルタ係数とを有する。
以上、本実施の形態において、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
(実施の形態5)
本実施の形態において、実施の形態4で構築したルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置4について説明する。
図24は、本実施の形態における画像処理装置4のブロック図である。画像処理装置4は、格納部101、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、および画像出力部109を具備する。
今、画像処理装置4の格納部101は、図23に示すルックアップテーブルを格納している。なお、ルックアップテーブは、特徴量ベクトルをキーとして、インデックス化されていることは好適である。また、ルックアップテーブは、特徴量ベクトルをキーとして、対応情報がソートされていることは好適である。
また、画像受付部104は、図25に示す画像を受け付けた、とする。なお、図25の画像は、被写界深度の浅い画像である。
次に、画像解析部106は、図25の画像の全体特徴量(An)を算出する。なお、全体特徴量の算出方法は、実施の形態4で説明した処理と同じ処理である。
次に、画像解析部106等は、図25の画像の各画素に対して、近傍特徴量(αn)を算出する。ここでの近傍特徴量は、当該画素の近傍16×16画素ブロック内での周波数成分を算出し、帯域別のパワーを取得する。なお、かかる処理についても、実施の形態4で説明した処理と同様の処理である。
次に、画像解析部106は、各画素に対して、全体特徴量と近傍特徴量とを合成した特徴量ベクトル(An,αn)を構成する。
次に、画像解析部106は、各画素に対応する特徴量ベクトル(An,αn)と、ルックアップテーブルを構成する2以上の対応情報が有する2以上の特徴量ベクトルとの距離を算出し、最も距離が近い特徴量ベクトル「例えば、(Am,αm)」を決定する。
そして、マッピング部107は、各画素毎に、最も距離が近い特徴量ベクトルと対になるフィルタ係数「例えば、Fm」を取得する。
次に、マッピング部107は、入力画像の各画素に対して、取得したフィルタ係数により実現される変換フィルタを施し、第二の画像(出力画像)の各画素を取得する。
そして、合成部108は、取得した各画素を、入力画像の画素の位置の出力画素値として、出力画像を構成する。次に、画像出力部109は、構成された出力画像を出力する。以上の処理の概念を図26に示す。
以上、本実施の形態によれば、好適に脳負荷が調整された画像を出力できる。
なお、本実施の形態において、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは異なった。しかし、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは同じでも良い。
(実施の形態6)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置5について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像に応じて、適用する拘束条件が動的に変化する点である。
図27は、本実施の形態における画像処理装置5のブロック図である。
画像処理装置5は、格納部101、拘束条件格納部502、指示受付部503、画像受付部104、分割部105、画像解析部106、マッピング部507、合成部108、画像出力部109、および拘束条件変更部510を具備する。
マッピング部507は、例えば、出力画像候補取得手段1072、判断手段1073、特徴量取得手段5071、拘束条件決定手段5072、変更手段5074、および出力画像取得手段1075を具備する。
拘束条件格納部502は、条件識別情報と拘束条件との組である拘束情報を2以上、格納し得る。ここでの拘束条件は、出力画像に関する条件を例にとり説明するが、入力画像または対応情報に関する条件でも良い。条件識別情報は、拘束条件を識別する情報である。条件識別情報は、例えば、特徴量ベクトルである。また、ベクトルを構成する特徴量は、例えば、入力画像の近傍空間アクティビティーである。近傍空間アクティビティーとは、例えば、フィールド上の同一位置の画素の時間差分値、傾き(一次および二次空間微分値)、極小値および極大値(1位値)、n位値、ダイナミックレンジ、空間差分値、画素値分散、空間周波数高域のパワー、時間アクティビティーと空間アクティビティーとの比等、種々あり得る。また、拘束条件は、適正な近傍空間アクティビティーである。なお、拘束情報の例を図28に示す。図28において、拘束情報は、条件識別情報である近傍空間アクティビティーと、拘束条件である適正アクティビティーとを有する。
指示受付部503は、拘束条件を変更するための指示をユーザから受け付ける。なお、指示は、例えば、図28の拘束情報を修正する指示である。また、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部507を構成する特徴量取得手段5071は、画像受付部104が受け付けた画像(入力画像)の特徴量ベクトルを取得する。特徴量取得手段5071は、画像受付部104が受け付けた画像全部の特徴量ベクトルを取得しても良いし、画像受付部104が受け付けた画像を構成する時空間ブロックの特徴量ベクトルを取得しても良い。
拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を選択する。さらに具体的には、拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルと最も距離が近い条件識別情報(この条件識別情報も特徴量ベクトルである場合)を選択し、当該選択した条件識別情報と対になる拘束条件を拘束条件格納部502から取得する。
変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、拘束条件決定手段5072が取得した拘束条件を用いて、第二の画像の全部または一部分を変更する。なお、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。また、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を変更しても良い。
拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。また、拘束条件変更部510は、自動的に拘束情報を変更しても良い。つまり、拘束条件変更部510は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的に拘束情報を変更しても良い。なお、かかる場合、拘束条件変更部510は、ユーザ属性等に応じて、どのように拘束情報を変更するかについての情報(例えば、ユーザ属性と変更するアルゴリズムを示す式の対応表等)を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。
拘束条件格納部502は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部502に拘束情報が記憶される過程は問わない。例えば、記録媒体を介して拘束情報が拘束条件格納部502で記憶されるようになってもよく、通信回線等を介して送信された拘束情報が拘束条件格納部502で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束情報が拘束条件格納部502で記憶されるようになってもよい。
指示受付部503は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部507、拘束条件変更部510、特徴量取得手段5071、拘束条件決定手段5072、および変更手段5074は、通常、MPUやメモリ等から実現され得る。マッピング部507等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、画像処理装置5の動作について、図29のフローチャートを用いて説明する。図29のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。
(ステップS2901)マッピング部507は、マッピング処理を行う。マッピング処理について、図30のフローチャートを用いて説明する。
(ステップS2902)指示受付部503は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS2903に行き、ユーザの指示を受け付けなければステップS201に戻る。
(ステップS2903)拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。
なお、図29のフローチャートにおいて、入力画像を分割し、時空間ブロックごとに、処理が行われた。しかし、図29のフローチャートにおいて、入力画像全体に対して、処理が行われても良い。
次に、ステップS2901のマッピング処理について、図30のフローチャートを用いて説明する。図30のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。
(ステップS3001)マッピング部507を構成する特徴量取得手段507は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。
(ステップS3002)拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を決定する。かかる拘束条件決定処理について、図31のフローチャートを用いて説明する。
次に、ステップS3002の拘束条件決定処理について、図31のフローチャートを用いて説明する。
(ステップS3101)拘束条件決定手段5072は、カウンタiに1を代入する。
(ステップS3102)拘束条件決定手段5072は、拘束条件格納部502にi番目の拘束情報が存在するか否かを判断する。i番目の拘束情報が存在すればステップS3103に行き、存在しなければステップS3106に行く。
(ステップS3103)拘束条件決定手段5072は、i番目の拘束情報が有する条件識別情報を拘束条件格納部502から取得する。
(ステップS3104)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルと、i番目の条件識別情報との距離を算出する。そして、拘束条件決定手段5072は、i番目の条件識別情報に対応付けて、当該距離をバッファに一時蓄積する。
(ステップS3105)拘束条件決定手段5072は、カウンタiを1、インクリメントし、ステップS3102に戻る。
(ステップS3106)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルとの距離が最小の条件識別情報と対になる拘束条件を、拘束条件格納部502から取得する。上位処理にリターンする。
以上、本実施の形態によれば、入力画像に応じて、適用する拘束条件を変え、当該拘束条件に合致する出力画像を構成することにより、極めて高品質な画像を出力できる。
なお、本実施の形態において、拘束条件決定手段5072は、入力画像に応じて適用する拘束条件を変更して、取得した。しかし、拘束条件決定手段5072は、出力画像に応じて適用する拘束条件を変更しても良い。また、拘束条件決定手段5072は、入力画像と出力画像とに応じて適用する拘束条件を変更しても良い。
また、本実施の形態において、画像受付部104が受け付けた画像を分割部105が分割した。しかし、画像受付部104が受け付けた画像を分割しなくても良い。かかる場合、画像処理装置5において、分割部105は不要である。かかることは、他の実施の形態においても同様である。
(実施の形態7)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置6について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像や出力画像に応じて、適用するルックアップテーブルが動的に変化する点である。
図32は、本実施の形態における画像処理装置6のブロック図である。
画像処理装置6は、格納部101、拘束条件格納部502、指示受付部603、画像受付部104、分割部105、画像解析部106、マッピング部607、合成部108、画像出力部109、およびLUT変更情報変更部610を具備する。
また、マッピング部607は、例えば、出力画像候補取得手段1072、判断手段1073、第一特徴量取得手段6071、第二特徴量取得手段6072、LUT変更情報格納手段6073、LUT決定手段6074、変更手段5074、および出力画像取得手段1075を具備する。
ここでの格納部101は、2以上のルックアップテーブル(以下、適宜「LUT」と言う)を格納している。
指示受付部603は、後述するLUT変更情報を変更するための指示をユーザから受け付ける。なお、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部607を構成する第一特徴量取得手段6071は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。第一特徴量取得手段6071は、上述した特徴量取得手段5071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する特徴量ベクトルを第一特徴量ベクトルと言うこととする。
第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像の特徴量ベクトルを取得する。第二特徴量取得手段6072は、情報の取得元が第一特徴量取得手段6071とは異なるが、第一特徴量取得手段6071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する1以上の特徴量と、第二特徴量取得手段6072が取得する1以上の特徴量とが、すべて同一の特徴量でも良いし、一部に同一の特徴量を含んでも良いし、すべて異なる特徴量でも良い。なお、第二特徴量取得手段6072が取得する特徴量ベクトルを第二特徴量ベクトルと言うこととする。
LUT変更情報格納手段6073は、出力画像候補取得手段1072が出力する画像の候補を取得する際に利用するLUTを変更するための情報であるLUT変更情報を格納している。LUT変更情報は、例えば、第一特徴量ベクトルとルックアップテーブルを識別する種類識別子との対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。なお、LUT変更情報格納手段6073は、通常、2以上のLUT変更情報を格納している。また、上記の比とは、2以上のLUTを混合して、新しいLUTを構成する場合の、各LUTに対応する比である。
また、LUT変更情報格納手段6073に格納されているLUT変更情報管理表の例を図33に示す。図33において、LUT変更情報管理表は、複数のLUT変更情報を有する。LUT変更情報は、「ID」「第一特徴量ベクトル」「第二特徴量ベクトル」「LUT」「比」を有する。「LUT」は種類識別子である。「比」は、新しいLUTを構成する場合の、各LUTの混合比を示す情報である。なお、「比」は、比率であるとは限らず、複数のLUTを用いて、新しいLUTを構成するための情報であれば何でも良い。新しいLUTを構成するための情報は、例えば、複数のLUTを構成する要素をパラメータとする演算式等である。LUTを構成する要素とは、例えば、フィルタの係数や、特徴量ベクトルの要素である。
LUT決定手段6074は、LUT変更情報格納手段6073のLUT変更情報を用いて、出力画像候補取得手段1072が利用するLUTを決定する。さらに具体的には、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、出力画像候補取得手段1072が利用するLUTを決定する。また、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、LUTを構成しても良い。
以下、LUT変更情報格納手段6073に図33のLUT変更情報管理表が格納されている場合のLUT決定手段6074の動作について説明する。LUT決定手段6074は、第一特徴量取得手段6071が取得した第一特徴量ベクトルと、LUT変更情報管理表の各レコードの第一特徴量ベクトルとの距離を算出する。次に、LUT決定手段6074は、第二特徴量取得手段6072が取得した第二特徴量ベクトルと、LUT変更情報管理表の各レコードの第二特徴量ベクトルとの距離を算出する。そして、LUT決定手段6074は、LUT変更情報管理表の各レコード毎に、例えば、2つの距離の和を取得する。次に、LUT決定手段6074は、2つの距離の和が最小のレコードを決定する。次に、LUT決定手段6074は、決定したレコードが有する「LUT」の属性値、または決定したレコードが有する「LUT」の属性値と「比」の属性値を取得する。決定したレコードが有する「LUT」の属性値が一つの種類識別子である場合、LUT決定手段6074は、当該種類識別子で識別されるLUTを、出力画像候補取得手段1072が利用するLUTとして決定する。一方、決定したレコードが有する「LUT」の属性値が2以上の種類識別子である場合、LUT決定手段6074は、2以上の各種類識別子と「比」の属性値(以下、単に比とも言う。)との組を取得し、比に合致するように、2以上の各種類識別子で識別されるLUTを混合して、新しいLUTを構成する。
LUT変更情報変更部610は、指示受付部603が受け付けた指示に従って、LUT変更情報を変更する。また、LUT変更情報変更部610は、自動的にLUT変更情報を変更しても良い。つまり、LUT変更情報変更部610は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的にLUT変更情報を変更しても良い。なお、かかる場合、LUT変更情報変更部610は、ユーザ属性等に応じて、どのようにLUT変更情報を変更するかについての情報を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。
指示受付部603は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部607、LUT変更情報変更部610、第一特徴量取得手段6071、第二特徴量取得手段6072、およびLUT決定手段6074は、通常、MPUやメモリ等から実現され得る。マッピング部607等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
LUT変更情報格納手段6073は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。LUT変更情報格納手段6073にLUT変更情報が記憶される過程は問わない。例えば、記録媒体を介してLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、通信回線等を介して送信されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよい。
次に、画像処理装置6の動作について、図34のフローチャートを用いて説明する。図34のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。
(ステップS3401)マッピング部607は、マッピング処理を行う。マッピング処理について、図35のフローチャートを用いて説明する。
(ステップS3402)指示受付部603は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS3403に行き、ユーザの指示を受け付けなければステップS201に戻る。
(ステップS3403)LUT変更情報変更部610は、指示受付部503が受け付けた指示に従って、LUT変更情報を変更する。
次に、ステップS3401のマッピング処理について、図35のフローチャートを用いて説明する。図35のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。
(ステップS3501)マッピング部607の第一特徴量取得手段6071は、画像受付部104が受け付けた入力画像から第一特徴量ベクトルを取得する。
(ステップS3502)第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像から第二特徴量ベクトルを取得する。なお、ここで、第二特徴量ベクトルを取得する元になる出力画像は、通常、直前に出力された出力画像である。
(ステップS3503)LUT決定手段6074は、ステップS3501で取得された第一特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとを用いて、LUTを決定する。かかる処理であるLUT決定処理について、図36のフローチャートを用いて説明する。
次に、ステップS3503のLUT決定処理について、図36のフローチャートを用いて説明する。
(ステップS3601)LUT決定手段6074は、カウンタiに1を代入する。
(ステップS3602)LUT決定手段6074は、i番目のLUT変更情報が存在するか否かを判断する。i番目のLUT変更情報が存在すればステップS3603に行き、存在しなければステップS3607に行く。
(ステップS3603)LUT決定手段6074は、i番目のLUT変更情報が有する第一特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第一特徴量ベクトルと、ステップS3501で取得された第一特徴量ベクトルとの間の距離(d1)を算出する。
(ステップS3604)LUT決定手段6074は、i番目のLUT変更情報が有する第二特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第二特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとの間の距離(d2)を算出する。
(ステップS3605)LUT決定手段6074は、ステップS3603で算出した距離(d1)と、ステップS3604で算出した距離(d2)とを算出式に代入し、当該算出式を実行する。そして、LUT決定手段6074は、i番目のLUT変更情報のコスト(C)を取得する。そして、LUT決定手段6074は、当該コスト(C)をi番目のLUT変更情報と対応付けて、少なくとも一時蓄積する。なお、算出式は、2つの距離をパラメータとする算出式であり、各距離をパラメータとする関数である。なお、かかる関数は、通常、各距離をパラメータとする増加関数である。算出式は、例えば、「C=a1×d1+(1−a1)×d2」である。なお、a1は、例えば、0.5、0.8等である。
(ステップS3606)LUT決定手段6074は、カウンタiを1、インクリメントする。
(ステップS3607)LUT決定手段6074は、ステップS3605で算出したコストが最も小さいLUT変更情報が有する1以上の種類識別子を取得する。
(ステップS3608)LUT決定手段6074は、ステップS3607で取得した種類識別子が複数であるか否かを判断する。複数であればステップS3609に行き、1つであればステップS3611に行く。
(ステップS3609)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する複数の比を、種類識別子と対応付けて取得する。
(ステップS3610)LUT決定手段6074は、複数の種類識別子に対応するLUTを、格納部101から取得する。そして、LUT決定手段6074は、ステップS3609で取得した比に応じて、取得したLUTを混合し、新しいLUTを生成する。かかる新しいLUTは、出力画像候補取得手段1072が使用するLUTである。
なお、LUTの混合とは、例えば、以下のような処理である。例えば、LUTを構成する対応情報が特徴量ベクトルとパラメータ群(例えば、フィルタの係数の集合)である、とする。そして、複数のLUTは、同一の特徴量ベクトルを有する、とする。そして、LUT決定手段6074は、同一の特徴量ベクトルに対応する複数のLUTのパラメータ群を取得し、当該パラメータ群を構成する各パラメータを、比に応じて混合する。例えば、LUT「A」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(4,10,7,・・・)であった、とする。また、LUT「B」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(10,8,17,・・・)であった、とする。そして、LUT「A」に対応する比が「a1」、LUT「A」に対応する比が「1−a1」であった、とする。かかる場合、LUT決定手段6074は、パラメータ群(4×a1+10×(1−a1),10×a1+8×(1−a1),7×a1+17×(1−a1),・・・)を取得する。かかる処理を、すべての対応情報に対して行う。
(ステップS3611)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する種類識別子で識別されるLUTを取得する。かかるLUTは、出力画像候補取得手段1072が使用するLUTである。
以上、本実施の形態によれば、入力画像、または出力画像、または入力画像と出力画像に応じて、適用するルックアップテーブルを変え、出力画像を構成することにより、極めて高品質な画像を出力できる。
(実施の形態8)
本実施の形態において、画像学習装置7について説明する。画像学習装置7は、ルックアップテーブル取得装置3がルックアップテーブルを構成するために用いる第一の画像と第二の画像とを取得する装置である。また、ここでの画像学習装置7は、主として、エンターテインメント性を向上させる画像処理装置で用いられるルックアップテーブルのための装置である。
図37は、画像学習装置7のブロック図である。画像学習装置7は、第一画像格納部31、第二画像格納部32、画像生成部71、画像蓄積部72を有する。なお、第一画像格納部31および第二画像格納部32は、ルックアップテーブル取得装置3等の装置を構成する。
第一画像格納部31は、1以上の第一の画像を格納し得る。第一画像格納部31は、動画である第一の画像を格納していても良い。
第二画像格納部32は、1以上の第二の画像を格納し得る。第二画像格納部32は、動画である第二の画像を格納していても良い。
画像生成部71は、第一画像格納部31に格納されている第一の画像から第二の画像を生成する。また、画像生成部71は、第二画像格納部32に格納されている第二の画像から第一の画像を生成しても良い。
例えば、画像生成部71は、以下の第二の画像、または第一の画像を生成する。
(1)白画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に白画像のフレームを挿入し、第二の画像を取得する。
(2)輝度値を上げた画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置のフレームの輝度値を上げ、第二の画像を取得する。
(3)高コントラスト画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に高コントラスト画像を挿入し、第二の画像を取得する。
(4)画面不均一に画像を強調した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意の位置のフレームに対して、エッジ強調やコントラスト変更等を施し、第二の画像を取得する。エッジ強調やコントラスト変更等の処理は公知技術であるので、説明を省略する。
(5)フィルムライクな映像の処理
画像生成部71は、フィルムソースの動画である第二の画像を第二画像格納部32から読み出す。次に、第二の画像を画像変換し、第一の画像を取得する。
画像蓄積部72は、画像生成部71が生成した第二の画像を、第二画像格納部32に蓄積する。また、画像蓄積部72は、画像生成部71が生成した第一の画像を、第一画像格納部31に蓄積する。
次に、画像処理装置のマッピング処理について説明する。マッピング処理は、上述した画像処理装置のマッピング部が行う。
第二の画像が上記の(1)から(3)のいずれかで生成されたフラッシュ画像である場合、マッピング部107は、入力画像の特徴量ベクトル(例えば、輝度分布や全画面動き量などを要素として有するベクトル)を用いて、当該特徴量ベクトルに対応する対応情報をLUTから取得する。そして、マッピング部107は、取得した対応情報を用いて、特殊フレームを挿入する。なお、入力画像の特徴量ベクトルは、画像解析部106が取得する。また、マッピング部107は、入力画像の特徴量ベクトルが所定の条件(対応情報であっても良い)を満たす場合、特殊フレームを挿入しても良い。特殊フレームとは、フラッシュ画像のフレームである。
また、第二の画像が上記の(4)で生成された不均一に強調された画像である場合、マッピング部107は、上述した処理を行うことにより、強調の方法が全画面で一律にならず、例えば、波形に応じて、異なる強調方法が自動で選択される。
また、第二の画像が上記の(5)で生成されたフィルムライクな画像である場合、マッピング部107は、上述した処理を行うことにより、フィルム調の画像に変換した出力画像を出力できる。
なお、例えば、異なる照明環境下で同一の撮影対象を撮影した第一の画像と第二の画像とを、それぞれ第一画像格納部31と、第二画像格納部32に蓄積しても良い。異なる照明環境とは、上述したように、例えば、撮影対象に応じて、照明の明るさを異ならせた環境である。また、異なる照明環境とは、例えば、光源の位置をずらした環境である。
かかる場合、マッピング部107は、上述した処理を行うことにより、画像の質感が向上したり、表面反射特性が全く異なる画像が得られたりする。例えば、入力画像中の新作の弦楽器が、オールドのような渋いニスの色の弦楽器のように出力される。
また、図38は、本明細書で述べたプログラムを実行して、上述した実施の形態のルックアップテーブル取得装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図38は、このコンピュータシステム340の概観図であり、図39は、コンピュータシステム340のブロック図である。
3 ルックアップテーブル取得装置
31 第一画像格納部
32 第二画像格納部
33 第二画像情報候補集合格納部
34 候補出力部
35 第二画像蓄積部
36 第一画像関連情報取得部
37 第二画像関連情報取得部
38 ルックアップテーブル構成部
39 ルックアップテーブル蓄積部
101 格納部
102 拘束条件格納部
103 指示受付部
104 画像受付部
105 分割部
106 画像解析部
107 マッピング部
108 合成部
109 画像出力部
110 ルックアップテーブル更新部
1071 種類識別子取得手段
1072 出力画像候補取得手段
1073 判断手段
1074 変更手段
1075 出力画像取得手段
Claims (11)
- 1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部と、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備し、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記拘束条件は、
入力画像が満たすべき条件であり、
前記マッピング部は、
前記画像受付部が受け付けた画像の一部の1以上の特徴量が、前記拘束条件を満たすか否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、前記画像の一部の1以上の特徴量を取得する変更手段と、
前記変更手段が取得した1以上の特徴量、または前記画像受付部が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備する画像処理装置。 - 1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部と、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備し、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記ルックアップテーブルは、
2以上の対応情報を有し、
前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、
前記拘束条件は、
連続して同一の対応情報を使用しないことであり、
前記マッピング部は、
1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、前記拘束条件に従って、当該対応情報が直前に使用した対応情報と同一か否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像解析部に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を前記画像解析部に出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更手段と、
前記変更手段が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備し、
前記マッピング部は、
少なくとも最近に使用した対応情報を特定する情報を保持する画像処理装置。 - 前記第一の画像の全部または一部分は、
入力される映像のうちの一部である第一の時空間ブロックであり、
前記第二の画像の全部または一部分は、
画面に出力される映像のうちの一部である第二の時空間ブロックであり、
前記画像受付部は、
1以上の画像の集合である映像を受け付け、
前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部と、
前記マッピング部が取得した2以上の各出力画像の全部または一部分を、当該2以上の各出力画像の全部または一部分に対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部とをさらに具備し、
前記画像出力部は、
前記合成部が生成した出力画像を出力する請求項1から請求項2いずれか記載の画像処理装置。 - 前記対応情報は、
一の環境で得られた一の対象についての第一の画像の全部または一部分の1以上の特徴量と、前記第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合とを有する情報である請求項1から請求項3いずれか記載の画像処理装置。 - 前記格納部は、
ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、
前記マッピング部は、
利用するルックアップテーブルの種類を識別する1以上の種類識別子を取得する種類識別子取得手段を具備し、
前記マッピング部は、
前記1以上の種類識別子に対応する1以上のルックアップテーブルが有するいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得する請求項1から請求項4いずれか記載の画像処理装置。 - ユーザの指示を受け付ける指示受付部と、
前記指示に応じて、前記ルックアップテーブルが有する1以上の対応情報のいずれかを変更するルックアップテーブル更新部とをさらに具備する請求項1から請求項5いずれか記載の画像処理装置。 - 前記格納部に格納されているルックアップテーブルは、
1以上の前記第一の画像を格納し得る第一画像格納部と、
1以上の前記各第二の画像を、前記1以上の各第一の画像に対応付けて格納し得る第二画像格納部と、
前記第一画像格納部に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、
前記第二画像格納部に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、
前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部とを具備するルックアップテーブル取得装置により取得されたルックアップテーブルである請求項1から請求項6いずれか記載の画像処理装置。 - 記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき拘束条件とを格納しており、
画像受付部、マッピング部、および画像出力部により実現され得る画像処理方法であって、
前記画像受付部が、1以上の画像を受け付ける画像受付ステップと、
前記マッピング部が、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、、前記拘束条件に合致するように取得するマッピングステップと、
前記画像出力部が、前記マッピングステップで取得された1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力ステップとを具備し、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記拘束条件は、
入力画像が満たすべき条件であり、
前記マッピングステップは、
前記画像受付ステップで受け付けられた画像の一部の1以上の特徴量が、前記拘束条件を満たすか否かを判断する判断ステップと、
前記判断ステップにおいて前記拘束条件を満たさないと判断した場合に、前記画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、前記画像の一部の1以上の特徴量を取得する変更ステップと、
前記変更ステップにおいて取得された1以上の特徴量、または前記画像受付ステップで受け付けられた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得ステップとを具備する画像処理方法。 - 記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、
画像受付部、画像解析部、マッピング部、および画像出力部により実現され得る画像処理方法であって、
前記画像受付部が、1以上の画像を受け付ける画像受付ステップと、
前記マッピング部が、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付ステップで受け付けられた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピングステップと、
前記画像出力部が、前記マッピングステップで取得された1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力ステップとを具備し、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記ルックアップテーブルは、
2以上の対応情報を有し、
前記画像解析部が、前記画像受付ステップで受け付けられた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析ステップをさらに具備し、
前記拘束条件は、
連続して同一の対応情報を使用しないことであり、
前記マッピングステップは、
1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、前記拘束条件に従って、当該対応情報が直前に使用した対応情報と同一か否かを判断する判断ステップと、
前記判断ステップで前記拘束条件を満たさないと判断された場合に、前記画像解析ステップで当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を前記画像解析ステップに出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更ステップと、
前記変更ステップで取得された対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得ステップとを具備し、
前記マッピングステップにおいて、
少なくとも最近に使用した対応情報を特定する情報を保持する画像処理方法。 - 記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき拘束条件とを格納しており、
コンピュータを、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備するものとして機能させるプログラムであって、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記拘束条件は、
入力画像が満たすべき条件であり、
前記マッピング部は、
前記画像受付部が受け付けた画像の一部の1以上の特徴量が、前記拘束条件を満たすか否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、前記画像の一部の1以上の特徴量を取得する変更手段と、
前記変更手段が取得した1以上の特徴量、または前記画像受付部が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備する、プログラム。 - 記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、
コンピュータを、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させ、
前記第一の画像と前記第二の画像とは、同一の対象についての異なる画像であり、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境より照明または光源の光量が多い環境、または前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と照明の色が異なる環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記ルックアップテーブルは、
2以上の対応情報を有し、
コンピュータを、
前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部としてさらに機能させ、
前記拘束条件は、
連続して同一の対応情報を使用しないことであり、
前記マッピング部は、
1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、前記拘束条件に従って、当該対応情報が直前に使用した対応情報と同一か否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像解析部に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を前記画像解析部に出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更手段と、
前記変更手段が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備し、
前記マッピング部は、
少なくとも最近に使用した対応情報を特定する情報を保持するものとして、コンピュータを機能させるためのプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012010718A JP5944170B2 (ja) | 2011-05-11 | 2012-01-23 | 画像処理装置、画像処理方法、およびプログラム |
CN201280022556.XA CN103733219B (zh) | 2011-05-11 | 2012-05-08 | 图像处理装置、图像处理方法、及储存程序的储存媒体 |
US14/116,772 US9639936B2 (en) | 2011-05-11 | 2012-05-08 | Image processing apparatus, image processing method, and storage medium in which program is stored for enhancing an image via super-resolution |
KR1020137029865A KR101961968B1 (ko) | 2011-05-11 | 2012-05-08 | 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체 |
BR112013028782A BR112013028782A2 (pt) | 2011-05-11 | 2012-05-08 | aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado |
EP12781820.1A EP2709055B1 (en) | 2011-05-11 | 2012-05-08 | Image processing apparatus, image processing method, and storage medium in which program is stored |
PCT/JP2012/061738 WO2012153727A1 (ja) | 2011-05-11 | 2012-05-08 | 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011106301 | 2011-05-11 | ||
JP2011106301 | 2011-05-11 | ||
JP2012010718A JP5944170B2 (ja) | 2011-05-11 | 2012-01-23 | 画像処理装置、画像処理方法、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016077862A Division JP6134414B2 (ja) | 2011-05-11 | 2016-04-08 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012252686A JP2012252686A (ja) | 2012-12-20 |
JP5944170B2 true JP5944170B2 (ja) | 2016-07-05 |
Family
ID=47525400
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012010718A Active JP5944170B2 (ja) | 2011-05-11 | 2012-01-23 | 画像処理装置、画像処理方法、およびプログラム |
JP2016077862A Active JP6134414B2 (ja) | 2011-05-11 | 2016-04-08 | 画像処理装置、画像処理方法、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016077862A Active JP6134414B2 (ja) | 2011-05-11 | 2016-04-08 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5944170B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3481045A4 (en) | 2016-06-30 | 2020-01-15 | I-Cubed Research Center Inc. | IMAGE OUTPUT DEVICE, IMAGE OUTPUT METHOD AND PROGRAM |
JP6665937B2 (ja) | 2016-08-10 | 2020-03-13 | 日本電気株式会社 | 無線アクセスネットワークノード、無線端末、及びこれらの方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1141478A (ja) * | 1997-07-24 | 1999-02-12 | Canon Inc | 画像処理方法、装置および記録媒体 |
JP4066488B2 (ja) * | 1998-01-22 | 2008-03-26 | ソニー株式会社 | 画像データ生成装置及び画像データ生成方法 |
JP2923894B1 (ja) * | 1998-03-31 | 1999-07-26 | 日本電気株式会社 | 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体 |
JP2001144972A (ja) * | 1999-11-18 | 2001-05-25 | Fuji Photo Film Co Ltd | マルチスペクトル画像収録・処理装置および画像収録・処理方法 |
JP2001245153A (ja) * | 1999-12-20 | 2001-09-07 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP4000837B2 (ja) * | 2001-11-28 | 2007-10-31 | コニカミノルタホールディングス株式会社 | Idカード作成システム、色補正方法及びidカード作成方法 |
JP3968565B2 (ja) * | 2002-03-20 | 2007-08-29 | セイコーエプソン株式会社 | 印刷制御装置、印刷制御方法、印刷制御プログラム、印刷制御プログラムを記録した媒体、色変換装置、色変換方法、色変換テーブルの作成方法および色変換テーブル |
JP4004871B2 (ja) * | 2002-06-27 | 2007-11-07 | クラリオン株式会社 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
JP4423537B2 (ja) * | 2003-06-27 | 2010-03-03 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
JP4639613B2 (ja) * | 2004-03-15 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2006262451A (ja) * | 2005-02-18 | 2006-09-28 | Canon Inc | 画像記録装置及び方法 |
JP2006254104A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | 画像処理装置、画像処理方法及び画像処理プログラム。 |
JP4788406B2 (ja) * | 2006-03-07 | 2011-10-05 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4591786B2 (ja) * | 2007-02-05 | 2010-12-01 | ソニー株式会社 | 信号処理装置 |
JP2010166506A (ja) * | 2009-01-19 | 2010-07-29 | Ricoh Co Ltd | 画像出力装置、画像出力方法、画像出力プログラム及び記録媒体 |
JP5402832B2 (ja) * | 2010-05-27 | 2014-01-29 | 株式会社Jvcケンウッド | 視点変換装置及び視点変換方法 |
-
2012
- 2012-01-23 JP JP2012010718A patent/JP5944170B2/ja active Active
-
2016
- 2016-04-08 JP JP2016077862A patent/JP6134414B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012252686A (ja) | 2012-12-20 |
JP6134414B2 (ja) | 2017-05-24 |
JP2016158279A (ja) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012153727A1 (ja) | 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体 | |
WO2012153726A1 (ja) | 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体 | |
KR102273331B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
JP5414165B2 (ja) | 画質調整装置、画質調整方法及びプログラム | |
JP6134414B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6499612B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6134267B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP5961389B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6244397B2 (ja) | ルックアップテーブル取得装置、ルックアップテーブルの生産方法、およびプログラム | |
TWI586180B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI558219B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI535297B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
JP2001331246A (ja) | 画像関連データ表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5944170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |