JP2010154422A - 画像処理装置 - Google Patents

Abstract

【課題】カメラ画像等の２次元画像から遠近感や立体感を強調や抑制した画像を簡易に合成したり、３次元立体視用の画像に簡単に変換したりすることができるようにする。
【解決手段】２次元画像における輪郭エッジを抽出し、抽出された輪郭境界内の被写体別に画像領域を分割し、分割された被写体毎に距離情報を付加し、遠近感を強調する補正変換処理を行なう手段１と、補正した被写体の距離情報に応じて補間計算するとともに、距離に応じた大きさで乱数加算する手段３を備える。
【選択図】図２

Description

本発明は、たとえばカメラ画像などの２次元画像から、遠近感や立体感を強調（または抑制）した画像を簡易に合成したり、３次元立体視用の画像に変換したりすることができる画像処理装置に関する。

２次元画像において、画像データに種々の修正、補正等を行うことにより、画像の見栄え等を変え、ユーザーにとって希望、または好みの画像を得ることが従来から種々行われている。例えば、立体視、つまり２次元画像に立体感を持たせて見かけ上３次元画像として見ることができる疑似３次元画像等を得られるようにすることなどが、従来から種々行われている。

たとえば、左、右２眼のステレオカメラ画像から、アナグリフ（赤青メガネ）方式など、各種方式の立体視用の左、右２枚画像として記録できるアプリケーション・ソフトや、３６０度など周囲所定角度からの複数枚の画像から、３次元ＣＧ用のボクセルデータを生成するソフトなど、さらに数値シミュレーションなどで得られた解析データ、計測データ等を、３次元動画にして表示するソフトウェアなどが、種々提案されている。

しかし、これらのソフトを用いてなる従来例は、予めステレオカメラや複数カメラで撮影した画像や、視差のある複数枚の多視点画像から、あるいは既知の３次元形状モデルから、擬似３次元画像や立体視用の画像を作成するものであり、通常の１枚の２次元画像から擬似３次元画像や立体的な画像、立体感や遠近感などを強調や抑制したような画像を生成することはできなかった。

また、１枚の顔画像から擬似的な３次元形状モデルを生成して、３次元的な顔アニメーションを自動作成するようなソフトウェアや、落書きした絵などから、擬人化した３Ｄアニメーションを自動作成するウェブ・アプリケーションなども開発されている。
しかし、これらは、人物の顔など特定の被写体に対して、顔の表情変化や動きを付加するなど、所定の変形修飾を行うなど、娯楽やエンターティンメント用途のものに限られていた。

さらに、最近では、１枚の画像を自動解析して、画像中から３次元情報を抽出して、３Ｄアニメーションを作成するアプリなども研究開発されている。
しかし、これらでは、高性能ワークステーションなどで膨大な計算処理をしても、対象の認識精度の粗さ、立体情報の不足などから、自動解析しても、演劇舞台の「書き割り」のような、プリミティブな３次元形状データを抽出するのがせいぜいであるなど、性能や精度に課題があった。

また、ステレオカメラ画像や、立体視用の３次元データの多くでは、図１０、図１１等から明らかなように、両眼視差（左右の像の違い）や両眼輻輳（眼球の回転角から距離を認識）、焦点調節（焦点を合わせる水晶体の厚さ、毛様筋の調節作用）、運動視差（移動したときの像の動きの違い）など、いわゆる、「生理的な立体視要素」を利用している。つまり、目と目の２点間を基線長（basis）として、三角測量したときの距離感を利用している。

しかし、このような距離感は、距離が離れるに従って精度が低下し、生理的要素による立体感も、１０ｍ程度の近距離以遠では、距離が離れるに従って、感度が急激に低下する限界があった。

一方、これらに反して、距離が離れるに従って、人間の「感覚的（心理的、経験的）立体視要素」の方が強くなることが知られている。
例えば、図１０から明らかなように、物の大小（小さい物は遠く、大きい物は近く感じる）、物の上下（上に有る物は遠く、下の物は近く感じる）、物の重なり （重なり隠れる物は遠く、隠す物は近くに感じる）、明暗（暗い所は遠く、明るい所は近くに感じる）、鮮明（霞んだ所は遠く、鮮明な所は近くに感じる）、などがある。

上述したような立体視の要因を２次元画像の画像処理に利用したものとして、たとえば風景画像のコントラストを高めるために、画像における色成分の再現性が高く、見た目に違和感のない画像に変換できるようにした画像処理装置が提案されている（例えば、特許文献１参照）。
この従来装置では、風景を撮影した画像中の遠景領域を、複数の色成分の成分画像に分離し、散乱されにくい色成分の成分画像を基準に、それ以外の散乱されやすい成分画像における明るさ毎の画素の分布を修正でき、また画像のコントラストを高めるだけでなく、色成分別に補正することから、単に画像領域の輝度を調整するのに比べて、色成分それぞれの再現性を高めることができるものである。

また、魚眼光学系を用いて撮像された魚眼の歪みを補正する装置において、検出されたぶれ量に基づいて魚眼像の周辺部のぶれ量を算出し、その算出結果に基づいて魚眼像の切り出し領域を決定するように構成した装置も知られている（例えば、特許文献２等参照）

特開２００８−９８７７号公報 特開２００６−２９５６２６号公報

しかし、上述した従来装置では、立体視を得るために画像にコントラストを付けたり、魚眼による歪みを補正したりする等、画像処理が比較的煩雑になり易く、またその割には、２次元画像において立体感や遠近感などを得にくいという問題があった。

特に、この種の画像処理装置では、２次元画像に対し、視認した際に立体感や遠近感を簡単かつ適切に得ることが可能であり、しかも全体の構成が比較的簡単で、しかも手軽に処理することができる画像処理装置を得ることが望まれている。

本発明はこのような事情に鑑みてなされたものであり、カメラ画像などの２次元画像から遠近感や立体感を強調や抑制した画像を簡易に合成したり、３次元立体視用の画像に簡単に変換したりすることができるようにする画像処理装置を得ることを目的とする。

このような目的に応えるために本発明（請求項１記載の発明）に係る画像処理装置は、２次元画像における輪郭エッジを抽出し、抽出された輪郭境界内の被写体別に画像領域を分割し、分割された被写体毎に距離情報を付加し、遠近感を強調する補正変換処理を行なう手段と、前記補正した被写体の距離情報に応じて補間計算するとともに、距離に応じた大きさで乱数加算する手段を備えていることを特徴とする。

本発明（請求項２記載の発明）に係る画像処理装置は、請求項１記載の画像処理装置において、遠近感や立体感を補正した２次元画像から３次元表示用の画像データに変換する手段を備えていることを特徴とする。

本発明（請求項３記載の発明）に係る画像処理装置は、請求項１または請求項２記載の画像処理装置において、立体視用の画像データの遠近感や立体感を編集する手段を備えていることを特徴とする。

以上説明したように本発明に係る画像処理装置によれば、簡単な構成であるにもかかわらず、以下に列挙する種々優れた効果を奏する。

（１）比較的簡易な計算や画像処理により、通常カメラの２次元画像に、立体感や遠近感を強調や付加したり、擬似３次元的な画像を生成したりできるので、民生用のデジタルカメラや携帯電話、プリンタなどに組込んで利用できる。

（２）立体視用のメガネや３次元表示装置など特殊なデバイスを必要とせずに、通常の２次元画像において、立体感や遠近感を強調した画像として再生や表示できるので、一般の写真画像や、イラスト絵画、宣伝広告、ウェブコンテンツなど各種分野に利用できる。

また、従来の立体視で用いられる両眼視差や輻輳角など「生理的な立体視要素」と違って、人間の「感覚的（心理的、経験的）立体視要素」を利用するので、距離が遠方に離れた被写体に対しても、立体感や遠近感を強調することができる。

（３）あるいは、（ステレオカメラではない）通常カメラの１枚の２次元画像から、立体感や遠近感情報を付加して、「生理的な立体視要素」を用いるステレオ立体視用の左・右画像やアナグリフ（赤青メガネ）画像を自動生成したり、さらに、その立体感や遠近感を強調や抑制、調整したりすることもできるので、各種方式の３次元表示や立体視用の画像データの生成や補正、画像処理装置にも利用できる。

例えば、レンチキュラー方式の３次元液晶表示装置などを内蔵した携帯機器などに組み込むと、専用のステレオ画像や３次元画像データを再生するだけでなく、通常の２次元画像を入力した場合も、３次元表示用データに変換して、擬似立体視して再生することができる。

図１および図２は本発明に係る画像処理装置の一実施形態を示す。
これらの図において、本発明を特徴づける画像処理装置は、２次元画像から、遠近感や立体感を強調（または抑制）した画像を合成したり、３次元立体視用の画像を変換したりするものであり、図２に示すような構成による制御部を備えている。

すなわち、図中符号１は補正変換処理を行う手段であり、２次元画像における輪郭エッジを抽出し、抽出された輪郭境界内の明度や色相から主要被写体別に画像領域を分割し、分割された被写体毎に（またはユーザーに選択された被写体毎に）、前景・中景・遠景などの距離情報を付加し、遠近感を強調（または抑制）する補正変換処理を行なうようになっている。

２は遠近感を強調（または抑制）する手段であり、上述した補正変換処理時に両眼視差や輻輳角などの「生理的立体視要素」だけでなく、物の大小、上下、重なり、遮蔽、粗密、明暗、鮮明、濃淡、陰影などの「感覚的・心理的立体視要素」を付加したりすることにより補正して、遠近感を強調（または抑制）するようになっている。

３は違和感の少ない画像に補正するための乱数加算する手段であり、補正した被写体の画素間の遠近、距離情報に応じて補間計算するとともに、距離に応じた大きさで乱数加算して、違和感の少ない画像に補正するようになっている。これは、単なる遠景/中景/近景の区別だけでは、書き割や看板的な薄っぺらい立体表現になりやすいからである。

さらに、図中４は３次元表示用の画像データに変換する手段であり、上述した遠近感や立体感を補正した２次元画像から３次元表示用の画像データに変換するようになっている。
５は遠近感や立体感を編集する手段であり、立体視用の画像データの遠近感や立体感を編集するようになっている。

上述した構成による装置は、カメラ画像などの２次元画像から、立体感や遠近感を強調や抑制した画像を、以下のようなステップで画像処理し、簡易に合成して、遠近感の補正や３次元補正処理を行った画像に変換して記録できる。

すなわち、図１において、Ｓ１０１で２次元画像が入力されると、Ｓ１０２においてこの２次元画像の輪郭やエッジ情報を抽出し、次いでＳ１０３で輪郭境界内の明度や色相から対象物、特に主要被写体別に画像領域を自動的に分割する。

ここで、シーンや対象物の自動認識は、現状では、特定の対象以外では難しいが、「人物の顔」など所定の被写体が含まれる場合には、その大きさの違いにより、対象の遠近（距離）の違いを自動判別する。また、上方の一様な「青空」などは、無限遠に近い対象として自動判別する。

Ｓ１０４でその分割された被写体毎に、または、ユーザーに選択操作にしたがって、遠景/中景/近景/最前景、または、主要被写体と背景、などと設定し、前景・中景・遠景などの遠近情報（距離情報）を付加し、Ｓ１０５で立体感や遠近感を強調（または抑制）、その度合いなどを設定して補正変換処理を行なう。

ここで、自動判別および/または手動設定された遠景/中景/近景/前景などの遠近・距離情報にしたがって、各領域の被写体像の大きさ、位置、明暗、濃淡、鮮明、彩度、色相などの「感覚的立体視要素」を実際の画像よりも、より強調（または抑制）した画像に、自動的に変換処理する。

すなわち、上記処理時には、両眼視差や輻輳角などの従来から知られているＳ１０６の「生理的立体視要素」情報、さらにこの情報に加えて、物の大小、上下、重なり・遮蔽、粗密、明暗、鮮明、濃淡、陰影など、距離が遠くなるほど強くなるＳ１０７の「感覚的・心理的立体視要素」情報を付加したりすることで変換補正して、遠近感を強調（または抑制）する。

上記の場合に、各領域の被写体像の大きさ、位置、明暗、濃淡、色相などの変換により、生じた空白や欠落、重なりなどを、隣接する周囲の画像データなどにより補正処理するとよい。

さらに、主要被写体や背景に陰影を付加や強調（または抑制）したりし、通常のレンズで撮影された２次元画像を、広角レンズや魚眼レンズで撮影されたような遠近感が強調された画像に変換して（またはその逆変換を行い）、遠近感を強調するようにするとよい。
または、通常のレンズで撮影された２次元画像を、望遠レンズで撮影されたような遠近感が圧縮された画像に変換（または、その逆変換）して、遠近感を抑制するとよい。

そして、Ｓ１０８において、補正された画素間の遠近・距離情報に応じて補間計算し、その上で、Ｓ１０９で距離に応じた大きさで乱数加算して、Ｓ１１０で滑らかな違和感の少ない画像に補正する。

すなわち、単なる遠景/中景/近景の区別では、書き割や看板的な薄っぺらい遠近感や立体表現になりやすいので、中間領域は画素間の距離に応じて、距離情報を補間計算して処理するか、画素間の距離に応じて補間計算した上に、距離に応じた大きさで乱数加算して処理する。

そして、上述した処理により、カメラ画像など２次元画像から、遠近感や立体感を強調や抑制した画像を簡易に合成することができる。

さらに、上述した補正処理により、３次元立体視用の画像に変換し、該立体視画像を得ることができる。
また、上述した立体視用の画像データにおいて遠近感や立体感を編集できるように構成するとよい。

このような構成による画像処理装置によれば、上述した通り、比較的簡易な計算や画像処理により、通常カメラの２次元画像に、立体感や遠近感を強調や付加したり、擬似３次元的な画像を生成したりすることができるから、例えば民生用のデジタルカメラや携帯電話、プリンタなどに組込んで利用でき、有用性は大きい。

また、従来のように立体視用のメガネや３次元表示装置などの特殊なデバイスを必要とせずに、通常の２次元画像において、立体感や遠近感を強調した画像として再生や表示できるから、一般の写真画像や、イラスト絵画、宣伝広告、ウェブコンテンツなど各種分野に利用することができる。

さらに、従来の立体視で用いられる両眼視差や輻輳角などの「生理的な立体視要素」と違って、人間の「感覚的（心理的、経験的）立体視要素」を利用するので、距離が遠方に離れた被写体に対しても、立体感や遠近感を強調することができる。

また、一般的なデジタルカメラで撮影した１枚の２次元画像から、立体感や遠近感情報を付加して、「生理的な立体視要素」を用いるステレオ立体視用の左、右二枚の画像やアナグリフ（赤青メガネ）画像を自動生成したり、さらに、その立体感や遠近感を強調や抑制、調整したりすることもできるから、各種方式の３次元表示や立体視用の画像データの生成や補正、画像処理装置にも利用することができる。

例えば、レンチキュラー方式の３次元液晶表示装置などを内蔵した携帯機器などに組み込むと、専用のステレオ画像や３次元画像データを再生するだけでなく、通常の２次元画像を入力した場合も、３次元表示用データに変換して、擬似立体視にして再生することができる。

ここで、上述した画像処理において、感覚的立体視要素と遠近感強調補正処理について、以下に述べる。

（１）大小 ： 小さい物は遠く、大きい物は近くに感じる。
この場合、強調の補正処理は、遠い（と設定された）対象はより小さく、近い（と設定された）対象はより大きくなるように、領域の大きさを補正する。
また、抑制の補正処理は、遠い（と設定された）対象はやや大きく、近い（と設定された）対象はやや小さくなるように、領域の大きさを補正する。（この抑制の補正処理は、強調の補正処理の逆であり、以下同様であるから、省略する。）

（２）上下 ： 上に有る物は遠く、下に有る物は近くに感じる。
この場合、強調の補正処理は、遠い対象は画面のより上方に、近い対象は画面のより下方になるように、位置を補正する。抑制の補正処理は、これの逆となる。
（３）粗密 ： 密集した所は遠く、粗い所は近くに感じる。
この場合、強調の補正処理は、遠い対象はより密集させ、近い対象はそのテクスチャー（肌理）をより粗くなるように、各領域のテクスチャー（肌理）を補正する。抑制の補正処理は、これの逆となる。

（４）運動 ： 遅く動く物は遠く、速く動く物は近くに感じる。
この場合、強調の補正処理は、動画画像において、遠い（と設定された）対象はより遅い動きや移動速度に、近い（と設定された）対象はより速い動きや移動速度になるように、各領域の動きを補正する。抑制の補正処理は、これの逆となる。
（５）遮蔽 ： 重なり隠れる物は遠く、隠す物は近くに感じる。
この場合、強調の補正処理は、近い対象は前面になり、遠い対象は近い対象の陰に一部が隠れるように、各領域の重なり、遮蔽関係を補正する。抑制の補正処理は、これの逆となる。

（６）明暗 ： 暗い所は遠く、明るい所は近くに感じる。
この場合、強調の補正処理は、遠い対象はより暗く、近い対象はより明るくなるように、各領域の輝度や明暗の度合を補正する。抑制の補正処理は、これの逆となる。
（７）鮮明 ： 霞んだ所は遠く、鮮明な所は近くに感じる。
この場合、強調の補正処理は、遠い対象は鮮明度がより低く、近い対象は鮮明度がより高くなるように、各領域の鮮明度を補正する。抑制の補正処理は、これの逆となる。

（８）陰影 ： 影（光源）の位置による遠近感や高さの判断。
この場合、強調の補正処理は、対象物の下方に、また光源の反対側に陰影を付加する。または、陰影をより濃くする、陰影の位置をより下方に移動させるなど、各領域の陰影の位置、大きさ、濃度を補正する。抑制の補正処理は、これの逆となる。
（９）濃淡 ： 淡い色は遠く、濃い色は近くに感じる。
この場合、強調の補正処理は、遠い対象は濃度や彩度をより淡く（低く）、近い対象は濃度や彩度をより濃く（高く）なるように、各領域の濃度や彩度を補正する。抑制の補正処理は、これの逆となる。

（１０）色相 ： 寒色は遠く、暖色は近くに感じる。
この場合、強調の補正処理は、遠い対象は、より寒色系の色相に、近い対象は、より暖色系の色相になるように、各領域の色相を補正する。抑制の補正処理は、これの逆となる。

ここで、上述した大小、濃淡などは、図３に示す空気遠近法などからも明らかである。
また、図４には心理的・記憶的要因による立体視要素としての上下、陰影、きめの粗密などによる立体感、高度感、奥行き感が、図５には線遠近法による奥行き感が示されている。

さらに、図６には、遠近感、立体感の変換例として、広角レンズ効果を示す。
すなわち、上述した実施形態では、通常のレンズで撮影した２次元画像の場合を説明したが、これに限定されない。

例えば通常レンズで撮影された２次元画像を、広角レンズや魚眼レンズで撮影されたような遠近感が強調された画像に変換することで、遠近感を強調することができる。
あるいは、望遠レンズで撮影された画像を、通常レンズで撮影されたような画像に変換して、遠近感を強調することが可能である。

また、通常レンズで撮影された２次元画像を、あたかも望遠レンズで撮影されたような遠近感が圧縮された画像に変換して、遠近感を抑制する。あるいは、広角レンズで撮影された画像を、通常レンズで撮影されたような画像に変換して、遠近感を圧縮するとよい。

なお、このような効果は、広角レンズと通常のレンズとの間に限らず、魚眼レンズ、望遠レンズと通常レンズとの間でも同様である。

図７は遠近感、立体感の変換例として、奥行きの変換、視点位置の変換が示され、これらの変換によっても、２次元画像に遠近感、立体感を任意に変化させることができることが理解されよう。

図８は平面画像を曲面画像として変換する場合を、また図９は透視変換の場合を説明するための図である。
これらの図からも明らかなように、２次元画像に立体感や遠近感を持たせることが適宜行えるものである。

前述した画像処理装置において、３次元表示用の画像データに変換する手段４を用いて、上述した遠近感や立体感を補正変換した２次元画像から３次元表示用の画像データに変換するように構成されている。

上記の処理を行うと、立体感や遠近感を強調または抑制した２次元画像に変換する代りに、ステレオ立体視用の左、右２枚の画像、あるいは、アナグリフ（赤青メガネ）画像などを生成するように構成することもできる。

すなわち、上記の遠景/中景/近景/前景などの距離情報や設定情報にしたがって、両眼視差（パララックス）を前景や近景ほど大きく、中景や遠景ほど小さく設定して、各領域の位置を左右に移動補正した立体視用の左右２枚の画像などを生成する。

これは、単なる遠景/中景/近景の区別では、書き割や看板的な薄っぺらい立体表現になりやすいので、中間領域は画素間の距離に応じて、距離情報を補間計算して処理するか、さらには、画素間の距離に応じて補間計算した上に、距離に応じた大きさで乱数加算して処理するものである。

また、上述した画像処理装置において、遠近感や立体感を編集する手段５を用いて、立体視用の画像データの遠近感や立体感を、両眼視差や輻輳角など「生理的立体視要素」情報だけでなく、「感覚的・心理的立体視要素」も含めて、上記の遠近感や立体感の強調や抑制するように、編集できるように構成されている。
このようにすれば、上述のように遠近感をより強調できるために、各領域の大きさ、位置、明暗、濃淡、色相などの感覚的立体視要素を強調するように補正処理した後に、立体視用の左、右２枚の画像を生成することができるものである。

なお、本発明は上述した実施の形態で説明した構造には限定されず、画像処理装置を構成する各部の形状、構造等を適宜変形、変更し得ることはいうまでもない。
例えば上述した画像の領域の選択操作時や補正処理時に、所定の変換や修飾、補正を加えることができるようにしてもよい。

ここでは、所定の領域の被写体像の位置や大きさを変える、消去や遮蔽、省略するとよい。また、上記の変換ソフトを、プリンタに内蔵する場合には、遠近に応じて、インクや粒子の粗密を近くの対象は粗く、遠い対象は密に変えて印刷したりし、被写体の種類の選択に応じて、所定の素材で印刷するように制御してもよい。

本発明に係る画像処理装置の一実施形態を示し、主な処理動作を説明するためのフローチャートである。 本発明に係る画像処理装置の概略構成を示すブロック図である。 空気遠近法を説明するための図である。 心理的・記憶的要因による立体視要素である陰影による立体感、陰影による高度感、きめの粗密による奥行き感を示す図である。 線遠近法による奥行き感を示す図である。 遠近感の強調を説明するための図である。 遠近感の補正を説明するための図である。 平面画像と局面画像との変換を説明するための図である。 透視変換を説明するための図である。 ２次元画像において立体視の要因（生理的要因、心理・記憶的要因）を説明するための表である。 １）〜５）は生理的要因による立体視を説明するための図である。

符号の説明

１…補正変換処理を行う手段、２…遠近感を強調（または抑制）する手段、３…乱数加算する手段、４…３次元表示用の画像データに変換する手段、５…遠近感や立体感を編集する手段。

Claims (3)

1. ２次元画像における輪郭エッジを抽出し、抽出された輪郭境界内の被写体別に画像領域を分割し、分割された被写体毎に距離情報を付加し、遠近感を強調する補正変換処理を行なう手段と、
   前記補正した被写体の距離情報に応じて補間計算するとともに、距離に応じた大きさで乱数加算する手段を備えていることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   遠近感や立体感を補正した２次元画像から３次元表示用の画像データに変換する手段を備えていることを特徴とする画像処理装置。
3. 請求項１または請求項２記載の画像処理装置において、
   立体視用の画像データの遠近感や立体感を編集する手段を備えていることを特徴とする画像処理装置。

Images