JP5559012B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、２Ｄ画像を３Ｄ画像に変換する画像処理装置及びその制御方法に関する。

２Ｄ画像から３Ｄ画像を作成するには、２Ｄ／３Ｄ変換装置と呼ばれる専用の高度なハードウエア及びソフトウエアが使用される。ユーザは、物体（被写体）の前後関係を指示することで、２Ｄ画像を３Ｄ画像に変換することができる。この処理は時間がかかるが、映画などに対しては（前もって変換可能な場合には）好適である。一方、放送番組などに対しては（前もって変換不可能な場合には）、リアルタイムでの変換が求められるので、このような時間を要する処理は好ましくない。そこで、簡易な方法で２Ｄ画像を３Ｄ画像に変換することのできる技術が提案されている。

特許文献１には、２Ｄ画像を左右方向にずらした画像である２枚の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を作成して、それらを交互に表示することが開示されている。そして、液晶シャッター眼鏡により、左眼にはＬ画像のみ、右眼にはＲ画像のみが見えるようにすることで、２Ｄ画像を立体的に見せることが開示されている。

従来技術（特許文献１に記載の方法）について、図４，５を用いて説明する。
図４は、２Ｄ画像を３Ｄ画像（１組のＬ画像とＲ画像）に変換する装置の機能構成を示す図である。
図中、符号１１１は、入力された２Ｄ画像を左右方向にずらした画像である２枚のＬ画像とＲ画像を作成するＬＲ画像作成部を示す。符号１１２は、フレームレートを倍速化してＬ，Ｒ画像を交互に出力する倍速化処理部を示す。符号１１３は、ＬＣＤモジュールなどの表示装置を示す。符号１１４は、左右のレンズ部が交互に光を通すシャッター眼鏡を示す。
図５は、従来例において、２Ｄ画像を３Ｄ画像に変換する様子を示す図である。
図中、符号１２１は元画像、符号１２３は左眼用画像（Ｌ画像）、符号１２４は右眼用画像（Ｒ画像）を示す。

まず、ＬＲ画像作成部１１１は、入力された１枚の２Ｄ画像をそのままＲ画像１２４とする。そして、入力された１枚の２Ｄ画像を右方向に例えば５画素ずらした画像をＬ画像１２３として作成する。この場合、Ｌ画像１２３とＲ画像１２４の間の視差は、５画素分の距離に相当する。
そして、画像出力部１１２は、この２枚の画像（Ｌ，Ｒ画像）を交互に出力する。この出力画像は、ＬＣＤモジュールなどの１２０Ｈｚのフレームレートに対応した表示装置１１３にて表示される。そして、シャッター眼鏡１１４は、Ｒ画像１２４が表示されているときに右眼側のレンズ部が光を通し、Ｌ画像１２３が表示されているときに左眼側のレンズ部が光を通すように、表示される画像の切り替えに同期して左右のレンズ部（シャッター）を制御する。それにより、ユーザは、Ｒ画像１２４を右眼で、Ｌ画像１２３を左眼で見ることができ、２Ｄ画像を立体的に見ることができる。

ここでなぜ、２Ｄ画像を左右方向にずらしただけで立体的に見えるかについて説明する。元の２Ｄ画像１２１中には、ピントの合っている画像領域と、ピントの合っていないぼやけた画像領域とが存在する。ユーザは、ピントの合っている画像領域に対しては、与えた左右方向のずれがはっきりと知覚できるが、ぼやけている画像領域に対しては、左右方向のずれがほとんど知覚出来ない。それゆえ、ピントの合っている画像領域は、ずらした分だけ手前に飛び出して見え、ピントの合っていない領域は、ずらした分ほど手前に飛び
出して見えない。

したがって、特許文献１に記載の方法では、元画像がポートレート画像のようにピントの合っている人物と、十分にぼやけた背景とからなる画像の場合には、人物だけが手前に飛び出して見えるので、十分な立体感を得ることができる。しかしながら、元画像がパンフォーカス画像のように全体的にピントの合っている画像の場合（元画像が背景のぼやけ具合が不十分な画像の場合）には、画像全体が手前に飛び出して見え、物体間の相対的な距離感が不足してしまう。その結果、あまり立体感を得ることができない。即ち、元画像のぼやけ具合によって、立体感が大きく変化してしまう。

特許文献２には、２Ｄ画像の制作側において、手前にある物体ほど、エッジを急峻にするか、コントラストを高くするか、カラーを濃くしておき、受信側では、それらの情報を利用して、２枚のＬ，Ｒ画像の左右方向のずらし量を変化させることが開示されている。
しかしながら、この方法においては、背景のぼやけ量が立体感を出すためのぼやけ量として適正であった場合に、必要以上にぼやけ量が増されてしまう。そうすると、画像がぼやけた分だけ、画像が劣化してしまう。
また、特許文献２に開示の技術では、送信側（制作側）で画像処理を行なうことが前提となっている。特許文献２には、送信側で変調しなくても、受信側のみでも立体感を得ることができることが記載されているが、元画像を調整せずに２Ｄ／３Ｄ変換を行なう場合は、上述した特許文献１と同様の問題が生じてしまう。

また、特許文献１と特許文献２に記載の技術では、前に置くものにピントがあっていることを前提としている。そのため、遠景にピントがあっており、近景がぼやけている画像では、物体の前後関係が逆転してしまう。

特許文献３には、ピント位置の異なる２枚の画像を用いて適度なぼやけ量の画像を得ることが開示されている。
しかしながら、この方法においては、元画像が１枚しか得られていない場合には、適度なぼやけ量の画像を得ることができない。

特開平８−２０５２０１号公報 特開２０００−１５６８７５号公報 特開２００５−１３６４８０号公報

山梨大学工学部研究報告第４８号 画像復元におけるぼけのインパルス応答の推定

本発明の第１の目的は、１枚の２Ｄ画像を、適度な立体感を得ることのできる３Ｄ画像に変換することのできる技術を提供することにある。
また、本発明の第２の目的は、１枚の２Ｄ画像を、２Ｄ画像のピント位置に関わらず、物体の前後関係が正しい３Ｄ画像に変換することのできる技術を提供することにある。

本発明の第１の態様は、１枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置であって、入力された２Ｄ画像の領域ごとに、その領域の鮮鋭度
を算出する算出手段と、前記算出手段で算出された鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理を施し、前記算出手段で算出された鮮鋭度が前記第１の所定値以下の値である第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施す画像処理手段と、前記画像処理手段で画像処理が施された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成手段と、を有することを特徴とする。

本発明の第２の態様は、１枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置であって、入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定する判定手段と、前記判定手段の判定結果に基づいて、前記入力された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成手段と、を有し、前記作成手段は、前記判定手段でピント位置が前景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に右方向に移動させた画像を作成し、前記判定手段でピント位置が背景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に左方向に移動させた画像を作成することを特徴とする。

本発明の第３の態様は、１枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置の制御方法であって、入力された２Ｄ画像の領域ごとに、その領域の鮮鋭度を算出する算出ステップと、前記算出ステップで算出された鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理を施し、前記算出ステップで算出された鮮鋭度が前記第１の所定値以下の値である第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施す画像処理ステップと、前記画像処理ステップで画像処理が施された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成ステップと、を有することを特徴とする。

本発明の第４の態様は、１枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置の制御方法であって、入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定する判定ステップと、前記判定ステップでの判定結果に基づいて、前記入力された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成ステップと、を有し、前記作成ステップでは、前記判定ステップでピント位置が前景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に右方向に移動させた画像を作成し、前記判定ステップでピント位置が背景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に左方向に移動させた画像を作成することを特徴とする。

本発明によれば、１枚の２Ｄ画像を、適度な立体感を得ることのできる３Ｄ画像に変換することができる。
また、１枚の２Ｄ画像を、２Ｄ画像のピント位置に関わらず、物体の前後関係が正しい３Ｄ画像に変換することができる。

実施例１，３に係る画像処理装置の機能構成の一例を示す図。 実施例１において、２Ｄ画像を３Ｄ画像に変換する様子の一例を示す図。 実施例１に係る特殊フィルタの構成の一例を示す図。 ２Ｄ画像を３Ｄ画像に変換する装置の従来例を示す図。 従来例において、２Ｄ画像を３Ｄ画像に変換する様子を示す図。 実施例２に係る画像処理装置の機能構成の一例を示す図。 ピント位置判定部の機能を示す概念図。 図７の各領域の空間周波数のヒストグラムの一例を示す図。 実施例３に係る特殊フィルタの構成の一例を示す図。 実施例３に係る比較回路で使用される関数の一例を示す図。

＜実施例１＞
図１，２，３を参照して、本発明の実施例１に係る画像処理装置及びその制御方法について説明する。
図１は、本実施例に係る画像処理装置の機能構成を示す図である。本実施例に係る画像処理装置は、１枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する。
図中、符号１０１は、入力された２Ｄ画像に画像処理を施して、該２Ｄ画像の鮮鋭度（ぼやけ量）を適切な値に調整する特殊フィルタ部を示す。具体的には、特殊フィルタ部１０１は、入力された２Ｄ画像の領域（画素）ごとに、その領域の鮮鋭度を算出する（算出手段）。そして、算出された鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理を施し、算出された鮮鋭度が第１の所定値以下の値である第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施す（画像処理手段）。但し、本実施例では、特殊フィルタ部１０１は、算出された鮮鋭度が第２の所定値より低い値である第３の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施さない。なお、本実施例では、第２の所定値は第１の所定値と等しいものとする。
符号１１１は、特殊フィルタ部１０１で画像処理が施された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を作成するＬＲ画像作成部を示す（作成手段）。例えば、画像処理が施された２Ｄ画像をそのままＲ画像とする。そして、画像処理が施された２Ｄ画像を右方向に所定画素数分ずらした画像をＬ画像として作成する。なお、Ｒ画像、Ｌ画像の作成方法はこれに限らない。Ｒ画像、Ｌ画像は、画像処理が施された２Ｄ画像を左右方向にずらした画像であればよい。例えば、画像処理が施された２Ｄ画像をそのままＬ画像としてもよい。その場合には、画像処理が施された２Ｄ画像を左方向に所定画素数分ずらした画像をＲ画像として作成すればよい。また、画像処理が施された２Ｄ画像を、右方向、左方向にずらした画像を、それぞれ、Ｌ画像、Ｒ画像として作成してもよい。
符号１１２は、ＬＲ画像作成部１１１で作成されたＬ画像とＲ画像を交互に出力する画像出力部を示す。即ち、画像出力部１１２は、フレームシーケンシャル方式で３Ｄ画像を出力する。画像出力部１１２は、例えば、３Ｄ画像を表示する場合には、２Ｄ画像を表示するときのフレームレートの倍のフレームレートでＬ画像とＲ画像を出力する。具体的には、２Ｄ画像を表示するときのフレームレートが６０Ｈｚの場合には、１２０ＨｚのフレームレートでＬ画像とＲ画像を出力する。なお、３Ｄ画像の方式はフレームシーケンシャル方式に限らない。３Ｄ画像は、ライン・バイ・ライン方式等、他の方式で出力されてもよい。
符号１１３は、画像出力部１１２から出力された画像を表示するＬＣＤモジュールなどの表示装置を示す。なお、表示装置は、画像処理装置の一部であってもよいし、画像処理装置とは別体の装置であってもよい。
符号１１４は、左右のレンズ部が交互に光を通すシャッター眼鏡を示す。

図２は、本実施例において、２Ｄ画像を３Ｄ画像に変換する様子を示す図である。
図中、符号２０は元画像（入力された２Ｄ画像）、符号２１は画像処理が施された画像、符号２３はＬ画像、符号２４はＲ画像を示す。図２では、領域を示す実線の太さが太いほど鮮鋭度が高く、領域を示すドットの密度が低いほど鮮鋭度が低いものとする。具体的には、領域２５（背景）は十分な立体感を得るために鮮鋭度を低減すべき領域（ぼやけ量が不十分な領域）を示し、領域２６（前景）は十分な立体感を得るために鮮鋭度を高めるべき領域（鮮鋭度が不十分な領域）を示す。

特殊フィルタ部１０１の具体例について、図３を用いて説明する。
図３は、特殊フィルタ部１０１の構成の一例を示す図である。
図中、符号３１は、元画像を１ラインごとに順次記憶するラインメモリを示す。図３の例では、ラインメモリ３１は連続する５画素を出力する。
符号３２は、画素ごとに鮮鋭度（鮮鋭度）を算出し、所定の閾値と比較する比較回路を示す。具体的には、比較回路３２は、画素ごとに、その画素を中心として連続する（同じラインの）５画素から鮮鋭度を算出する。
符号３３は、左右方向のエッジを強調する（鮮鋭度を高める）ハイパスフィルタを示す。
符号３４は、左右方向のエッジを滑らかにする（鮮鋭度を低減する）ローパスフィルタを示す。
符号３５は、入力された画素（上記５画素のうちの中央の画素）をそのまま出力するスルー回路を示す。
符号３６は、比較回路３２の判定結果に応じて出力する画素を選択するセレクタを示す。

比較回路３２は、鮮鋭度として、連続する５画素のＹ値の傾きを算出する。Ｙ値の傾きがゆるやかなことは、ぼやけが大きいことを意味し、傾きが急峻なことは、ぼやけがほとんどないことを意味する。そして、傾きがそれらの中間の値であることは、若干ぼやけていることを意味する。
本実施例では、鮮鋭度を、第１（第２）の所定値（閾値２）、及び、第３の所定値（閾値１）と比較する。そして、閾値２≦鮮鋭度の場合には、処理対象の画素（上記５画素のうちの中央の画素）はほとんどぼやけていない領域内の画素であると判定する。閾値１＜鮮鋭度＜閾値２の場合には、処理対象の画素は若干ぼやけた領域内の画素であると判定する。そして、鮮鋭度≦閾値１の場合には、処理対象の画素はぼやけが大きい領域内の画素であると判定する。

本実施例では、若干ぼやけている領域の鮮鋭度が低減され（ぼやけ量が大きくされ）、ほとんどぼやけていない領域の鮮鋭度が高められる（ぼやけ量が小さくされる）。そして、大きくぼやけている領域の鮮鋭度はそのままとされる。
具体的には、セレクタ３６は、処理対象の画素がほとんどぼやけていない領域内の画素であると判定された場合には、ハイパスフィルタ３３の出力を選択する。
処理対象の画素が若干ぼやけた領域内の画素であると判定された場合には、ローパスフィルタ３４の出力を選択する。
処理対象の画素がぼやけが大きい領域内の画素であると判定された場合には、スルー回路３５の出力を選択する。
それにより、元画像２０は、若干ぼやけている領域の鮮鋭度が低減され、ほとんどぼやけていない領域の鮮鋭度が高められた画像２１に変換される。

特殊フィルタ部１０１により図２の元画像２０に対して画像処理を施した場合には、ピントの合っている部分（領域２５）がより鮮鋭になり、ピントの若干合っていない部分（領域２６）がよりぼやける。そのため、画像処理を施さない（鮮鋭度を調整しない）場合に比べ、立体感を高めることができる。

また、元画像２０が背景が十分にぼやけたポートレート画像である場合は、セレクタ３６は背景の画素としてスルー回路３５の出力を選択する。そのため、背景のぼやけが拡大されることは無い。
その結果、立体感が必要以上に大きくなり見づらくなることや、背景を必要以上にぼやかすことによる画質の劣化を抑制することができる。

その後は、従来の方法と同様に、ＬＲ画像作成部１１１が、画像２１からＬ画像とＲ画像を作成し、画像出力部１１２が、Ｌ画像とＲ画像を交互に出力する。そして、表示装置１１３でＬ画像とＲ画像が交互に表示される。ユーザは、シャッター眼鏡１１４を用いて、Ｒ画像を右眼で、Ｌ画像を左眼で見ることにより、２Ｄ画像を立体的に見ることができる。

このとき、立体感の相対値である前景と背景の飛び出し量の比率は、前景の急峻さと背景のぼやけ量の差によって決まる。
また、立体感の絶対値である前景の飛び出し量は、Ｌ画像とＲ画像の左右方向のずれ量によって決まる。
よって、立体感を適度なものにするために、表示装置の画面サイズおよび視聴者の好みによって、Ｌ画像とＲ画像の左右方向のずれ量を決定することが望ましい。そのため、画面サイズが大きい場合には、Ｌ画像とＲ画像の左右方向のずれ量の初期値を大きくしておくことが好ましい。そして、視聴者の好みにより、立体感の強弱（即ち、ずれ量の初期値からの増減）を調整可能にすることが好ましい。

以上述べたように、本実施例によれば、鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理が施され、鮮鋭度が第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理が施される。それにより、元画像の鮮鋭度が適度な立体感を得るのに不十分な値であった場合には、鮮鋭度が適度な立体感を得るのに十分な値に調整される。例えば、ピントの合っている部分の鮮鋭度の低い領域の鮮鋭度が高められ、ピントの合っていない部分のぼやけ量が低い領域のぼやけ量が高められる（鮮鋭度が低減される）。そして、そのような画像処理が施された２Ｄ画像から、左眼用画像と右眼用画像が作成される。それにより、１枚の２Ｄ画像を、適度な立体感を得ることのできる３Ｄ画像に変換することが可能となる。

＜実施例２＞
図６，７，８を参照して、本発明の実施例２に係る画像処理装置及びその制御方法について説明する。
図６は、本実施例に係る画像処理装置の機能構成を示す図である。本実施例に係る画像処理装置は、１枚の２Ｄ画像を、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像に変換する。図６において、実施例１（図１）と同じ機能については、同じ符号を付し、説明は省略する。
符号２１１は、入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定するピント位置判定部を示す（判定手段）。
符号２１２は、ピント位置判定部２１１の判定結果に基づいて、入力された２Ｄ画像（画像処理が施された画像）からＬ画像とＲ画像を作成するＬＲ画像作成部を示す。

図７は、ピント位置判定部２１１の機能を示す概念図である。図中、符号２２１（破線で囲まれた領域）は画像の中央部、符号２２２は画像の中央部以外の領域（周辺部）を示す。
通常のカメラの構図においては、カメラに近い物体を中央に配置する。そのため、本実施例では、ピント位置判定部２１１は、ピント位置が画像の中央部に位置する場合には、ピント位置が前景にあると判定する。なお、判定方法はこれに限らない。ピント位置が前景にあるか背景にあるかを判定することができれば、どのような方法で判定してもよい。

図８（Ａ），８（Ｂ）は、図７の各領域の空間周波数のヒストグラムの一例を示す図である。
ピント位置判定部２１１は、入力された２Ｄ画像の領域を中央部２２１と周辺部２２２に分けて、領域ごとに、空間周波数の分布を計算し、空間周波数のヒストグラムを取得す
る。それにより、例えば、図８（Ａ），８（Ｂ）に示すようなヒストグラムが取得される。
そして、ピント位置判定部２１１は、領域ごとに、その領域のヒストグラムから、空間周波数の平均値を算出する。
次に、ピント位置判定部２１１は、中央部の空間周波数の平均値と、周辺部の空間周波数の平均値を比較し、値が大きい（空間周波数が高い）方が、ピントが合っている領域であると判断する。
そして、ピント位置判定部２１１は、中央部の空間周波数の平均値が周辺部の空間周波数平均値よりも大きい場合には、ピント位置は前景にあると判定する。中央部の空間周波数の平均値が周辺部の空間周波数の平均値よりも小さい場合には、ピント位置は背景にあると判定する。

そして、ＬＲ画像作成部２１２は、ピント位置が前景にあると判定された場合には、Ｌ画像として、Ｒ画像に対し相対的に右方向に移動させた画像を作成する。ピント位置が背景にあると判定された場合には、Ｌ画像として、Ｒ画像に対し相対的に左方向に移動させた画像を作成する。
このように作成したＲ画像とＬ画像は、実施例１と同様に表示装置で表示される。ユーザは、シャッター眼鏡１１４を用いて、Ｒ画像を右眼で、Ｌ画像を左眼で見る。

Ｌ画像として、Ｒ画像に対し相対的に右方向に移動させた画像を作成した場合には、ピントの合っている部分が前に飛び出して見える。Ｌ画像として、Ｒ画像に対し相対的に左方向に移動させた画像を作成した場合には、ピントの合っている部分が後ろに引っ込んで見える。
本実施例によれば、ピント位置が前景にあると判定された場合には、Ｌ画像として、Ｒ画像に対し相対的に右方向に移動させた画像が作成される。ピント位置が背景にあると判定された場合には、Ｌ画像として、Ｒ画像に対し相対的に左方向に移動させた画像が作成される。それにより、１枚の２Ｄ画像を、２Ｄ画像のピント位置に関わらず、物体の前後関係が正しい３Ｄ画像に変換することができる。
もちろん画像によっては、上記実施例で前後関係のわからない例外の画像も存在し、その場合は前後関係が逆転してしまう場合もある。

なお、上記実施例では、画像のみを用いて、ピント位置を推測したが、Ｅｘｉｆデータ内に被写体までの距離が記録されている場合には、そのデータを使って、ピント位置を推測することが可能である。例えば、被写体までの距離が１０ｍ以内であれば、前景にピントがあるとし、１０ｍ以上であれば、背景にピントがあると判定すればよい。
なお、画像処理装置は、特殊フィルタ部１０１を有していなくてもよい。その場合には、ＬＲ画像作成部２１２は、元画像から左眼用画像と右眼用画像を作成する。そのような構成であっても、上記効果に準じた効果を得ることができる。

＜実施例３＞
次に、本発明の実施例３に係る画像処理装置及びその制御方法について説明する。本実施例は、実施例１の変形例である。以下、実施例１と同じ機能については説明を省略し、実施例１と異なる点について詳しく説明する。
図９は、本実施例に係る特殊フィルタの構成の一例を示す図である。
図中、符号３１０は、元画像を１ラインごとに順次記憶するラインメモリを示す。図９の例では、ラインメモリ３１０は、連続する３つの画素（画像の左から順にｎ−１、ｎ、ｎ＋１番目の画素（ｎは正の整数））を出力する。
符号３１１は、画素ごとに鮮鋭度を算出し、所定の閾値（後述するパラメータＡ〜Ｄ）と比較する比較回路を示す。
符号３１２は、ローパスフィルタを示す。
符号３１３は、ローパスフィルタ３１２から出力された画素値に、比較回路３１１の比較結果に応じた係数を乗算する乗算器を示す。
符号３１４は、乗算器３１３から出力された画素値の正負を、比較回路３１１の比較結果に応じて設定する符号設定部を示す。

符号３１６は、元画像の画素値に、比較回路３１１の比較結果に応じた係数を乗算する乗算器を示す。乗算器３１６では、乗算器３１３と同じ係数が用いられる。
符号３１７は、乗算器３１６から出力された画素値の正負を、比較回路３１１の比較結果に応じて設定する符号設定部を示す。符号設定部３１７では、符号設定部３１４で設定された符号と逆の符号が設定される。

符号３１５は、元画像の画素値、符号設定部３１４から出力された画素値、及び、符号設定部３１７から出力された画素値を足し合わせる加算器を示す。加算器３１５からの出力値が特殊フィルタの出力値となる。
元画像の画素値に乗算器３１３で用いた係数と同じ係数を乗算し、符号設定部３１４で設定される符号と逆の符号を設定した画素値を加算器３１５で用いることにより、映像のＤＣ成分を保たれる。

比較回路３１１は、例えば、Ｙ値の範囲が階調値で０〜２５５であれば、Ｙ値を２５５で割って０〜０．１の値に正規化する。そして、以下のように鮮鋭度を算出する。

鮮鋭度＝MAX[ABS(Y(n)-Y(n-1)),ABS(Y(n)-Y(n+1))/[Y(n)+MAX(Y(n-1),Y(n+1))]

ここで、Ｙ（ｎ）はｎ番目の画素のＹ値、ＭＡＸは２項の大きい方を出力する関数、ＡＢＳは項の絶対値を出力する関数である。
例えば、Ｙ（ｎ−１）,Ｙ（ｎ）,Ｙ（ｎ＋１）＝４０，６０，１００の場合、

鮮鋭度＝ＭＡＸ（２０，４０）／（６０＋１００）＝０．２５

となる。

そして、鮮鋭度とパラメータＡ〜Ｄ（パラメータＡ＞パラメータＢ＞パラメータＣ＞パラメータＤ）の比較結果に応じて、以下のように画像処理が行われる。具体的には、該比較結果に応じて、比較回路３１１が、乗算器３１３，３１６で用いる係数及び符号設定部３１４，３１７で設定する符号を決定する。なお、パラメータＡ〜Ｄは予め設定されており、例えば、パラメータＡ≒０．８、パラメータＢ≒０．６、パラメータＣ≒０．４、パラメータＤ＝０．２などが予め設定されている。上述したように、乗算器３１６では、乗算器３１３と同じ係数が用いられ、符号設定部３１７では、符号設定部３１４で設定された符号と逆の符号が設定される。そのため、以下では乗算器３１３で用いる係数と符号設定部３１４で設定する符号についてだけ説明する。

・鮮鋭度がパラメータＡより大きい場合
エッジが急峻であるため（そのままで十分な立体感が得られるため）、鮮鋭度はそのまま（元画像のまま）とされる。具体的には、乗算器３１３で用いる係数は０または０に近い値、符号設定部３１４で設定する符号は負、とされる。
・鮮鋭度がパラメータＢ（第１の所定値）より大きく、パラメータＡより小さい場合
エッジが急峻ではないため、より高い立体感を得るためにエッジが急峻にされる（鮮鋭度が高められる）。具体的には、乗算器３１３で用いる係数は約０．５、符号設定部３１４で設定する符号は負、とされる。
・鮮鋭度がパラメータＣより大きく、パラメータＢより小さい場合
エッジが強すぎず弱すぎずの中間的な部分なので、鮮鋭度はそのままとされる。具体的には、乗算器３１３で用いる係数は約０、符号設定部３１４で設定する符号は正、とされる。
・鮮鋭度がパラメータＤより大きく、パラメータＣ（第２の所定値）より小さい場合
エッジが少ない、つまり若干ぼやけているため、より高い立体感を得るためにエッジがソフトにされる（鮮鋭度が低減される）。具体的には、乗算器３１３で用いる係数は約０．５、符号設定部３１４で設定する符号は正、とされる。
・差分がパラメータＤ（第３所定値）より小さい場合
エッジが無く、完全にぼやけているため（そのままで十分な立体感が得られるため）、鮮鋭度はそのままとされる。具体的には、乗算器３１３で用いる係数は０または０に近い値、符号設定部３１４で設定する符号は正、とされる。

本実施例によれば、実施例１と同様に、１枚の２Ｄ画像を、適度な立体感を得ることのできる３Ｄ画像に変換することが可能となる。
なお、係数の値を０．５より大きい値、例えば１．０などとすることで、より立体感を強くすることも可能である。
なお、本実施例で述べた特殊フィルタの処理は、画像処理技術におけるアンシャープマスク処理において、係数と正負を、動的に変化させる処理である。

なお、本実施例では、鮮鋭度と所定の閾値を比較することにより乗算器で用いる係数及び符号設定部で設定する符号を決定する構成としたが、所定の関数を用いて、鮮鋭度から係数及び符号を算出する構成であってもよい。
図１０（Ａ）〜１０（Ｆ）は、鮮鋭度を入力し、乗算器３１３で用いる係数及び符号設定部３１４で設定する符号を出力する関数の一例を示すグラフである。各関数には、以下のような特徴がある。
図１０（Ａ）の関数は、少しぼやけた領域（鮮鋭度が０．２５の領域）の鮮鋭度を最も低減し、少しエッジの強い領域（鮮鋭度が０．７５の領域）の鮮鋭度を最も高めるものである。そして、領域の鮮鋭度がそれらの鮮鋭度（０．２５，０．７５）から離れるにしたがって、その領域の補正量（係数）を減少させるものである。
図１０（Ｂ）の関数は、大きくぼやけた領域（鮮鋭度が０．２５より小さい領域）の鮮鋭度を低減し、エッジが強い領域（鮮鋭度が０．７５より大きい領域）の鮮鋭度を高める点が図１０（Ａ）の関数と異なる。具体的には、鮮鋭度が０．２５より小さい領域に対して、鮮鋭度が０．２５の領域と同じ係数及び符号が用いられ、鮮鋭度が０．７５より大きい領域に対して、鮮鋭度が０．７５の領域と同じ係数及び符号が用いられる。図１０（Ｂ）の関数を用いた場合、図１０（Ａ）と比較して、立体感が高くなるが、画像が若干劣化してしまう。
図１０（Ｃ）の関数は、図１０（Ａ）の関数と図１０（Ｂ）の関数の中間的な特性をもつものであり、画質の劣化を少なめにしながら、立体感をある程度高めるものである。
図１０（Ｄ）の関数は、鮮鋭度＜０．２５、０．７５＜鮮鋭度での関数の傾きを、０．２５≦鮮鋭度≦０．７５での傾きより若干小さくしたものである。鮮鋭度の全範囲で傾きを等しくすると（即ち、関数を完全な直線とすると）、立体感が必要以上に大きくなり見づらくなったり、画質の劣化が目立ってしまう。図１０（Ｄ）の関数は、そのような弊害を少しだけ抑えたものであり、立体感を強調する場合に用いられる。
図１０（Ｅ）の関数は、図１０（Ａ）と比較してぼやける側の補正のみを強くしたものであり、立体感をより強調するものである。
図１０（Ｆ）の関数は、大きくぼやけている領域のぼやけ度合を増し、エッジ部分をより強調するものである。図１０（Ｆ）の関数は、関数が直線の場合と近い特性を有するが、関数が直線の場合に比べ、ぼやけすぎる弊害の出やすい領域（鮮鋭度が０に近い領域）だけ鮮鋭度の補正量が抑制されている。
以上の関数を用いた場合でも、１枚の２Ｄ画像を、元画像のぼやけ具合に応じて適度な
立体感を得ることのできる３Ｄ画像に変換することが可能となる。また、使用する関数を上記複数の関数間で切り替え可能としてもよい。例えば、スポーツ、風景、シネマなどのモードの種類に応じて、使用する関数を切り替えてもよい。それにより、元画像の種類に応じて、適切な立体感を得ることが可能となる。具体的には、スポーツの場合には図１０（Ｂ），１０（Ｃ），１０（Ｄ）を使用するとよい。風景の場合には図１０（Ａ），１０（Ｃ）を使用するとよい。シネマの場合には図１０（Ｅ），１０（Ｆ）を使用するとよい。

なお、上記実施例では、入力画像が動画の場合でも静止画の場合でも適応できる。
なお、上記実施例では、画素単位で鮮鋭度を調整する画像処理を行う場合について説明したが、画素単位では、オブジェクト単位のように複数画素からなる領域単位で画像処理を行ってもよい。

１０１ 特殊フィルタ部
１１１，２１２ 画像作成部
２１１ ピント位置判定部

Claims (7)

1. １枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置であって、
   入力された２Ｄ画像の領域ごとに、その領域の鮮鋭度を算出する算出手段と、
   前記算出手段で算出された鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理を施し、前記算出手段で算出された鮮鋭度が前記第１の所定値以下の値である第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施す画像処理手段と、
   前記画像処理手段で画像処理が施された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記算出手段で算出された鮮鋭度が前記第２の所定値より低い値である第３の所定値より低い領域に対しては、前記鮮鋭度を低減する画像処理を施さないことを特徴とする請求項１に記載の画像処理装置。
3. 入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定する判定手段を更に有し、
   前記作成手段は、前記判定手段でピント位置が前景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に右方向に移動させた画像を作成し、前記判定手段でピント位置が背景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に左方向に移動させた画像を作成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. １枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置であって、
   入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記入力された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成手段と、
   を有し、
   前記作成手段は、前記判定手段でピント位置が前景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に右方向に移動させた画像を作成し、前記判定手段でピント位置が背景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に左方向に移動させた画像を作成する
   ことを特徴とする画像処理装置。
5. 前記判定手段は、ピント位置が画像の中央部に位置する場合には、ピント位置が前景にあると判定する
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. １枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置の制御方法であって、
   入力された２Ｄ画像の領域ごとに、その領域の鮮鋭度を算出する算出ステップと、
   前記算出ステップで算出された鮮鋭度が第１の所定値より高い領域に対しては、鮮鋭度を高める画像処理を施し、前記算出ステップで算出された鮮鋭度が前記第１の所定値以下の値である第２の所定値より低い領域に対しては、鮮鋭度を低減する画像処理を施す画像処理ステップと、
   前記画像処理ステップで画像処理が施された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成ステップと、
   を有することを特徴とする画像処理装置の制御方法。
7. １枚の２Ｄ画像を、左眼用画像と右眼用画像からなる３Ｄ画像に変換する画像処理装置の制御方法であって、
   入力された２Ｄ画像のピント位置が前景にあるか背景にあるかを判定する判定ステップと、
   前記判定ステップでの判定結果に基づいて、前記入力された２Ｄ画像から、該２Ｄ画像を左右方向にずらした画像である左眼用画像と右眼用画像を作成する作成ステップと、
   を有し、
   前記作成ステップでは、前記判定ステップでピント位置が前景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に右方向に移動させた画像を作成し、前記判定ステップでピント位置が背景にあると判定された場合には、左眼用画像として、右眼用画像に対し相対的に左方向に移動させた画像を作成する
   ことを特徴とする画像処理装置の制御方法。

Images