JPH09504131A - 深さの情報を取扱うための画像処理システム - Google Patents

Abstract

(57)【要約】 画像処理システムは、２次元入力画像上に作用させることによって拡張された深さの感覚を有する２次元出力画像を創作する。システムは、あらかじめ定めた基準に従って入力画像におけるエリアを選択し、入力画像におけるエリアの補数の相当する特性に関連してエリアの特性、例えばその明るさを変化させることによって入力画像を一様でなく処理する。

Description

【発明の詳細な説明】 深さの情報を取扱うための画像処理システム 発明の分野 本発明は、拡張した深さの感覚を有する２次元出力画像を創作するために、２ 次元入力画像を処理するための方法および画像処理システムに関する。 背景技術 画像処理の分野において求められる特別の問題は、２次元（２Ｄ）表示装置上 で画像を見るとき、観視者に３次元（３Ｄ）シーンの印象を与えるための電子的 な画像の拡張である。バーチャルリアリティの出現で、電子的に発生させたビジ ュアル２Ｄ情報に深さを与えまたは暗示させるための回答を探すことが勢いを増 加してきた。 深さの感覚を提供するための既知の方法は、立体視、すなわち立体的に見える 光景に基づいている。立体視は、僅かの距離離れた２つの位置から知覚された同 じシーンの２つの画像によって喚起される。画像の１つは左側の眼によって観察 され、他の１つは右側の眼によって同時に観察される。左側と右側画像間の識別 は補助のビューイングデバイス、例えば右側のそれとは異なった左側の伝送特性 を有する眼鏡によって引起こされる。 代案として、光景の右と左のフィールドが速い連続で与えられるとき、脳は３ Ｄ画像を再現することができる。この目的のために、交互に配置された澄んでい るストリップと不透明なストリップの連続が、振動しているストリップの背後の スクリーン上の画像が澄んで見える程速く振動するようになされる。特別のカメ ラは２つの交互に配置される画像を記録する。ストリップとストリップとが共に ロックし、そしてスクリーンを横切って速く走査するとき、両方の画像は単一の ３Ｄ画像を形成するために観察者の脳によって組立てられる。理想的な状況のも とでは、３Ｄ効果は、観察者とスクリーン間の距離に無関係である。例えば、Ne w Scientist，Febr．1994，page 19、Time，Oct．18，1993，pp.64〜65またはBu siness Review Weekly，Febr．7，1994，pp．44および48を参照されたい。こ のアプローチは、光景の右側と左側の情報フィールドが分離して利用でき、そし てまた専用の表示システムを必要とすることを要求する。 ２Ｄ画像における深さを知覚するための別の方法は、いわゆるSingle Image R andom Dots Stereopsisまた自動立体視と呼ばれ、すなわち、２つの重ね合わさ れた立体的に見える画像の対に眼の収斂の順応に基づいている。２つの重ねられ た立体的に見える画像は、眼の収斂と水晶体の遠近調節とが切り離されたとき、 スキュー眼の観察によって深さの感覚を与える。これは習い難く、そして一度習 うと、それは長期間にわたる疲労として経験される。 発明の目的 本発明の目的は、２Ｄ画像データの処理に基づいて３Ｄ感覚を与える画像の創 作のための代わりになるシステムを提供することにある。別の目的は、ＴＶ画像 のような慣習的な２Ｄ画像上に作用させることのできるシステムを提供すること にある。 発明の概要 この目的のために、本発明は、あらかじめ定めた基準に従って入力画像の一部 である少なくとも１つのエリアを選択するために作用する識別器と、入力画像に おけるエリアの補数の相当する特性に関連してエリアの特性を変化させることに よって出力画像を創作するために作用するプロセッサとによって特徴づれられ、 前文において明白に記したようなシステムを提供する。深さの拡張は、例えば、 エリアまたはその補数を選択的に処理すること、またはエリアおよびその補数の 両方を相補的に処理することを通して達成される。プロセッサは、例えばコント ラスト、色相、明るさまたはシャープネスを修正するために作用する。 本発明は、本質的に、人の視覚は空間的に一様でなく、そして深さの感覚は一 様でない入力画像を取扱うことによってもっとはっきりさせられるという洞察に 基づいている。例えば、物体を真直ぐに見ている人は、画像が人の視野の周辺に 生じているその人から同じ距離に存在する他の物体より、物体がよりクリアーで あるか、よりシャープであるか、またはもっとはっきりしているとして知覚する 。人の視覚の基礎をなすシステムは人工的な画像処理システムとは異なっている 。例えば、カメラは、カメラの光軸上に実質的に存在する物体とそうでない物体 との間を見分けない。実際に、カメラの設計者は球面収差やフィルム上に画像を マッピングすることから引き出すそのような一様でないことを除去するために、 すべてをするであろう。本発明は、それ故これまで使われたものとは本質的に異 なった人工的な画像処理へのアプローチを唱道する。 例えば、入力画像によって示される主な物体のエリアにおけるコントラストを その周囲に関して拡張することによって、深さがもっと強く与えられるように感 じられる。同様に、明るさおよび／または色相が、こうして深さのの感覚を増大 させるために使われる。また、エリアの補数は、エリアそれ自体の内容を強調す るためにコントラスト、明るさまたは色相を減少させることによって取扱われる 。代案として、エリアの補数から高周波成分を選択的にフィルタアウトすること がエリアのシャープネスを増大させ、そしてもっとはっきりしたように与えられ るエリアに貢献する。他の数量、または前述の数量の組合せが、入力画像を一様 でなく処理するための深さのキューとして使用される。 代案として、または補足的に、入力画像によって表わされるシーンの情報の内 容が、例えば、物体の輪郭や、色、輝度および偏光の分布や、動きの場合におけ るコヒーレンス等々に基づいて識別される。情報内容は、上記に明白に記したよ うに処理のためのエリアを選択するために使用される。別の代案の実施例におい て、エリアは物体認識に基づいて識別される。 本発明は、ペインティングのアート、そこでは新しい手法（例えば、透視や点 描画法の使用）と目新しい表現の方法（例えば、ポップアートやノン形象アート ）が各時点で知覚の新鮮な方法を教えてきたが、そしてそれらは観客によって極 めて徐々に受け入れられてきたが、の発達によって鼓舞されている。本発明によ れば、一眼の深さのキューと呼ばれる２Ｄ画像の特別の特性が深さの感覚を制御 するように修正される。深さの発生の成就を評価するために、観客は、本発明の システムによって発生された新規に深さを強張した２Ｄ画像を如何に見るかを新 たに習わなければならないかも知れない。 好ましくは、本発明におけるシステムは、リアルタイムベースで動画像を取扱 うために適している。好ましくは、プロセッサは出力画像の表示を個別的に取扱 い、または特別注文に応じて作るためにユーザコントローラブルである。例えば 、慣習的なＴＶセットは本発明に従ってシステムを具え得る。そのときユーザは 、ＴＶ放送に彼の個人的な好みを適合させることができる。 本発明はビデオ娯楽のようなコンシューマの分野においてのみでなく、医学応 用（ＮＭＲ、Ｘ線走査）、写真アートおよびＣＡＤ(computer aided design)に おけるようなプロフェショナルな画像の解析や処理の分野においても有利さを提 供する。本発明はまた、複合画像において、ユーザコントロールのもとに、情報 源の多くの種類から得られた情報アイテムを組み合わせ、その結果、複合画像の 深さの感覚が自由に操作できるように設計されているマルチメディアシステムに おける使用を見い出すことができる。 本発明はまた、あらかじめ定めた基準に従って入力画像の一部である少なくと も１つのエリアを選択し、そして入力画像におけるエリアの補数の相当する特性 に関連してエリアの特性を変化させることによって特徴づけられている、拡張し た深さの感覚を有する２次元の出力画像を創作するために、２次元の入力画像を 処理する方法に関する。少なくとも入力画像のコントラスト、色相、明るさまた はシャープネスがこうして一様でなく変化される。汎用のディジタル信号プロセ ッサが、本発明の方法を実行するために使用され得る。 図面の簡単な説明 本発明は、例を通しておよび添付図面を参照して、以下により詳細に説明され る。 図１は、本発明によるシステムの実施例のブロック図である。 図２および３は、入力画像と出力画像の例を与えている。 図４は、本発明によるシステムの他の実施例のブロック図である。 図面の全部を通して、同じ参照数字は類似または相当する部分を示している。 詳細な実施例 図１は、本発明によるシステム１００における機能性のブロック図である。シ ステム１００は２次元の入力画像上での操作によって、拡張した深さの感覚を有 する２次元の出力画像を創作する。システム１００は、画素のアレイとして入力 画像の保管のためのメモリ１０２を含んでいる。システム１００はさらに、メモ リ１０２に接続され、そして入力画像における実質的にインフォーカスであるエ リアを識別するために作用する識別器１０４を含んでいる。すなわち、本例にお いて識別されるエリアは、輪郭のシャープネスが最大である入力画像の部分であ る。システム１００はまた、その補数に関連してエリアの深さの感覚を増大する ことによって出力画像を創作するために作用するプロセッサ１０６を組み込んで いる。ディスプレイ１０８は、結局はこうして得られた出力画像を表示する。 識別器１０４とプロセッサ１０６は個別のブロックとして描かれているけれど も、部分１０４および１０６は、機能的および物理的に互いに、例えばマイクロ プロセッサに集積化され得ることが当業者にとって明白である。さらに、部分１ ０４と１０６は、完全にまたは部分的にソフトウエアによって実行され得る。ま た、ディスプレイ１０８、例えばＬＣＤ、はメモリ１０２として使用され得、そ の理由は、ＬＣＤそれ自体の情報内容が再び処理され、そのうえでＬＣＤに再び フィードバックされるのに利用できるようになされ得るからである。システムの 作用は、図２および３の例の画像を参照して以下に説明される。 図２は、システム１００によって処理される入力画像２００の例を与えている 。入力画像２００は、視界に山脈２０４を有する景色に列車２０２の３Ｄシーン の写真である。写真を撮ったカメラは機関車の前２０６にフォーカスした。従っ て、入力画像２００のエリア２０８は、それがセンターに存在し、そして被写界 深度の範囲内に存在しているため注意を引き、それによって観客が豊富なディテ ールを見分けることを可能にする。写真を見ると、エリア２１０と２１２は潜在 意識的にエリア２０８に従属しているように説明され、その理由は、それらがカ メラの被写界深度を定義している平面からもっと遠いか、または近いために、物 体はもっとぼやけまたはかすんでいるように撮影されるからである。 システム１００は以下のように動作する。最初に、入力画像２００のエリア２ ０８がシステム１００によって識別される。これは種々の方法で達成される。例 えば、写真は、写真が撮られた時点において撮影者が主な物体であると考えたも のについて、典形的に中央に存在する傾向がある。それ故、システム１００は入 力画像の中央部分を考え、そしてそれをインフォーカスであるエリア２０８とし て識別する。代案として、写真のインフォーカス領域は、通常、最高の解像度を 有している。すなわち、インフォーカス領域は最高の周波数を含んでいる。シス テム１００は、それ故、特別な部分、ここでは中央のエリア２０８における高い 周波数の存在を検出し、そして位置を定める。 中央のエリア２０８が検出されると、入力画像２００は一様でなく処理される 。例えば、中央のエリア２０８の明るさが、入力画像２００の他のエリアに比較 して増大される。代案として、または補足的に、中央のエリア２０８のコントラ ストおよび／または色相が入力画像２００における周囲の部分のそれに比較して 増加させられる。 図３は、出力画像３００の第１の例を与え、それはシステム１００が入力画像 ２００上でコントラストを一様でなく変化させることによって作用していること の結果である。入力画像２００におけるエリア２０８のコントラストは増加され るのに対し、入力画像２００の残りの部分のコントラストは低下させられる。結 果として、エリア２０８に存在する機関車はその周囲に関してもっとはっきりし た方法で与えられ、それによって深さの感覚を増加している。代案として、中央 のエリア２０８を取囲んでいるエリアにおけるコントラストが、同様な結果を得 るために、減少させられるかも知れない。 代案の実施例において、入力画像は独立に利用できる深さの情報によって伴わ れる。例えば、画素のアレーとして表わされる入力画像を仮定しなさい。画素の 各個々の１つは、写真に示される特別な物体または物体の一部に属している。各 画素に対し、そのとき、組合わされた物体または組合わされた物体の一部が、如 何にカメラから離れて位置している、または換言すれば、その深さであるかが示 されている。この深さの情報は、例えばリモートセンシングを通してあらかじめ 得られている。深さの情報は、そのとき、入力画像を上記に明白に記したように 入力画像を一様でなく処理するために使用される。 図４は、そのような前処理された入力画像を取扱うための本発明によるシステ ム４００を示している。入力画像はメモリ１０２に蓄えられ、そして対応する深 さの情報はメモリ４０２に蓄えられている。両方のメモリ１０２と４０２は、い ま特定の深さ情報の制御のもとに、図２および３を参照して説明されたように画 像を修正するために、それらの内容をプロセッサ１０６に供給する。この付加的 な深さの情報は、各画素に対し、例えばゼロから無限大までの距離スケールを共 に作り上げる複数の連続した範囲の特定の一つを示している。代案として、各画 素は、ある正確さに条件として指定されたその真の深さの値によって伴われるか も知れない。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 コレット マルニクス ハィラウメ オランダ国 5621 ベーアー アインドー フェン フルーネヴァウツウェッハ １

Claims (1)

1. 【特許請求の範囲】 １．拡張した深さの感覚を有する２次元出力画像を創作するために、２次元入力 画像を処理するための画像処理システムにおいて、 −あらかじめ定めた基準に従って入力画像の一部である少なくとも１つのエリ アを選択するために作用する識別器； −入力画像におけるエリアの補数の相当する特性に関連してエリアの特性を変 化させることによって出力画像を創作するために作用するプロセッサ によって特徴づけられている画像処理システム。 ２．請求項１記載のシステムにおいて、プロセッサは、エリアまたはその補数を 選択的に処理するために作用し、または両方を相補的に処理するために作用して いる画像処理システム。 ３．請求項１または２記載のシステムにおいて、プロセッサは、入力画像の以下 の特性：コントラスト；色相；明るさ；シャープネスの少なくとも１つを一様で なく修正すために作用している画像処理システム。 ４．請求項１，２または３において、識別器は以下の基準 −実質的にインフォーカスであるエリア； −入力画像中の特別の位置に存在するエリア； −物体認識 の少なくとも１つに基づいたエリアを選択するために作用している画像処理シ ステム。 ５．拡張した深さの感覚を有する２次元出力画像を創作するために、２次元入力 画像を処理する方法において、 −あらかじめ定めた基準に従って入力画像の一部である少なくとも１つのエリ アを選択し； −入力画像におけるエリアの補数の相当する特性に関連してエリアの特性を変化 させる によって特徴づけられている画像処理方法。 ６．請求項５記載の方法において、入力画像の以下の特性：コントラスト；色相 ；明るさ；シャープネスの少なくとも１つが一様でなく変化させられている画像 処理方法。 ７．請求項５または６記載の方法において、エリア選択は以下の基準 −実質的にインフォーカスであるエリア； −入力画像中の特別の位置に存在するエリア； −物体認識 の少なくとも１つに基づいてなされる画像処理方法。