JP2011085868A - 画像生成装置、画像生成方法およびプログラム - Google Patents

画像生成装置、画像生成方法およびプログラム Download PDF

Info

Publication number
JP2011085868A
JP2011085868A JP2009240803A JP2009240803A JP2011085868A JP 2011085868 A JP2011085868 A JP 2011085868A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2009240803 A JP2009240803 A JP 2009240803A JP 2011085868 A JP2011085868 A JP 2011085868A
Authority
JP
Japan
Prior art keywords
image
eye
eye image
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009240803A
Other languages
English (en)
Inventor
Kajiro Ushio
嘉次郎 潮
Yutaka Ichihara
裕 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009240803A priority Critical patent/JP2011085868A/ja
Publication of JP2011085868A publication Critical patent/JP2011085868A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】2次元画像において、被写体の輝いている部分の質感を視覚的に伝える。
【解決手段】観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、右眼用画像および左眼用画像における、被写体が輝いている領域を検出する検出部と、右眼用画像および左眼用画像の間で、対応する領域の位置および大きさの少なくとも一方を変更する変更部と、変更部により変更された右眼用画像および左眼用画像を出力する出力部と、を備える画像生成装置を提供する。
【選択図】図1

Description

本発明は、画像生成装置、画像生成方法およびプログラムに関する。
表示画像内で物体がきらめいているような表現を実現する技術として、特許文献1および2が挙げられる。
特開平10−51630号公報 特開2000−197766号公報
ところで、このような表現手法は、所定の輝きパターンを予め準備すること、あるいは複数の演算を選択的に使用すること等が用いられ、画像作成の労力および/または複雑な処理手順が必要であった。
そこで本発明は、上記の課題を解決することのできる画像生成装置および方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の態様においては、観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、右眼用画像および左眼用画像における、被写体が輝いている領域を検出する検出部と、右眼用画像および左眼用画像の間で、対応する領域の位置および大きさの少なくとも一方を変更する変更部と、変更部により変更された右眼用画像および左眼用画像を出力する出力部と、を備える画像生成装置を提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る画像生成装置100の構成を示す。 本実施形態に係る画像生成装置100が生成する画像の一例を示す。 本実施形態に係る画像生成装置100の動作フローを示す。 本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る画像生成装置100の構成を示す。画像生成装置100は、被写体の輝きを表現するために、被写体の2次元画像から観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する。画像生成装置100は、撮像部110と、記憶部120と、生成部130と、検出部140と、境界特定部150と、変更部160と、出力部170と、距離測定部180とを備える。
撮像部110は、被写体を撮像して2次元画像を生成する。撮像部110は、被写体の1以上の複数の2次元画像を生成してよく、これに代えて連続的に複数の2次元画像を生成してもよい。撮像部110は、撮像した画像および撮像に用いたパラメータ等を記憶部120に記憶する。
記憶部120は、撮像部110が撮像した画像および撮像に用いたパラメータ等を記憶する。記憶部120は、一例として、フラッシュメモリ、内蔵ハードディスクまたは外付ハードディスク等の記憶装置であってよい。なお、記憶する画像は、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。
生成部130は、共通の画像を左右にずらして右眼用画像および左眼用画像を生成する。生成部130は、共通の2次元画像を、表示領域内において左右に瞳孔間距離以下の距離分ずらして左側画像および右側画像を生成してよい。
ここで、瞳孔間距離は、人間の瞳間の距離(40mmから90mm)であって、当該距離だけ離した位置に左側画像および右側画像を表示すると、人間が、左眼で見た左側画像の表示物と右眼で見た右側画像の表示物とを融合して一つの像として認識することができ、且つ、融合した像を無限遠に認識することができる距離である。この場合、観視者の両眼の視線は平行となっている。従って、生成部130は、2次元画像を表示領域内において左右に0より大きく90mm以下の距離分ずらした左側画像および右側画像を生成することが望ましい。
なお、人間は、両眼の視線が平行な状態から左右に2〜3度程度開いた方向にある対象でも、両眼融合視をできる場合がある。従って、左側画像と右側画像との間の距離は、左眼の視線が平行状態から左側に3度以下(好ましくは2度)、右眼の視線が平行状態から右側に3度以下(好ましくは2度)ずれる距離であってもよい。左側画像と右側画像との間の距離が、瞳孔間距離からずれてよい許容量は、観視者と表示面との間の距離が遠くなるほど大きくなる。
検出部140は、右眼用画像および左眼用画像における、鏡面反射している領域を検出する。ここで鏡面反射は、物体の表面での反射のことであり、この場合反射光に色があまり入らず白色に近い場合が多い。また鏡面反射は、正反射に近い場合が多い。
また、本願において鏡面反射とは、物体の表面における、光源方向に依存した指向性を有する反射を意図しており、キラキラ、ぴかぴかしている部分、光沢部を差し、必ずしも鏡面での反射でなくてよい。例えば、物体を照らす光源の強度が十分に強い場合、ざらついた表面であっても正反射に近い反射光の成分に対して、観視者は輝いていると感じるので、検出部140は鏡面反射している領域としてもよい。したがって、検出部140は、被写体が輝いている領域について、鏡面反射している領域として検出してよい。
境界特定部150は、右眼用画像および左眼用画像における、鏡面反射している領域を含む被写体の境界を特定する。境界特定部150は、被写体を同質な物体または物体の一部として、被写体の境界を特定してよい。境界特定部150は、被写体の境界を特定できた場合、特定した境界の情報と鏡面反射している領域の情報とを併せて変更部160に送信してよい。
変更部160は、右眼用画像および左眼用画像の間で、対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更する。変更部160は、境界特定部が特定した被写体の境界の範囲内で、右眼用画像および左眼用画像の間で対応する鏡面反射している領域の位置および大きさの少なくとも一方を変更してよい。
出力部170は、変更部160により変更された右眼用画像および左眼用画像を出力する。出力部170は、右眼用画像および左眼用画像を画像データとして外部記憶装置に出力してもよく、これに代えて右眼用画像および左眼用画像を画像として出力してもよい。出力部170は、右眼用画像を観視者の右眼に与え、左眼用画像を観視者の左眼に与える。なお、出力部170は、立体像を観視者に表示する表示装置に対して、右眼用画像のデータおよび左眼用画像のデータを出力する構成であってもよい。
出力部170は、表示装置と画像分離用のメガネとの組み合わせであってもよい。表示装置は、右眼用画像を表示するための複数の右眼用画素と、左眼用画像を表示するための複数の左眼用画像とを含んでよい。右眼用画素と左眼用画素とは、互いに異なる偏光の光を出力する。
画像分離メガネは、観視者に装着される。画像分離メガネは、装着時において右眼に対応する位置に設けられる右眼用フィルタと、装着時において左眼に対応する位置に設けられる左眼用フィルタとを有する。右眼用フィルタは、右眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。左眼用フィルタは、左眼用画素から出力された光の偏光成分を透過して他の偏光成分を遮断する。
このような出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができる。これにより、出力部170は、観視者に立体像を提示することができる。
なお、出力部170は、観視者の右眼に対して右眼用画像を与え、観視者の左眼に対して左眼用画像を与えることができれば、他の構成であってもよい。出力部170は、一例として、右眼用画像と左眼用画像とを交互に切り替えて表示する表示部と、右眼用画像の表示期間に右眼側のシャッタを開いて左眼側のシャッタを閉じ、左眼用画像の表示期間に左眼側のシャッタを開いて右眼側のシャッタを閉じる画像分離メガネとを有する構成であってもよい。
また、出力部170は、一例として、ヘッドマウントディスプレイであってもよい。また、出力部170は、一例として、画像分離メガネを用いない裸眼立体視方式の表示装置であってもよい。また、出力部170は、一例として、パララックスバリアおよびレンチキュラー等を用いた表示パネルであってもよい。
距離測定部180は、被写体の距離を測定する。距離測定部180は、撮像部110が被写体を撮像する直前もしくは直後に、撮像部110と被写体との距離を測定してよい。距離測定部180は、測定した距離の情報を、変更部160に送信してよい。また距離測定部180は、撮像部110が被写体を撮像する直前に撮像部110と被写体との距離を測定した場合、測定した距離の情報を撮像部110に送信してもよい。
図2は、本実施形態に係る画像生成装置100が生成する画像の一例を示す。撮像部110は、被写体200を撮像した共通の画像210を記憶部120に記憶する。生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する。
生成部130は、一例として、共通の画像210を右方向にずらして右眼用画像220を生成する。生成部130は、一例として、共通の画像210を左方向にずらして左眼用画像230を生成する。ここで生成部130は、一例として、共通の画像210を右方向にずらして生成された右眼用画像220における、表示領域の右側境界から右側にはみ出した部分を削除してもよい。また生成部130は、一例として、共通の画像210を左方向にずらして生成された左眼用画像230における、表示領域の左側境界から左側にはみ出した部分を削除してもよい。
また、生成部130は、一例として、共通の画像210を右方向にずらした結果できた右眼用画像220の左側の空白部分に、左側画像225を付加してよい。生成部130は、一例として、共通の画像210を左方向にずらした結果できた左眼用画像230の右側の空白部分に、右側画像235を付加してよい。
生成部130は、付加する左側画像225および右側画像235として、黒等の暗色または白等の明色の画像をそれぞれ付加してよい。これによって画像生成装置100は、表示領域における右端部および左端部において、観視者に枠を意識させるような表示をすることができ、画像生成装置100は、窓枠から外の風景を見ているような自然な画像を観視者に提供することができる。
これに代えて生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分を左側画像225として付加してよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分を右側画像235として付加してよい。
表示領域の右端部または左端部に注目している場合において輻輳が生起される(左眼および右眼の視線が交差する)と、右眼と左眼との間で見ているものが異なる視野闘争の問題が生じる。この場合、右眼に与えられる画像と左眼に与えられる画像とがかけ離れているほど、人間に与える不自然感は大きい。しかし、上の例において画像生成装置100は、表示領域の右端部または左端部において右眼および左眼に同一の画像を与える。従って、本例に係る画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合であっても、視野闘争を軽減して、不自然に感じない画像を提供することができる。なお、表示領域の中央部においては、両眼融合の条件が保たれているので、端部と比較して輻輳が生起される可能性は低い。
また、生成部130は、一例として、右眼用画像220の左側に、左眼用画像230における表示領域の左端から所定の範囲内に表示される部分をぼかした画像を左側画像225として付加してもよい。また、生成部130は、一例として、左眼用画像230の右側に、右眼用画像220における表示領域の右端から所定の範囲内に表示される部分をぼかした画像を右側画像235として付加してもよい。
右眼および左眼にフォーカスレベルが異なる画像が与えられた場合、人間は、与えられる画像を立体的に感じる。従って、このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、視野闘争を軽減させることができる。
また、生成部130は、一例として、左側画像225の色を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、左側画像225の輝度を、右眼用画像220における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。
同様に、生成部130は、一例として、右側画像235の色を、左眼用画像230における、表示領域の右端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、生成部130は、右側画像235の輝度を、左眼用画像230における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。このような画像生成装置100は、表示領域の右端部または左端部において輻輳が生起された場合、色合いまたは輝度の同じ画像を左眼と右眼に与えることができるので、視野闘争を軽減することができる。
また、生成部130は、一例として、共通の画像210を左右に拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。この場合において、生成部130は、共通の画像210を左右の端部に近いほど大きい拡大率で拡大して、左側画像225を含む右眼用画像220および右側画像235を含む左眼用画像230を生成してよい。これにより画像生成装置100は、端部において画像が連続した自然な画像を提供することができる。
検出部140は、生成部130が生成した右眼用画像220および左眼用画像230から、鏡面反射している領域240を検出する。例えば検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、予め定められた基準輝度以上の領域を、領域240として検出してよい。これに代えて検出部140は、右眼用画像220および左眼用画像230の少なくとも一方における、周囲に対して輝度が予め定められた基準輝度以上高い領域を、領域240として検出してもよい。
また、検出部140は、上記の輝度による判断に代え、または当該判断と共に、カラーコードで白に近いコードを有することを条件として領域240を検出してもよい。例えば、白はRGBのコードでは「255.255.255」であり、白に近いと判断できる範囲の基準値を一例として「240.240.240」等と予め定め、RGBのコードのそれぞれが基準値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。
また、検出部140は、周辺の領域と比較して白に近い領域を見つけてもよい。例えば、RGBのコードで、周辺の領域との差分が予め定められた値以上の領域を白に近い領域と判断してよい。検出部140は、白に近い領域でかつ基準輝度以上の領域を、領域240として検出してもよい。
境界特定部150は、右眼用画像220および左眼用画像230における、検出部140が検出した領域240を含む被写体200の境界250を特定する。境界特定部150は、領域240の周囲の画像データに基づき、被写体200の境界250を特定してよい。例えば境界特定部150は、領域240の周囲の輝度が、予め定められた範囲にある境界を、被写体200の境界250としてよい。
これに代えて境界特定部150は、領域240の周囲のカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてよい。また、境界特定部150は、領域240の周囲の輝度および/またはカラーコードが、予め定められた範囲にある境界を、被写体200の境界250としてもよい。
変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する。ここで、境界特定部150によって境界250が特定されている領域240の場合、変更部160は、境界特定部150が特定した被写体200の境界250の範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。
図中の例では、変更部160は、右眼用画像220の領域240を縮小して右眼用出力画像260と変更し、同時に左眼用画像230の領域240を拡大して左眼用出力画像270と変更している。これに代えて変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置を左右にずらしてもよい。
観視者290は、出力部170によって右眼で右眼用出力画像260を、左眼で左眼用出力画像270を観視して、合成画像280を認識する。以上の画像生成装置100によれば、2次元画像を左右にずらすことで立体的に見えうる画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを表現した立体的画像をユーザに提供することができる。
人間が近距離の2次元画像を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは同一ではなく視差がある。人間は、この視差から、見ているものが2次元画像であると認識する。また、人間が無限遠(例えば10m以上)の物体を見ている場合、右眼に与えられている画像と左眼に与えられているが画像とは、視差がなく同一となる。人間は、無限遠を見ている場合、右眼に与えられている画像と左眼に与えられている画像との間に視差が無いことにより、見ている物体及び景色等に立体感および臨場感を感じる。
画像生成装置100は、ユーザの瞳孔間距離と同じだけ左右に距離ずらした視差のない(即ち、互いに同じ)右眼用出力画像260および左眼用出力画像270を生成する。そして、画像生成装置100は、右眼用出力画像260をユーザの右眼に与え、左眼用出力画像270をユーザの左眼に与える。この結果、画像生成装置100は、ユーザの右眼および左眼の視線を平行状態とする、即ち、ユーザの視線を輻輳させない(右眼および左眼の視線を交差させない)状態とすることができる。これにより、画像生成装置100は、ユーザを、無限遠を見ている状態にすることができる。
このように画像生成装置100は、ユーザに無限遠を見ている状態として且つ右眼と左眼とに視差のない画像を与えることにより、ユーザに立体的を感じる画像を提供することができる。例えば、画像生成装置100は、例えば風景画像等に、窓から外を見たような臨場感を与えることができる。また、画像生成装置100は、マクロ撮影などの近距離撮影の画像に、虫眼鏡でみたような実物感を与えることができる。
そして画像生成装置100は、領域240の大きさおよび/または位置を右眼と左眼で異なるように変更することで、より輝きを感じる画像を提供することができる。
図3は、本実施形態に係る画像生成装置100の動作フローを示す。撮像部110は、被写体200を撮像して共通の画像210を生成する(S300)。ここで撮像部110は、距離測定部180が測定した撮像部110と被写体200との距離に基づきピント等のパラメータを設定してもよい。
生成部130は、共通の画像210を左右にずらして右眼用画像220および左眼用画像230を生成する(S310)。検出部140は、右眼用画像220および左眼用画像230における、領域240を検出する(S320)。検出部140は、輝度およびカラーコードによって領域240を検出してよく、白色以外にも被写体200を照らす光源の色に近いカラーコードに基づいて検出してもよい。
境界特定部150は、右眼用画像220および左眼用画像230における、領域240を含む被写体200の境界250を特定する(S330)。ここで被写体200が視野よりも大きい場合、あるいは被写体200を拡大して撮像した場合等によって境界250が判別できない画像を撮像部110が撮像した場合、境界特定部150は境界250を検出できなくてもよい。
変更部160は、右眼用画像220および左眼用画像230の間で、対応する領域240の位置および大きさの少なくとも一方を変更する(S340)。変更部160は、被写体200の境界250を境界特定部150が特定していれば、その範囲内で、右眼用画像220および左眼用画像230の間で対応する領域240の位置および大きさの少なくとも一方を変更してよい。
ここで変更部160は、距離測定部180の測定した距離情報を基に、被写体200と撮像部110との距離がより小さい場合に、被写体200と撮像部110との距離がより大きい場合と比較して領域240の位置のずれ量を大きくしてもよい。これによって、被写体200の輝いている部分の奥行きを観視者290に与えることができる。
出力部170は、変更部160により変更された右眼用出力画像260および左眼用出力画像270を出力する(S350)。出力部170は、観視者290に出力画像を出力する場合、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力する。出力部170が出力画像を記憶装置などに記憶させ、画像生成装置100と別の装置で観視者290に撮像画像を観視させる場合も同様に、観視者290の右眼に右眼用出力画像260を、左眼に左眼用出力画像270を出力することが望ましい。
以上の画像生成装置100によれば、撮像した2次元画像から立体的画像を生成させつつ、画像内の鏡面反射している部分を強調させることができる。これにより、非常に簡単な処理であって且つ小さいコストで輝きを強調した臨場感のある立体的画像をユーザに提供することができる。
以上の本実施例は、撮像部110が生成する観視者290の視野とほぼ同一の共通の画像210から、右眼用画像220および左眼用画像230を生成部130が生成することを説明した。これに代えて、画像生成装置は、右眼用画像および左眼用画像から鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。
画像生成装置は、予め別の装置で撮像された右眼用画像および左眼用画像から、右眼用画像220および左眼用画像230を生成してよく、これに代えて画像生成装置は、撮像部110によって右眼用画像および左眼用画像を撮像してから、右眼用画像220および左眼用画像230を生成してもよい。これによって、輝きを強調した臨場感のある立体画像をユーザに提供することができる。
また、画像生成装置は、同一の画像に対して、鏡面反射している領域を検出して、その領域の位置および大きさの少なくとも一方を変更して右眼用画像220および左眼用画像230を生成してよい。これによって画像生成装置は、同一の画像から右眼用画像220および左眼用画像230を生成することで、輝きを強調した臨場感のある2次元画像をユーザに提供することができる。
以上の本実施例は、観視者290の視点を1つとして説明したが、これに代えて観視者290の視点を複数存在させてもよい。また、複数の視点の画像を生成する場合に、水平の方向の角度を変えた画像を生成してもよい。
右眼用出力画像260および左眼用出力画像270を表示する表示面を見る水平方向の角度が互いに異なる複数の視点のそれぞれに対して提示する右眼用出力画像260および左眼用出力画像270を生成する場合において、変更部160は、複数の視点の間における水平方向の角度の変化に伴って領域240の位置のずれ量を漸増または漸減させる。
これによって、観視者290に複数の視点から見たときの被写体200の輝きの変化を与えることができ、より臨場感のある複数の画像を提供することができる。また、これらの複数の画像を連続的に観視者290に観視させることで、臨場感のある動画として提供することもできる。
以上の本実施例は、撮像部110が撮像した画像を処理することを説明したが、これに代えて画像生成装置100は、ユーザが画像生成装置100とは別の装置で撮像した画像について処理してもよい。またこの用途で画像生成装置100を用いる場合、画像生成装置100は、撮像部110および距離測定部180を備えなくてもよい。
このような画像生成装置100によれば、輝きのある自然な立体画像を簡易な処理で生成して、ユーザに立体画像を提供することができる。
図4は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びDVDドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、DVDドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。DVDドライブ2060は、DVD2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、DVD2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を画像生成装置100として機能させるプログラムは、生成モジュールと、検出モジュールと、境界特定モジュールと、変更モジュールと、出力モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、生成部130、検出部140、境界特定部150、変更部160、および出力部170としてそれぞれ機能させる。
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である生成部130、検出部140、境界特定部150、変更部160、および出力部170として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像生成装置100が構築される。
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はDVD2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、DVDドライブ2060(DVD2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、DVD2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
100 画像生成装置、110 撮像部、120 記憶部、130 生成部、140 検出部、150 境界特定部、160 変更部、170 出力部、180 距離測定部、200 被写体、210 共通の画像、220 右眼用画像、225 左側画像、230 左眼用画像、235 右側画像、240 領域、250 境界、260 右眼用出力画像、270 左眼用出力画像、280 合成画像、290 観視者、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 DVDドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 DVD

Claims (11)

  1. 観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置であって、
    前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
    前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
    前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
    を備える画像生成装置。
  2. 共通の画像を左右にずらして前記右眼用画像および前記左眼用画像を生成する生成部を更に備える請求項1に記載の画像生成装置。
  3. 前記検出部は、前記右眼用画像および前記左眼用画像の少なくとも一方における、予め定められた基準輝度以上の領域を、前記鏡面反射している領域として検出する請求項1または2に記載の画像生成装置。
  4. 前記検出部は、前記右眼用画像および前記左眼用画像の少なくとも一方における、周囲に対して輝度が予め定められた基準輝度以上高い領域を、前記鏡面反射している領域として検出する請求項1から3のいずれかに記載の画像生成装置。
  5. 前記右眼用画像および前記左眼用画像における、前記鏡面反射している領域を含む被写体の境界を特定する境界特定部を更に備え、
    前記変更部は、前記境界特定部が特定した前記被写体の境界の範囲内で、前記右眼用画像および前記左眼用画像の間で対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する
    請求項1から4のいずれかに記載の画像生成装置。
  6. 前記変更部は、前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置を左右にずらす請求項5に記載の画像生成装置。
  7. 前記被写体の距離を測定する距離測定部を更に備え、
    前記変更部は、前記被写体の距離がより小さい場合に、前記被写体の距離がより大きい場合と比較して前記鏡面反射している領域の位置のずれ量を大きくする請求項6に記載の画像生成装置。
  8. 前記右眼用画像および前記左眼用画像を表示する表示面を見る水平方向の角度が互いに異なる複数の視点のそれぞれに対して提示する前記右眼用画像および前記左眼用画像を生成する場合において、前記変更部は、前記複数の視点の間における前記水平方向の角度の変化に伴って前記鏡面反射している領域の位置のずれ量を漸増または漸減させる請求項1から7のいずれかに記載の画像生成装置。
  9. 前記出力部は、前記右眼用画像および前記左眼用画像を、観視者の右眼および左眼に対して表示する請求項1から8のいずれかに記載の画像生成装置。
  10. 観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成方法であって、
    前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出ステップと、
    前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更ステップと、
    前記変更ステップにより変更された前記右眼用画像および前記左眼用画像を出力する出力ステップと、
    を備える画像生成方法。
  11. コンピュータを、観視者の右眼および左眼に対して提示する右眼用画像および左眼用画像を生成する画像生成装置として機能させるためのプログラムであって、
    前記右眼用画像および前記左眼用画像における、鏡面反射している領域を検出する検出部と、
    前記右眼用画像および前記左眼用画像の間で、対応する前記鏡面反射している領域の位置および大きさの少なくとも一方を変更する変更部と、
    前記変更部により変更された前記右眼用画像および前記左眼用画像を出力する出力部と、
    して機能させるプログラム。
JP2009240803A 2009-10-19 2009-10-19 画像生成装置、画像生成方法およびプログラム Withdrawn JP2011085868A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009240803A JP2011085868A (ja) 2009-10-19 2009-10-19 画像生成装置、画像生成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009240803A JP2011085868A (ja) 2009-10-19 2009-10-19 画像生成装置、画像生成方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2011085868A true JP2011085868A (ja) 2011-04-28

Family

ID=44078839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009240803A Withdrawn JP2011085868A (ja) 2009-10-19 2009-10-19 画像生成装置、画像生成方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2011085868A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074969A (ja) * 2012-10-02 2014-04-24 Toshiba Corp 画像処理装置及びその方法
JP2016033551A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2019511067A (ja) * 2016-01-19 2019-04-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. 反射を利用する拡張現実システムおよび方法
US11460698B2 (en) 2016-04-26 2022-10-04 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074969A (ja) * 2012-10-02 2014-04-24 Toshiba Corp 画像処理装置及びその方法
US9111377B2 (en) 2012-10-02 2015-08-18 Kabushiki Kaisha Toshiba Apparatus and method for generating a multi-viewpoint image
JP2016033551A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2019511067A (ja) * 2016-01-19 2019-04-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. 反射を利用する拡張現実システムおよび方法
US11244485B2 (en) 2016-01-19 2022-02-08 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11460698B2 (en) 2016-04-26 2022-10-04 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems

Similar Documents

Publication Publication Date Title
US9916517B2 (en) Image processing method and apparatus
Kruijff et al. Perceptual issues in augmented reality revisited
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
TWI508519B (zh) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
JP4879326B2 (ja) 3次元画像を合成するシステム及び方法
JP5476910B2 (ja) 画像生成装置、画像生成方法、および、プログラム
CN109510975B (zh) 一种视频图像的提取方法、设备及***
CN107660338A (zh) 对象的立体显示
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US20160180514A1 (en) Image processing method and electronic device thereof
CN111095348A (zh) 基于摄像头的透明显示器
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
JP2006185448A (ja) 距離演算装置
JP2011085868A (ja) 画像生成装置、画像生成方法およびプログラム
JP2010226390A (ja) 撮像装置および撮像方法
EP3038061A1 (en) Apparatus and method to display augmented reality data
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
GB2585197A (en) Method and system for obtaining depth data
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
JP2011081630A (ja) 画像生成装置、画像生成方法、および、プログラム
JP2010226391A (ja) 画像処理装置、プログラムおよび画像処理方法
Dąbała et al. Manipulating refractive and reflective binocular disparity
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108