JP4698307B2

JP4698307B2 - 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体

Info

Publication number: JP4698307B2
Application number: JP2005196460A
Authority: JP
Inventors: 健増谷; 敏男野村; 端内海; 英彦關澤; 英明吉田
Original assignee: Sharp Corp; Sanyo Electric Co Ltd; Olympus Imaging Corp; Sony Corp
Current assignee: Sharp Corp; Sanyo Electric Co Ltd; Olympus Imaging Corp; Sony Corp
Priority date: 2005-07-05
Filing date: 2005-07-05
Publication date: 2011-06-08
Anticipated expiration: 2025-07-05
Also published as: CN101238490A; JP2007018078A; CN101238490B

Description

この発明は、立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体に関する。

従来より、いわゆる平行法や交差法といった手法に基づく二枚の視差画像（右視点画像と左視点画像）を横方向に並べて一枚の立体視用統合画像を生成することが行われている。ディスプレイに表示した前記立体視用統合画像、或いはプリントアウトした前記立体視用統合画像を両眼で観察することで立体視が行える（特許文献１参照）。

特開２００５−７８４２４号

ところで、前記二枚の視差画像のそれぞれが例えば４（横）：３（縦）のアスペクト比を有するとすると、立体視用統合画像におけるアスペクト比は８：３となる。このようなアスペクト比を有する立体視用統合画像を例えば４：３のプリント台紙にプリントアウトしたり、４：３のディスプレイに表示すると、立体視を行う上で不所望な画像となって表示或いはプリントアウトされることになる。

具体的には、図７に示すように、プリント範囲が４：３（１．３３：１）であり、二枚の視差画像から成る立体視用統合画像の横幅が前記プリント範囲からはみ出している場合、右視点画像の領域について見ると、プリント範囲から実際にはみ出した領域（結果的にトリミングされた領域）と、プリント範囲内ではあるが左視点画像がプリント範囲から実際にはみ出したために立体視に利用できなくなった領域とが生じてしまう。同様のことは左視点画像の領域についても生じ、立体視に利用できる範囲は狭くなる。

上記立体視用統合画像を受け取る側が３Ｄ対応機器でない場合があることに鑑み、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を作成することが考えられる。しかしながら、上記立体視用統合画像を受け取る側が３Ｄ対応機器である場合には、前記パディング領域はむしろ不要な領域になってしまうことがある。また、立体視用統合画像の非中央部に３Ｄ或いは平行法といった説明文字となる別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を作成することもあり、かかる場合も、上記説明文字となる別画像は３Ｄ対応機器ではむしろ不要な領域になってしまう。

この発明は、上記の事情に鑑み、立体視用統合画像を内包する加工画像を受け取った場合でも前記立体視用統合画像だけを取り出すことを可能にする、或いは、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像を受け取った場合でも立体視用統合画像部分だけを取り出すことを可能にする立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体を提供することを目的とする。

この発明の立体画像処理方法は、上記の課題を解決するために、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第１の方法という）。かかる方法であれば、立体視用統合画像を内包する加工画像を受け取った側は、前記ロケーション情報を活用することで前記立体視用統合画像だけを取り出すことができる。

また、この発明の立体画像処理方法は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第２の方法という）。かかる方法であれば、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像を受け取った側は、前記ロケーション情報を活用することで立体視用統合画像部分だけを取り出すことができる。

上記第２の方法において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像であってもよい。また、上記第２の方法において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像であってもよい。

上記第１の方法、第２の方法、及び第２の方法に従属する方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。

また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする（以下、この項において第１の構成という）。

また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第２の構成という）。

上記第２の構成の立体画像処理装置において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像であってもよい。また、上記第２の構成の立体画像処理装置において、において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像であってもよい。

上記第１の構成、第２の構成、及び第２の構成に従属する立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。

また、この発明のプログラムは、コンピュータを、上述したいずれかの立体画像処理装置における前記手段として機能させる。また、この発明の記録媒体は、上記プログラムが記録された、コンピュータが読み取り可能な記録媒体である。

また、この発明の立体画像処理方法は、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像を取り出すことを特徴とする（以下、この項において、第３の方法という）。

また、この発明の立体画像処理方法は、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分を取り出すことを特徴とする（以下、この項において第４の方法という）。

上記第３の方法又は第４の方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これら方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することとしてもよい。また、これら方法法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることとしてもよい。

また、この発明の立体画像処理装置は、受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像を取り出す手段を備えたことを特徴とする（以下、この項において第３の構成という）。

また、この発明の立体画像処理装置は、受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分を取り出す手段を備えたことを特徴とする（以下、この項において第４の構成という）。

上記第３構成又は第４構成の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これら立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することとしてもよい。また、これら立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることとしてもよい。

また、この発明のプログラムは、コンピュータを、上述したいずれかに記載の立体画像処理装置における前記手段として機能させる。また、この発明の記録媒体は、上記プログラムが記録された、コンピュータが読み取り可能な記録媒体である。

以上説明したように、この発明によれば、立体視用統合画像にパディング領域を付加している場合でもその受け手側でパディング領域を簡単に外すことができる。また、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像に対しても、立体視用統合画像部分だけを取り出すことができる等の諸効果を奏する。

以下、この発明の実施形態を図１乃至図６に基づいて説明していく。まず、パディング領域の付加／説明画像の付加について説明し、その後に、パディング領域の除去／説明画像の除去について説明する。

［パディング領域の付加／説明画像の付加］
図１はディジタルスチルカメラ１を例示した説明図である。ディジタルスチルカメラ１におけるレンズ機構１１は、レンズ群１１ａ、絞り調節を行なう絞り部１１ｂ等を備える。撮像素子駆動回路１８は撮像素子（例えば、ＣＣＤ）１２を駆動する。撮像素子１２は、前記レンズ機構１１を経た被写体の映像光を受け、電気信号に変換して出力する。撮像素子１２のアスペクト比は例えば４：３である。信号処理回路１４は、撮像素子１２から出力されてＡＧＣ（オートゲインコントローラ）アンプ１３にて利得調整された映像信号に対して各種の信号処理を実行し、図示しないカメラモニタに出力する。また、信号処理回路１４は、図示しないシャッタが押されたタイミングでの前記映像信号を画像データに変換する。この画像データはマイクロコンピュータ１６によってメモリ１７に格納される。絞り制御回路１５は撮像素子１２が出力する信号を入力しており、撮像素子１２の映像信号レベルが所定レベルになるように絞り部１１ｂにフィードバックをかける。

上記のディジタルスチルカメラ１を用いて立体視用統合画像を生成し記録することができる。この立体視用統合画像は、右視点画像と左視点画像を横方向に並べて一枚の画像としたものである。例えば、ユーザーはメニュー項目のなかの「３Ｄ撮影」を選択した後、所望の被写体を撮影する。この１枚目の撮影による被写体のデータは例えば左視点画像データとしてメモリ１７に格納される。ディジタルスチルカメラ１は、例えば、「カメラを右側に少し移動させて同じ被写体を撮影してください」といったメッセージをカメラモニタ上に表示する。このメッセージに促されてユーザーは同じ被写体を撮影する。この２枚目の撮影による被写体のデータは右視点画像データとしてメモリ１７に格納される。

上記処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリ１７に格納されたことになる。ここで、それぞれの画像のアスペクト比をＨ／２：Ｖとする（Ｈ／２：Ｖは例えば撮像素子１２のアスペクト比である（例えば、４：３である））。そして、これら２枚の画像データが「３Ｄ撮影」のモードで得られたものであることを認識しているマイクロコンピュータ１６は、左視点画像データと右視点画像データとを横方向に並べて一枚の画像とする。この処理により、図２の（ｂ）に示すように、オリジナルの立体視用統合画像データが得られる。このオリジナルの立体視用統合画像データのアスペクト比はＨ：Ｖとなる。なお、カメラに立体画像撮影用のアダプタを取り付けて左右画像を同時に撮影する手法によっても、図２の（ｂ）に示す統合画像を得ることができる。

次に、マイクロコンピュータ１６は、前記オリジナルの立体視用統合画像データの上側及び下側にパディング領域（ダミー領域）を付加する。すなわち、図２の（ｃ）に示すように、前記オリジナルの立体視用統合画像を内包する加工画像を生成する。この加工画像のアスペクト比（Ｈ１：Ｖ１）は、例えば、４：３である。更に、マイクロコンピュータ１６は前記加工画像から前記立体視用統合画像を取り出すために用いられるロケーション情報を生成して前記加工画像に付加する。なお、パディングについては無彩色（白、黒、灰色）を含む任意の色や任意の模様を用いることができる。

上記ロケーション情報は、前記オリジナルの立体視用統合画像における水平サイズ（Remarkable Area Size X) と、垂直サイズ(Remarkable Area Size Y)と、前記加工画像の左上角を基点とした前記オリジナルの立体視用統合画像の左上角の座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）である。これら情報は画素数で表現することができる。なお、図４に示すように、前記オリジナルの立体視用統合画像データの左側及び右側にパディング領域（ダミー領域）を付加することによって加工画像が生成される場合もある。

前記加工画像がＪＰＥＧデータである場合を例に、そのフォーマットの構成を図５に例示する。このフォーマット例はＥｘｉｆ規格に準拠している。Ｅｘｉｆ規格はディジタルスチルカメラ用の画像ファイルフォーマットである。ＪＰＥＧファイルフォーマットにはアプリケーションマーカセグメント（ＡＰＰ）という領域が定義されており、ここに固有の情報を格納することができる。Ｅｘｉｆファイルフォーマットは前記ＡＰＰに独自の情報（撮影条件等の情報、グローバルポジショニングシステムにより得られた情報など）を格納している。この実施形態では、ＡＰＰ１に前記ロケーション情報を格納している。０ｔｈ，１ｓｔＩＦＤで用いられるタグは各種存在しており、図５では、pointer to Exif IFD とpointer to GPS IFDとpointer to 3D IFD とを示している。pointer to Exif IFD は Exif IFD へのポインタであり、このpointer to Exif IFD が示す位置にExif IFDがある。この Exif IFD で用いられるタグには、例えば、絞りやシャッタースピードなどのタグが存在する。pointer to GPS IFDは GPS IFDへのポインタであり、このpointer to GPS IFDが示す位置に GPS IFDがある。このGPS IFD にグローバルポジショニングシステム（ＧＰＳ）により得られた測定情報が格納される。同様に、pointer to 3D IFD は3D IFDへのポインタであり、このpointer to 3D IFD が示す位置に 3D IFD がある。この3D IFDに前記ロケーション情報が格納される。このロケーション情報に加えて交差法か平行法かといった立体視法についての情報、画像は立体視用画像であるということを示す情報、更には視点数情報などを付加してもよい。これらの情報を付加することで、各画像が右視点画像なのか左視点画像なのかの判定、或いは、第１視点画像なのか第２視点画像なのか第３視点画像なのかといった判定を装置において容易に行えることになる。なお、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報として、特別にそのことを示す情報（専用情報）を付加してもよいが、これに限らず、例えば前記ロケーション情報を当該情報とする（当該情報を兼ねる）ことも可能である。すなわち、前述の”特にそのことを示す情報”を付加しなくても（受信側では当該情報を取得できなくても）、受信側では前記ロケーション情報（更に他の情報）を取得できたときには受け取った画像は前記加工画像であると判断するようにしてもよい。

上記の例では、オリジナルの立体視用統合画像データのアスペクト比の値がどのような値であろうと関係無しに加工画像のアスペクト比（Ｈ１：Ｖ１）を所定のアスペクト比とする処理を行ったが、これに限らず、オリジナルの立体視用統合画像データのアスペクト比の値が所定の値を満たさない場合に加工画像を生成する（前記所定アスペクト比とする）こととしてもよい。例えば、図３のフローチャートに示すように、まず、左視点画像データと右視点画像データとを横方向に並べてオリジナルの立体視用統合画像データを得る（ステップＳ１）。次に、オリジナルの立体視用統合画像データの水平サイズＨと垂直サイズＶを算出する（ステップＳ２）。水平サイズＨ及び垂直サイズＶの単位は画素数でよい。次に、Ｖ／Ｈ≧２／３の条件を満たすかどうかを判断する（ステップＳ３）。この条件を満たす場合には加工画像の生成は行わない。一方、上記条件を満たさない場合には、ΔＶ＝２×Ｈ／３−Ｖの演算処理を行う（ステップＳ４）。そして、前記オリジナルの立体視用統合画像データの上側及び下側にそれぞれΔＶ／２の幅でパディング領域を付加する（ステップＳ５）。更に、前記加工画像から前記立体視用統合画像を取り出すために用いられる前記ロケーション情報を生成して前記加工画像に付加する（ステップＳ６）。

これらの処理例では、加工画像のアスペクト比が所定比率となるようにパディング領域を付加したが、これに限らず、上記所定比率に一致しなくてもパディング領域をオリジナルの立体視用統合画像データの上下に少しでも付加すればその付加した分だけ立体視用統合画像の立体視領域を増大させることに役立つ。なお、上記実施形態においては、視点数が２である場合を例にとり説明した。２視点画像の場合、ディスプレイやプリンタで出力された画像は、これを直接用いる形での利用（公知のステレオビューアー、平行法、交差法といわれる直視観察技法を用いての立体画像鑑賞）が普及しているため、本発明の課題とそれに対する効果が極めて大きいことは言うまでもないが、任意のｎ（ｎ＞２）視点画像の場合も、本発明は効果を発揮するものである。一例を示せば、ｎ視点の統合画像をそのまま出力して、その立体画像全体の撮影状況（例えば、多眼式カメラでの撮影において、撮影時に一部の視点だけ手や衣服で遮られたりしていないかなど）を確認するという利用方法を考えた場合、統合画像のアスペクト比が出力機器のそれに適合していないと、一部の視点の画像が欠落して確認不能になったりするという問題を生じること、およびこの問題に対して本発明が有効であることは明らかである。

上記の実施例では、ロケーション情報を付加する立体画像処理装置としてディジタルスチルカメラを例示したが、これに限るものではない。例えば、スキャナが接続されたパーソナルコンピュータが前記立体画像処理装置となる。前記パーソナルコンピュータには前記スキャナのドライバソフトウェアがインストールされている。そして、例えば、前記スキャナのソフトウェアの起動画面上に「３Ｄ」といったボタンを設けておく。ユーザーは前記「３Ｄ」ボタンを操作した後、例えば左視点画像である写真をセットしてスキャナを動作させる。この１回目の動作の後、ユーザーは右視点画像である写真をセットしてスキャナを動作させる。上記２回のスキャニングによって得られた二つの画像データは、左視点画像データ及び右視点画像データとしてパーソナルコンピュータのメモリに格納される。かかる処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うこととしてもよい。

パーソナルコンピュータがネットワーク接続可能な環境におかれている場合、或るサーバー（サイト）から左視点画像データと右視点画像データとをダウンロードすることが可能である。このようなダウンロードを行うと、図２の（ａ）に示すように、左視点画像データと右視点画像データとがパーソナルコンピュータのメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うこととしてもよい。

図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うためのプログラム（ソフトウェア）は、ネットワークを介してダウンロードしてもよいし、或いは前記プログラムが格納されたＣＤ−ＲＯＭからパーソナルコンピュータが読み取ることとしてもよい。また、ディジタルスチルカメラがネットワーク接続機能を持つ場合（例えば、ディジタルスチルカメラ機能付きの携帯電話等）、同様に、図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をディジタルスチルカメラが行うためのプログラム（ソフトウェア）は、ネットワークを介してダウンロードすることができる。

図６（ａ）（ｂ）（ｃ）に加工画像の他の例を示す。この加工画像は、立体視用統合画像の非中央部（図では、下縁近傍としている）に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包されたものである。前記別画像の重畳は、当該別画像の画素値を１００％として重畳してもよいし、前記立体視用統合画像の画素値を５０％、前記別画像の画素値を５０％として重畳してもよい（後者の場合は透明的な重畳となる）。前記立体視用統合画像は、右視点画像と左視点画像を横方向に並べて一枚の画像としたものであり、例えば、カメラに立体画像撮影用のアダプタを取り付けて左右画像を同時に撮影することによって得られる。前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像（図の例では”３Ｄ”）、或いは、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像（図の例では”↑↑””平行法”）である。前記記号にはアイコンが含まれる。

前記加工画像にもロケーション情報が先に説明した方法で付加される。前記ロケーション情報は、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができる情報であり、前記オリジナルの立体視用統合画像における水平サイズ（Remarkable Area Size X) と、前記オリジナルの立体視用統合画像における垂直サイズよりも小さい切出用垂直サイズ(Remarkable Area Size Y)と、前記加工画像の左上角を基点とした前記オリジナルの立体視用統合画像の左上角の座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）である。オリジナルの垂直サイズと前記切出用垂直サイズとの差は前記別画像の垂直サイズよりも幾分大きくする。なお、立体視用統合画像の上縁近傍に別画像を重畳するのであれば、前記座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）の値を適宜の値にしてもよいし、或いは、前記座標情報の基準を立体視用統合画像の左下角とする手法を採用してもよい。座標情報の基準が立体視用統合画像の左上角であるのか左下角であるのかの別を示す情報を加工画像に付加することとしてもよい。また、別画像が立体視用統合画像の右縁や左縁に存在する場合には、前記オリジナルの立体視用統合画像における水平サイズよりも切出用水平サイズは小さくなる。また、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報として、特別にそのことを示す情報（専用情報）を付加してもよいが、これに限らず、例えば前記ロケーション情報を当該情報とする（当該情報を兼ねる）ことも可能である。すなわち、前述の”特にそのことを示す情報”を付加しなくても（受信側では当該情報を取得できなくても）、受信側では前記ロケーション情報（更に他の情報）を取得できたときには受け取った画像は前記加工画像であると判断するようにしてもよい。

［パディング領域／別画像の除去］
前記ロケーション情報を認識できないプリンターであれば、当該ロケーション情報を認識できずに前記加工画像をそのままプリントアウトすることになろう。また、前記ロケーション情報を認識できない３Ｄ表示機器（３Ｄ表示可能なパーソナルコンピュータ、ディジタルスチルカメラ、ディジタル放送受信装置、携帯電話等）であれば、ロケーション情報を認識できずに、前記加工画像に基づいた立体視用画像を生成することになろう。

一方、前記ロケーション情報を認識できるように構成されたプリンターや３Ｄ表示機器（３Ｄ表示可能なパーソナルコンピュータ、ディジタルスチルカメラ、ディジタル放送受信装置、携帯電話等）は、前記ロケーション情報に基づいて前記加工画像からオリジナルの立体視用統合画像データを抜き出すことができる。また、前記ロケーション情報に基づいて前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すことができる。更に、この抜き出した立体視用統合画像データの水平方向中央位置で縦に二分して左視点画像と右視点画像とを生成することもできる。なお、視点数情報がなければ二分することとし、視点数情報があればその数で画像を切り分けることとしてもよい。

前記ロケーション情報を認識できるように構成されたプリンターであれば、前記加工画像から抜き出した各視点画像をそれぞれプリントアウトするといったことができる。前記ロケーション情報を認識できるように構成された３Ｄ表示機器であれば、前記加工画像から抜き出した各視点画像を用いて立体視画像を生成できる。例えば、立体視をバリア方式で行うのであれば（モニタ前面にパララックスバリア等が配置される）、当該パーソナルコンピュータは、例えば左視点画像と右視点画像とを空間的に交互に例えば縦ストライプ状にモニタに表示する。立体視をシャッタ眼鏡方式で行うのであれば、シャッタ眼鏡のシャッタ動作に連動して左視点画像と右視点画像とを時間的に交互にモニタに表示する。

この発明の立体画像処理装置としてのディジタルスチルカメラを示した説明図である。立体視用統合画像の生成及び加工画像の生成の過程を示した説明図である。立体視用統合画像の生成及び加工画像の生成の過程を示したフローチャートである。加工画像の他の例を示した説明図である。ロケーション情報の付加例を示した説明図である。ロケーション情報の付加例を示した説明図である。立体視用統合画像とプリント範囲との関係を示した説明図である。

符号の説明

１ディジタルスチルカメラ
１６マイクロコンピュータ
１７メモリ

Claims

複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、上記画像処理装置が記憶手段を用いて前記立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする立体画像処理方法。
複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、上記画像処理装置が記憶手段を用いて前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする立体画像処理方法。
請求項２に記載の立体画像処理方法において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理方法。
請求項２に記載の立体画像処理方法において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理方法。
請求項１乃至請求項４のいずれかに記載の立体画像処理方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理方法。
複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする立体画像処理装置。
複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする立体画像処理装置。
請求項７に記載の立体画像処理装置において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理装置。
請求項７に記載の立体画像処理装置において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理装置。
請求項６乃至請求項９のいずれかに記載の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理装置。
コンピュータを、請求項６乃至請求項１０に記載の立体画像処理装置における前記手段として機能させるプログラム。
請求項１１に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
受け取った画像を画像処理装置により処理する立体画像処理方法であって、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、上記画像処理装置が記憶手段を用い前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像の全体を取り出すことを特徴とする立体画像処理方法。
受け取った画像を画像処理装置により処理する立体画像処理方法であって、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、上記画像処理装置が記憶手段を用い前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分の全体を取り出すことを特徴とする立体画像処理方法。
請求項１３又は請求項１４に記載の立体画像処理方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理方法。
請求項１３乃至請求項１５のいずれかに記載の立体画像処理方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することを特徴とする立体画像処理方法。
請求項１３乃至請求項１５のいずれかに記載の立体画像処理方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることを特徴とする立体画像処理方法。
受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像の全体を取り出す手段を備えたことを特徴とする立体画像処理装置。
受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分の全体を取り出す手段を備えたことを特徴とする立体画像処理装置。
請求項１８又は請求項１９に記載の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理装置。
請求項１８乃至請求項２０のいずれかに記載の立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することを特徴とする立体画像処理装置。
請求項１８乃至請求項２０のいずれかに記載の立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることを特徴とする立体画像処理装置。
コンピュータを、請求項１８乃至請求項２２のいずれかに記載の立体画像処理装置における前記手段として機能させるプログラム。
請求項２３に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。