JP2009055094A

JP2009055094A - 映像システム

Info

Publication number: JP2009055094A
Application number: JP2007217222A
Authority: JP
Inventors: Haruhiko Kawauchi; 治彦川内; Yasushi Tezuka; 靖手塚
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-08-23
Filing date: 2007-08-23
Publication date: 2009-03-12

Abstract

【課題】従来のテレビ会議システム等において撮像装置が１つである場合には、表示装置に表示される映像は１カ所から撮影したカメラアングルのものに限られるため、視聴者の立ち位置によっては違和感のある映像となってしまう。視聴者の立ち位置によって撮像装置の位置も能動的に変化させることも可能であるが、視聴者が複数の場合には対応できない。そこで、同時に複数のカメラアングルによる映像を表示することのできるシステムが求められる。
【解決手段】撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置とからなる映像システムを提供する。
【選択図】図１

Description

複数の撮像装置で異なるカメラアングルにて撮像して得られた映像を、同時に異なる視認方向にて表示することを特徴とする映像システムに関する。

近年、テレビの大型化に伴い、実物大に近い表示が可能になってきている。また、ビデオカメラなどの撮像装置と表示装置とを組み合わせて使用することによって、遠隔地にいる人物とその場にいるかのようなコミュニケーションをとるための、いわゆるテレビ会議システムなども一般的になりつつある。

テレビ会議の形態も多様化し、１画面で行う場合もあるし、多画面を用いる場合もある。また、ビジネスシーンのみでなく、一般家庭でも遠方の親戚、家族とのコミュニケーションのためのテレビ会議の活用も増えている。

また、被写体の位置を限定することなく、画像を常に当該被写体の実際の大きさで表示する方法として、テレビ会議装置が、被写体であるユーザとカメラ部との距離（撮像距離）をカメラ部で測定することにより、当該撮像距離を常に把握し、ユーザが動いてカメラ部との距離が変化しても、測定した撮像距離をもとにユーザの実際の大きさを認識でき、撮像するユーザの位置に依らず、常にユーザの画像をテレビ会議装置のスクリーンに等身大で投影する発明がある。（特許文献１）
特開２００５−３０３６８３号公報

しかしながら、このようなテレビ会議システム等において撮像装置が１つである場合には、表示装置に表示される映像は１カ所から撮影したカメラアングルのものに限られるため、視聴者の立ち位置によっては違和感のある映像となり、その場にいるかのような臨場感を出すことはできない。

また、撮影装置が複数の場合は、対応する複数の表示装置に表示することになり、個別の表示を最適化しても全体としては統一されたものとはならず、やはり臨場感を高めることはできない。

また、視聴者の立ち位置によって撮像装置の位置や方向を能動的に変化させるものであったとしても、一人の視聴者について最適化するにすぎず、複数の視聴者が異なる位置に移動した場合には、その両方の視聴者に最適な映像表示を行うことは不可能であり、違和感の少ない映像とすることができない。

そのため、複数の視聴者が異なる位置から視聴する場合であっても、複数のカメラアングルによる映像を表示することにより、その場にいるかのような臨場感のあるシステムが求められる。

上記の課題を解決するために、本明細書においては以下の第一の発明から第七の発明を提案する。

第一の発明は、撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置とからなる映像システムである。

第二の発明は、第一の発明にかかり、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順である映像システムである。

第三の発明は、第一又は第二の発明にかかり、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一である映像システムである。

第四の発明は、第一から第三の発明のいずれか一の発明にかかり、前記マルチビュー表示装置は、デュアルビュー表示が可能である映像システムである。

第五の発明は、第一から第三の発明のいずれか一の発明にかかり、前記マルチビュー表示装置は、トリプルビュー表示が可能である映像システムである。

図１は、本件発明に係る映像システムの概念図である。なお、図１は空間０１０５と空間０１０６を上方から見た図である。空間０１０５は撮像空間であり、複数の撮像装置（０１０１ａ、０１０１ｂ、０１０１ｃ）によって被写体（０１０３ａ、０１０３ｂ）が撮像される空間である。一方、空間０１０６は表示側の空間であり、撮像空間０１０５において撮像された映像がマルチビュー表示装置０１０２に表示され、複数の視聴者（０１０４ａ、０１０４ｂ、０１０４ｃ）がその映像を視聴する。この映像システムにおける目的は、空間０１０６にいる複数の視聴者（０１０４ａ、０１０４ｂ、０１０４ｃ）が別の空間０１０５にいる被写体（０１０３ａ、０１０３ｂ）を、あたかも同じ空間にいるかのように見ることができることである。そのために、まず、撮像装置０１０１ａは被写体（０１０３ａ、０１０３ｂ）の方に向くようなカメラアングルにて撮像し、その映像を、視聴者０１０４ａが視認できるようにマルチビュー表示装置０１０２に表示する。同様に、撮像装置０１０１ｂにて撮像した映像は視聴者０１０４ｂが視認できるように、撮像装置０１０１ｃにて撮像した映像は視聴者０１０４ｃが視認できるように、マルチビュー表示装置０１０２に表示する。異なる複数の映像を一のマルチビュー表示装置に同時に表示するための技術については後述するが、このようにマルチビュー表示装置０１０２に異なるカメラアングルで撮像した映像を同時に表示することで、視聴者の立っている位置に応じてよりリアルに相手を感じることのできる映像を見せることが可能となる。

本件発明においては、テレビ会議において、複数の視聴者が一の表示装置の一の映像を見ているように感じるにもかかわらず、それぞれの視聴者に最も適切な視角の映像をそれぞれ同時に視聴することができるため、遠隔地にいる人物とその場にいるかのような臨場感のあるコミュニケーションをとることか可能となる。

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。実施形態１は、主に請求項１、２、４、５、６、７などについて説明する。実施形態２は、主に請求項３などについて説明する。
（実施形態１）

（実施形態１：概要）本実施形態は、撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置とからなる映像システムについて説明する。

（実施形態１：構成）本実施形態に係る映像システムの構成図を図２に例示する。映像システム（０２００）は、複数の撮像装置（０２０１ａ、０２０１ｂ、０２０１ｃ、・・・）と、マルチビュー表示装置（０２０２）とからなる。

なお、以下に詳述する本発明の構成要素は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。（明細書の全体を通じて同様である。）

「撮像装置」（０２０１ａ等）は、撮像空間を異なるカメラアングルで撮像する。また、撮像装置は一の映像システム（０２００）中に複数存在する。「撮像空間」とは、撮像装置にて撮像する空間であり、この空間に被写体が存在することになる。また、図３に「異なるカメラアングル」の具体例を示す。なお、前提として図１に例示するように撮像空間０１０５において二人の人物（被写体）（０１０３ａ、０１０３ｂ）を３つの撮像装置（０１０１ａ、０１０１ｂ、０１０１ｃ）で撮像するとする。また、図３に示す被写体０３０３ａ、０３０３ｂは、それぞれ図１における被写体０１０３ａ、０１０３ｂである。ここで、図３（ａ）は撮像装置０１０１ａでのカメラアングルを示す。撮像装置０１０１ａの光軸が被写体（０３０３ａ、０３０３ｂ）のほうへ向くと、撮像装置０１０１ａが設置されている壁に対して垂直方向よりも右方向に向くことになるので、被写体０３０３ａのほうが被写体０３０３ｂよりも近くにいるように撮像される。また、同様に図３（ｃ）は撮像装置０１０１ｃでのカメラアングルを示すが、撮像装置０１０１ｃの光軸が被写体（０３０３ａ、０３０３ｂ）のほうへ向くと、被写体０３０３ｂのほうが被写体０３０３ａよりも近くにいるように撮像されることになる。また、図３（ｂ）は撮像装置０１０１ｂでのカメラアングルを示すが、図１に示すように被写体（０１０３ａ、０１０３ｂ）は撮像装置０１０１ｂから見てほぼ真正面に存在するため、図３（ｂ）のように被写体０３０３ａと被写体０３０３ｂはほぼ同じ距離感で撮像されることになる。

また、上述したように各撮像装置の光軸は被写体のほうに向くような方向に固定されるようになっていてもよい。被写体のほうに向くような方向に固定するとは、被写体の位置が決定されてからその方向に合わせるようになっていてもよいし、被写体が立つ予定である位置の方向に向けてあらかじめ固定しておいてもよい。また、図１に示す撮像装置０１０１ａ、０１０１ｂ、０１０１ｃの光軸方向と、視聴者０１０４ａ、０１０４ｂ、０１０４ｃが被写体０１０３ａ、０１０３ｂが同一空間に存在すると仮定した場合に被写体のほうを向く場合の視線方向とが合致する場合には、より臨場感が増すことが予想される。また、このような光軸方向を設定する場合には、例えば被写体の位置を位置検知センサ等を用いて検出し、検出した被写体の位置方向に撮像装置の光軸方向を変更するようになっていてもよい。なお、各撮像装置の光軸の設定方法は以上のような設定方法に限定するものではない。例えば全ての撮像装置の光軸は、設置されている壁に対して常に垂直方向に固定されていてもよく、このように固定された光軸にて撮像した映像を表示装置で表示する際に画像編集を行い、撮像装置の光軸を被写体のほうに向けて撮像した場合と同様の映像を生成してから表示するようになっていてもよい。このように画像編集を行うことのメリットは、撮像空間において被写体の位置が変更になる場合にそのつど撮像装置の光軸方向を変更するための機械的な仕組みが不要なく、撮像装置の光軸を変更する際のタイムラグなどを考慮する必要がないことである。また、このような画像編集を行う場合には、例えば被写体の位置を位置検知センサ等を用いて検出し、検出した被写体の位置と撮像装置の光軸方向の角度に応じて画像編集を行えばよい。

「マルチビュー表示装置」（０２０２）は、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する。「前記各撮像装置」とは、撮像空間を撮像する複数の撮像装置（０２０１ａ等）を指す。「異なる視認方向」とは、マルチビュー表示装置に表示される映像を視聴者が視認可能な方向を意味する。例えば図４に示すように、空間０１０６において視聴者０１０４ａがマルチビュー表示装置０１０２のディスプレイを視認する場合の視認方向は矢印０４０２で示される方向になる。また、例えば図１に示した例においては、視認方向は３人の視聴者０１０４ａ、０１０４ｂ、０１０４ｃから見た３つの視認方向を想定しており、このような場合には一のマルチビュー表示装置０１０２に異なる３つの映像が同時に表示されることになる。なお、この視認方向の数は図１においては３つであるがこれに限るものではなく複数（２以上）であればよい。つまり、マルチビュー表示装置は、デュアルビュー表示が可能であってもよいし、トリプルビュー表示が可能であってもよい。

また、「その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する」とは、複数の撮像装置で撮像して得られたカメラアングルの異なる複数の映像を、異なる視認方向にて視認できるように同時に表示することである。例えば、図４に示すように、撮像空間０１０５において撮像装置０１０１ａから被写体（０１０３ａ、０１０３ｂ）の方向０４０１に光軸を固定して撮像した映像は、マルチビュー表示装置（０１０２）にて例えば視聴者０１０４ａからの視認方向０４０２に表示されることになる。なお、「撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する」方法はこのような場合に限らず、例えば撮像装置０１０１ａから撮像した映像が、視聴者０１０４ｃからの視認方向に表示される等となっていてもよい。また、光軸方向０４０１と視認方向０４０２がほぼ同じ方向であればより臨場感が高まる。なお、撮像装置の数（カメラアングルの異なる映像の数）と、視認方向の数は、上述の例では同じ数の場合を説明したが、異なる数であってもよい。例えば、５つの撮像装置で撮像した異なる映像を３つの視認方向に同時に表示するようになっていてもよい。

また、図５を用いて異なる複数の映像を一のマルチビュー表示装置に同時に表示するための技術について説明する。図５においては、２つの視認方向にて各々異なる映像を表示する場合について説明する。マルチビュー表示装置の表示部０５０２は、カメラアングルの異なる２つの映像をそれぞれ表示するための表示部分０５０２ｄと０５０２ｅが存在する。つまり、一の撮像装置から撮像された映像は所定の幅で縦方向にスライスされ、それぞれスライスされた２つの映像が交互になるように並べられて一の表示映像となる。なお、表示部０５０２は物理的に部分０５０２ｄと０５０２ｅに分かれていてもよいし、物理的には一の表示パネルであって、その表示パネルに表示する映像が２つの映像を合成して得られる合成データからなる映像であってもよい。また、表示部０５０２と視聴者（０５０４ｄ、０５０４ｅ）との間には、スリットの入ったバリア０５０１が設置される。これにより視聴者０５０４ｄは表示部分０５０２ｄに表示される映像のみを、視聴者０５０４ｅは表示部分０５０２ｅに表示される映像のみを視聴することができる。

また、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順であってもよい。「前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置」とは、図１の例であれば、視認方向が３つであり、その「視認方向に応じた視聴者予定配置」は、視聴者０１０４ａ、０１０４ｂ、０１０４ｃで示した位置が該当する。また、「相対的に同等の並び順」とは、撮像装置０１０１ａで撮像した映像は視聴者予定配置０１０４ａからの視認方向に表示し、撮像装置０１０１ｂで撮像した映像は視聴者予定配置０１０４ｂからの視認方向に表示し、撮像装置０１０１ｃで撮像した映像は視聴者予定配置０１０４ｃからの視認方向に表示する、というように、対応する撮像装置と視聴者予定配置の並び順が相対的に同等であることを意味する。

また、撮像装置（０２０１等）とマルチビュー表示装置（０２０２）は物理的に一体的になっていてもよいし、別体となっていてもよい。別体となっている場合には、例えば双方が通信によって映像データを送受信するようになっていることが想定される。通信方法は特定のものに限られない。例えば、無線通信であってもよいし有線通信であってもよい。無線通信であれば、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等が想定される。また、有線通信であれば、インターネット通信、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）通信、ピア・ツゥー・ピア通信等が想定される。

（実施形態１：ハードウェア上における処理）図６、図７は、本実施形態に係る映像システムのハードウェア上における処理の具体例を示す。図６は、撮像装置のハードウェア上における処理の具体例を示す。撮像装置は、撮像部（０６０１）で撮像空間を撮像し、撮像して得られた映像データは一時記憶メモリ（０６０２）に格納された後、ハードディスクや半導体メモリ等の記憶装置（０６０３）に記憶される。また、映像データは通信インタフェース等の出力インタフェースによってマルチビュー表示装置に出力される。なお、撮像部（０６０１）は、より具体的には、例えば被写体からの光をレンズを通してＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）等の撮像素子で受光し、ＣＤＳ（ＣｏｒｒｅｌａｔｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）やＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）における処理を経た後、Ａ／Ｄ変換器等により電気信号に変換することで映像データを得ることができる。

図７は、マルチビュー表示装置のハードウェア上における処理の具体例を示す。図６にて説明したように、複数の撮像装置の出力インタフェースを介して出力された映像データはマルチビュー表示装置の通信インタフェース等の入力インタフェースによって受信される。ここでは、３つの撮像装置から映像データＡ（０７０１ａ）、映像データＢ（０７０１ｂ）、映像データＣ（０７０１ｃ）の映像データが受信されたとする。これらの映像データは前述したようにカメラアングルの異なる映像を構成するデータである。各映像データは入力インタフェースを介して受信されると、一時記憶メモリに格納される。また、一時記憶メモリに格納された映像データに基づいて一のマルチビュー表示装置に表示するための一の合成データ（０７０２）が生成される。生成された合成データは、ＶｉｄｅｏＲＡＭ（ＶＲＡＭ）（０７０３）に送られた後、ディスプレイ（０７０４）にて表示される。

なお、図６、図７を用いて説明したハードウェア上の処理はあくまで処理の概要を説明するものである。

（実施形態１：処理の流れ）図８は、本実施形態に係る映像システムにおける処理の流れを示すフロー図を例示する。（ａ）のフロー図は撮像装置における処理を示し、（ｂ）のフロー図はマルチビュー表示装置における処理を示す。

まず、（ａ）撮像装置において、撮像空間の撮像を行う（Ｓ０８０１）。次に、撮像して得られた映像データをマルチビュー表示装置に対して出力する（Ｓ０８０２）。以上の一連の処理が複数の各撮像装置において実行される。

次に、（ｂ）マルチビュー表示装置において、各撮像装置からの映像データを受信する（Ｓ０８０３）。すなわち、各撮像装置においてステップＳ０８０２で出力された各映像データを受信する。次に、受信した各映像データを合成する（Ｓ０８０４）。すなわち、各映像データを合成してディスプレイに表示するための表示データを生成する。次に生成した合成データ（表示データ）をディスプレイに表示する（Ｓ０８０５）。

なお、図８のフロー図は、計算機に実行させるプログラムの処理フロー図とみなすことも可能である。さらに、このようなプログラムをフレキシブルディスク等の媒体に記録することも可能である。（明細書の全体を通じて同様である。）

（実施形態１：効果）本実施形態に係る映像システムによれば、複数の視聴者がそれぞれ最も適切な視角の映像を視聴することができるため、遠隔地にいる人物と臨場感のあるコミュニケーションをとることか可能となる。
（実施形態２）

（実施形態２：概要）本実施形態は、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一であることを特徴とする映像システムについて説明する。

（実施形態２：構成）本実施形態に係る映像システムの構成は、図２にて説明した映像システムの構成と同様である。ただし、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一であることを特徴とする。「撮像領域の面積」とは、フォーカスが合わせられた深度における撮像空間の実際の面積を意味する。例えば図９に示すように、撮像する際のフォーカスを被写体０１０３ｃに合わせて撮像しているとすると、撮像装置０１０１ｃで捉えている撮像空間はＡ点からＡ’点の間であり、撮像装置０１０１ｂで捉えている撮像空間はＢ点からＢ’点の間である。つまり、撮像領域の面積とは撮像空間をＡ点からＡ’点、もしくはＢ点からＢ’点で切り取った場合の実際の面積が該当する。つまり、Ａ点からＡ’点までの距離、もしくはＢ点からＢ’点までの距離が、マルチビュー表示装置のディスプレイ（０１０２ｓ）の長さＬとほぼ同一であり、その高さもほぼ同一となる。また、図１０に示すように、撮像装置０１０１ｃがフォーカスを被写体０１０３ｄに合わせているとすると、Ｃ点からＣ’点までの距離がマルチビュー表示装置のディスプレイ（０１０２ｓ）の長さＬとほぼ同一となる。このように「前記撮像装置が撮像する撮像領域の面積」と、マルチビュー表示装置のディスプレイ（０１０２ｓ）の面積とが略同一である場合には、被写体をほぼ実物大で表示することが可能であるので、より臨場感が増すという効果が期待できる。また、「略同一」とは、ほぼ同一であることを意味する。厳密にはこれらの面積が若干異なっていても特にマルチビュー表示装置が大型である場合には問題にならないと思われる。また、前述したＡ点からＡ’点までの面積とＢ点からＢ’点までの面積は多少異なるが、そのような差異も問わない意味である。

（実施形態２：ハードウェア上における処理）本実施形態に係る映像システムのハードウェア上における処理は前述した処理と同様である。

（実施形態２：処理の流れ）本実施形態に係る映像システムにおける処理の流れは、前述した処理の流れと同様である。

（実施形態２：効果）本実施形態に係る映像システムによれば、より臨場感のある映像を視聴者に見せることができる。

本件発明に係る映像システムの概念図実施形態１に係る映像システムの機能ブロック図カメラアングルの一例図カメラアングルと視認方向について説明する図マルチビュー表示装置における映像の表示方法の一例図実施形態１に係る映像装置のハードウェア上における処理動作の一例図実施形態１に係るマルチビュー表示装置のハードウェア上における処理動作の一例図実施形態１に係る映像システムの処理の流れを示すフロー図撮像領域の面積について説明する図撮像領域の面積について説明する図

符号の説明

０１０１ａ撮像装置
０１０１ｂ撮像装置
０１０１ｃ撮像装置
０１０２マルチビュー表示装置
０１０３ａ被写体
０１０３ｂ被写体
０１０４ａ視聴者
０１０４ｂ視聴者
０１０４ｃ視聴者
０１０５撮像空間
０１０６表示側の空間

Claims

撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、
前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置と、
からなる映像システム。
前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順である請求項１に記載の映像システム。
前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一である請求項１又は２に記載の映像システム。
前記マルチビュー表示装置は、デュアルビュー表示が可能である請求項１から３のいずれか一に記載の映像システム。
前記マルチビュー表示装置は、トリプルビュー表示が可能である請求項１から３のいずれか一に記載の映像システム。
撮像空間を異なる複数のカメラアングルの撮像装置で撮像する撮像ステップと、
前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向にマルチビュー表示する表示ステップと、
からなる映像システムの表示方法。
前記表示ステップは、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示が予定する異なる視認方向に応じた視聴者予定配置とが、相対的に同等の並び順となるように表示する並び順依存表示サブステップを有することを特徴とする請求項６に記載の映像システムの表示方法。