JP2009055094A

JP2009055094A - Video system

Info

Publication number: JP2009055094A
Application number: JP2007217222A
Authority: JP
Inventors: Haruhiko Kawauchi; 治彦川内; Yasushi Tezuka; 靖手塚
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-08-23
Filing date: 2007-08-23
Publication date: 2009-03-12

Abstract

<P>PROBLEM TO BE SOLVED: To overcome the problem that when there is only one imaging apparatus in the conventional video conference system, the video image displayed on a display is restricted to one video taken from one place with one camera angle and a strange video image is presented depending on the standing position of a viewer, and the problem that although the position of the imaging apparatus can be changed actively depending on the standing position of a viewer but it cannot cope with a plurality of viewers, and to provide a system which can display videos taken at a plurality of camera angles, simultaneously. <P>SOLUTION: The video system includes a plurality of imaging apparatus for taking the image of an imaging space at different camera angles, and a multiview display for displaying the videos obtained from respective imaging apparatus simultaneously in different visual directions depending on the camera angle of the imaging apparatus. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

複数の撮像装置で異なるカメラアングルにて撮像して得られた映像を、同時に異なる視認方向にて表示することを特徴とする映像システムに関する。 The present invention relates to a video system characterized in that videos obtained by imaging at different camera angles with a plurality of imaging devices are simultaneously displayed in different viewing directions.

近年、テレビの大型化に伴い、実物大に近い表示が可能になってきている。また、ビデオカメラなどの撮像装置と表示装置とを組み合わせて使用することによって、遠隔地にいる人物とその場にいるかのようなコミュニケーションをとるための、いわゆるテレビ会議システムなども一般的になりつつある。 In recent years, with the increase in the size of televisions, display close to the actual size has become possible. In addition, so-called video conferencing systems, etc., for communicating with a person at a remote place as if they are on the spot by using a combination of an imaging device such as a video camera and a display device are becoming common. is there.

テレビ会議の形態も多様化し、１画面で行う場合もあるし、多画面を用いる場合もある。また、ビジネスシーンのみでなく、一般家庭でも遠方の親戚、家族とのコミュニケーションのためのテレビ会議の活用も増えている。 There are various forms of video conferencing and there are cases where a single screen is used or a multi-screen is used. In addition to business scenes, the use of video conferencing for communication with distant relatives and family members is also increasing in ordinary homes.

また、被写体の位置を限定することなく、画像を常に当該被写体の実際の大きさで表示する方法として、テレビ会議装置が、被写体であるユーザとカメラ部との距離（撮像距離）をカメラ部で測定することにより、当該撮像距離を常に把握し、ユーザが動いてカメラ部との距離が変化しても、測定した撮像距離をもとにユーザの実際の大きさを認識でき、撮像するユーザの位置に依らず、常にユーザの画像をテレビ会議装置のスクリーンに等身大で投影する発明がある。（特許文献１）
特開２００５−３０３６８３号公報 In addition, as a method of always displaying an image with the actual size of the subject without limiting the position of the subject, the video conference device uses the camera unit to determine the distance (imaging distance) between the user who is the subject and the camera unit. By measuring, it is possible to always grasp the imaging distance, and even if the user moves and the distance to the camera unit changes, the actual size of the user can be recognized based on the measured imaging distance, and There is an invention in which a user's image is always projected on a screen of a video conference apparatus with a life size regardless of the position. (Patent Document 1)
JP-A-2005-303683

しかしながら、このようなテレビ会議システム等において撮像装置が１つである場合には、表示装置に表示される映像は１カ所から撮影したカメラアングルのものに限られるため、視聴者の立ち位置によっては違和感のある映像となり、その場にいるかのような臨場感を出すことはできない。 However, in such a video conference system or the like, when there is one image pickup device, the video displayed on the display device is limited to the camera angle taken from one place. It will be a video with a sense of incongruity and you will not be able to feel as if you are there.

また、撮影装置が複数の場合は、対応する複数の表示装置に表示することになり、個別の表示を最適化しても全体としては統一されたものとはならず、やはり臨場感を高めることはできない。 Also, if there are multiple shooting devices, they will be displayed on the corresponding multiple display devices, and even if individual display is optimized, it will not be unified as a whole, and it will also improve the sense of reality. Can not.

また、視聴者の立ち位置によって撮像装置の位置や方向を能動的に変化させるものであったとしても、一人の視聴者について最適化するにすぎず、複数の視聴者が異なる位置に移動した場合には、その両方の視聴者に最適な映像表示を行うことは不可能であり、違和感の少ない映像とすることができない。 Also, even if the position and direction of the imaging device are actively changed depending on the position of the viewer, it is only optimized for one viewer, and multiple viewers move to different positions However, it is impossible to display an image that is optimal for both viewers, and it is not possible to obtain a video with little discomfort.

そのため、複数の視聴者が異なる位置から視聴する場合であっても、複数のカメラアングルによる映像を表示することにより、その場にいるかのような臨場感のあるシステムが求められる。 Therefore, even when a plurality of viewers view from different positions, a system with a sense of presence as if they are present is required by displaying images from a plurality of camera angles.

上記の課題を解決するために、本明細書においては以下の第一の発明から第七の発明を提案する。 In order to solve the above problems, the present invention proposes the following first to seventh inventions.

第一の発明は、撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置とからなる映像システムである。 According to a first aspect of the present invention, there are provided a plurality of imaging devices for imaging an imaging space at different camera angles, and a multi-display that displays images obtained from the respective imaging devices simultaneously in different viewing directions according to the camera angles of the imaging devices. A video system including a view display device.

第二の発明は、第一の発明にかかり、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順である映像システムである。 A second invention relates to the first invention, and the relative arrangement of the imaging device with respect to the imaging space is relatively equivalent to the scheduled viewer arrangement according to different viewing directions scheduled by the multi-view display device. It is a video system that is in the order of.

第三の発明は、第一又は第二の発明にかかり、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一である映像システムである。 A third invention is an image system according to the first or second invention, wherein an area of an imaging region captured by the imaging apparatus is substantially the same as a display area of the multi-view display apparatus.

第四の発明は、第一から第三の発明のいずれか一の発明にかかり、前記マルチビュー表示装置は、デュアルビュー表示が可能である映像システムである。 A fourth invention according to any one of the first to third inventions, wherein the multi-view display device is a video system capable of dual view display.

第五の発明は、第一から第三の発明のいずれか一の発明にかかり、前記マルチビュー表示装置は、トリプルビュー表示が可能である映像システムである。 A fifth invention according to any one of the first to third inventions, wherein the multi-view display device is a video system capable of triple view display.

図１は、本件発明に係る映像システムの概念図である。なお、図１は空間０１０５と空間０１０６を上方から見た図である。空間０１０５は撮像空間であり、複数の撮像装置（０１０１ａ、０１０１ｂ、０１０１ｃ）によって被写体（０１０３ａ、０１０３ｂ）が撮像される空間である。一方、空間０１０６は表示側の空間であり、撮像空間０１０５において撮像された映像がマルチビュー表示装置０１０２に表示され、複数の視聴者（０１０４ａ、０１０４ｂ、０１０４ｃ）がその映像を視聴する。この映像システムにおける目的は、空間０１０６にいる複数の視聴者（０１０４ａ、０１０４ｂ、０１０４ｃ）が別の空間０１０５にいる被写体（０１０３ａ、０１０３ｂ）を、あたかも同じ空間にいるかのように見ることができることである。そのために、まず、撮像装置０１０１ａは被写体（０１０３ａ、０１０３ｂ）の方に向くようなカメラアングルにて撮像し、その映像を、視聴者０１０４ａが視認できるようにマルチビュー表示装置０１０２に表示する。同様に、撮像装置０１０１ｂにて撮像した映像は視聴者０１０４ｂが視認できるように、撮像装置０１０１ｃにて撮像した映像は視聴者０１０４ｃが視認できるように、マルチビュー表示装置０１０２に表示する。異なる複数の映像を一のマルチビュー表示装置に同時に表示するための技術については後述するが、このようにマルチビュー表示装置０１０２に異なるカメラアングルで撮像した映像を同時に表示することで、視聴者の立っている位置に応じてよりリアルに相手を感じることのできる映像を見せることが可能となる。 FIG. 1 is a conceptual diagram of a video system according to the present invention. FIG. 1 is a view of the space 0105 and the space 0106 as viewed from above. A space 0105 is an imaging space, and is a space in which the subject (0103a, 0103b) is imaged by a plurality of imaging devices (0101a, 0101b, 0101c). On the other hand, the space 0106 is a display-side space, and the video captured in the imaging space 0105 is displayed on the multi-view display device 0102, and a plurality of viewers (0104a, 0104b, 0104c) watch the video. The purpose of this video system is that a plurality of viewers (0104a, 0104b, 0104c) in the space 0106 can see the subject (0103a, 0103b) in another space 0105 as if they were in the same space. is there. For this purpose, first, the imaging device 0101a captures an image at a camera angle facing the subject (0103a, 0103b), and displays the image on the multi-view display device 0102 so that the viewer 0104a can visually recognize the image. Similarly, the video captured by the imaging device 0101b is displayed on the multi-view display device 0102 so that the viewer 0104b can visually recognize the video and the video captured by the imaging device 0101c is visible to the viewer 0104c. Although a technique for simultaneously displaying a plurality of different images on one multi-view display device will be described later, by simultaneously displaying images captured at different camera angles on the multi-view display device 0102 in this way, It is possible to show an image that allows the person to feel the person more realistically according to the position where the user is standing.

本件発明においては、テレビ会議において、複数の視聴者が一の表示装置の一の映像を見ているように感じるにもかかわらず、それぞれの視聴者に最も適切な視角の映像をそれぞれ同時に視聴することができるため、遠隔地にいる人物とその場にいるかのような臨場感のあるコミュニケーションをとることか可能となる。 In the present invention, in a video conference, even though a plurality of viewers feel as if they are watching one video of one display device, each viewer views the video with the most suitable viewing angle at the same time. Therefore, it is possible to communicate with a person in a remote place as if they were present.

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。実施形態１は、主に請求項１、２、４、５、６、７などについて説明する。実施形態２は、主に請求項３などについて説明する。
（実施形態１） The best mode for carrying out the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to these embodiments, and can be implemented in various modes without departing from the spirit of the present invention. The first embodiment will mainly describe claims 1, 2, 4, 5, 6, 7 and the like. The second embodiment will mainly describe claim 3 and the like.
(Embodiment 1)

（実施形態１：概要）本実施形態は、撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置とからなる映像システムについて説明する。 (Embodiment 1: Overview) In this embodiment, a plurality of imaging devices for imaging an imaging space at different camera angles and images obtained from the respective imaging devices are simultaneously different depending on the camera angle of the imaging device. A video system including a multi-view display device that displays in the viewing direction will be described.

（実施形態１：構成）本実施形態に係る映像システムの構成図を図２に例示する。映像システム（０２００）は、複数の撮像装置（０２０１ａ、０２０１ｂ、０２０１ｃ、・・・）と、マルチビュー表示装置（０２０２）とからなる。 (Embodiment 1: Configuration) FIG. 2 illustrates a configuration diagram of a video system according to this embodiment. The video system (0200) includes a plurality of imaging devices (0201a, 0201b, 0201c,...) And a multi-view display device (0202).

なお、以下に詳述する本発明の構成要素は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。（明細書の全体を通じて同様である。） Note that the constituent elements of the present invention described in detail below are configured by hardware, software, or both hardware and software. For example, as an example for realizing these, there are hardware constituted by a CPU, a bus, a memory, an interface, a peripheral device, and the like, and software executable on the hardware. As software, the functions of each unit are realized by sequentially executing a program developed on the memory, and processing, storing, and outputting data on the memory and data input via the interface. (The same applies throughout the specification.)

「撮像装置」（０２０１ａ等）は、撮像空間を異なるカメラアングルで撮像する。また、撮像装置は一の映像システム（０２００）中に複数存在する。「撮像空間」とは、撮像装置にて撮像する空間であり、この空間に被写体が存在することになる。また、図３に「異なるカメラアングル」の具体例を示す。なお、前提として図１に例示するように撮像空間０１０５において二人の人物（被写体）（０１０３ａ、０１０３ｂ）を３つの撮像装置（０１０１ａ、０１０１ｂ、０１０１ｃ）で撮像するとする。また、図３に示す被写体０３０３ａ、０３０３ｂは、それぞれ図１における被写体０１０３ａ、０１０３ｂである。ここで、図３（ａ）は撮像装置０１０１ａでのカメラアングルを示す。撮像装置０１０１ａの光軸が被写体（０３０３ａ、０３０３ｂ）のほうへ向くと、撮像装置０１０１ａが設置されている壁に対して垂直方向よりも右方向に向くことになるので、被写体０３０３ａのほうが被写体０３０３ｂよりも近くにいるように撮像される。また、同様に図３（ｃ）は撮像装置０１０１ｃでのカメラアングルを示すが、撮像装置０１０１ｃの光軸が被写体（０３０３ａ、０３０３ｂ）のほうへ向くと、被写体０３０３ｂのほうが被写体０３０３ａよりも近くにいるように撮像されることになる。また、図３（ｂ）は撮像装置０１０１ｂでのカメラアングルを示すが、図１に示すように被写体（０１０３ａ、０１０３ｂ）は撮像装置０１０１ｂから見てほぼ真正面に存在するため、図３（ｂ）のように被写体０３０３ａと被写体０３０３ｂはほぼ同じ距離感で撮像されることになる。 An “imaging device” (such as 0201a) captures an imaging space at different camera angles. In addition, a plurality of imaging devices exist in one video system (0200). The “imaging space” is a space where an image is picked up by the imaging device, and a subject exists in this space. FIG. 3 shows a specific example of “different camera angles”. It is assumed that two persons (subjects) (0103a, 0103b) are imaged by three imaging devices (0101a, 0101b, 0101c) in the imaging space 0105 as illustrated in FIG. Also, subjects 0303a and 0303b shown in FIG. 3 are subjects 0103a and 0103b in FIG. 1, respectively. Here, FIG. 3A shows a camera angle in the imaging apparatus 0101a. When the optical axis of the imaging device 0101a is directed toward the subject (0303a, 0303b), the subject 0303a is directed to the right rather than the vertical direction with respect to the wall on which the imaging device 0101a is installed. The image is taken to be closer. Similarly, FIG. 3C shows the camera angle of the imaging device 0101c. When the optical axis of the imaging device 0101c is directed toward the subject (0303a, 0303b), the subject 0303b is closer to the subject 0303a. The image is captured as if it were. 3B shows the camera angle of the image pickup apparatus 0101b. As shown in FIG. 1, since the subjects (0103a, 0103b) are almost in front of the image pickup apparatus 0101b, FIG. Thus, the subject 0303a and the subject 0303b are imaged with almost the same sense of distance.

また、上述したように各撮像装置の光軸は被写体のほうに向くような方向に固定されるようになっていてもよい。被写体のほうに向くような方向に固定するとは、被写体の位置が決定されてからその方向に合わせるようになっていてもよいし、被写体が立つ予定である位置の方向に向けてあらかじめ固定しておいてもよい。また、図１に示す撮像装置０１０１ａ、０１０１ｂ、０１０１ｃの光軸方向と、視聴者０１０４ａ、０１０４ｂ、０１０４ｃが被写体０１０３ａ、０１０３ｂが同一空間に存在すると仮定した場合に被写体のほうを向く場合の視線方向とが合致する場合には、より臨場感が増すことが予想される。また、このような光軸方向を設定する場合には、例えば被写体の位置を位置検知センサ等を用いて検出し、検出した被写体の位置方向に撮像装置の光軸方向を変更するようになっていてもよい。なお、各撮像装置の光軸の設定方法は以上のような設定方法に限定するものではない。例えば全ての撮像装置の光軸は、設置されている壁に対して常に垂直方向に固定されていてもよく、このように固定された光軸にて撮像した映像を表示装置で表示する際に画像編集を行い、撮像装置の光軸を被写体のほうに向けて撮像した場合と同様の映像を生成してから表示するようになっていてもよい。このように画像編集を行うことのメリットは、撮像空間において被写体の位置が変更になる場合にそのつど撮像装置の光軸方向を変更するための機械的な仕組みが不要なく、撮像装置の光軸を変更する際のタイムラグなどを考慮する必要がないことである。また、このような画像編集を行う場合には、例えば被写体の位置を位置検知センサ等を用いて検出し、検出した被写体の位置と撮像装置の光軸方向の角度に応じて画像編集を行えばよい。 Further, as described above, the optical axis of each imaging device may be fixed in a direction facing the subject. Fixing in a direction facing the subject may be made to match that direction after the subject's position is determined, or fixed in advance in the direction of the position where the subject is expected to stand. It may be left. Also, the optical axis direction of the imaging devices 0101a, 0101b, and 0101c shown in FIG. 1 and the line-of-sight direction when the viewers 0104a, 0104b, and 0104c face the subject when it is assumed that the subjects 0103a and 0103b exist in the same space. It is expected that the sense of reality will increase further when When such an optical axis direction is set, for example, the position of the subject is detected using a position detection sensor or the like, and the optical axis direction of the imaging apparatus is changed to the detected position direction of the subject. May be. In addition, the setting method of the optical axis of each imaging device is not limited to the setting method as described above. For example, the optical axes of all the imaging devices may be always fixed in the vertical direction with respect to the installed wall, and when displaying images picked up with such fixed optical axes on the display device The image may be displayed after image editing is performed and the same image as when the image is taken with the optical axis of the imaging device directed toward the subject. The advantage of performing image editing in this way is that there is no need for a mechanical mechanism for changing the optical axis direction of the imaging device each time the position of the subject is changed in the imaging space, and the optical axis of the imaging device. It is not necessary to consider the time lag when changing. In addition, when performing such image editing, for example, the position of the subject is detected using a position detection sensor or the like, and image editing is performed according to the detected position of the subject and the angle in the optical axis direction of the imaging device. Good.

「マルチビュー表示装置」（０２０２）は、前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する。「前記各撮像装置」とは、撮像空間を撮像する複数の撮像装置（０２０１ａ等）を指す。「異なる視認方向」とは、マルチビュー表示装置に表示される映像を視聴者が視認可能な方向を意味する。例えば図４に示すように、空間０１０６において視聴者０１０４ａがマルチビュー表示装置０１０２のディスプレイを視認する場合の視認方向は矢印０４０２で示される方向になる。また、例えば図１に示した例においては、視認方向は３人の視聴者０１０４ａ、０１０４ｂ、０１０４ｃから見た３つの視認方向を想定しており、このような場合には一のマルチビュー表示装置０１０２に異なる３つの映像が同時に表示されることになる。なお、この視認方向の数は図１においては３つであるがこれに限るものではなく複数（２以上）であればよい。つまり、マルチビュー表示装置は、デュアルビュー表示が可能であってもよいし、トリプルビュー表示が可能であってもよい。 The “multi-view display device” (0202) displays images obtained from the respective imaging devices in different viewing directions at the same time depending on the camera angle of the imaging device. “Each imaging device” refers to a plurality of imaging devices (such as 0201a) that capture an imaging space. “Different viewing directions” mean directions in which a viewer can visually recognize video displayed on the multi-view display device. For example, as illustrated in FIG. 4, the viewing direction when the viewer 0104 a visually recognizes the display of the multi-view display device 0102 in the space 0106 is a direction indicated by an arrow 0402. For example, in the example shown in FIG. 1, the viewing direction is assumed to be three viewing directions viewed from three viewers 0104a, 0104b, and 0104c. In such a case, one multi-view display device is used. Three different images are displayed at 0102 at the same time. Note that the number of viewing directions is three in FIG. 1, but is not limited thereto, and may be a plurality (two or more). That is, the multi-view display device may be capable of dual view display or triple view display.

また、「その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する」とは、複数の撮像装置で撮像して得られたカメラアングルの異なる複数の映像を、異なる視認方向にて視認できるように同時に表示することである。例えば、図４に示すように、撮像空間０１０５において撮像装置０１０１ａから被写体（０１０３ａ、０１０３ｂ）の方向０４０１に光軸を固定して撮像した映像は、マルチビュー表示装置（０１０２）にて例えば視聴者０１０４ａからの視認方向０４０２に表示されることになる。なお、「撮像装置のカメラアングルに応じて同時に異なる視認方向に表示する」方法はこのような場合に限らず、例えば撮像装置０１０１ａから撮像した映像が、視聴者０１０４ｃからの視認方向に表示される等となっていてもよい。また、光軸方向０４０１と視認方向０４０２がほぼ同じ方向であればより臨場感が高まる。なお、撮像装置の数（カメラアングルの異なる映像の数）と、視認方向の数は、上述の例では同じ数の場合を説明したが、異なる数であってもよい。例えば、５つの撮像装置で撮像した異なる映像を３つの視認方向に同時に表示するようになっていてもよい。 “Display in different viewing directions at the same time depending on the camera angle of the imaging device” means that a plurality of images with different camera angles obtained by imaging with a plurality of imaging devices can be viewed in different viewing directions. Is to display at the same time. For example, as shown in FIG. 4, an image captured with the optical axis fixed in the direction 0401 from the imaging device 0101a to the subject (0103a, 0103b) in the imaging space 0105 is captured by, for example, a viewer on the multi-view display device (0102). It is displayed in the viewing direction 0402 from 0104a. Note that the method of “displaying in different viewing directions simultaneously according to the camera angle of the imaging device” is not limited to such a case, and for example, an image captured from the imaging device 0101a is displayed in the viewing direction from the viewer 0104c. And so on. Further, if the optical axis direction 0401 and the visual recognition direction 0402 are substantially the same direction, the sense of reality is further enhanced. In addition, although the number of imaging devices (the number of images with different camera angles) and the number of viewing directions are the same in the above example, they may be different. For example, different images captured by five imaging devices may be displayed simultaneously in three viewing directions.

また、図５を用いて異なる複数の映像を一のマルチビュー表示装置に同時に表示するための技術について説明する。図５においては、２つの視認方向にて各々異なる映像を表示する場合について説明する。マルチビュー表示装置の表示部０５０２は、カメラアングルの異なる２つの映像をそれぞれ表示するための表示部分０５０２ｄと０５０２ｅが存在する。つまり、一の撮像装置から撮像された映像は所定の幅で縦方向にスライスされ、それぞれスライスされた２つの映像が交互になるように並べられて一の表示映像となる。なお、表示部０５０２は物理的に部分０５０２ｄと０５０２ｅに分かれていてもよいし、物理的には一の表示パネルであって、その表示パネルに表示する映像が２つの映像を合成して得られる合成データからなる映像であってもよい。また、表示部０５０２と視聴者（０５０４ｄ、０５０４ｅ）との間には、スリットの入ったバリア０５０１が設置される。これにより視聴者０５０４ｄは表示部分０５０２ｄに表示される映像のみを、視聴者０５０４ｅは表示部分０５０２ｅに表示される映像のみを視聴することができる。 Further, a technique for simultaneously displaying a plurality of different videos on one multi-view display device will be described with reference to FIG. In FIG. 5, a case where different images are displayed in two viewing directions will be described. The display unit 0502 of the multi-view display device includes display portions 0502d and 0502e for displaying two images with different camera angles. That is, the video imaged from one imaging device is sliced in the vertical direction with a predetermined width, and the two sliced videos are alternately arranged to form one display video image. Note that the display unit 0502 may be physically divided into portions 0502d and 0502e, or is physically a single display panel, and an image to be displayed on the display panel is obtained by combining two images. The image may be composed of composite data. In addition, a barrier 0501 having a slit is provided between the display portion 0502 and the viewer (0504d, 0504e). Accordingly, the viewer 0504d can view only the video displayed on the display portion 0502d, and the viewer 0504e can view only the video displayed on the display portion 0502e.

また、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順であってもよい。「前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置」とは、図１の例であれば、視認方向が３つであり、その「視認方向に応じた視聴者予定配置」は、視聴者０１０４ａ、０１０４ｂ、０１０４ｃで示した位置が該当する。また、「相対的に同等の並び順」とは、撮像装置０１０１ａで撮像した映像は視聴者予定配置０１０４ａからの視認方向に表示し、撮像装置０１０１ｂで撮像した映像は視聴者予定配置０１０４ｂからの視認方向に表示し、撮像装置０１０１ｃで撮像した映像は視聴者予定配置０１０４ｃからの視認方向に表示する、というように、対応する撮像装置と視聴者予定配置の並び順が相対的に同等であることを意味する。 In addition, the relative arrangement of the imaging devices with respect to the imaging space and the scheduled viewer arrangement according to different viewing directions scheduled by the multi-view display device may be in a relatively equivalent arrangement order. In the example of FIG. 1, “the scheduled viewer arrangement according to different viewing directions scheduled by the multi-view display device” has three viewing directions, and the “scheduled viewer arrangement according to the viewing direction”. "Corresponds to the positions indicated by the viewers 0104a, 0104b, and 0104c. In addition, “relatively equivalent arrangement order” means that the video imaged by the imaging device 0101a is displayed in the viewing direction from the scheduled viewer arrangement 0104a, and the video imaged by the imaging device 0101b is from the scheduled viewer layout 0104b. The order of arrangement of the corresponding imaging device and the scheduled viewer arrangement is relatively equivalent, such as displaying the video displayed in the viewing direction and displaying the image captured by the imaging device 0101c in the viewing direction from the scheduled viewer arrangement 0104c. Means that.

また、撮像装置（０２０１等）とマルチビュー表示装置（０２０２）は物理的に一体的になっていてもよいし、別体となっていてもよい。別体となっている場合には、例えば双方が通信によって映像データを送受信するようになっていることが想定される。通信方法は特定のものに限られない。例えば、無線通信であってもよいし有線通信であってもよい。無線通信であれば、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等が想定される。また、有線通信であれば、インターネット通信、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）通信、ピア・ツゥー・ピア通信等が想定される。 Further, the imaging device (0201 etc.) and the multi-view display device (0202) may be physically integrated or may be separate. In the case of separate bodies, for example, it is assumed that both sides transmit and receive video data by communication. The communication method is not limited to a specific one. For example, wireless communication or wired communication may be used. In the case of wireless communication, infrared communication, Bluetooth (registered trademark), or the like is assumed. In the case of wired communication, Internet communication, LAN (Local Area Network) communication, peer-to-peer communication, and the like are assumed.

（実施形態１：ハードウェア上における処理）図６、図７は、本実施形態に係る映像システムのハードウェア上における処理の具体例を示す。図６は、撮像装置のハードウェア上における処理の具体例を示す。撮像装置は、撮像部（０６０１）で撮像空間を撮像し、撮像して得られた映像データは一時記憶メモリ（０６０２）に格納された後、ハードディスクや半導体メモリ等の記憶装置（０６０３）に記憶される。また、映像データは通信インタフェース等の出力インタフェースによってマルチビュー表示装置に出力される。なお、撮像部（０６０１）は、より具体的には、例えば被写体からの光をレンズを通してＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）等の撮像素子で受光し、ＣＤＳ（ＣｏｒｒｅｌａｔｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）やＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）における処理を経た後、Ａ／Ｄ変換器等により電気信号に変換することで映像データを得ることができる。 (Embodiment 1: Processing on Hardware) FIGS. 6 and 7 show specific examples of processing on hardware of a video system according to this embodiment. FIG. 6 shows a specific example of processing on the hardware of the imaging apparatus. The imaging device images the imaging space by the imaging unit (0601), and the video data obtained by imaging is stored in the temporary storage memory (0602) and then stored in the storage device (0603) such as a hard disk or a semiconductor memory. Is done. The video data is output to the multi-view display device through an output interface such as a communication interface. More specifically, the imaging unit (0601), for example, receives light from an object through a lens with an imaging element such as a CCD (Charge Coupled Device), and receives CDS (Correlated Double Sampling) or AGC (AGC). After the processing in Auto Gain Control), the video data can be obtained by converting it into an electrical signal by an A / D converter or the like.

図７は、マルチビュー表示装置のハードウェア上における処理の具体例を示す。図６にて説明したように、複数の撮像装置の出力インタフェースを介して出力された映像データはマルチビュー表示装置の通信インタフェース等の入力インタフェースによって受信される。ここでは、３つの撮像装置から映像データＡ（０７０１ａ）、映像データＢ（０７０１ｂ）、映像データＣ（０７０１ｃ）の映像データが受信されたとする。これらの映像データは前述したようにカメラアングルの異なる映像を構成するデータである。各映像データは入力インタフェースを介して受信されると、一時記憶メモリに格納される。また、一時記憶メモリに格納された映像データに基づいて一のマルチビュー表示装置に表示するための一の合成データ（０７０２）が生成される。生成された合成データは、ＶｉｄｅｏＲＡＭ（ＶＲＡＭ）（０７０３）に送られた後、ディスプレイ（０７０４）にて表示される。 FIG. 7 shows a specific example of processing on the hardware of the multi-view display device. As described with reference to FIG. 6, the video data output via the output interfaces of the plurality of imaging devices is received by an input interface such as a communication interface of the multi-view display device. Here, it is assumed that video data A (0701a), video data B (0701b), and video data C (0701c) are received from three imaging devices. These video data are data constituting videos with different camera angles as described above. When each video data is received via the input interface, it is stored in a temporary storage memory. Also, one composite data (0702) to be displayed on one multi-view display device is generated based on the video data stored in the temporary storage memory. The generated composite data is sent to the Video RAM (VRAM) (0703) and then displayed on the display (0704).

なお、図６、図７を用いて説明したハードウェア上の処理はあくまで処理の概要を説明するものである。 Note that the processing on the hardware described with reference to FIGS. 6 and 7 is merely an overview of the processing.

（実施形態１：処理の流れ）図８は、本実施形態に係る映像システムにおける処理の流れを示すフロー図を例示する。（ａ）のフロー図は撮像装置における処理を示し、（ｂ）のフロー図はマルチビュー表示装置における処理を示す。 (Embodiment 1: Process Flow) FIG. 8 illustrates a flowchart showing a process flow in a video system according to this embodiment. The flowchart of (a) shows the process in an imaging device, and the flowchart of (b) shows the process in a multi view display apparatus.

まず、（ａ）撮像装置において、撮像空間の撮像を行う（Ｓ０８０１）。次に、撮像して得られた映像データをマルチビュー表示装置に対して出力する（Ｓ０８０２）。以上の一連の処理が複数の各撮像装置において実行される。 First, (a) the imaging device captures an imaging space (S0801). Next, the video data obtained by imaging is output to the multi-view display device (S0802). The series of processes described above are executed in each of the plurality of imaging devices.

次に、（ｂ）マルチビュー表示装置において、各撮像装置からの映像データを受信する（Ｓ０８０３）。すなわち、各撮像装置においてステップＳ０８０２で出力された各映像データを受信する。次に、受信した各映像データを合成する（Ｓ０８０４）。すなわち、各映像データを合成してディスプレイに表示するための表示データを生成する。次に生成した合成データ（表示データ）をディスプレイに表示する（Ｓ０８０５）。 Next, (b) the multi-view display device receives video data from each imaging device (S0803). That is, each image data output in step S0802 is received by each imaging device. Next, the received video data are synthesized (S0804). That is, the display data for combining the video data and displaying them on the display is generated. Next, the generated composite data (display data) is displayed on the display (S0805).

なお、図８のフロー図は、計算機に実行させるプログラムの処理フロー図とみなすことも可能である。さらに、このようなプログラムをフレキシブルディスク等の媒体に記録することも可能である。（明細書の全体を通じて同様である。） Note that the flowchart of FIG. 8 can be regarded as a process flowchart of a program executed by a computer. Further, such a program can be recorded on a medium such as a flexible disk. (The same applies throughout the specification.)

（実施形態１：効果）本実施形態に係る映像システムによれば、複数の視聴者がそれぞれ最も適切な視角の映像を視聴することができるため、遠隔地にいる人物と臨場感のあるコミュニケーションをとることか可能となる。
（実施形態２） (Embodiment 1: Effect) According to the video system according to the present embodiment, since a plurality of viewers can each view a video with the most appropriate viewing angle, it is possible to communicate with a person in a remote place with a sense of presence. It becomes possible to take.
(Embodiment 2)

（実施形態２：概要）本実施形態は、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一であることを特徴とする映像システムについて説明する。 (Embodiment 2: Overview) In the present embodiment, an image system is described in which the area of the imaging region captured by the imaging apparatus is substantially the same as the display area of the multi-view display apparatus.

（実施形態２：構成）本実施形態に係る映像システムの構成は、図２にて説明した映像システムの構成と同様である。ただし、前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一であることを特徴とする。「撮像領域の面積」とは、フォーカスが合わせられた深度における撮像空間の実際の面積を意味する。例えば図９に示すように、撮像する際のフォーカスを被写体０１０３ｃに合わせて撮像しているとすると、撮像装置０１０１ｃで捉えている撮像空間はＡ点からＡ’点の間であり、撮像装置０１０１ｂで捉えている撮像空間はＢ点からＢ’点の間である。つまり、撮像領域の面積とは撮像空間をＡ点からＡ’点、もしくはＢ点からＢ’点で切り取った場合の実際の面積が該当する。つまり、Ａ点からＡ’点までの距離、もしくはＢ点からＢ’点までの距離が、マルチビュー表示装置のディスプレイ（０１０２ｓ）の長さＬとほぼ同一であり、その高さもほぼ同一となる。また、図１０に示すように、撮像装置０１０１ｃがフォーカスを被写体０１０３ｄに合わせているとすると、Ｃ点からＣ’点までの距離がマルチビュー表示装置のディスプレイ（０１０２ｓ）の長さＬとほぼ同一となる。このように「前記撮像装置が撮像する撮像領域の面積」と、マルチビュー表示装置のディスプレイ（０１０２ｓ）の面積とが略同一である場合には、被写体をほぼ実物大で表示することが可能であるので、より臨場感が増すという効果が期待できる。また、「略同一」とは、ほぼ同一であることを意味する。厳密にはこれらの面積が若干異なっていても特にマルチビュー表示装置が大型である場合には問題にならないと思われる。また、前述したＡ点からＡ’点までの面積とＢ点からＢ’点までの面積は多少異なるが、そのような差異も問わない意味である。 (Embodiment 2: Configuration) The configuration of the video system according to this embodiment is the same as the configuration of the video system described with reference to FIG. However, the area of the imaging region imaged by the imaging apparatus is substantially the same as the display area of the multi-view display apparatus. The “area of the imaging region” means the actual area of the imaging space at the focused depth. For example, as shown in FIG. 9, when imaging is performed with the focus at the time of imaging aligned with the subject 0103c, the imaging space captured by the imaging device 0101c is between point A and point A ′, and the imaging device 0101b. The imaging space captured by is between point B and point B ′. In other words, the area of the imaging region corresponds to the actual area when the imaging space is cut from point A to point A ′ or from point B to point B ′. That is, the distance from the point A to the point A ′ or the distance from the point B to the point B ′ is substantially the same as the length L of the display (0102s) of the multi-view display device, and the height is also substantially the same. . As shown in FIG. 10, if the imaging device 0101c is focused on the subject 0103d, the distance from the point C to the point C ′ is almost the same as the length L of the display (0102s) of the multi-view display device. It becomes. In this way, when the “area of the imaging region imaged by the imaging device” and the area of the display (0102s) of the multi-view display device are substantially the same, it is possible to display the subject at almost full size. Because there is, you can expect the effect of more realistic. Further, “substantially the same” means substantially the same. Strictly speaking, even if these areas are slightly different, it does not appear to be a problem particularly when the multi-view display device is large. Further, the area from the point A to the point A 'and the area from the point B to the point B' are slightly different, but such a difference does not matter.

（実施形態２：ハードウェア上における処理）本実施形態に係る映像システムのハードウェア上における処理は前述した処理と同様である。 (Embodiment 2: Processing on Hardware) Processing on hardware of the video system according to this embodiment is the same as the processing described above.

（実施形態２：処理の流れ）本実施形態に係る映像システムにおける処理の流れは、前述した処理の流れと同様である。 (Embodiment 2: Process Flow) The process flow in the video system according to this embodiment is the same as the process flow described above.

（実施形態２：効果）本実施形態に係る映像システムによれば、より臨場感のある映像を視聴者に見せることができる。 (Embodiment 2: Effect) According to the video system according to the present embodiment, a more realistic video can be shown to the viewer.

本件発明に係る映像システムの概念図Conceptual diagram of a video system according to the present invention 実施形態１に係る映像システムの機能ブロック図Functional block diagram of the video system according to the first embodiment カメラアングルの一例図Example of camera angle カメラアングルと視認方向について説明する図Diagram explaining camera angle and viewing direction マルチビュー表示装置における映像の表示方法の一例図Example of video display method in multi-view display device 実施形態１に係る映像装置のハードウェア上における処理動作の一例図FIG. 3 is a diagram illustrating an example of processing operations on hardware of the video apparatus according to the first embodiment. 実施形態１に係るマルチビュー表示装置のハードウェア上における処理動作の一例図FIG. 7 is a diagram illustrating an example of processing operations on hardware of the multi-view display device according to the first embodiment. 実施形態１に係る映像システムの処理の流れを示すフロー図FIG. 3 is a flowchart showing a processing flow of the video system according to the first embodiment. 撮像領域の面積について説明する図The figure explaining the area of an imaging region 撮像領域の面積について説明する図The figure explaining the area of an imaging region

符号の説明Explanation of symbols

０１０１ａ撮像装置
０１０１ｂ撮像装置
０１０１ｃ撮像装置
０１０２マルチビュー表示装置
０１０３ａ被写体
０１０３ｂ被写体
０１０４ａ視聴者
０１０４ｂ視聴者
０１０４ｃ視聴者
０１０５撮像空間
０１０６表示側の空間 0101a Imaging device 0101b Imaging device 0101c Imaging device 0102 Multi-view display device 0103a Subject 0103b Subject 0104a Viewer 0104b Viewer 0104c Viewer 0105 Imaging space 0106 Display-side space

Claims

撮像空間を異なるカメラアングルで撮像するための複数の撮像装置と、
前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向に表示するマルチビュー表示装置と、
からなる映像システム。 A plurality of imaging devices for imaging the imaging space at different camera angles;
A multi-view display device that displays images obtained from the respective imaging devices in different viewing directions simultaneously according to the camera angle of the imaging device;
A video system consisting of

前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示装置が予定する異なる視認方向に応じた視聴者予定配置とは、相対的に同等の並び順である請求項１に記載の映像システム。 2. The video system according to claim 1, wherein the relative arrangement of the imaging device with respect to the imaging space and the scheduled viewer arrangement according to different viewing directions scheduled by the multi-view display device are in a relatively equivalent arrangement order. .

前記撮像装置が撮像する撮像領域の面積と、マルチビュー表示装置のディスプレイ面積とが略同一である請求項１又は２に記載の映像システム。 The video system according to claim 1, wherein an area of an imaging region captured by the imaging apparatus is substantially the same as a display area of the multi-view display apparatus.

前記マルチビュー表示装置は、デュアルビュー表示が可能である請求項１から３のいずれか一に記載の映像システム。 The video system according to claim 1, wherein the multi-view display device is capable of dual view display.

前記マルチビュー表示装置は、トリプルビュー表示が可能である請求項１から３のいずれか一に記載の映像システム。 The video system according to any one of claims 1 to 3, wherein the multi-view display device is capable of triple view display.

撮像空間を異なる複数のカメラアングルの撮像装置で撮像する撮像ステップと、
前記各撮像装置から得られる映像を、その撮像装置のカメラアングルに応じて同時に異なる視認方向にマルチビュー表示する表示ステップと、
からなる映像システムの表示方法。 An imaging step of imaging the imaging space with imaging devices of different camera angles;
A display step for displaying images obtained from the respective imaging devices in a multi-view manner in different viewing directions at the same time according to the camera angle of the imaging device;
A display method for a video system.

前記表示ステップは、前記撮像空間に対する撮像装置の相対的配置と、前記マルチビュー表示が予定する異なる視認方向に応じた視聴者予定配置とが、相対的に同等の並び順となるように表示する並び順依存表示サブステップを有することを特徴とする請求項６に記載の映像システムの表示方法。 In the display step, the relative arrangement of the imaging device with respect to the imaging space and the scheduled viewer arrangement corresponding to different viewing directions scheduled for the multi-view display are displayed in a relatively equivalent arrangement order. 7. The video system display method according to claim 6, further comprising an arrangement order dependent display sub-step.