JP5520774B2 - COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM - Google Patents
COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP5520774B2 JP5520774B2 JP2010230757A JP2010230757A JP5520774B2 JP 5520774 B2 JP5520774 B2 JP 5520774B2 JP 2010230757 A JP2010230757 A JP 2010230757A JP 2010230757 A JP2010230757 A JP 2010230757A JP 5520774 B2 JP5520774 B2 JP 5520774B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- user
- image
- dimensional image
- conversation partner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、特に対話相手の距離感を制御する技術に係り、テレビ電話や、ビデオチャットなど映像を用いた遠隔地間のコミュニケーションを、よりリアルに実現するコミュニケーション装置、コミュニケーション方法、及びプログラムに関する。 In particular, the present invention relates to a technology for controlling a sense of distance of a conversation partner, and more particularly, to a communication device, a communication method, and a program for realizing real-time communication between remote locations using video, such as videophone and video chat.
映像コミュニケーションにおいて、対話相手とあたかも対面しているかのような感覚をユーザに提示するためには、ユーザに対して対話相手の映像をどのように提示するかが重要である。その際、特に、対人間の距離をユーザに正しく認識させることは重要である。なぜなら、古くから対面会話において、対人間の距離感は、話しやすさや、緊張感に影響を与えることが確認されているからである。 In video communication, in order to present the user with a feeling as if they are facing a conversation partner, it is important how to present the conversation partner's video to the user. At that time, it is particularly important for the user to correctly recognize the distance to the person. This is because, in face-to-face conversations, it has been confirmed that the sense of distance between humans affects the ease of speaking and the sense of tension.
そこで、従来技術では、あたかも実物大の対話相手が目の前にいるように感じさせるために、対話相手の人物を２次元ディスプレイ上に実物大に表示する技術（例えば、特許文献１参照）や、所望のサイズに映す方式が考えられている（例えば、特許文献２参照）。２次元ディスプレイ上の人物サイズと、ユーザが感じる対話相手との距離感には相関があると考えられるが、通常の２次元ディスプレイに表示される映像は奥行き手がかりが欠如するため、距離感を感じにくく、個人差も大きい。 Therefore, in the prior art, in order to make it feel as if a full-size conversation partner is in front of you, a technique for displaying the person of the conversation partner on a two-dimensional display in full size (for example, see Patent Document 1) A method of projecting to a desired size is considered (for example, see Patent Document 2). Although it is considered that there is a correlation between the size of the person on the 2D display and the sense of distance between the user and the conversation partner, the image displayed on the normal 2D display lacks depth cues and thus feels a sense of distance. Difficult and individual differences are large.
これに対して、２次元ディスプレイ上に表示される対話相手の映像に運動視差を与えることで、ユーザに奥行き手がかりを与え、より高精度に距離を感じさせることが提案されている（例えば、非特許文献１参照）。 On the other hand, it has been proposed to give the user a depth cue by giving motion parallax to the image of the conversation partner displayed on the two-dimensional display, and to make the user feel the distance with higher accuracy (for example, non-display). Patent Document 1).
対面会話において、相手との距離感は、話しやすさや、緊張感に影響を与え重要である。しかしながら、２次元ディスプレイに映された従来の映像では、奥行き情報が欠落するため、映像中の対話相手と自身の位置関係を把握することは難しく、対話相手との距離の表現ができなかった。すなわち、ユーザが感じる映像中の対話相手との距離を任意に制御することができなかった。このため、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができないという問題があった。 In face-to-face conversations, the sense of distance from the other party is important because it affects the ease of talking and tension. However, in the conventional image projected on the two-dimensional display, depth information is lost, so it is difficult to grasp the positional relationship between the conversation partner in the image and the distance to the conversation partner cannot be expressed. In other words, it has been impossible to arbitrarily control the distance to the conversation partner in the video that the user feels. For this reason, like the face-to-face conversation, there is a problem that the same interpersonal distance cannot be felt according to the mutual real distance.
また、上述した理由により、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができないという問題があった。これは、互いの距離感が整合されていないために、どこから（自分に対してどの位置から）指差しがされているか把握できないことによって生じる対話相手の現実の指示動作とのズレが原因である。したがって、映像中の対話相手との距離感を正しく表現することが可能であれば、互いの指示動作における指示対象の認識が正しく行えると考えられる。 Also, for the reasons mentioned above, when pointing at an object shown in the other party's video, the other party observes the pointing and correctly understands what he is pointing to (what the instruction target is) There was a problem that could not be done. This is due to a deviation from the actual pointing action of the conversation partner caused by not being able to grasp where the finger is pointing from (from which position) because the sense of distance is not matched. . Therefore, if it is possible to correctly express the sense of distance from the conversation partner in the video, it is considered that the instruction target in the instruction operation can be recognized correctly.
さらに、対話相手との対人距離を適度に調節することができなかったため、ユーザが対話相手と望ましい（好みの）距離感で会話することができないという問題があった。 Furthermore, since the interpersonal distance with the conversation partner could not be adjusted appropriately, there was a problem that the user could not talk with the conversation partner with a desirable (preferred) sense of distance.
また、対話相手の映像に運動視差を与える従来技術においても、運動視差量と、ユーザが感じる対話相手との距離感とには、相関があると考えられるが、その関係は明確にされておらず、さらに所望の距離感を表現する手段は、これまで無かった。 In addition, in the conventional technology that gives motion parallax to the conversation partner's video, it is considered that there is a correlation between the amount of motion parallax and the sense of distance between the user and the conversation partner, but the relationship is not clear. Furthermore, there has been no means for expressing a desired sense of distance.
本発明は、このような事情を考慮してなされたものであり、その目的は、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができるコミュニケーション装置、コミュニケーション方法、及びプログラムを提供することにある。 The present invention has been made in view of such circumstances, and the object thereof is to arbitrarily control the distance to the conversation partner in the video, and on the two-dimensional display in consideration of human visual characteristics. It is an object of the present invention to provide a communication device, a communication method, and a program capable of converting the size of a conversation partner according to a distance to be expressed and motion parallax.
本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置であって、対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、当該装置側のユーザの視点位置を検出する視点位置検出手段と、前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段とを備え、前記３次元画像生成手段は、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α×（ａＤ ２＋ｂＤ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす任意の実数）、もしくは１次方程式Ｓ＝α×（ａＤ＋ｂ）（但し、数式（２）を満たす任意の実数）、もしくは指数関数を用いた式Ｓ＝α×（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とするコミュニケーション装置である。
α×（ａＤ ２＋ｂＤ＋ｃ）≧Ｄ ・・・（１）
０＜α かつ ａ，ｂはα×（ａＤ＋ｂ）≧Ｄ ・・・（２）
１＜α、０＜ａ、Ｓ＝α×（ａＤ＋ｂ）＋ｃ≧０ ・・・（３）
The present invention is a communication device that bidirectionally communicates information including a video between two points, an image acquisition unit that captures a two-dimensional image including a conversation partner and a background thereof, the conversation partner, Based on a distance measuring means for measuring a distance from the image acquiring means, the two-dimensional image taken by the image acquiring means, and a distance between the conversation partner and the image acquiring means measured by the distance measuring means. Thus, the larger the perceived distance perceived by the user on the device side is, the greater the difference in size between the user on the device side and the image of the conversation partner is greater than the distance calculated by geometric calculation. A three-dimensional image generating means for generating a three-dimensional image divided into a multi-layer image composed of the conversation partner and its background, and a viewpoint for detecting the viewpoint position of the user on the apparatus side Divided into a multi-layered image composed of the position of the user on the apparatus side detected by the position detection means, the viewpoint position detection means, and the conversation partner and the background generated by the three-dimensional image generation means Viewpoint position image generation means for generating a two-dimensional image on the conversation partner side based on a three-dimensional image; and display means for displaying the two-dimensional image on the conversation partner side generated by the viewpoint position image generation means; The three-dimensional image generation means includes a quadratic equation S = α × (a D 2 + b) where S = f (D, α) is the distance between the user on the device side and the image of the conversation partner. D + c) (where 0 <α and a, b, c are arbitrary real numbers satisfying the following equation (1)), or linear equation S = α × (a D + b) (where the equation (2) is arbitrary real number), or the formula using an exponential function which satisfies = Α × (a D + b ) + c ( where, equation (when it is 3)) in accordance with a communication apparatus you and calculates the distance between images of the dialogue partner and the user of the apparatus.
α × (a D 2 + b D + c) ≧ D (1)
0 <α and a and b are α × (a D + b) ≧ D (2)
1 <α, 0 <a, S = α × (a D + b) + c ≧ 0 (3)
本発明は、上記の発明において、前記３次元画像生成手段は、前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、ことを特徴とする。 The present invention is characterized in that, in the above invention, the three-dimensional image generation means uses a distance between the conversation partner and the image acquisition means measured by the distance measurement means as the perceptual distance. .
本発明は、前記ユーザと前記表示手段との距離を測定する第２の距離測定手段と、前記ユーザと前記表示手段により表示される前記対話相手との距離を前記ユーザの入力操作によって選択する距離選択手段とを更に備え、前記３次元画像生成手段は、前記知覚距離として、前記距離選択手段により選択された前記距離から、前記第２の距離測定手段により測定された距離を減算した値を用いて、前記３次元画像を生成することを特徴とする。 The present invention includes a second distance measuring means for measuring the distance between the display unit and the user, select the distance between the dialogue partner to be displayed by the display means and the user by an input operation of the user anda distance selection means, the three-dimensional image generating means, as the perception distance, from the distance selected by the distance selection device, obtained by subtracting the distance measured by the second distance measuring means The three-dimensional image is generated using a value.
本発明は、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション方法であって、対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、前記対話相手と前記カメラとの距離を測定する距離測定ステップと、前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、当該装置側のユーザの視点位置を検出する視点位置検出ステップと、前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示手段に表示する表示ステップとを含み、前記３次元画像生成ステップは、当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、２次方程式Ｓ＝α×（ａＤ ２＋ｂＤ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす任意の実数）、もしくは１次方程式Ｓ＝α×（ａＤ＋ｂ）（但し、数式（５）を満たす任意の実数）、もしくは指数関数を用いた式Ｓ＝α×（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とするコミュニケーション方法である。
α×（ａＤ ２＋ｂＤ＋ｃ）≧Ｄ ・・・（４）
０＜α かつ ａ，ｂはα×（ａＤ＋ｂ）≧Ｄ ・・・（５）
１＜α、０＜ａ、Ｓ＝α×（ａＤ＋ｂ）＋ｃ≧０ ・・・（６）
The present invention is a communication method for bidirectionally communicating information including images of each other between two points, an image acquisition step of capturing a two-dimensional image including a conversation partner and a background thereof with a camera, and the conversation partner A distance measuring step for measuring a distance between the camera and the camera, the two-dimensional image captured in the image acquisition step, and a distance between the conversation partner and the camera measured in the distance measuring step, As the distance between the user on the device side and the image of the conversation partner is larger than the distance calculated by the geometric calculation and the perceived distance felt by the user on the device side becomes larger, the difference in size becomes larger. In addition, a three-dimensional image generation step for generating a three-dimensional image divided into a multi-layer image composed of the conversation partner and the background thereof, and detecting a user's viewpoint position on the device A viewpoint image detection step, a viewpoint position of the user on the device side detected in the viewpoint position detection step, and a multi-layer image made up of the conversation partner and the background generated in the three-dimensional image generation step. Based on the divided three-dimensional image, a viewpoint position image generation step for generating the two-dimensional image on the conversation partner side, and the two-dimensional image on the conversation partner side generated in the viewpoint position image generation step as display means A display step for displaying, wherein the three-dimensional image generation step includes a quadratic equation S = α × when the distance between the user on the device side and the image of the conversation partner is S = f (D, α). (A D 2 + b D + c) (where 0 <α and a, b and c are arbitrary real numbers satisfying the following equation (4)), or a linear equation S = α × (a D + b) (where any satisfying equation (5) Number), or formula S = alpha × using exponential (a D + b) + c ( where Equation (6) according to time is), and calculates the distance between images of the dialogue partner and the user of the apparatus it is a method of communication you said.
α × (a D 2 + b D + c) ≧ D (4)
0 <α and a and b are α × (a D + b) ≧ D (5)
1 <α, 0 <a, S = α × (a D + b) + c ≧ 0 (6)
本発明は、上記の発明において、前記３次元画像生成ステップは、前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、ことを特徴とする。 The present invention is characterized in that, in the above-mentioned invention, the three-dimensional image generation step uses the distance between the conversation partner and the camera measured in the distance measurement step as the perceptual distance.
本発明は、前記ユーザと前記表示手段との距離を測定する第２の距離測定ステップと、前記ユーザと前記表示手段により表示される前記対話相手との距離を前記ユーザの入力操作によって選択する距離選択ステップとを更に含み、前記３次元画像生成ステップは、前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された距離を減算した値を用いて、前記３次元画像を生成することを特徴とする。 The present invention comprises a second distance measurement step of measuring a distance between the display unit and the user, select the distance between the dialogue partner to be displayed by the display means and the user by an input operation of the user further comprising a distance selection step, the three-dimensional image generating step, as the perceived distance from the distance selected by the distance selection step, by subtracting the distance measured by the second distance measuring step value The three-dimensional image is generated using.
本発明は、コンピュータを、前記コミュニケーション装置として機能させるためのコミュニケーションプログラムである。 The present invention is a communication program for causing a computer to function as the communication device .
この発明によれば、映像中の対話相手との距離を任意に制御でき、人間の視覚特性を考慮して、２次元ディスプレイ上の対話相手のサイズを、表現したい距離、及び運動視差に応じて変換することができる。 According to the present invention, the distance to the conversation partner in the video can be arbitrarily controlled, and the size of the conversation partner on the two-dimensional display is determined according to the distance to be expressed and the motion parallax in consideration of human visual characteristics. Can be converted.
以下、本発明の一実施形態を、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
本発明は、２地点での映像コミュニケーションにおいて、ディスプレイを１枚の窓に見立てて、ユーザがあたかも対話相手の空間を窓越しに互いが覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること（運動視差）を実現し、映像中の対話相手の奥行き位置の表現を行う映像表現において（非特許文献１）、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御を行うことにより、ユーザと対話相手の距離感を所望の大きさに表現することを特徴としている。 According to the present invention, in video communication at two points, the display is regarded as one window, and the users are looking into each other's space through the window according to the user's viewpoint position. In the video representation that realizes the display of the video of the conversation partner's space seen from the position (motion parallax) and the representation of the depth position of the dialogue partner in the video (Non-patent Document 1) on the two-dimensional display By controlling the size of the person and the amount of motion parallax, the sense of distance between the user and the conversation partner is expressed in a desired size.
図１は、本発明による映像表示のイメージを示す概念図である。図１において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２の見え方があたかも現実のように再現される。
FIG. 1 is a conceptual diagram illustrating an image display image according to the present invention. In FIG. 1, when the
すなわち、ユーザＡが位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手（ユーザＢ）を正面から見ているように表示し、ユーザＡが左側の位置Ｐ２から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを左側から見ているように表示し、ユーザＡが右側の位置Ｐ３から見ている場合には、対話相手Ｂ、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手Ｂを右側から見ているように表示する。 That is, when the user A faces the two-dimensional display 4 at the position P1, the conversation partner (user B) is displayed as if viewed from the front, and the user A is viewed from the left position P2. Reflects the positional relationship (depth) between the conversation partner B and the wall 3 in the background, and displays the conversation partner B as if viewed from the left side, and the user A is viewing from the right position P3. Is displayed as if the conversation partner B is viewed from the right side, reflecting the positional relationship (depth) between the conversation partner B and the wall 3 in the background.
本発明の技術は、２次元ディスプレイ上の人物の大きさ、及び運動視差量を制御し、ユーザと対話相手の距離感を所望の大きさに表現する技術であり、以下のような技術ｉ）〜ｉｉｉ）からなる。 The technology of the present invention is a technology for controlling the size of a person on a two-dimensional display and the amount of motion parallax, and expressing the sense of distance between a user and a conversation partner in a desired size. The following technology i) To iii).
ｉ）対話相手の位置を表示装置（ディスプレイなど）に対して任意の距離に表現する人物サイズ制御技術。
ｉｉ）対話相手の位置を検出し、検出される位置に合わせて距離を表現する機能。
ｉｉｉ）常にユーザと対話相手の距離を任意の距離に一定に保つ機能。
それぞれについて、以下に順に説明する。
i) A person size control technique for expressing the position of a conversation partner at an arbitrary distance from a display device (display, etc.).
ii) A function for detecting the position of the conversation partner and expressing the distance according to the detected position.
iii) A function that always keeps the distance between the user and the conversation partner constant at an arbitrary distance.
Each will be described in turn below.
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
本第１実施形態では、上述した、ｉ）対話相手の位置をディスプレイに対して任意の距離に表現する人物サイズ制御技術を実現する。
A. First Embodiment First, a first embodiment of the present invention will be described.
In the first embodiment, the above-described i) person size control technique for expressing the position of the conversation partner at an arbitrary distance from the display is realized.
図２は、本第１実施形態によるコミュニケーション装置の構成を示すブロック図である。図１において、コミュニケーション装置は、画像取得部１−ａ、距離測定部１−ｂ、３次元情報生成部１−ｃ、視点位置取得部（ユーザＡ）１−ｄ、視点位置画像生成部（ユーザＡ）１−ｅ、映像表示部１−ｆから構成されている。 FIG. 2 is a block diagram showing the configuration of the communication apparatus according to the first embodiment. In FIG. 1, the communication device includes an image acquisition unit 1-a, a distance measurement unit 1-b, a three-dimensional information generation unit 1-c, a viewpoint position acquisition unit (user A) 1-d, and a viewpoint position image generation unit (user A) 1-e and a video display unit 1-f.
図２には、ユーザＡ、Ｂ間で通信することを想定して、ユーザＡ側のコミュニケーション装置の構成を示しており、映像表示部１−ｆには、ユーザＢの映像が表示される。すなわち、本第１実施形態によるコミュニケーション手法は、図２に示す構成を２セット用意することにより、双方向で使用する。なお、以下の説明で「ディスプレイ」と表記されるものは、対話相手側（ユーザＢ）の映像表示部１−ｆを指すものである。 FIG. 2 shows the configuration of the communication device on the user A side assuming communication between the users A and B, and the video of the user B is displayed on the video display unit 1-f. That is, the communication method according to the first embodiment is used bidirectionally by preparing two sets of the configuration shown in FIG. In addition, what is described as “display” in the following description refers to the video display unit 1-f on the conversation partner (user B) side.
本説明では、ユーザＡが映像中のユーザＢを観察して距離Ｄｉに感じるように、映像表示部１−ｆに、ユーザＢを実物大に対して、どの程度の大きさで表示し、ユーザにどれくらいの運動視差を与えるべきかを決定する。実際には、ディスプレイから人物レイヤまでの距離Ｓｉを決定することで、大きさ、運動視差量が決まるため、この距離Ｓｉを制御する。最後に、映像表示部１−ｆに処理後の映像を表示するということを前提として説明する。 In this description, in order for the user A to observe the user B in the video and feel it at the distance D i , the user B is displayed on the video display unit 1-f with respect to the actual size. Decide how much motion parallax should be given to the user. Actually, since the size and the amount of motion parallax are determined by determining the distance S i from the display to the person layer, the distance S i is controlled. Finally, description will be made on the assumption that the processed video is displayed on the video display unit 1-f.
まず、画像取得部１−ａは、撮影装置（カメラ）を用いて、ユーザＢの２次元映像（画像）を撮影する。カメラは、ユーザＡがユーザＢと視線を合わせるために、ユーザＢの映像表示部１−ｅ上に表示されるユーザＡの目位置（目位置とは、両目の目頭を結ぶ線分の中点の位置）に光学的、または、仮想的にカメラのレンズ中心がくるように配置する。 First, the image acquisition unit 1-a captures a two-dimensional video (image) of the user B using a capturing device (camera). In order for the user A to match his / her line of sight with the user B, the user's A eye position displayed on the video display unit 1-e of the user B (the eye position is the midpoint of the line connecting the eyes of both eyes) The lens center of the camera is positioned optically or virtually at the position of
例えば、ユーザＢ側のディスプレイとユーザＢとの間にハーフミラーを、ディスプレイの平面の法線とハーフミラーの法線とのなす角度が４５度となるように設置し、カメラを該ハーフミラーの上方または下方に、ハーフミラーからディスプレイまでの距離だけ離して設置することにより、ハーフミラーを介してカメラ撮像する手法を用いることも考えられる。 For example, a half mirror is installed between the display on the user B side and the user B so that the angle formed by the normal of the plane of the display and the normal of the half mirror is 45 degrees, and the camera is mounted on the half mirror. It is also conceivable to use a method of taking an image of the camera via the half mirror by installing it at a distance above or below the distance from the half mirror to the display.
また、ユーザＢ側のディスプレイを隠さないように、ユーザＢのディスプレイの周囲に複数のカメラを配置し、ＦＴＶ（Free-Viewpoint Television）技術によって、該周囲の複数のカメラ画像から、ユーザＢのディスプレイ上に表示されるユーザＡの視点位置にある仮想視点の映像を生成する手法を用いることも考えられる。 Further, a plurality of cameras are arranged around the display of the user B so as not to hide the display on the user B side, and the display of the user B is obtained from the plurality of surrounding camera images by FTV (Free-Viewpoint Television) technology. It is also conceivable to use a method of generating a video of a virtual viewpoint at the viewpoint position of user A displayed above.
その他、視線一致を実現するために、カメラ位置は、できるだけ、ユーザＢ側のディスプレイに表示されたユーザＡの目位置にレンズ中心が来るように配置する。 In addition, in order to realize line-of-sight matching, the camera position is arranged as much as possible so that the lens center is positioned at the eye position of the user A displayed on the display on the user B side.
以後、ユーザＢのディスプレイの中心にカメラレンズの中心がくるようにカメラが設置されており、カメラの撮像面がディスプレイの画面にあると仮定して説明する。 In the following description, it is assumed that the camera is installed so that the center of the camera lens is at the center of the display of the user B, and the imaging surface of the camera is on the display screen.
距離測定部１−ｂは、カメラからユーザＢまでの距離を測定する。具体的な距離測定手法として、以下の方法が考えられる。
ａ）複数のカメラを用いた顔認識、及びステレオマッチングを用いた画像処理技術。
ｂ）光学式または磁気式のモーショントラッキング技術。
The distance measuring unit 1-b measures the distance from the camera to the user B. The following method can be considered as a specific distance measuring method.
a) Image processing technology using face recognition using a plurality of cameras and stereo matching.
b) Optical or magnetic motion tracking technology.
また、映像コミュニケーションにおいて人物がカメラ映像の中央にいることを前提条件とし、
ｃ）カメラのオートフォーカス機能によるフォーカス距離情報取得（特許文献２）、
を用いる。これらの技術を用いて、距離測定部１−ｂは、ディスプレイ面とユーザＢ間の距離Ｚを取得する。このとき、ディスプレイ面とユーザＢ間の距離Ｚは、ディスプレイ面からユーザＢへの法線の長さである。距離を取得できる手法は、上記の手法だけに限らず、他の手法であってもよい。
In video communication, it is assumed that a person is in the center of the camera video,
c) Acquisition of focus distance information by the autofocus function of the camera (Patent Document 2),
Is used. Using these techniques, the distance measuring unit 1-b acquires the distance Z between the display surface and the user B. At this time, the distance Z between the display surface and the user B is the length of the normal line from the display surface to the user B. The method for acquiring the distance is not limited to the above method, and may be another method.
次に、３次元画像生成部（ユーザＢ）１−ｃは、画像取得部（カメラ）１−ａによって撮影された、ユーザＢの２次元画像、並びに、距離測定部１−ｂによって取得された、ディスプレイ面とユーザＢの距離Ｚに基づいて、ユーザＢの２次元画像を、奥行き情報を持つユーザＢの３次元画像情報に変換して出力する。 Next, the three-dimensional image generation unit (user B) 1-c is acquired by the two-dimensional image of the user B taken by the image acquisition unit (camera) 1-a and the distance measurement unit 1-b. Based on the distance Z between the display surface and the user B, the two-dimensional image of the user B is converted into the three-dimensional image information of the user B having depth information and output.
本第１実施形態の特徴として、１対１の映像コミュニケーションにおいては、ディスプレイの正面から大きくユーザが動かないという前提条件の下、完全な３次元形状をもつ奥行き映像を生成するのではなく、入力された「ユーザＢの２次元画像」を、人物領域と背景領域とに分割し、書割のように平面レイヤのまま奥行き情報を付与し多層化する。 As a feature of the first embodiment, in one-to-one video communication, a depth video having a complete three-dimensional shape is not generated, but is input on the precondition that the user does not move greatly from the front of the display. The “two-dimensional image of the user B” is divided into a person area and a background area, and depth information is given as a plane layer like a book split to be multilayered.
図３は、本第１実施形態による３次元画像生成部１−ｃにおける処理を説明するためのフローチャートである。説明を簡単にするため、もっとも単純な構成である２層化の手法について具体的に述べる。まず、画像取得部１−ａによって撮影された「ユーザＢの２次元画像」と、距離情報取得部１−ｂから供給される、「ディスプレイ面とユーザＢの距離」を入力する（ステップＳ１）。 FIG. 3 is a flowchart for explaining processing in the three-dimensional image generation unit 1-c according to the first embodiment. In order to simplify the explanation, the two-layer method that is the simplest configuration will be specifically described. First, “two-dimensional image of user B” taken by the image acquisition unit 1-a and “distance between display surface and user B” supplied from the distance information acquisition unit 1-b are input (step S1). .
次に、「ディスプレイ面とユーザＢの距離」に基づいて、「ユーザＢの２次元画像」を、人物領域とその背景領域とに分割する（ステップＳ２）。２層化する際、前のレイヤが人物領域、後ろのレイヤが背景領域となる。人物領域と背景領域の分割には、ディスプレイが据え置きの映像コミュニケーションにおいては、背景が多くの場合で固定であるため背景差分を利用し、あらかじめ背景のみを撮影しておき、それをリファレンスとして差分を取得することで人物を抽出する。 Next, based on the “distance between the display surface and the user B”, the “two-dimensional image of the user B” is divided into a person region and its background region (step S2). When two layers are formed, the front layer is a person region and the back layer is a background region. For video communication with a stationary display, the background area is fixed in many cases, and the background difference is used to divide the person area and the background area. The person is extracted by acquiring.
また、距離画像センサを用いた距離情報や、温度画像センサによる人物の体温情報、顔認識を併用して領域分割の精度を向上することも考えられる。具体的な手法として、所定の範囲内に人物が存在し得る（例えば、ディスプレイが設置された部屋の場合には、ディスプレイから部屋の壁までの範囲内）場合には、ディスプレイの所定の位置を基準点とした人の存在範囲（該基準点から該部屋の壁までの範囲）を規定し、距離画像センサを用いて距離画像を取得し、人物が存在すると規定される範囲の距離を示す画素領域を該距離画像中の人物領域と判定する。 It is also conceivable to improve the accuracy of region division by using distance information using a distance image sensor, human body temperature information using a temperature image sensor, and face recognition. As a specific method, when a person can exist within a predetermined range (for example, in the case of a room where a display is installed, the range from the display to the wall of the room), the predetermined position of the display is set. Pixels that define a human presence range (a range from the reference point to the wall of the room) as a reference point, obtain a distance image using a distance image sensor, and indicate a distance in a range in which the person is defined to exist The area is determined as a person area in the distance image.
例えば、ディスプレイ面から、０〜３ｍまでの領域は、人物領域と判定し、３ｍ以上の領域は背景領域と判定する。また、温度画像センサの場合、同様に人物を示す温度範囲を規定して、同様な判定を行う。これらの複数センサから取得された複数の人物領域を候補として、各画素でボーティングして人物領域を最終的に判定する。具体的には、例えば、画像中のある画素で、各センサを用いた人物領域判定の論理積を取ることで、最終的な判定を行う。 For example, an area from 0 to 3 m from the display surface is determined as a person area, and an area of 3 m or more is determined as a background area. In the case of a temperature image sensor, a temperature range indicating a person is similarly defined and the same determination is performed. A plurality of person areas acquired from these sensors are used as candidates, and the person area is finally determined by voting with each pixel. Specifically, for example, the final determination is performed by taking the logical product of the person area determination using each sensor at a certain pixel in the image.
顔認識の利用用途は、上記処理などを行った後に、人物領域と判定される領域の候補が複数存在し、その中に人物以外のものが混在していたときに、２次元画像中の領域毎に顔認識を行い、顔抽出された領域のみを人物領域と判定する。これにより、誤って人物領域と判定された領域を排除することが可能であり、より頑健な人物領域抽出が可能となる。 The usage of face recognition is that an area in a two-dimensional image is present when there are a plurality of area candidates that are determined to be person areas after the above processing, etc., and there are objects other than persons in the area. Face recognition is performed every time, and only the face extracted area is determined as a person area. As a result, it is possible to exclude an area erroneously determined as a person area, and a more robust person area extraction can be performed.
その他、画像中の領域分割には様々な手法が提案されており、それらも利用可能である。 In addition, various methods for dividing an area in an image have been proposed and can be used.
なお、上記説明では、２層化についての方式を説明したが、さらに多層化する場合、距離や、温度の閾値を細かく設定し、距離画像や、温度画像の分割数を増やすことが考えられる。これにより、多層の書割レイヤを生成することが可能である。 In the above description, the method for two layers has been described. However, in the case of further multilayering, it is conceivable that the distance and the temperature threshold are set finely to increase the number of divisions of the distance image and the temperature image. Thereby, it is possible to generate a multi-level book splitting layer.
次に、２層化されたうち、背景領域の画像を入力として、新たな背景画像を生成する（ステップＳ３）。単純に１枚の元画像から人物領域を抜いた（減算した）ままだと、背景画像中の人物領域にあたる部分の画像が欠けてしまう。このため、欠落している背景画像の領域（以後、欠落領域）を過去の背景画像から補完する。該補完した背景画像が新たな背景領域の画像となる。 Next, among the two layers, a background image is input and a new background image is generated (step S3). If the person area is simply extracted (subtracted) from one original image, the image corresponding to the person area in the background image is lost. Therefore, the missing background image area (hereinafter, missing area) is complemented from the past background image. The complemented background image becomes an image of a new background area.
その他、背景が大きく変化しないと仮定し、事前に撮影した背景画像を背景レイヤとして使用してもよい。または、プライバシ保護の観点から、背景部分を実際とは違う画像と差し替えてもよい。その他、背景画像に用いる画像に特に制約は無く、一般的に考えられるあらゆる画像が利用可能である。 In addition, assuming that the background does not change significantly, a background image captured in advance may be used as the background layer. Or, from the viewpoint of privacy protection, the background portion may be replaced with a different image. In addition, the image used for the background image is not particularly limited, and any generally conceivable image can be used.
なお、上記ステップＳ１〜Ｓ３において、３次元画像の生成において多層のレイヤ表現について述べたが、ＴＯＦカメラ（距離画像測定カメラ）の距離画像からテクスチャを生成し、３次元モデルで表現することも可能である。 In the above steps S1 to S3, the multi-layer representation is described in the generation of the three-dimensional image. However, it is also possible to generate the texture from the distance image of the TOF camera (distance image measurement camera) and express it with the three-dimensional model. It is.
次に、上記生成された、人物領域の画像、背景画像に実寸の大きさ情報を付与する（ステップＳ４）。まず、各レイヤの画像の大きさ情報の算出方法について以下に述べる。ここで、図４は、本第１実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。このとき、人物レイヤαの画像の高さαｈ、幅αｗは、画像取得部１−ａ（カメラ）の画角（縦θｈ、横θｗ）、画像取得部１−ａから人物レイヤまでの距離Ｄ（画像取得部１−ａ（カメラ）とディスプレイ（ユーザＢ側の映像表示部）との位置関係を既知とし、「ディスプレイ面とユーザＢの距離」から算出）、カメラズーム率Ｚを用いて、次式（７）、（８）で算出される。 Next, actual size information is given to the generated image of the person area and the background image (step S4). First, a method for calculating image size information of each layer will be described below. Here, FIG. 4 is a conceptual diagram for explaining a method of calculating image size information of each layer in the first embodiment. At this time, the height α h and the width α w of the image of the person layer α are the angles of view (vertical θ h , horizontal θ w ) of the image acquisition unit 1-a (camera), and the person layer from the image acquisition unit 1-a. Distance D (calculated from the “distance between display surface and user B” assuming that the positional relationship between the image acquisition unit 1-a (camera) and the display (video display unit on the user B side) is known), the camera zoom rate Z Is calculated by the following equations (7) and (8).
次に、ディスプレイからの距離情報と実寸情報とを併せて奥行き情報とし、人物領域の画像と背景画像とに該奥行き情報を付与し、それぞれレイヤ化する（ステップＳ５）。以後、これらのレイヤを「人物レイヤ」、「背景レイヤ」と呼ぶ。この３次元画像情報が、「奥行き情報を持つユーザＢの３次元画像情報」として生成される。この３次元情報が、後述する映像表示部１−ｆで表示される。 Next, the distance information from the display and the actual size information are combined into depth information, and the depth information is added to the image of the person area and the background image, and each layer is formed (step S5). Hereinafter, these layers are referred to as “person layer” and “background layer”. This 3D image information is generated as “3D image information of user B having depth information”. This three-dimensional information is displayed on the video display unit 1-f described later.
このとき、ここでの距離と実際にユーザＡが知覚する映像中のユーザＢまでの距離は一致しない。例えば、図５に示すように、人物レイヤをディプレイから距離Ｄｕとしたとしても、実際には、ユーザＡは、距離Ｄｕに比べてディスプレイに近い距離（距離の短い位置）にユーザＢがいるように感じる。そのため、人間の実際の知覚距離とディスプレイから人物レイヤまでの距離の関係を考慮して、ユーザＡがユーザＢと任意の距離を感じるように、ディスプレイから人物レイヤまでの距離を制御する。また、ここでいう、ディスプレイから人物レイヤまでの距離を制御することは、ユーザＡの視点位置に応じた運動視差の視差量とディスプレイ上のユーザＢの人物サイズとを制御することと同等である。例えば、ディスプレイから人物レイヤまでの距離を大きくすることは、視差量を大きくし、人物サイズを小さくすることになる。 At this time, the distance here and the distance to the user B in the video actually perceived by the user A do not match. For example, as shown in FIG. 5, even a person layer as was the di play the distance D u, in fact, the user A, user B to the distance the distance closer to the display than the D u (distance short position) I feel like there is. For this reason, the distance from the display to the person layer is controlled so that the user A feels an arbitrary distance from the user B in consideration of the relationship between the actual perceived distance of the human and the distance from the display to the person layer. Also, controlling the distance from the display to the person layer here is equivalent to controlling the amount of motion parallax according to the viewpoint position of the user A and the person size of the user B on the display. . For example, increasing the distance from the display to the person layer increases the amount of parallax and decreases the person size.
ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）とユーザＡのユーザＢまでの知覚距離との関係は、被験者を用いた評価実験などからデータを収集し、それらを近似式で表すことができる。例えば、ディスプレイから人物レイヤまでの距離（すなわち、視差量とディスプレイ上の人物サイズ）を変化させて、被験者（ユーザＡに相当）に観察させ、被験者からユーザＢまでの距離感（知覚距離）を数値で回答させる。回答データは、数値で回答されるため、個人差が生じるため、それを補正する。 The relationship between the distance from the display to the person layer (that is, the amount of parallax and the person size on the display) and the perceived distance from the user A to the user B is obtained by collecting data from an evaluation experiment using a subject and approximating them. It can be expressed by a formula. For example, by changing the distance from the display to the person layer (that is, the amount of parallax and the person size on the display), the subject (corresponding to the user A) is observed, and the sense of distance from the subject to the user B (perceived distance) Let them answer numerically. Since the answer data is answered numerically, there is a difference between individuals, which is corrected.
図６は、実際の知覚距離に対してそれらの回答データをプロットした例を示す図である。図６において、横軸は、ユーザＡの知覚距離Ｄ、縦軸は、ディスプレイから人物レイヤまでの距離Ｓである。図中の破線Ｌ１は、ディスプレイと人物レイヤの距離＝ユーザＡの知覚距離と仮定したときに描かれる線（すなわち、Ｓ＝Ｄ）、×印が回答された実データ、実線Ｌ２がその近似線である。 FIG. 6 is a diagram showing an example in which those answer data are plotted against the actual perceived distance. In FIG. 6, the horizontal axis represents the perceived distance D of the user A, and the vertical axis represents the distance S from the display to the person layer. The broken line L1 in the figure is a line drawn when assuming that the distance between the display and the person layer = the perceived distance of the user A (ie, S = D), the actual data to which the X mark is answered, and the solid line L2 is the approximate line It is.
この近似式をＳ＝ｆ（Ｄ，α）（※αは、ユーザからディスプレイまでの距離や、ディスプレイサイズなどによって変化する値である。これらの要因によってもユーザが感じる距離感は変化する）で表す。Ｓ＝ｆ（Ｄ，α）は、２次方程式Ｓ＝α＊（ａｘ２＋ｂｘ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（９）を満たす全ての実数）、もしくは１次方程式Ｓ＝α＊（ａｘ＋ｂ）（但し、数式（１０）を満たす全ての実数）、指数関数を用いた式Ｓ＝α＊（ａＤ＋ｂ）＋ｃ（但し、数式（１１）であるとき）などの形で表される。 This approximate expression is S = f (D, α) (* α is a value that varies depending on the distance from the user to the display, the display size, etc. The sense of distance that the user feels also varies depending on these factors). Represent. S = f (D, α) is a quadratic equation S = α * (ax 2 + bx + c) (where 0 <α and a, b, c are all real numbers satisfying the following equation (9)), or 1 The following equation S = α * (ax + b) (where all real numbers satisfy the equation (10)), the equation S = α * (a D + b) + c using the exponential function (when the equation (11)) It is expressed in the form of
α×（ａＤ ２＋ｂＤ＋ｃ）≧Ｄ ・・・（９） α × (a D 2 + b D + c) ≧ D (9)
０＜α かつ ａ，ｂはα×（ａＤ＋ｂ）≧Ｄ ・・・（１０） 0 <α and a and b are α × (a D + b) ≧ D (10)
１＜α、０＜ａ、Ｓ＝α×（ａＤ＋ｂ）＋ｃ≧０ ・・・（１１） 1 <α, 0 <a, S = α × (a D + b) + c ≧ 0 (11)
上記近似式を用いれば、ユーザに対して対話相手が任意の位置Ｄｉ（ディスプレイ位置を基準として）にいるように感じさせるためには、ディスプレイに人物をどの程度のサイズで表示すべきか、距離Ｓｉを決定することが可能である。すなわち、ディスプレイから人物レイヤまでの距離を、幾何学計算によって算出される距離（図６の点線）より大きく、かつ、知覚距離が大きくなるほどその大きさの差が大きくなるように決定すればよい。観測される実データから近似式Ｓ＝ｆ（Ｄ，α）を算出する方法は、一般的なあらゆる手法が適用可能であり、さらに式ｆ（Ｄ，α）の形や、次元に制約はない。 Using the above approximate expression, in order to make the user feel that the conversation partner is at an arbitrary position D i (based on the display position), the size of the person to be displayed on the display, the distance S i can be determined. That is, the distance from the display to the person layer may be determined to be larger than the distance calculated by geometric calculation (dotted line in FIG. 6), and the difference in size increases as the perceived distance increases. Any general method can be applied to calculate the approximate expression S = f (D, α) from the observed actual data, and there is no restriction on the form or dimension of the expression f (D, α). .
ここで算出されたＳｉを人物レイヤの奥行き情報とする。また、背景レイヤの奥行きは、任意の値（但し、人物レイヤより奥行き位置が遠いこと）を用いる。但し、ステップＳ３において、背景レイヤの距離情報が取得できていた場合、その距離を用いて値を決めることもできる。 Let S i calculated here be the depth information of the person layer. The depth of the background layer uses an arbitrary value (however, the depth position is farther than the person layer). However, when the distance information of the background layer has been acquired in step S3, the value can be determined using the distance.
図７は、実際に、生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。図７において、距離１．０ｍの位置に人物レイヤ、距離３．０ｍの位置に背景レイヤが配置されている。この奥行きに応じて配置された多層レイヤの情報は、各レイヤの２Ｄ画像データ、各レイヤ面とディスプレイ間の距離、各レイヤの縦・横サイズ（αｈ，αｗ）であり、これらの「奥行き情報を持つユーザＢの３次元画像情報」が出力される。「奥行き情報を持つユーザＢの３次元画像情報」は、各レイヤの２Ｄ画像データ＋Ｄ＋αｈ＋αｗである。 FIG. 7 is a conceptual diagram illustrating an example of “three-dimensional image information of user B having depth information” that is actually generated. In FIG. 7, a person layer is disposed at a distance of 1.0 m, and a background layer is disposed at a distance of 3.0 m. The information of the multilayer layers arranged according to the depth includes 2D image data of each layer, the distance between each layer surface and the display, and the vertical and horizontal sizes (α h , α w ) of each layer. “3D image information of user B having depth information” is output. “3D image information of user B having depth information” is 2D image data + D + α h + α w of each layer.
次に、視点位置検出部（ユーザＡ）１−ｄは、顔認識およびステレオマッチングを用いた画像処理技術や、光学式または磁気式のモーショントラッキング技術等を用いて、ユーザの視点（目）位置がどこにあるかのユーザの視点位置Ｖ（ｖｘ，ｖｙ，ｖｚ）を取得し、出力する。視点位置画像生成部（ユーザＡ）１−ｅは、ディスプレイ位置に対するユーザＡの視点位置と、奥行き情報を持つユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像（「ユーザＡの視点位置に応じた２次元画像」）を生成する。 Next, the viewpoint position detection unit (user A) 1-d uses the image processing technique using face recognition and stereo matching, the optical or magnetic motion tracking technique, and the like to detect the viewpoint (eye) position of the user. The user's viewpoint position V (v x , v y , v z ) of where is is obtained and output. The viewpoint position image generation unit (user A) 1-e displays a video (“user” displayed on the display surface of the user A from the viewpoint position of the user A with respect to the display position and the three-dimensional image information of the user B having depth information. A two-dimensional image corresponding to the viewpoint position of A ”) is generated.
ここで、図８は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するためのフローチャートである。また、図９は、本第１実施形態による視点位置画像生成部１−ｅの動作を説明するための概念図である。「ユーザの視点位置に応じた２次元画像」は、図９に示すように「奥行き情報を持つユーザＢの３次元画像情報」を、「ディスプレイ位置に対するユーザＡの視点位置」を基点に、ユーザＡのディスプレイ面に透視投影などの射影変換を行うことで生成される（ステップＳ２０）。 Here, FIG. 8 is a flowchart for explaining the operation of the viewpoint position image generation unit 1-e according to the first embodiment. FIG. 9 is a conceptual diagram for explaining the operation of the viewpoint position image generation unit 1-e according to the first embodiment. As shown in FIG. 9, the “two-dimensional image corresponding to the user's viewpoint position” is based on “the three-dimensional image information of user B having depth information” and “the viewpoint position of user A with respect to the display position” as a base point. It is generated by performing projective transformation such as perspective projection on the display surface of A (step S20).
まず、「ディスプレイ位置に対するユーザＡの視点位置」、「奥行き情報を持つユーザＢの３次元画像情報」、ユーザＡのディスプレイの座標系を統一する。このとき、座標系は実寸のサイズ情報を有する。ここで、ユーザＡのディスプレイサイズが必要となる。 First, the “viewpoint position of user A with respect to the display position”, “three-dimensional image information of user B having depth information”, and the coordinate system of the display of user A are unified. At this time, the coordinate system has actual size information. Here, the display size of the user A is required.
次に、実際の透視変換の一例を示す。ディスプレイの中心を座標系の原点Ｏ（０，０，０）とし、座標ディスプレイ面の横方向にｘ軸、縦方向にｙ軸、ディスプレイ面の法線をｚ軸とし、ユーザ位置とは逆向きを正の方向とする。ユーザの視点位置をＶ（ｖｘ，ｖｙ，ｖｚ）（但し、ｖｚ＜０）としたとき、ディスプレイ面上の点Ｄ（ｘ，ｙ，ｚ）に投影されるべき、あるレイヤｉの点Ｈｉ（ｈｘ，ｈｙ，ｈｚ）は、次式（１２）により算出される。 Next, an example of actual perspective transformation is shown. The center of the display is the origin O (0, 0, 0) of the coordinate system, the x-axis is the horizontal direction of the coordinate display surface, the y-axis is the vertical direction, and the normal of the display surface is the z-axis. Is the positive direction. When the user's viewpoint position is V (v x , v y , v z ) (where v z <0), a certain layer i to be projected onto the point D (x, y, z) on the display surface The point H i (h x , h y , h z ) is calculated by the following equation (12).
なお、数式（１２）の変換行列式中の座標は、実寸の情報を有する座標系ということを前提としている。 The coordinates in the transformation determinant of Expression (12) are premised on a coordinate system having actual size information.
この処理を、ディスプレイ面上の各画素において、「奥行き情報を持つユーザＢの３次元画像情報」の各画像レイヤに対して行う。また、その他、平行投影といった一般的な射影変換の手法も利用可能である。 This process is performed for each image layer of “user B's three-dimensional image information having depth information” in each pixel on the display surface. In addition, a general projective transformation technique such as parallel projection can be used.
このとき、人物レイヤ中でディスプレイ面上に投影するのは人物領域のみとする。また、複数のレイヤの点がディスプレイ面に投影される場合、最も前面のレイヤのみを投影して表示する。また、計算量を軽くするために、各画像レイヤの前面（ディスプレイに対して）から、ディスプレイに射影されるべき点を計算し、あるレイヤ中に射影される点がある場合、このレイヤより後ろのレイヤに対しては計算を行わない。 At this time, only the person area is projected on the display surface in the person layer. In addition, when points of a plurality of layers are projected on the display surface, only the foremost layer is projected and displayed. In order to reduce the amount of calculation, the points to be projected on the display are calculated from the front of each image layer (with respect to the display). The calculation is not performed for the layer.
また、上述したように、最も前面のレイヤのみ投影することせずに、全レイヤを投影することとし、該当する点の透明度（α値）を任意に設定し、複数のレイヤを透かせて見えることで、背景情報など、実際には見えない背景情報も可視化することで、背景情報を伝達するようにすることも考えられる。 In addition, as described above, all the layers are projected without projecting only the foremost layer, and the transparency (α value) of the corresponding point is arbitrarily set, and the plurality of layers are seen through. Thus, it is also possible to communicate background information by visualizing background information that is not actually visible, such as background information.
最後に、映像表示部１５は、映像生成部１−ｆは、生成された映像、すなわち、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。 Finally, the video display unit 15 displays the generated video, that is, the two-dimensional image of the user B corresponding to the viewpoint position of the user A.
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、上述した、ｉｉ）対話相手（ユーザＢ）の位置を検出し、検出される位置に合わせて距離を表現する機能を実現する。これは、２地点での映像コミュニケーションにおいて、互いのディスプレイを１枚の窓（ディスプレイを２つの空間の境界面）に見立てて、空間を窓越しに互いが覗いているかのように、互いの距離感を再現する技術である。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
In the second embodiment, the above-described function ii) detects the position of the conversation partner (user B) and expresses the distance according to the detected position. This is because, in video communication at two points, each other's display is viewed as a window (the boundary between the two spaces), and the distance between each other is as if they are looking through each other through the window. This technology reproduces the feeling.
例えば、ユーザＢがユーザＢのディスプレイの前方２ｍの位置にいたとする。この場合、ユーザＡは、ユーザＡのディスプレイ上に映っているユーザＢを観察したとき、ユーザＢがユーザＡのディスプレイ後方２ｍの位置にいるように感じさせることを実現する。これを実現するためには、例えば、ディプレイの中心にカメラレンズがある場合には、視点位置検出部（ユーザＡ）１−ｄ内のパラメータであるＤｉ（ステップＳ５）に、距離測定部１−ｂで取得されるＺを代入（Ｄｉ＝Ｚ）すれば良い。 For example, it is assumed that the user B is at a position 2 m ahead of the display of the user B. In this case, when the user A observes the user B reflected on the display of the user A, the user A realizes that the user B feels at a position 2 m behind the display of the user A. In order to realize this, for example, when there is a camera lens at the center of the display, the distance measurement unit is added to D i (step S5) which is a parameter in the viewpoint position detection unit (user A) 1-d. Substitute Z (D i = Z) acquired in 1-b.
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、上述した、ｉｉｉ）常にユーザとユーザＢの距離を任意の距離に一定に保つ機能を実現する。これは、２地点での映像コミュニケーションにおいて、ユーザＢとの距離感を一定に保つ技術である。例えば、ユーザＡがユーザＡのディプレイに対して前後に大きく動いたり、ユーザＢが大きく動いてしまった際にも、ユーザＡから映像中のユーザＢを観察したときに、常に同じ距離にユーザＢがいるように感じさせる技術である。
C. Third Embodiment Next, a third embodiment of the present invention will be described.
In the third embodiment, as described above, iii) the function of constantly maintaining the distance between the user and the user B at an arbitrary distance is realized. This is a technique for maintaining a constant sense of distance from the user B in video communication at two points. For example, even when the user A moves greatly back and forth with respect to the display of the user A or when the user B moves greatly, when the user B in the video is observed from the user A, the user is always at the same distance. It is a technology that makes you feel like you have B.
一定に保たれる距離の決定方法としては、ユーザＡが映像中のユーザＢに対する距離を決定することと、ユーザＢが決定すること、または、２人の望む距離の中間を利用することが考えられる。例えば、ユーザＢがユーザＡに怒っているとき、ユーザＡは、できるだけユーザＢを遠くにすることができ、また、ユーザＢは、より切迫感や、圧迫感を与えるためにユーザＢ自身の映像をユーザＡに近づけることができる。 As a method for determining the distance to be kept constant, it is conceivable that the user A determines the distance to the user B in the video, the user B determines, or uses the middle of the distance desired by the two users. It is done. For example, when the user B is angry at the user A, the user A can make the user B as far away as possible, and the user B can further increase the sense of urgency and pressure. Can be brought closer to the user A.
また、両者がこのように相反することを望んだ場合、これらの中間地点を選択する。このとき、他にも時間的に距離をシステム側で切り替えるなど様々な方法が考えられる。また、距離の選択は、リモコンなどを用いてシステムにユーザ自身がそれぞれ入力を行う（後述する距離選択部（ユーザＡ）１−ｆ、距離選択部（ユーザＢ）１−ｇ）。 Moreover, when both want to be in conflict with each other, the intermediate point is selected. At this time, various other methods such as switching the distance on the system side in time can be considered. The distance is selected by the user himself / herself using a remote controller or the like (distance selection unit (user A) 1-f, distance selection unit (user B) 1-g described later).
図１０は、本発明の第３実施形態によるコミュニケーション装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。説明を簡易にするために、ディプレイの中心にカメラレンズがあったときを考える。上述した、ｉｉ）のシステム構成に加えて、図１０に示すように、距離測定部（ユーザＡ）１-ｂ’を追加する。また、ユーザＡが映像中のユーザＢに対する距離を決定するための距離選択部（ユーザＡ）１−ｆ、ユーザＢが映像中のユーザＡに対する距離を決定するための距離選択部（ユーザＢ）１−ｇを備えている。 FIG. 10 is a block diagram showing a configuration of a communication apparatus according to the third embodiment of the present invention. It should be noted that portions corresponding to those in FIG. To simplify the explanation, consider the case where there was a camera lens at the center of the display. In addition to the system configuration of ii) described above, a distance measurement unit (user A) 1-b ′ is added as shown in FIG. Also, a distance selection unit (user A) 1-f for determining the distance to the user B in the video by the user A, and a distance selection unit (user B) for the user B to determine the distance to the user A in the video 1-g.
前述した通り、本第３実施形態においても、図１０に示す構成を２セット用意し、双方向で使用する。距離測定部（ユーザＡ）１−ｂ’は、相手側（２セットある内の一方の側）の距離測定部１−ｂに相当し、カメラからユーザＡまでの距離ＤＡ（今回は、カメラ位置＝ディスプレイ位置）を測定する。また、相手側の距離測定部１−ｂで取得される、カメラからユーザＢまでの距離をＤＢとする。 As described above, also in the third embodiment, two sets of the configuration shown in FIG. 10 are prepared and used bidirectionally. The distance measuring unit (user A) 1-b ′ corresponds to the distance measuring unit 1-b on the other side (one of the two sets), and the distance D A from the camera to the user A (this time the camera Measure position = display position). Also, it is obtained by the distance measuring unit 1-b of the mating, the distance from the camera to the user B and D B.
このとき、３次元情報生成部１−ｃにおけるパラメータであるＤｉ（ステップＳ５）に、一定に保つユーザと対話相手との距離ＤＡＢから、ユーザＡとディプレイとの距離ＤＡを減算した値を代入すれば良い。すなわち、Ｄｉ＝ＤＡＢ−ＤＡとなる。ここで、カメラとディスプレイとの中心位置がずれていた場合には、カメラ座標系をディスプレイを中心とする座標系に変換して計算する必要がある。 At this time, the D i (step S5) is a parameter in the three-dimensional information generating section 1-c, the distance D AB and dialogue partner and the user to be kept constant, by subtracting the distance D A user A and di play Assign a value. That is, the D i = D AB -D A. Here, when the center positions of the camera and the display are shifted, it is necessary to calculate by converting the camera coordinate system to a coordinate system centered on the display.
上述した第１実施形態によれば、対面会話において、話しやすさや、緊張感に影響を与える重要な要素である、対話相手（ユーザＢ）との距離を任意に制御することができる。 According to the first embodiment described above, in face-to-face conversation, it is possible to arbitrarily control the distance to the conversation partner (user B), which is an important factor affecting the ease of speaking and the tension.
また、上述した第２実施形態によれば、対面会話と同様に、互いの実距離に合わせて互いに同じ対人距離を感じさせることができる。さらに、互いが同じ距離を共有しているため、自然に対人距離を適度に調節することや、距離の遠近によってもたらせる緊張感が感じさせられる。また、相手の映像中に映っている物を指差ししたときに、相手は、その指差しを観察して、何を指しているのか（指示対象が何かを）正しく理解することができる。 Moreover, according to 2nd Embodiment mentioned above, it can feel the same interpersonal distance mutually according to a mutual real distance similarly to the face-to-face conversation. Furthermore, since each other shares the same distance, it is possible to feel the tension that can be brought about by adjusting the interpersonal distance appropriately and the distance. Further, when pointing at an object shown in the other party's video, the other party can observe the pointing and correctly understand what he / she is pointing (what the instruction target is).
また、上述した第３実施形態によれば、対話相手との対人距離を適度に調節することができる。すなわち、常にユーザが対話相手と望ましい（好みの）距離感に調節して会話することができる。さらに、対話相手が感じる自分自身の映像との距離感を制御することが可能であるため、対話相手に威圧感を与えたり、印象や、圧迫感を調整することができる。 In addition, according to the above-described third embodiment, the interpersonal distance with the conversation partner can be appropriately adjusted. That is, the user can always talk with the conversation partner while adjusting to a desired (preferred) sense of distance. Furthermore, since it is possible to control the sense of distance from the user's own image that the conversation partner feels, it is possible to give a sense of intimidation to the conversation partner and to adjust the impression and the feeling of pressure.
１−ａ 画像取得部
１−ｂ、１−ｂ’ 距離測定部
１−ｃ ３次元情報生成部
１−ｄ 視点位置検出部
１−ｅ 視点位置画像生成部
１−ｆ 映像表示部
１−ｇ 距離選択部（ユーザＡ）
１−ｈ 距離選択部（ユーザＢ）
1-a Image acquisition unit 1-b, 1-b ′ distance measurement unit 1-c 3D information generation unit 1-d viewpoint position detection unit 1-e viewpoint position image generation unit 1-f video display unit 1-g distance Selection unit (User A)
1-h Distance selection unit (user B)
Claims (7)
対話相手とその背景とを含む２次元画像を撮影する画像取得手段と、
前記対話相手と前記画像取得手段との距離を測定する距離測定手段と、
前記画像取得手段により撮影された前記２次元画像と、前記距離測定手段により測定された前記対話相手と前記画像取得手段との距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と、
当該装置側のユーザの視点位置を検出する視点位置検出手段と、
前記視点位置検出手段により検出された、当該装置側のユーザの視点位置と、前記３次元画像生成手段により生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成手段と、
前記視点位置画像生成手段により生成された前記対話相手側の２次元画像を表示する表示手段と
を備え、
前記３次元画像生成手段は、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α×（ａＤ ２＋ｂＤ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（１）を満たす任意の実数）、もしくは１次方程式Ｓ＝α×（ａＤ＋ｂ）（但し、数式（２）を満たす任意の実数）、もしくは指数関数を用いた式Ｓ＝α×（ａＤ＋ｂ）＋ｃ（但し、数式（３）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とするコミュニケーション装置。
α×（ａＤ ２＋ｂＤ＋ｃ）≧Ｄ ・・・（１）
０＜α かつ ａ，ｂはα×（ａＤ＋ｂ）≧Ｄ ・・・（２）
１＜α、０＜ａ、Ｓ＝α×（ａＤ＋ｂ）＋ｃ≧０ ・・・（３） A communication device for two-way communication of information including each other's images between two points,
Image acquisition means for capturing a two-dimensional image including a conversation partner and its background;
Distance measuring means for measuring the distance between the conversation partner and the image acquiring means;
Based on the two-dimensional image photographed by the image acquisition means and the distance between the conversation partner and the image acquisition means measured by the distance measurement means, the user on the device side and the image of the conversation partner And a multi-layer consisting of the conversation partner and the background so that the larger the perceived distance perceived by the user on the device side is, the larger the difference in size is. 3D image generation means for generating a 3D image divided into images;
Viewpoint position detecting means for detecting the viewpoint position of the user on the apparatus side;
The viewpoint position of the user on the apparatus side detected by the viewpoint position detecting means, and the three-dimensional image divided by the three-dimensional image generated by the three-dimensional image generating means and divided into multilayer images composed of the conversation partner and the background. A viewpoint position image generating means for generating a two-dimensional image of the conversation partner,
Display means for displaying the two-dimensional image of the conversation partner side generated by the viewpoint position image generation means;
With
The three-dimensional image generation means includes
When the distance between the user on the device side and the image of the conversation partner is S = f (D, α),
Quadratic equation S = α × (a D 2 + b D + c) (where 0 <α and a, b, c are arbitrary real numbers satisfying the following equation (1)), or linear equation S = α × ( a D + b) (however, an arbitrary real number satisfying the mathematical expression (2)) or the expression S = α × (a D + b) + c (however, when the mathematical expression (3) is satisfied) using the exponential function features and to Turkey Myunikeshon device that calculates the distance between the side of the user image of the dialogue partner.
α × (a D 2 + b D + c) ≧ D (1)
0 <α and a and b are α × (a D + b) ≧ D (2)
1 <α, 0 <a, S = α × (a D + b) + c ≧ 0 (3)
前記知覚距離として、前記距離測定手段により測定された、前記対話相手と前記画像取得手段との距離を用いる、
ことを特徴とする請求項１に記載のコミュニケーション装置。 The three-dimensional image generation means includes
As the perceptual distance, a distance between the conversation partner and the image acquisition unit measured by the distance measurement unit is used.
The communication device according to claim 1 .
前記ユーザと前記表示手段により表示される前記対話相手との距離を前記ユーザの入力操作によって選択する距離選択手段と
を更に備え、
前記３次元画像生成手段は、
前記知覚距離として、前記距離選択手段により選択された前記距離から、前記第２の距離測定手段により測定された距離を減算した値を用いて、前記３次元画像を生成する
ことを特徴とする請求項２に記載のコミュニケーション装置。 And second distance measuring means for measuring the distance between the display unit and the user,
Anda distance selecting means you select the distance between the dialogue partner to be displayed by the display means and the user by an input operation of the user,
The three-dimensional image generation means includes
As the perceived distance, from the distance selected by the distance selection means, using said second distance value obtained by subtracting the distance measured by the measuring means, and generates the three-dimensional image The communication device according to claim 2 .
対話相手とその背景とを含む２次元画像をカメラで撮影する画像取得ステップと、
前記対話相手と前記カメラとの距離を測定する距離測定ステップと、
前記画像取得ステップで撮影された前記２次元画像と、前記距離測定ステップで測定された前記対話相手と前記カメラとの距離とに基づいて、当該装置側のユーザと前記対話相手の画像との距離を幾何学計算によって算出される距離より大きく、かつ、当該装置側のユーザが感じる知覚距離が大きくなるほど、その大きさの差が大きくなるように、前記対話相手とその背景とからなる多層画像に分割した３次元画像を生成する３次元画像生成ステップと、
当該装置側のユーザの視点位置を検出する視点位置検出ステップと、
前記視点位置検出ステップで検出された、当該装置側のユーザの視点位置と、前記３次元画像生成ステップで生成された、前記対話相手とその背景とからなる多層画像に分割した３次元画像とに基づいて、前記対話相手側の２次元画像を生成する視点位置画像生成ステップと、
前記視点位置画像生成ステップで生成された前記対話相手側の２次元画像を表示手段に表示する表示ステップと
を含み、
前記３次元画像生成ステップは、
当該装置側のユーザと前記対話相手の画像との距離をＳ＝ｆ（Ｄ，α）としたとき、
２次方程式Ｓ＝α×（ａＤ ２＋ｂＤ＋ｃ）（但し、０＜αかつａ，ｂ，ｃは、次式（４）を満たす任意の実数）、もしくは１次方程式Ｓ＝α×（ａＤ＋ｂ）（但し、数式（５）を満たす任意の実数）、もしくは指数関数を用いた式Ｓ＝α×（ａＤ＋ｂ）＋ｃ（但し、数式（６）であるとき）に従って、当該装置側のユーザと前記対話相手の画像との距離を算出することを特徴とするコミュニケーション方法。
α×（ａＤ ２＋ｂＤ＋ｃ）≧Ｄ ・・・（４）
０＜α かつ ａ，ｂはα×（ａＤ＋ｂ）≧Ｄ ・・・（５）
１＜α、０＜ａ、Ｓ＝α×（ａＤ＋ｂ）＋ｃ≧０ ・・・（６） A communication method for two-way communication of information including each other's images between two points,
An image acquisition step of capturing a two-dimensional image including a conversation partner and its background with a camera;
A distance measuring step for measuring a distance between the conversation partner and the camera;
Based on the two-dimensional image captured in the image acquisition step and the distance between the conversation partner and the camera measured in the distance measurement step, the distance between the user on the apparatus side and the image of the conversation partner Is larger than the distance calculated by geometric calculation and the perceived distance perceived by the user on the device side becomes larger, so that the difference in size becomes larger. A three-dimensional image generation step for generating a divided three-dimensional image;
A viewpoint position detecting step for detecting the viewpoint position of the user on the device side;
The viewpoint position of the user on the apparatus side detected in the viewpoint position detection step, and the three-dimensional image divided in the multilayer image composed of the conversation partner and the background generated in the three-dimensional image generation step. A viewpoint position image generating step for generating a two-dimensional image of the conversation partner,
A display step of displaying on the display means the two-dimensional image of the conversation partner side generated in the viewpoint position image generation step;
Including
The three-dimensional image generation step includes
When the distance between the user on the device side and the image of the conversation partner is S = f (D, α),
Quadratic equation S = α × (a D 2 + b D + c) (where 0 <α and a, b, c are arbitrary real numbers satisfying the following equation (4)), or linear equation S = α × ( a D + b) (however, an arbitrary real number satisfying Expression (5)) or the expression S = α × (a D + b) + c (however, when Expression (6) is used) using the exponential function features and to Turkey Myunikeshon method to calculate the distance between the side of the user image of the dialogue partner.
α × (a D 2 + b D + c) ≧ D (4)
0 <α and a and b are α × (a D + b) ≧ D (5)
1 <α, 0 <a, S = α × (a D + b) + c ≧ 0 (6)
前記知覚距離として、前記距離測定ステップで測定された、前記対話相手と前記カメラとの距離を用いる、
ことを特徴とする請求項４に記載のコミュニケーション方法。 The three-dimensional image generation step includes
Using the distance between the conversation partner and the camera measured in the distance measurement step as the perceptual distance,
The communication method according to claim 4 .
前記ユーザと前記表示手段により表示される前記対話相手との距離を前記ユーザの入力操作によって選択する距離選択ステップと
を更に含み、
前記３次元画像生成ステップは、
前記知覚距離として、前記距離選択ステップで選択された距離から、前記第２の距離測定ステップで測定された距離を減算した値を用いて、前記３次元画像を生成する
ことを特徴とする請求項５に記載のコミュニケーション方法。 A second distance measuring step for measuring a distance between the user and the display means;
Further comprising a distance selecting step you selected by the input operation of the distance between the dialogue partner displayed user by the display unit and the user,
The three-dimensional image generation step includes
Claims as the perceived distance from the distance selected by the distance selection step, using the value obtained by subtracting the been distance measured by the second distance measuring step, and generates the three-dimensional image Item 6. The communication method according to Item 5 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010230757A JP5520774B2 (en) | 2010-10-13 | 2010-10-13 | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010230757A JP5520774B2 (en) | 2010-10-13 | 2010-10-13 | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012085172A JP2012085172A (en) | 2012-04-26 |
| JP5520774B2 true JP5520774B2 (en) | 2014-06-11 |
Family
ID=46243546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010230757A Active JP5520774B2 (en) | 2010-10-13 | 2010-10-13 | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5520774B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9083844B2 (en) | 2012-06-01 | 2015-07-14 | Nintendo Co., Ltd. | Computer-readable medium, information processing apparatus, information processing system and information processing method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3032414B2 (en) * | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | Image processing method and image processing apparatus |
| DE60237834D1 (en) * | 2001-08-15 | 2010-11-11 | Koninkl Philips Electronics Nv | 3D VIDEO CONFERENCE SYSTEM |
| US6583808B2 (en) * | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
| JP2004282431A (en) * | 2003-03-17 | 2004-10-07 | Matsushita Electric Ind Co Ltd | Television telephone call system |
| JPWO2009119288A1 (en) * | 2008-03-25 | 2011-07-21 | コニカミノルタホールディングス株式会社 | Communication system and communication program |
| JP5183277B2 (en) * | 2008-04-03 | 2013-04-17 | 三菱電機株式会社 | Stereoscopic image display device |
-
2010
- 2010-10-13 JP JP2010230757A patent/JP5520774B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012085172A (en) | 2012-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5237234B2 (en) | Video communication system and video communication method | |
| CN108369742B (en) | Optimized object scanning using sensor fusion | |
| US9607439B2 (en) | Information processing apparatus and information processing method | |
| JP5833526B2 (en) | Video communication system and video communication method | |
| US10884576B2 (en) | Mediated reality | |
| WO2013175700A1 (en) | Information processing device and information processing method | |
| JP2008210276A (en) | Method and device for generating three-dimensional model information | |
| CN110956695A (en) | Information processing apparatus, information processing method, and storage medium | |
| EP3286601A1 (en) | A method and apparatus for displaying a virtual object in three-dimensional (3d) space | |
| JP5478357B2 (en) | Display device and display method | |
| JP2022522504A (en) | Image depth map processing | |
| US11194439B2 (en) | Methods, apparatus, systems, computer programs for enabling mediated reality | |
| JP2022058753A (en) | Information processing apparatus, information processing method, and program | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| JP2011113206A (en) | System and method for video image communication | |
| JP5520774B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| JP2012105172A (en) | Image generation device, image generation method, computer program, and record medium | |
| JP5833525B2 (en) | Video communication system and video communication method | |
| US20210327121A1 (en) | Display based mixed-reality device | |
| JP5485102B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| JPH03296176A (en) | High-speed picture generating/displaying method | |
| WO2020036114A1 (en) | Image processing device, image processing method, and program | |
| KR101779423B1 (en) | Method and apparatus for processing image | |
| Ishihara et al. | Integrating both parallax and latency compensation into video see-through head-mounted display | |
| JP6613099B2 (en) | Program, computer and head-mounted display system for stereoscopic display of virtual reality space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130123 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5520774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |