JPH0690445A - Video input/output device - Google Patents
Video input/output deviceInfo
- Publication number
- JPH0690445A JPH0690445A JP4240969A JP24096992A JPH0690445A JP H0690445 A JPH0690445 A JP H0690445A JP 4240969 A JP4240969 A JP 4240969A JP 24096992 A JP24096992 A JP 24096992A JP H0690445 A JPH0690445 A JP H0690445A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- input
- output device
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、映像入出力装置の使用
性の向上に係り、特に、テレビ電話等に使用されて、自
然な使用感を得るのに好適な映像入出力装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to improving the usability of a video input / output device, and more particularly to a video input / output device suitable for use in a videophone or the like to obtain a natural feeling of use.
【０００２】[0002]
【従来の技術】従来、デスクトップ型の筐体にカメラと
ディスプレイを内蔵し、映像の入出力を行い、双方向に
映像の通信が可能なテレビ電話が公知である。このよう
なテレビ電話は、前記カメラとディスプレイを比較的近
くに位置させて、使用者が相手と向かい合って話合いを
行う場合に近い感覚でコミュニケーションができるよう
に構成されている。2. Description of the Related Art Heretofore, there has been known a videophone in which a camera and a display are built in a desktop type casing to input and output video and bidirectionally communicate video. Such a videophone is configured such that the camera and the display are located relatively close to each other, and communication can be performed with a feeling similar to that when a user faces and talks with the other party.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記従
来の技術によれば、カメラとディスプレイの位置が完全
に同じ位置ではないので、使用者がカメラを見ずに、デ
ィスプレイに表示された対話の相手を見ながら使用する
と、使用者同士の視線が一致しない可能性が有る。従っ
て、直に（装置を介さずに）向かい合って話合いを行う
場合と違い、ディスプレイに表示された対話の相手の視
線が、ディスプレイを見る使用者の視線と合わない場合
が生じる。このために、使用者の使用感に悪影響を与え
る可能性が有った。However, according to the above-mentioned conventional technique, the positions of the camera and the display are not completely the same, so that the user does not look at the camera and the other party of the dialogue displayed on the display. When using while watching, there is a possibility that the eyes of the users do not match. Therefore, unlike the case where the conversation is performed face to face (without the intervention of the device), the line of sight of the conversation partner displayed on the display may not match the line of sight of the user who is looking at the display. For this reason, the user's feeling of use may be adversely affected.
【０００４】本発明の目的は、上記従来の技術における
問題点を改善し、テレビ電話等において、ディスプレイ
に表示された人の視線と、ディスプレイを見る人の視線
とを一致させる事により、自然な使用感を得ることであ
る。An object of the present invention is to improve the above-mentioned problems in the prior art and to make a line of sight of a person displayed on a display and a line of sight of a person who sees the display coincide with each other in a videophone or the like. It is to get a feeling of use.
【０００５】[0005]
【課題を解決するための手段】上記目的を達成するた
め、本発明によれば、少なくとも人物の顔を被写体とす
る映像情報を入力する入力手段と、入力された映像情報
に基づいて、被写体の人物の顔の向きもしくは視線の方
向うちの少なくとも一方を、入力された映像情報中の顔
の向きもしくは視線の方向より変化させた映像を示す映
像情報を生成する補正手段と、生成した映像情報を出力
する出力手段とを備えることができる。In order to achieve the above object, according to the present invention, an input means for inputting at least video information of a human face as a subject, and an object of the subject based on the input video information. At least one of the face direction and the line-of-sight direction of a person is generated from the input image information in accordance with the face direction or the line-of-sight direction. And an output means for outputting.
【０００６】また、この出力手段は、生成した映像情報
を、通信回線を介して他装置へ出力することもできる。The output means can also output the generated video information to another device via a communication line.
【０００７】さらに、入力手段は、生成した映像情報
を、通信回線を介して他装置より入力することもでき
る。Furthermore, the input means can also input the generated video information from another device via a communication line.
【０００８】さらに、顔を含む被写体を異なる方向から
撮影した少なくとも２以上の映像を入力する入力手段
と、入力された少なくとも２以上の映像から被写体の３
次元形状を求める立体化手段と、この３次元形状中の顔
が正面を向いた３次元形状の２次元映像を生成する２次
元化手段と、この２次元映像情報を出力する出力手段と
を備えることもできる。Further, input means for inputting at least two or more images of a subject including a face photographed from different directions, and three of the subjects from the input at least two or more images.
The stereoscopic means for obtaining a three-dimensional shape, the two-dimensionalization means for generating a two-dimensional image of the three-dimensional shape with the face in the three-dimensional shape facing the front, and the output means for outputting the two-dimensional image information are provided. You can also
【０００９】[0009]
【作用】表示する人物の映像の顔を回転させ、表示され
る人物の視線がディスプレイの表示面に対して垂直にな
る様に（表示された人物の視線と、ディスプレイを見る
使用者の視線とが一致する様に）調整して表示する。[Operation] The face of the displayed image of the person is rotated so that the line of sight of the displayed person becomes perpendicular to the display surface of the display (the line of sight of the displayed person and the line of sight of the user who looks at the display. Are adjusted and displayed so that
【００１０】また、表示する人物の映像の瞳の位置を、
目の中央または目の球表面内の最前位置に書き換えて、
表示された人物の視線とディスプレイを見る使用者の視
線とが一致する様に調整して表示する。Further, the position of the pupil of the image of the person to be displayed is
Rewrite in the center of the eye or the frontmost position on the surface of the eyeball,
The line of sight of the displayed person and the line of sight of the user looking at the display are adjusted and displayed.
【００１１】[0011]
【実施例】以下、本発明の第１の実施例を、図１，図
２，図３，図４を用いて説明する。図１は、本実施例の
情報入出力装置の構成を示すブロック図である。図２
は、図１に示された回転手段１０４の機能概要を説明す
る図である。図３は、回転手段１０４のブロック図であ
る。図４は、本実施例の情報入出力装置の動作を示すフ
ローチャートである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described below with reference to FIGS. 1, 2, 3 and 4. FIG. 1 is a block diagram showing the configuration of the information input / output device of this embodiment. Figure 2
FIG. 3 is a diagram for explaining a functional outline of the rotating means 104 shown in FIG. 1. FIG. 3 is a block diagram of the rotating means 104. FIG. 4 is a flowchart showing the operation of the information input / output device of this embodiment.
【００１２】まず初めに図１を用い、本実施例の情報入
出力装置の構成を説明する。First, the configuration of the information input / output device of this embodiment will be described with reference to FIG.
【００１３】図１に示すように、本発明による情報入出
力装置は、カメラ１０２、回転手段１０４、選択手段１
０６、接続手段１０８、回線１０９、ディスプレイ１１
１、情報転送経路１０３，１０５，１０７，１１０で構
成される。As shown in FIG. 1, the information input / output device according to the present invention comprises a camera 102, a rotating means 104, and a selecting means 1.
06, connection means 108, line 109, display 11
1. Information transfer paths 103, 105, 107, 110.
【００１４】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。The camera 102 uses a designated subject (see FIG. 1).
Is an information conversion system capable of converting an image of the user 101) into an electric signal and outputting the electric signal.
【００１５】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。そして、
この映像情報の領域が、映像情報を発生した実空間内で
所定の軸回りに回転した場合の映像情報を疑似的に生成
し、電気信号で出力する。The rotating means 104 reads the image information represented by the electric signal converted by the camera 102. And
This image information area pseudo-generates image information when it rotates around a predetermined axis in the real space where the image information is generated, and outputs it as an electric signal.
【００１６】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置を選択する。The selecting means 106 selects the information input / output device of the other party when transmitting and receiving the target information.
【００１７】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。An information input / output device on the other side of transmission / reception is connected to the connecting means 108 via a line 109. The connecting unit 108 electrically connects to the information input / output device of the other party who desires to send and receive information, and maintains a state where information can be exchanged.
【００１８】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。The display 111 reads an electric signal transmitted from the information input / output device on the other side of transmission / reception, converts this electric signal into video information, and outputs the converted video.
【００１９】次に、図１を用いて、本発明による情報入
出力装置の動作の概要を説明する。Next, the outline of the operation of the information input / output device according to the present invention will be described with reference to FIG.
【００２０】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手が指定されると、接続手段１
０８により、使用者と指定された相手装置との映像情報
の送受信が可能な状態に電気的に接続を行った後、この
接続の状態を保持する。When the information input / output device is activated, the user designates a single or a plurality of parties to be transmitted / received by the selecting means 106 in advance. When the other party is designated, the connection means 1
According to 08, after electrically connecting the user and the designated partner device so that the video information can be transmitted and received, the connection state is maintained.
【００２１】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。Next, the image of the user 101, which is the subject, is read from the camera 102. The read image is converted into a red green blue (hereinafter referred to as RGB) signal and sent to the information transfer path 103.
【００２２】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。The RGB signals sent to the information transfer path 103 are read by the rotating means 104. R read
The GB signal is divided into the head of the user 101 and a region other than the head for each frame of the obtained video information.
【００２３】分割された頭部の３次元形状は、回転手段
１０４に予め備えられた卵型モデルの３次元形状データ
と仮定される。この頭部の映像情報を、卵型モデルの重
心を通る垂直軸の回りに時計回りに１０°（π／１８）
回転させた場合の映像情報を、卵型モデルの３次元デー
タにマッピングする手法で生成する。The divided three-dimensional shape of the head is assumed to be three-dimensional shape data of an oval model provided in advance in the rotating means 104. This image information of the head is rotated 10 ° (π / 18) clockwise around the vertical axis passing through the center of gravity of the egg-shaped model.
The image information when rotated is generated by a method of mapping the three-dimensional data of the egg-shaped model.
【００２４】ここで、回転角度を１０°とした理由につ
いて説明する。一般的な型の、カメラとディスプレイが
一体となったテレビ電話等において、使用者が、ディス
プレイからの視距離が６Ｈ（Ｈは、ディスプレイの縦
幅）の位置で使用した場合を考える。この場合に、カメ
ラが撮影する使用者の頭部は、使用者が正面をむいてい
る場合と比較して、約４．７６°〜６．３４°（カメラ
とディスプレイの位置が離れている場合には、この角度
を越える場合もある）回転している。使用者が、ディス
プレイからの視距離が２Ｈの位置で使用した場合を考え
る。この場合に、カメラが撮影する使用者の頭部は、使
用者が正面をむいている場合と比較して、１４．０４°
〜２３．９９°（カメラとディスプレイの位置が離れて
いる場合には、この角度を越える場合もある）回転して
いる。そこで、使用者が、使用者向けの取り扱い説明書
に記載された位置で、ディスプレイを見ながら使用した
場合を考える。この場合に、カメラが撮影する使用者の
頭部は、使用者が正面をむいている場合と比較して、平
均的に、約１０°回転しているとみなしてもよいと考え
られる。Here, the reason why the rotation angle is 10 ° will be described. Consider a case where a user uses a general type such as a videophone in which a camera and a display are integrated at a position where the viewing distance from the display is 6H (H is the vertical width of the display). In this case, the user's head photographed by the camera is about 4.76 ° to 6.34 ° (when the camera and the display are apart from each other, compared to the case where the user is facing the front). The angle may exceed this angle). Consider a case where the user uses the display at a viewing distance of 2H from the display. In this case, the head of the user photographed by the camera is 14.04 ° compared to the case where the user is facing the front.
˜23.99 ° (this angle may be exceeded if the camera and display are far apart). Therefore, consider a case where the user uses the display at the position described in the instruction manual for the user while watching the display. In this case, it can be considered that the user's head imaged by the camera may be considered to be rotated by about 10 ° on average as compared with the case where the user is facing the front.
【００２５】（マッピングとは、質感情報を物体の属性
に対応させる方法である。物体の質感に関する属性に
は、色，明度，凹凸，反射特性，法線の向きなどがあ
り、質質感情報の数値の解釈によって様々な質感表現が
可能である。一般には、色属性のマッピングを、テクス
チャマッピングと呼び、模様などの表現に用いられる。
物体の明度を変化させる方法をインテンシティーマッピ
ングといい、凹凸による陰影の表現に有効である。マッ
ピングには、テクスチャマッピング，インテンシティー
マッピング以外にも手法があるが、以下、本発明におい
てマッピングとは、テクスチャマッピングを指すことと
する。）そして、回転させた頭部の映像情報と、頭部以
外の領域の映像情報とを、再び分割前の位置関係に従い
合成する。合成された映像情報を、情報転送経路１０５
へＲＧＢ信号として送出する。(Mapping is a method of associating the texture information with the attributes of the object. The attributes relating to the texture of the object include color, brightness, unevenness, reflection characteristics, direction of normal line, etc. Various texture expressions are possible by interpreting numerical values.In general, color attribute mapping is called texture mapping and is used to express patterns.
The method of changing the brightness of an object is called intensity mapping, and it is effective in expressing shadows due to unevenness. There are methods other than the texture mapping and the intensity mapping for the mapping, but in the present invention, the mapping is hereinafter referred to as the texture mapping. ) Then, the image information of the rotated head and the image information of the area other than the head are synthesized again according to the positional relationship before division. The combined video information is transferred to the information transfer path 105.
To RGB signals.
【００２６】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、接続線１０９を介して、送受信
の相手側の情報入出力装置に伝送される。The RGB signals sent out are selected by the selecting means 10
In a system consisting of 6, the information transfer path 107 and the connecting means 108, it is encoded by the built-in transmission encoding means. The encoded RGB signal is transmitted to the information input / output device on the other side of transmission / reception via the connection line 109.
【００２７】一方、接続線１０９を介して相手側の情報
入出力装置から伝送される映像情報は、接続手段１０
８，情報転送経路１０７，選択手段１０６からなる系に
おいて、内蔵する伝送復号化手段で復号化される。復号
化されたＲＧＢ信号は、情報転送経路１１０を介して、
ディスプレイ１１１に転送される。転送されたＲＧＢ信
号は、ディスプレイ１１１で可視の映像に変換され、表
示される。On the other hand, the video information transmitted from the information input / output device on the other side via the connection line 109 is the connection means 10.
In the system consisting of 8, the information transfer path 107 and the selection means 106, the data is decoded by the built-in transmission decoding means. The decoded RGB signal passes through the information transfer path 110,
It is transferred to the display 111. The transferred RGB signal is converted into a visible image on the display 111 and displayed.
【００２８】次に、図２，図３を用い本発明の情報入出
力装置の回転手段（図１の１０４）の機能および構成の
実施例を説明する。An embodiment of the function and structure of the rotating means (104 in FIG. 1) of the information input / output device of the present invention will be described with reference to FIGS.
【００２９】図２は、回転手段１０４の機能の実施例を
説明するための図である。FIG. 2 is a diagram for explaining an embodiment of the function of the rotating means 104.
【００３０】図３は、回転手段１０４の構成を示すブロ
ック図である。FIG. 3 is a block diagram showing the structure of the rotating means 104.
【００３１】図３に示すように、本発明の情報入出力装
置の回転手段１０４は、フレームバッファ３０１、合成
用メモリ２１７、アナログ・トゥ・ディジタル・コンバ
ータ（以下Ａ／Ｄコンバータと略称）３０２、輪郭抽出
プロセッサ３０５、輪郭ビットマップメモリ３０７、マ
スク３０９、３次元モデル用メモリ３１２、マッピング
用メモリ３１３、回転プロセッサ３１５、３次元データ
メモリ３１７、２次元化プロセッサ３１９、ネガマスク
３２１を備える。As shown in FIG. 3, the rotating means 104 of the information input / output device of the present invention comprises a frame buffer 301, a synthesizing memory 217, an analog-to-digital converter (hereinafter abbreviated as A / D converter) 302, A contour extraction processor 305, a contour bitmap memory 307, a mask 309, a three-dimensional model memory 312, a mapping memory 313, a rotation processor 315, a three-dimensional data memory 317, a two-dimensional processor 319, and a negative mask 321 are provided.
【００３２】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。The A / D converter 302 is used by the camera 102.
The analog electric signal indicating the video information output from is read. This is an information conversion system for converting the read analog electric signal into a digital signal with a sampling frequency of 10.7 to 14.3 MHz and a quantization bit number of 8 per color component.
【００３３】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。The frame buffer 301 is a memory capable of holding one frame of video converted into a digital signal.
【００３４】合成用メモリ２１７は、フレームバッファ
３０１同様、映像情報を示す電気信号を読み込み、１フ
レーム分の映像情報を保持可能なメモリである。Like the frame buffer 301, the synthesizing memory 217 is a memory capable of reading an electric signal indicating video information and holding one frame of video information.
【００３５】輪郭抽出プロセッサ３０５は、フレームバ
ッファ３０１に保持された映像情報を読み込む。プロセ
ッサ３０５は、人間の頭部モデルを備え、このモデルと
バッファ３０１から読み込まれた映像情報とのパタンマ
ッチングを行なう。このパタンマッチングにより、被写
体（使用者）の頭部の領域とそれ以外の領域（つまり背
景領域）との境界を抽出する。The contour extraction processor 305 reads the video information held in the frame buffer 301. The processor 305 includes a human head model, and performs pattern matching between this model and the video information read from the buffer 301. By this pattern matching, the boundary between the region of the head of the subject (user) and the other region (that is, the background region) is extracted.
【００３６】輪郭ビットマップメモリ３０７は、１画素
に対し１ビットの画像情報を記憶可能なメモリである。The contour bitmap memory 307 is a memory capable of storing 1-bit image information for each pixel.
【００３７】マスク３０９は、目的の画像の解像度に対
応した１画素に対し１ビットの画像情報をマスク情報と
して備える。このマスク情報により、目的の画像の転送
の禁止部分（ここでは、頭部以外の領域）を画素毎に定
義することができる。The mask 309 has 1-bit image information as mask information for one pixel corresponding to the resolution of the target image. With this mask information, it is possible to define a prohibited portion (here, an area other than the head) of the transfer of the target image for each pixel.
【００３８】３次元モデル用メモリ３１２は、マッピン
グモデル（図２の２１１）を保持するメモリである。マ
ッピングモデル２１１は、頭部の立体形状を近似して仮
定した３次元のサーフェスモデル・データである。The three-dimensional model memory 312 is a memory for holding the mapping model (211 in FIG. 2). The mapping model 211 is three-dimensional surface model data that is assumed by approximating the three-dimensional shape of the head.
【００３９】マッピング用メモリ３１３は、マッピング
モデル２１１上に使用者の頭部の映像をマッピングし
た、３次元のサーフェスモデル・データ状態を保持する
メモリである。The mapping memory 313 is a memory that holds a three-dimensional surface model data state in which the image of the user's head is mapped on the mapping model 211.
【００４０】回転プロセッサ３１５は、３次元のサーフ
ェスモデル・データを、目的の回転軸（図２の２１３）
の回りに、時計回りに所定角度回転する。The rotation processor 315 converts the three-dimensional surface model data into the target rotation axis (213 in FIG. 2).
Rotate clockwise by a predetermined angle.
【００４１】３次元データメモリ３１７は、３次元のサ
ーフェスモデル・データ状態を保持するメモリである。The three-dimensional data memory 317 is a memory for holding a three-dimensional surface model data state.
【００４２】２次元化プロセッサ３１９は、３次元のサ
ーフェスモデル・データから所定位置の視点で見える映
像を生成するレンダラー（サーフェスモデルにより与え
られた３次元立体に対して、明るさや色を付与して、よ
り現実に近い質感を与える作業を行なうもの）である。The two-dimensional processor 319 renders a three-dimensional surface model data to a video image that can be viewed from a viewpoint at a predetermined position (three-dimensional solid given by the surface model is provided with brightness and color. , Which gives a more realistic texture).
【００４３】ネガマスク３２１は、目的の画像の解像度
に対応した画素当り１ビットの画像情報をマスク情報と
する点で、マスク３０９と同様であるが、マスク３０９
の禁止と許可の定義情報を逆転させた情報内容を持つ。
ネガマスク３２１は、このマスク情報に基づいて、目的
の画像の転送の禁止部分（ここでは、頭部領域）を画素
毎に定義可能な情報制御系である。The negative mask 321 is similar to the mask 309 in that 1-bit image information per pixel corresponding to the resolution of the target image is used as the mask information, but the mask 309 is the same.
It has the information contents that are the reverse of the definition information of prohibition and permission.
The negative mask 321 is an information control system capable of defining a prohibited portion (here, a head region) of transfer of a target image for each pixel based on the mask information.
【００４４】次に、図２，図３を用いて本発明の情報入
出力装置の回転手段１０４の動作概要を説明する。Next, an outline of the operation of the rotating means 104 of the information input / output device of the present invention will be described with reference to FIGS.
【００４５】使用者が本発明による情報入出力装置を起
動すると、カメラ１０２からの被写体（使用者）の映像
が、回転手段１０４に読み込まれる。読み込まれた映像
は、アナログのＲＧＢ信号に変換され、情報転送経路に
送出され、回転手段１０４のＡ／Ｄコンバータ３０２に
入力される。When the user activates the information input / output device according to the present invention, the image of the subject (user) from the camera 102 is read by the rotating means 104. The read image is converted into an analog RGB signal, sent out to the information transfer path, and input to the A / D converter 302 of the rotating means 104.
【００４６】このアナログのＲＧＢ信号は、Ａ／Ｄコン
バータ３０２に入力されると、ディジタル信号化され、
情報転送経路３０３に送出さる。When this analog RGB signal is input to the A / D converter 302, it is converted into a digital signal,
It is sent to the information transfer path 303.
【００４７】情報転送経路３０３に送出されたディジタ
ル信号は、フレームバッファ３０１に読み込まれ、得ら
れた映像情報（図２の２０３）のフレームが一時保持さ
れる。The digital signal sent to the information transfer path 303 is read into the frame buffer 301, and the frame of the obtained video information (203 in FIG. 2) is temporarily held.
【００４８】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像（２０３）となる。使用者１０１がカメラ
１０２を見ていない場合には、保持された映像は、視線
不一致映像（２０５）となる。使用者は、対話の相手が
表示されたディスプレイを見ながら使用すると考えられ
るので、視線不一致映像（２０５）が得られると考えら
れる。When the user 101 is looking at the camera 102, the image stored in the frame buffer 301 is
The line-of-sight matching image (203) is obtained. When the user 101 is not looking at the camera 102, the held image becomes the line-of-sight mismatch image (205). Since it is considered that the user uses while watching the display of the other party of the dialogue, it is considered that the line-of-sight mismatch image (205) is obtained.
【００４９】フレームバッファ３０１に保持された映像
情報（２０５）は、輪郭抽出プロセッサ３０５に情報転
送経路３０４経由で読み出される。読み出された映像情
報は、輪郭抽出プロセッサ３０５において、使用者１０
１の頭部と頭部以外の領域の境界が抽出される。The video information (205) held in the frame buffer 301 is read by the contour extraction processor 305 via the information transfer path 304. The read image information is supplied to the contour extraction processor 305 by the user 10.
The boundary between the first head and the area other than the head is extracted.
【００５０】抽出された境界のビットマップ情報は、情
報転送経路３０６経由で、輪郭ビットマップメモリ３０
７に読み込まれ、一時的に保持される。この境界のビッ
トマップ情報により、頭部映像を抽出するためのマスク
３０９が定義される。The extracted boundary bitmap information is transferred to the contour bitmap memory 30 via the information transfer path 306.
7 and is temporarily stored. The bitmap information of this boundary defines a mask 309 for extracting the head image.
【００５１】３次元モデル用メモリ３１２に予め保持さ
れた、逆卵型の頭部３次元形状モデル（図２の２１１参
照。３次元的情報をワイヤーフレームで模式的に示して
いる）は、情報転送経路３１１に送出され、マッピング
用メモリ３１３に読み込まれる。The inverted egg-shaped head three-dimensional shape model (see 211 in FIG. 2; three-dimensional information is schematically shown by wire frame) stored in advance in the three-dimensional model memory 312 is information. It is sent to the transfer path 311 and read into the mapping memory 313.
【００５２】フレームバッファ３０１に保持された映像
情報（２０５）は、マスク３０９で情報転送禁止部分が
トリミングされ、頭部の映像情報が抽出され（図２の２
０９）て、情報転送経路３１０経由でマッピング用メモ
リ３１３に転送される。マッピング用メモリ３１３上で
は、頭部３次元形状モデル（２１１）に頭部の映像（２
０９）をマッピングする（図２の２１２）。このマッピ
ング状態を示す情報は、情報転送経路３１４に送出さ
れ、回転プロセッサ３１５に読み込まれる。The video information (205) held in the frame buffer 301 is trimmed at the information transfer prohibited portion by the mask 309, and the video information of the head is extracted (2 in FIG. 2).
09) and transferred to the mapping memory 313 via the information transfer path 310. On the mapping memory 313, the head image (2
09) is mapped (212 in FIG. 2). Information indicating this mapping state is sent to the information transfer path 314 and read by the rotation processor 315.
【００５３】回転プロセッサ３１５では、マッピング状
態を示す３次元情報を、予め定められた軸（図２の２１
３）の回りに、時計回りに１０°（π／１８）回転さ
せ、頭部の回転映像情報（図２の２１４）を生成する。In the rotation processor 315, the three-dimensional information indicating the mapping state is converted into a predetermined axis (21 in FIG. 2).
Around 3), the image is rotated clockwise by 10 ° (π / 18) to generate rotation image information of the head (214 in FIG. 2).
【００５４】この頭部の回転映像情報（２１４）は、情
報転送経路３１６経由で、３次元データメモリ３１７に
書き込まれて一時的に保持される。保持された頭部の回
転映像情報（２１４）は、情報転送経路３１８経由で、
２次元化プロセッサ３１９に転送される。２次元化プロ
セッサ３１９では、頭部の回転映像情報（２１４，３次
元データ）から、予め定められた視点から見た２次元的
な情報を生成する（図２の２１５）。The rotated image information (214) of the head is written in the three-dimensional data memory 317 via the information transfer path 316 and temporarily held. The rotation image information (214) of the held head is transferred via the information transfer path 318.
It is transferred to the two-dimensional processor 319. The two-dimensional processor 319 generates two-dimensional information viewed from a predetermined viewpoint from the rotational image information (214, three-dimensional data) of the head (215 in FIG. 2).
【００５５】一方、フレームバッファ３０１内に保持さ
れた情報のうち、マスク３０９で転送を拒絶された領域
（頭部以外の領域，図２の２１０）は、情報転送経路３
２０で転送され、ネガマスク３２１で抽出されて、合成
用メモリ２１７に読み込まれる。On the other hand, of the information held in the frame buffer 301, the area (area other than the head, 210 in FIG. 2) whose transfer is rejected by the mask 309 is the information transfer path 3
20 is transferred, is extracted by the negative mask 321, and is read into the composition memory 217.
【００５６】２次元化プロセッサ３１９で生成された２
次元の頭部の回転映像情報の頭部の領域（図２の２１
５）は、再びマスク３０９で抽出され、情報転送経路３
２２を介して合成用メモリ２１７へ転送される。合成用
メモリ２１７では、２次元の頭部の回転映像情報（図２
の２１５）と、頭部以外の領域（２１０）の映像情報と
を合成する（図２の２１８）。2 generated by the two-dimensional processor 319
The area of the head of the rotation image information of the three-dimensional head (21 in FIG. 2)
5) is again extracted by the mask 309, and the information transfer path 3
It is transferred to the composition memory 217 via 22. In the synthesis memory 217, the two-dimensional head rotation image information (see FIG.
No. 215) and the video information of the area (210) other than the head are combined (218 in FIG. 2).
【００５７】合成された映像情報は、情報転送経路１０
５に送出される。情報転送経路１０５の先には、選択手
段１０６が接続されている。The combined video information is transferred to the information transfer path 10
5 is sent. The selection unit 106 is connected to the end of the information transfer path 105.
【００５８】次に、図４は、本発明の情報入出力装置の
動作（発呼側）の１実施例を概説するフローチャートで
ある。Next, FIG. 4 is a flowchart outlining one embodiment of the operation (calling side) of the information input / output device of the present invention.
【００５９】図４のフローチャートに示すように、本発
明の情報入出力装置は、起動されると、先ず使用者の指
示によりダイヤリングされ、この指示に基づき、接続先
の情報入出力装置の選択を行う（ステップＳ８００）。As shown in the flow chart of FIG. 4, when the information input / output device of the present invention is activated, it is dialed according to the user's instruction, and the information input / output device of the connection destination is selected based on this instruction. Is performed (step S800).
【００６０】この選択が完了すると、選択された情報入
出力装置との接続が行われる（ステップＳ８１０）。Upon completion of this selection, connection with the selected information input / output device is established (step S810).
【００６１】接続が行われると、使用者から相手装置
（接続先の情報入出力装置）に映像を送る送信サイクル
を実行する。この送信サイクルでは、まず、使用者の映
像を入力する（ステップＳ８２０）。When the connection is established, a transmission cycle for sending a video from the user to the partner device (information input / output device of the connection destination) is executed. In this transmission cycle, first, the image of the user is input (step S820).
【００６２】次に、図１の回転手段１０４により、入力
された映像の頭部と頭部以外の領域（背景）とを分離す
る（ステップＳ８３０）。そして、頭部映像のテクスチ
ャを抽出する（ステップＳ８４０）。テクスチャを抽出
された頭部映像を、予め定められた頭部モデルにマッピ
ングする（ステップＳ８５０）。このマッピングされた
頭部モデルを、回転させる（ステップＳ８６０）。そし
て、回転された頭部モデルと、頭部以外の領域を合成す
る（ステップＳ８７０）。Next, the rotating means 104 shown in FIG. 1 separates the head of the input image from the area (background) other than the head (step S830). Then, the texture of the head image is extracted (step S840). The head image from which the texture is extracted is mapped to a predetermined head model (step S850). The mapped head model is rotated (step S860). Then, the rotated head model and the area other than the head are combined (step S870).
【００６３】さらに、他メディア（音声や、テキスト）
を入力し、映像情報と他メディアとを多重配置（インタ
ーリーブ）し（ステップＳ８８０）、自装置から相手装
置への伝送を行う（ステップＳ８９０）。Furthermore, other media (voice or text)
Is input, video information and other media are multiplexed (interleaved) (step S880), and transmission from the own device to the partner device is performed (step S890).
【００６４】以上の送信サイクルの終了後、受信サイク
ルが実行される。受信サイクルでは、まず、相手装置か
らの映像情報および他メディアを受信する（ステップＳ
９００）。次に、映像情報と他メディアとを切り分ける
（インターリーブする，ステップＳ９１０）。そして、
切り分けられた映像の表示、および他メディアの出力を
行う（ステップＳ９２０）。After the above transmission cycle is completed, the reception cycle is executed. In the reception cycle, first, video information and other media from the partner device are received (step S
900). Next, the video information and other media are separated (interleaved, step S910). And
The separated video is displayed and other media are output (step S920).
【００６５】ステップＳ９３０では、使用者により処理
の終了が指定されたか否かを調べる。処理の終了が指定
されている場合には、ステップＳ９４０へ進み、処理を
終了する。処理の終了が指定されていない場合には、再
びステップＳ８２０から始まる処理を繰り返す。In step S930, it is determined whether or not the end of processing has been designated by the user. If the end of the process is designated, the process proceeds to step S940 to end the process. If the end of the process is not designated, the process starting from step S820 is repeated.
【００６６】以下、本発明の第２の実施例を図５を用い
て説明する。図５は、本発明の第２実施例の情報入出力
装置の構成を示すブロック図である。The second embodiment of the present invention will be described below with reference to FIG. FIG. 5 is a block diagram showing the configuration of the information input / output device of the second embodiment of the present invention.
【００６７】図５を用い、本発明の情報入出力装置の構
成および動作概要を説明する。図５に示すように本発明
による情報入出力装置はカメラ１０２、回転手段１０
４、選択手段１０６、接続手段１０８、ディスプレイ１
１１、切り換え手段５０１，５０５、解読手段５０４、
回線１０９を主な構成要素とする。The configuration and operation outline of the information input / output device of the present invention will be described with reference to FIG. As shown in FIG. 5, the information input / output device according to the present invention includes a camera 102 and a rotating means 10.
4, selecting means 106, connecting means 108, display 1
11, switching means 501, 505, decoding means 504,
The line 109 is a main component.
【００６８】図５の第２実施例において、図１の第１実
施例と異なる点は、切り換え手段５０１，５０５、解読
手段５０４をさらに備える点、回転手段１０４を２つ備
える点である。The second embodiment shown in FIG. 5 differs from the first embodiment shown in FIG. 1 in that switching means 501 and 505, a decoding means 504 are further provided, and two rotating means 104 are provided.
【００６９】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。The camera 102 uses a designated subject (see FIG. 1).
Is an information conversion system capable of converting an image of the user 101) into an electric signal and outputting the electric signal.
【００７０】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。この映像
情報の領域が、映像情報を発生した実空間内で所定の軸
回りに回転した場合の映像情報を疑似的に生成し、電気
信号で出力する情報処理系である。The rotating means 104 reads the image information represented by the electric signal converted by the camera 102. This image information area is an information processing system that pseudo-generates image information when the image information is rotated around a predetermined axis in the real space in which the image information is generated, and outputs it as an electric signal.
【００７１】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択する。The selecting means 106 selects an information input / output device or the like on the partner side when transmitting and receiving target information.
【００７２】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。An information input / output device on the other side of transmission / reception is connected to the connecting means 108 via a line 109. The connecting unit 108 electrically connects to the information input / output device of the other party who desires to send and receive information, and maintains a state where information can be exchanged.
【００７３】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。The display 111 reads an electric signal transmitted from the information input / output device on the other side of transmission / reception, converts the electric signal into image information, and outputs the converted image.
【００７４】接続手段５０１，５０５は、後述の解読手
段５０４で解読された情報のコントロールにより、情報
転送の経路接続を切り換え可能なスイッチである。The connection means 501, 505 are switches capable of switching the path connection for information transfer by controlling the information decoded by the decoding means 504 described later.
【００７５】解読手段５０４は、特定長の情報列を逐次
読み込み、特にヘッダーの所定位置に書き込まれる情報
に従い、接続手段５０１，５０５をコントロールするセ
ンサである。The decoding means 504 is a sensor for sequentially reading the information string of a specific length and controlling the connection means 501, 505 in accordance with the information particularly written in a predetermined position of the header.
【００７６】次に、図５を用い本発明による情報入出力
装置の動作概要を説明する。Next, the outline of the operation of the information input / output device according to the present invention will be described with reference to FIG.
【００７７】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手装置が指定されると、接続手
段１０８により、使用者と指定された相手装置との映像
情報の送受信が可能な状態に電気的に接続を行った後、
この接続の状態を保持する。When the user starts the information input / output device, the user designates a single or a plurality of parties to be transmitted / received by the selecting means 106 in advance. When the partner device is designated, the connection means 108 electrically connects the user and the designated partner device in a state in which image information can be transmitted and received,
Holds the state of this connection.
【００７８】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。Next, the image of the user 101, which is the subject, is read from the camera 102. The read image is converted into a red green blue (hereinafter referred to as RGB) signal and sent to the information transfer path 103.
【００７９】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。The RGB signals sent to the information transfer path 103 are read by the rotating means 104. R read
The GB signal is divided into the head of the user 101 and a region other than the head for each frame of the obtained video information.
【００８０】分割された頭部の３次元形状は、回転手段
１０４に予め備えられた卵型モデルの３次元形状データ
と仮定される。この頭部の映像情報を、卵型モデルの重
心を通る垂直軸の回りに時計回りに１０°（π／１８）
回転させた場合の映像情報を、卵型モデルの３次元デー
タにマッピングする手法で生成する。The three-dimensional shape of the divided head is assumed to be the three-dimensional shape data of the egg-shaped model provided in advance in the rotating means 104. This image information of the head is rotated 10 ° (π / 18) clockwise around the vertical axis passing through the center of gravity of the egg-shaped model.
The image information when rotated is generated by a method of mapping the three-dimensional data of the egg-shaped model.
【００８１】回転させた頭部の映像情報と、頭部以外の
領域の映像情報とを、再び分割前の位置関係に従い合成
する。合成された映像情報に、属性情報（視線一致の為
の頭部映像の回転処理済）を付加して、情報転送経路１
０５へＲＧＢ信号として送出する。The image information of the rotated head and the image information of the area other than the head are synthesized again according to the positional relationship before division. Attribute information (rotation processing of the head image for line-of-sight matching) is added to the combined image information, and the information transfer path 1
It is sent as an RGB signal to 05.
【００８２】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、接続線１０９を介して、送受信
の相手側の情報入出力装置に伝送される。The RGB signals sent out are selected by the selecting means 10.
In a system consisting of 6, the information transfer path 107 and the connecting means 108, it is encoded by the built-in transmission encoding means. The encoded RGB signal is transmitted to the information input / output device on the other side of transmission / reception via the connection line 109.
【００８３】一方、接続線１０９を介し接続先の装置か
ら伝送される映像情報は、接続手段１０８、情報転送経
路１０７、選択手段１０６からなる系において、内蔵す
る伝送復号化手段で復号化される。復号化されたＲＧＢ
信号は、情報転送経路５０３を介して、解読手段５０４
に転送される。解読手段５０４は、転送されたディジタ
ルＲＧＢ信号列の属性（視線一致のための頭部映像の回
転処理済か否かの情報）を示す領域の内容を調べる。On the other hand, the video information transmitted from the device of the connection destination via the connection line 109 is decoded by the built-in transmission decoding means in the system including the connecting means 108, the information transfer path 107 and the selecting means 106. . Decoded RGB
The signal is transmitted via the information transfer path 503 to the decoding means 504.
Transferred to. The decoding means 504 checks the contents of the area showing the attribute of the transferred digital RGB signal sequence (information indicating whether or not the rotation processing of the head image for line-of-sight matching has been completed).
【００８４】属性が視線一致のための回転済を示す場
合、切り換え手段５０５は、スイッチ・バーを下にす
る。このため、受信情報は回転手段１０４を経由しない
で、情報転送経路１１０を介して転送され、ディスプレ
イ１１１で可視の映像に変換されて出力される。If the attribute indicates that the image has been rotated for line-of-sight matching, the switching means 505 brings the switch bar down. Therefore, the received information is transferred via the information transfer path 110 without passing through the rotating means 104, converted into a visible image on the display 111, and output.
【００８５】属性が視線一致のための回転を行っていな
いことを示す場合、切り換え手段５０５は、スイッチ・
バーを上にする。このため、受信情報は回転手段１０４
に読み込まれ、回転手段１０４により回転処理が行われ
る。回転処理を施された受信情報は、ディスプレイ１１
１で可視の映像に変換されて出力される。When the attribute indicates that the rotation for the line-of-sight matching is not performed, the switching means 505 indicates that the switch
Turn the bar up. Therefore, the received information is the rotation means 104.
And is rotated by the rotating means 104. The received information that has been subjected to the rotation processing is displayed on the display 11
At 1, it is converted into a visible image and output.
【００８６】また、接続先の装置から伝送される映像情
報に、視線一致のための回転を行なわずに送信するよう
指示が付加されている場合には、解読手段５０４でこの
指示が解読され、切り換え手段５０１は、スイッチ・バ
ーを上にする。このため、送信情報は回転手段１０４を
経由しないで、接続先の装置へ転送される。If an instruction is added to the video information transmitted from the device at the connection destination so as not to rotate it for line-of-sight matching, the deciphering means 504 deciphers this instruction. The switching means 501 brings the switch bar up. Therefore, the transmission information is transferred to the connected device without passing through the rotating means 104.
【００８７】以下、本発明の第３の実施例を図６を用い
て説明する。図６は、本発明の情報入出力装置の第３実
施例の構成を示すブロック図である。The third embodiment of the present invention will be described below with reference to FIG. FIG. 6 is a block diagram showing the configuration of the third embodiment of the information input / output device of the present invention.
【００８８】図６を用い、本発明の情報入出力装置の構
成および動作の概要を説明する。図６に示すように本発
明による情報入出力装置は２台のカメラ１０２、回転手
段１０３、選択手段１０６、接続手段１０８、ディスプ
レイ１１１、立体化手段６０１、回線１０９を備える。An outline of the configuration and operation of the information input / output device of the present invention will be described with reference to FIG. As shown in FIG. 6, the information input / output device according to the present invention includes two cameras 102, a rotating means 103, a selecting means 106, a connecting means 108, a display 111, a three-dimensionalizing means 601, and a line 109.
【００８９】図６の第３実施例が図１の第１実施例と異
なるのは、カメラ１０２を２台備える点と、回転手段１
０４にかえて立体化手段６０１を備える点である。The third embodiment shown in FIG. 6 is different from the first embodiment shown in FIG. 1 in that two cameras 102 are provided and the rotating means 1 is provided.
It is the point that the three-dimensionalization means 601 is provided instead of 04.
【００９０】カメラ１０２は、指定された被写体（図６
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。第３実施例において
は、カメラ１０２が２台用意され、ディスプレイ１１１
の両側に左右対象に配置される。これにより、２台のカ
メラ１０２により、同一被写体の撮影角度の異なる２映
像を得ることができる。The camera 102 uses the designated subject (see FIG. 6).
Is an information conversion system capable of converting an image of the user 101) into an electric signal and outputting the electric signal. In the third embodiment, two cameras 102 are provided and a display 111
It is placed symmetrically on both sides of. Thus, the two cameras 102 can obtain two images of the same subject with different shooting angles.
【００９１】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。そして、
この映像情報の領域が、映像情報を発生した実空間内で
所定の軸回りに回転した場合の映像情報を疑似的に生成
し、電気信号で出力する。The rotating means 104 reads the image information represented by the electric signal converted by the camera 102. And
This image information area pseudo-generates image information when it rotates around a predetermined axis in the real space where the image information is generated, and outputs it as an electric signal.
【００９２】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択する。The selecting means 106 selects an information input / output device or the like on the partner side when transmitting and receiving target information.
【００９３】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。An information input / output device on the other side of transmission / reception is connected to the connecting means 108 via a line 109. The connecting unit 108 electrically connects to the information input / output device of the other party who desires to send and receive information, and maintains a state where information can be exchanged.
【００９４】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。The display 111 reads an electric signal transmitted from the information input / output device on the other side of transmission / reception, converts the electric signal into image information, and outputs the converted image.
【００９５】立体化手段６０１は、２台のカメラ１０２
により得られる２映像を両眼立体視（三角測量法）によ
り処理し、１映像を出力する映像処理装置である。The three-dimensionalization means 601 is composed of two cameras 102.
It is an image processing device which processes two images obtained by the above method by binocular stereoscopic vision (triangulation method) and outputs one image.
【００９６】両眼立体視（三角測量法）とは、２つの視
点ｅ１，ｅ２から、被写体上の１点ｐを観測し、ｅ１，
ｅ２，ｐを頂点とする三角形を決定することによってｐ
の３次元位置を決定する方法である。このように被写体
上の各点の３次元位置を決定し、被写体の立体形状を求
める。この立体形状から、２台のカメラの位置の中間点
から撮影した場合の被写体の映像情報を、レンダリング
する手法で生成することができる。The binocular stereoscopic vision (triangulation method) means that one point p on the subject is observed from two viewpoints e1 and e2, and e1,
By determining a triangle with vertices e2, p, p
This is a method of determining the three-dimensional position of. In this way, the three-dimensional position of each point on the subject is determined, and the three-dimensional shape of the subject is obtained. From this three-dimensional shape, it is possible to generate the image information of the subject when the image is taken from the midpoint between the positions of the two cameras by a rendering method.
【００９７】次に、図６を用い本発明による情報入出力
装置の動作概要を説明する。Next, the outline of the operation of the information input / output device according to the present invention will be described with reference to FIG.
【００９８】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手が指定されると、接続手段１
０８により、使用者と指定された相手との映像情報の送
受信が可能な状態に電気的に接続を行った後、この接続
の状態を保持する。When the user starts up the information input / output device, the user previously designates a single or a plurality of parties to be transmitted / received by the selecting means 106. When the other party is designated, the connection means 1
According to 08, after electrically connecting to the state where the user and the designated partner can transmit and receive the video information, the state of this connection is held.
【００９９】次に、ディスプレイ１１１の両側に左右対
象に配置された２台のカメラ１０２から、被写体である
使用者１０１の映像をそれぞれ読み込む。読み込まれた
２映像は、それぞれレッド・グリーン・ブルー（以下Ｒ
ＧＢと称する）信号に変換され、情報転送経路１０３に
送出される。Next, the images of the user 101, which is a subject, are read from the two cameras 102, which are symmetrically arranged on both sides of the display 111. The two images that have been read are red, green and blue (hereinafter R
It is converted into a signal (referred to as GB) and sent to the information transfer path 103.
【０１００】情報転送経路１０３に送出されたＲＧＢ信
号は、立体化手段６０１に読み込まれる。立体化手段６
０１は、得られた２映像の情報を元に、被写体の立体形
状を求める。この立体形状をレンダリング（サーフィス
モデルやソリッドモデルなどおにより与えた３次元立体
に対して明るさや色を付与して、より現実に近い質感を
与える作業）して、２映像の撮影角度の中間の角度で撮
影を行った場合に得られる映像情報を生成する。The RGB signals sent to the information transfer path 103 are read by the three-dimensionalizing means 601. Three-dimensionalization means 6
01 obtains the three-dimensional shape of the subject based on the obtained information of the two images. Rendering this three-dimensional shape (work that gives brightness and color to a three-dimensional solid given by a surface model or solid model to give a more realistic texture), and The image information obtained when shooting at an angle is generated.
【０１０１】レンダリングされた映像情報は、情報転送
経路１０５にＲＧＢ信号として送出される。The rendered video information is sent to the information transfer path 105 as RGB signals.
【０１０２】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、回線１０９を介して、送受信の
相手側の情報入出力装置に伝送される。The RGB signals sent out are selected by the selecting means 10.
In a system consisting of 6, the information transfer path 107 and the connecting means 108, it is encoded by the built-in transmission encoding means. The encoded RGB signal is transmitted via the line 109 to the information input / output device on the other side of transmission / reception.
【０１０３】一方、接続線１０９を介して相手側の情報
入出力装置から伝送される映像情報は、接続手段１０
８，情報転送経路１０７，選択手段１０６からなる系に
おいて、内蔵する伝送復号化手段で復号化される。復号
化されたＲＧＢ信号は、情報転送経路１１０を介して、
ディスプレイ１１１に転送される。転送されたＲＧＢ信
号は、ディスプレイ１１１で可視の映像に変換され、表
示される。On the other hand, the video information transmitted from the information input / output device on the other side via the connection line 109 is the connection means 10.
In the system consisting of 8, the information transfer path 107 and the selection means 106, the data is decoded by the built-in transmission decoding means. The decoded RGB signal passes through the information transfer path 110,
It is transferred to the display 111. The transferred RGB signal is converted into a visible image on the display 111 and displayed.
【０１０４】図７は、回転手段１０４の機能の他の実施
例を説明するための図である。図１０は、図７の機能を
備える回転手段（１０４）の機能ブロック図である。以
下、図７，図１０を用いて、本発明の情報入出力装置の
回転手段（１０４）の機能および構成の他の実施例を説
明する。FIG. 7 is a diagram for explaining another embodiment of the function of the rotating means 104. FIG. 10 is a functional block diagram of the rotating means (104) having the functions of FIG. Another embodiment of the function and configuration of the rotating means (104) of the information input / output device of the present invention will be described below with reference to FIGS. 7 and 10.
【０１０５】図１０の回転手段１０４は、Ａ／Ｄコンバ
ータ３０２、フレームバッファ３０１、目領域抽出プロ
セッサ１００２、目領域ビットマップメモリ１００４、
マニピュレーション用バッファ１０１１、瞳領域移動プ
ロセッサ１００９、合成用メモリ２１７、マスク１００
６、ネガマスク１０１３から構成される。The rotation means 104 of FIG. 10 includes an A / D converter 302, a frame buffer 301, an eye area extraction processor 1002, an eye area bitmap memory 1004,
Manipulation buffer 1011, pupil area movement processor 1009, synthesis memory 217, mask 100
6 and a negative mask 1013.
【０１０６】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。The A / D converter 302 is used for the camera 102.
The analog electric signal indicating the video information output from is read. This is an information conversion system for converting the read analog electric signal into a digital signal with a sampling frequency of 10.7 to 14.3 MHz and a quantization bit number of 8 per color component.
【０１０７】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。The frame buffer 301 is a memory capable of holding one frame of video converted into a digital signal.
【０１０８】目領域抽出プロセッサ１００２は、フレー
ムバッファ３０１に保持された映像情報を読み込む。プ
ロセッサ１００２は、被写体（使用者）の目の領域とそ
れ以外の領域（目以外の顔の部分および背景領域）との
境界を抽出する。The eye area extraction processor 1002 reads the video information held in the frame buffer 301. The processor 1002 extracts a boundary between the eye region of the subject (user) and the other regions (face portion other than eyes and background region).
【０１０９】目領域ビットマップメモリ１００４は、１
画素に対し１ビットの画像情報を記憶可能なメモリであ
る。The eye area bitmap memory 1004 is set to 1
It is a memory that can store 1-bit image information for each pixel.
【０１１０】マスク１００６は、目的の画像の解像度に
対応した１画素に対し１ビットの画像情報をマスク情報
として備える。このマスク情報により、目的の画像の転
送の禁止部分（ここでは、目以外の領域）を画素毎に定
義することができる。The mask 1006 is provided with 1-bit image information as mask information for one pixel corresponding to the resolution of the target image. With this mask information, it is possible to define a prohibited portion (here, an area other than the eye) of the transfer of the target image for each pixel.
【０１１１】ネガマスク１０１３は、目的の画像の解像
度に対応した画素当り１ビットの画像情報をマスク情報
とする点で、マスク１００６と同様であるが、マスク１
００６の禁止と許可の定義情報を逆転させた情報内容を
持つ。ネガマスク１０１３は、このマスク情報に基づい
て、目的の画像の転送の禁止部分（ここでは、目の領
域）を画素毎に定義することができる。The negative mask 1013 is similar to the mask 1006 in that 1-bit image information per pixel corresponding to the resolution of the target image is used as the mask information.
It has the information contents that the definition information of prohibition and permission of 006 is reversed. Based on this mask information, the negative mask 1013 can define a prohibited portion (here, eye area) of transfer of a target image for each pixel.
【０１１２】瞳領域移動プロセッサ１００９は、マニピ
ュレーション用バッファ１０１１に格納された目の部分
（図７の７０３）の映像情報の瞳の部分（７０５）を抜
き出す。そして、瞳の部分（７０５）を抜き出された目
の部分（７０７）を、白眼の平均色で塗り潰す。次に、
平均色で塗り潰された目の部分（７０７）の、目の部分
の中央の位置を求める（７０８）。目の部分の中央の位
置が求められると、瞳の部分（７０５）を、目の部分の
中央に書き込む（７１０）。目の部分の中央に瞳の部分
が書き込まれると、この目の部分を合成用メモリ２１７
に転送する。The pupil area moving processor 1009 extracts the pupil portion (705) of the image information of the eye portion (703 in FIG. 7) stored in the manipulation buffer 1011. Then, the extracted eye portion (707) of the pupil portion (705) is filled with the average color of the white eye. next,
The position of the center of the eye portion of the eye portion (707) filled with the average color is obtained (708). When the position of the center of the eye part is obtained, the pupil part (705) is written in the center of the eye part (710). When the pupil portion is written in the center of the eye portion, this eye portion is written to the synthesis memory 217.
Transfer to.
【０１１３】合成用メモリ２１７は、転送された目の部
分の映像（７１０）と目の部分以外の映像（７０４）と
を１フレーム上に合成（７１３）する時に使用される。The synthesizing memory 217 is used when synthesizing (713) the transferred image (710) of the eye part and the image (704) other than the eye part on one frame.
【０１１４】次に、図７，図１０を用い本発明の情報入
出力装置の回転手段１０４の機能を説明する。Next, the function of the rotating means 104 of the information input / output device of the present invention will be described with reference to FIGS.
【０１１５】使用者１０１が、本発明による情報入出力
装置を起動させると、カメラ１０２から被写体である使
用者１０１および背景２０１の映像が読み込まれる。読
み込まれた映像は、ＲＧＢ信号に変換される。変換され
たＲＧＢ信号は、情報転送経路を介し、回転手段１０４
に入力される。When the user 101 activates the information input / output device according to the present invention, the images of the user 101 and the background 201, which are the subjects, are read from the camera 102. The read image is converted into RGB signals. The converted RGB signal passes through the information transfer path and is rotated by the rotating means 104.
Entered in.
【０１１６】回転手段１０４に入力されたＲＧＢ信号
は、Ａ／Ｄコンバータ３０２でデジタル信号に変換され
た後、フレームバッファ３０１に読み込まれる。フレー
ムバッファ３０１では、得られた映像情報のフレームを
一時保持する。The RGB signals input to the rotating means 104 are converted into digital signals by the A / D converter 302 and then read into the frame buffer 301. The frame buffer 301 temporarily holds a frame of the obtained video information.
【０１１７】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像（図７の２０３）となる。使用者１０１が
カメラ１０２を見ていない場合には、保持された映像
は、視線不一致映像（２０５）となる。使用者は、対話
の相手が表示されたディスプレイを見ながら使用すると
考えられるので、視線不一致映像（２０５）が得られる
と考えられる。When the user 101 is looking at the camera 102, the image stored in the frame buffer 301 is
The line-of-sight matching image (203 in FIG. 7) is obtained. When the user 101 is not looking at the camera 102, the held image becomes the line-of-sight mismatch image (205). Since it is considered that the user uses while watching the display of the other party of the dialogue, it is considered that the line-of-sight mismatch image (205) is obtained.
【０１１８】視線不一致映像（２０５）から、目領域抽
出プロセッサ１００２により、目の部分（７０３）と目
以外の領域（７０４）との境界が抽出される。抽出され
た境界のビットマップ情報は、目領域ビットマップメモ
リ１００４に読み込まれ、一時的に保持される。この境
界のビットマップ情報により、目の映像を抽出するため
のマスク１００６が定義される。The eye area extraction processor 1002 extracts the boundary between the eye portion (703) and the area other than the eye (704) from the line-of-sight mismatch image (205). The extracted boundary bitmap information is read into the eye area bitmap memory 1004 and temporarily stored. The mask information 1006 for extracting the eye image is defined by the bitmap information of this boundary.
【０１１９】フレームバッファ３０１に保持された映像
情報は、前記マスク１００６で、情報転送禁止部分がト
リミングされ、目の映像情報が抽出されて、マニピュレ
ーション用バッファ１０１１に転送される。The video information held in the frame buffer 301 is trimmed by the mask 1006 at the information transfer prohibited portion, the video information of the eyes is extracted and transferred to the manipulation buffer 1011.
【０１２０】バッファ１０１１に一時保持された目の部
分の映像（７０３）から、瞳領域移動プロセッサ１００
９により、瞳（７０５）の部分が抜き出される。瞳（７
０５）以外の部分（７０７）は、一旦白眼の平均色で塗
り潰される。From the image of the eye portion (703) temporarily stored in the buffer 1011, the pupil area moving processor 100
By 9, the portion of the pupil (705) is extracted. Pupil (7
The part (707) other than 05) is once painted with the average color of the white eye.
【０１２１】さらに、瞳領域移動プロセッサ１００９に
より、塗り潰された７０７において中心線（７０８）が
求められ、中心線（７０８）の交差点が示す中心が求め
られる。求められた中心に、瞳（７０５）の中心を重ね
合わるように瞳が転送され、目の中心に瞳が書き込まれ
る（７１０）。中心に瞳が位置している目（７１０）
は、バッファ１０１１に書き込まれる。Further, the pupil area movement processor 1009 finds the center line (708) in the filled area 707, and finds the center indicated by the intersection of the center lines (708). The pupil is transferred so that the center of the pupil (705) is superposed on the obtained center, and the pupil is written in the center of the eye (710). Eyes with the pupil in the center (710)
Are written in the buffer 1011.
【０１２２】バッファ１０１１に書き込まれた目（７１
０）は、再びマスク１００６を介して、合成用メモリ２
１７に格納される。The eye written in the buffer 1011 (71
0) is again passed through the mask 1006 and the synthesis memory 2
It is stored in 17.
【０１２３】一方、バッファ３０１に格納された映像
は、マスク１０１３により、目以外の領域（７０４）が
抽出される。抽出された領域（７０４）は、合成用メモ
リ２１７に格納される。On the other hand, from the image stored in the buffer 301, the area (704) other than the eyes is extracted by the mask 1013. The extracted area (704) is stored in the composition memory 217.
【０１２４】そして、合成用メモリ２１７において、目
（７１０）と目以外の領域（７０４）とが合成される。Then, in the synthesizing memory 217, the eye (710) and the area other than the eye (704) are synthesized.
【０１２５】図８は本発明の情報入出力装置の回転手段
１０４の機能の他の実施例を示す図である。図１１は、
図７の機能を備える回転手段（１０４）の機能ブロック
図である。以下、図７，図１１を用いて、本発明の情報
入出力装置の回転手段（１０４）の機能および構成のさ
らに他の実施例を説明する。FIG. 8 is a diagram showing another embodiment of the function of the rotating means 104 of the information input / output device of the present invention. FIG. 11 shows
It is a functional block diagram of a rotation means (104) provided with the function of FIG. Another embodiment of the function and configuration of the rotating means (104) of the information input / output device of the present invention will be described below with reference to FIGS.
【０１２６】図１１の回転手段１０４は、Ａ／Ｄコンバ
ータ３０２、フレームバッファ３０１、目領域抽出プロ
セッサ１００２、目領域ビットマップメモリ１００４、
マニピュレーション用バッファ１０１１、瞳領域移動プ
ロセッサ１００９、３次元モデル用メモリ１１０１、マ
ッピング用メモリ１１０３、合成用メモリ２１７、マス
ク１００６、ネガマスク１０１３から構成される。The rotating means 104 of FIG. 11 includes an A / D converter 302, a frame buffer 301, an eye area extraction processor 1002, an eye area bitmap memory 1004,
The manipulation buffer 1011 includes a pupil region movement processor 1009, a three-dimensional model memory 1101, a mapping memory 1103, a combining memory 217, a mask 1006, and a negative mask 1013.
【０１２７】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。The A / D converter 302 is used for the camera 102.
The analog electric signal indicating the video information output from is read. It is an information conversion system for converting the read analog electric signal into a digital signal with a sampling frequency of 10.7 to 14.3 MHz and a quantization bit number of 8 per color component.
【０１２８】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。The frame buffer 301 is a memory that can hold one frame of video converted into a digital signal.
【０１２９】目領域抽出プロセッサ１００２は、フレー
ムバッファ３０１に保持された映像情報を読み込む。プ
ロセッサ１００２は、被写体（使用者）の目の領域とそ
れ以外の領域（目以外の顔の部分および背景領域）との
境界を抽出する。The eye area extraction processor 1002 reads the video information held in the frame buffer 301. The processor 1002 extracts a boundary between the eye region of the subject (user) and the other regions (face portion other than eyes and background region).
【０１３０】目領域ビットマップメモリ１００４は、１
画素に対し１ビットの画像情報を記憶可能なメモリであ
る。The eye area bitmap memory 1004 is set to 1
It is a memory that can store 1-bit image information for each pixel.
【０１３１】マスク１００６は、目的の画像の解像度に
対応した１画素に対し１ビットの画像情報をマスク情報
として備える。このマスク情報により、目的の画像の転
送の禁止部分（ここでは、目以外の領域）を画素毎に定
義することができる。The mask 1006 has 1-bit image information as mask information for one pixel corresponding to the resolution of the target image. With this mask information, it is possible to define a prohibited portion (here, an area other than the eye) of the transfer of the target image for each pixel.
【０１３２】ネガマスク１０１３は、目的の画像の解像
度に対応した画素当り１ビットの画像情報をマスク情報
とする点で、マスク１００６と同様であるが、マスク１
００６の禁止と許可の定義情報を逆転させた情報内容を
持つ。ネガマスク１０１３は、このマスク情報に基づい
て、目的の画像の転送の禁止部分（ここでは、目の領
域）を画素毎に定義することができる。The negative mask 1013 is similar to the mask 1006 in that 1-bit image information per pixel corresponding to the resolution of the target image is used as the mask information.
It has the information contents that the definition information of prohibition and permission of 006 is reversed. Based on this mask information, the negative mask 1013 can define a prohibited portion (here, eye area) of transfer of a target image for each pixel.
【０１３３】瞳領域移動プロセッサ１００９は、マニピ
ュレーション用バッファ１０１１に格納された目の部分
（図８の７０３）の映像情報の瞳の部分（７０５）を抜
き出す。そして、瞳の部分（７０５）を抜き出された目
の部分（７０７）を、白眼の平均色で塗り潰す。次に、
平均色で塗り潰された目の部分（７０７）を、マッピン
グ用メモリ１１０３に転送する。また、後述のモデル８
０１を用いてメモリ１１０３における目の部分のマッピ
ング処理を行ない、マッピング処理された目の最前部に
瞳の部分（７０５）を書き込む。目の部分の中央に瞳の
部分が書き込まれた３次元データを２次元化する（７１
０）。The pupil area movement processor 1009 extracts the pupil portion (705) of the image information of the eye portion (703 in FIG. 8) stored in the manipulation buffer 1011. Then, the extracted eye portion (707) of the pupil portion (705) is filled with the average color of the white eye. next,
The eye portion (707) filled with the average color is transferred to the mapping memory 1103. Also, model 8 described later
01 is used to perform the mapping processing of the eye portion in the memory 1103, and the pupil portion (705) is written in the frontmost portion of the mapped eye. The three-dimensional data in which the pupil portion is written in the center of the eye portion is converted into two-dimensional data (71
0).
【０１３４】３次元モデル用メモリ１１０１は、マッピ
ングモデル８０１を保持するメモリである。マッピング
モデル８０１は、目の立体形状を近似して仮定した３次
元のサーフェスモデル・データである。The three-dimensional model memory 1101 is a memory for holding the mapping model 801. The mapping model 801 is three-dimensional surface model data that is assumed by approximating the three-dimensional shape of the eyes.
【０１３５】マッピング用メモリ１１０３は、マッピン
グモデル８０１上に使用者の目の映像をマッピングし
た、３次元のサーフェスモデル・データ状態を保持する
メモリである。The mapping memory 1103 is a memory that holds the three-dimensional surface model data state in which the image of the eyes of the user is mapped on the mapping model 801.
【０１３６】合成用メモリ２１７は、転送された目の部
分の映像（７１０）と目の部分以外の映像（７０４）と
を１フレーム上に合成（７１３）する時に使用される。The synthesizing memory 217 is used when synthesizing (713) the transferred image (710) of the eye part and the image (704) other than the eye part on one frame.
【０１３７】次に、図８を用い本発明の情報入出力装置
の回転手段１０４の機能を説明する。Next, the function of the rotating means 104 of the information input / output device of the present invention will be described with reference to FIG.
【０１３８】使用者１０１が、本発明による情報入出力
装置を起動させると、カメラ１０２から被写体である使
用者１０１および背景２０１の映像が読み込まれる。読
み込まれた映像は、ＲＧＢ信号に変換される。変換され
たＲＧＢ信号は、情報転送経路を介し、回転手段１０４
に入力される。When the user 101 activates the information input / output device according to the present invention, the images of the user 101 and the background 201, which are the subjects, are read from the camera 102. The read image is converted into RGB signals. The converted RGB signal passes through the information transfer path and is rotated by the rotating means 104.
Entered in.
【０１３９】回転手段１０４に入力されたＲＧＢ信号
は、Ａ／Ｄコンバータ３０２でデジタル信号に変換され
た後、フレームバッファ３０１に読み込まれる。フレー
ムバッファ３０１では、得られた映像情報のフレームを
一時保持する。The RGB signals input to the rotating means 104 are converted into digital signals by the A / D converter 302 and then read into the frame buffer 301. The frame buffer 301 temporarily holds a frame of the obtained video information.
【０１４０】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像２０４となる。使用者１０１がカメラ１０
２を見ていない場合には、保持された映像は、視線不一
致映像２０６となる。使用者は、対話の相手が表示され
たディスプレイを見ながら使用すると考えられるので、
視線不一致映像２０６が得られると考えられる。When the user 101 is looking at the camera 102, the image stored in the frame buffer 301 is
The line-of-sight match image 204 is obtained. User 101 is camera 10
When 2 is not viewed, the held image is the line-of-sight mismatch image 206. Since the user is considered to use while watching the display on which the other party of the dialogue is displayed,
It is considered that the line-of-sight mismatch image 206 is obtained.
【０１４１】視線不一致映像２０６から、目領域抽出プ
ロセッサ１００２により、目の部分（７０３）と目以外
の領域（７０４）との境界が抽出される。抽出された境
界のビットマップ情報は、目領域ビットマップメモリ１
００４に読み込まれ、一時的に保持される。この境界の
ビットマップ情報により、目の映像を抽出するためのマ
スク１００６が定義される。From the line-of-sight mismatch image 206, the boundary between the eye portion (703) and the area other than the eye (704) is extracted by the eye area extraction processor 1002. The extracted boundary bitmap information is stored in the eye area bitmap memory 1
It is read in 004 and is temporarily held. The mask information 1006 for extracting the eye image is defined by the bitmap information of this boundary.
【０１４２】フレームバッファ３０１に保持された映像
情報は、マスク１００６で、情報転送禁止部分がトリミ
ングされ、目の映像情報（７０３）が抽出されて、マニ
ピュレーション用バッファ１０１１に転送される。The image information held in the frame buffer 301 is trimmed by the mask 1006 at the information transfer prohibited portion, and the image information (703) of the eye is extracted and transferred to the manipulation buffer 1011.
【０１４３】バッファ１０１１に一時保持された目の部
分の映像（７０３）から、瞳領域移動プロセッサ１００
９により、瞳（７０５）の部分が抜き出される。瞳（７
０５）以外の部分（７０７）は、一旦白眼の平均色で塗
り潰される。From the image (703) of the eye portion temporarily stored in the buffer 1011, the pupil area moving processor 100
By 9, the portion of the pupil (705) is extracted. Pupil (7
The part (707) other than 05) is once painted with the average color of the white eye.
【０１４４】白眼の平均色で塗り潰された目（７０７）
は、瞳領域移動プロセッサ１００９により、マッピング
用メモリ１１０３に転送される。メモリ１１０３におい
て、目の部分（７０７）に、マッピングモデル（８０
１）を用いてマッピング処理が行なわれ、マッピング処
理された目の最前部に瞳の部分（７０５）が書き込まれ
る。目の部分の中央に瞳の部分が書き込まれると、３次
元データは２次元化される（７１０）。Eyes filled with the average color of the white eye (707)
Are transferred to the mapping memory 1103 by the pupil area movement processor 1009. In the memory 1103, the mapping model (80
The mapping process is performed using 1), and the pupil part (705) is written in the frontmost part of the mapped eye. When the pupil portion is written in the center of the eye portion, the three-dimensional data is made two-dimensional (710).
【０１４５】バッファ１１０３に書き込まれた目（７１
０）は、再びマスク１００６を介して、合成用メモリ２
１７に格納される。The eye (71
0) is again passed through the mask 1006 and the synthesis memory 2
It is stored in 17.
【０１４６】一方、バッファ３０１に格納された映像
は、マスク１０１３により、目以外の領域（７０４）が
抽出される。抽出された領域（７０４）は、合成用メモ
リ２１７に格納される。On the other hand, in the video image stored in the buffer 301, the area (704) other than the eyes is extracted by the mask 1013. The extracted area (704) is stored in the composition memory 217.
【０１４７】そして、合成用メモリ２１７において、目
（７１０）と目以外の領域（７０４）とが合成される
（７１３）。Then, in the combining memory 217, the eye (710) and the area other than the eye (704) are combined (713).
【０１４８】以下、本発明の第４の実施例を図９を用い
て説明する。図９は、本発明の情報入出力装置の第４実
施例の構成を示すブロック図である。The fourth embodiment of the present invention will be described below with reference to FIG. FIG. 9 is a block diagram showing the configuration of the fourth embodiment of the information input / output device of the present invention.
【０１４９】図９に示すように本実施例による情報入出
力装置は、カメラ１０２、回転手段１０４、選択手段１
０６、接続手段１０８、ディスプレイ１１１、ハンドセ
ット９０１、多重化手段９０３、回線１０９を備える。As shown in FIG. 9, the information input / output device according to the present embodiment includes a camera 102, a rotating means 104, and a selecting means 1.
06, a connection unit 108, a display 111, a handset 901, a multiplexing unit 903, and a line 109.
【０１５０】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。The camera 102 uses a designated subject (see FIG. 1).
Is an information conversion system capable of converting an image of the user 101) into an electric signal and outputting the electric signal.
【０１５１】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。この映像
情報の領域が、映像情報を発生した実空間内で所定の軸
回りに回転した場合の映像情報を疑似的に生成し、電気
信号で出力する情報処理系である。The rotating means 104 reads the image information represented by the electric signal converted by the camera 102. This image information area is an information processing system that pseudo-generates image information when the image information is rotated around a predetermined axis in the real space in which the image information is generated, and outputs it as an electric signal.
【０１５２】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択し指定する、
情報制御系である。The selecting means 106 selects and designates an information input / output device or the like on the partner side when transmitting and receiving target information.
It is an information control system.
【０１５３】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する、情報制御系である。An information input / output device on the other side of transmission / reception is connected to the connecting means 108 via a line 109. The connection unit 108 is an information control system that electrically connects to the information input / output device of the other party who desires to send and receive information and maintains a state where information can be exchanged.
【０１５４】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
可能な情報変換系である。The display 111 is an information conversion system capable of reading an electric signal transmitted from the information input / output device on the other side of transmission / reception, converting the electric signal into image information, and outputting the converted image.
【０１５５】ハンドセット（受話器）９０１は、マイク
ロホンとスピーカを持つ、複合した情報変換系である。
マイクロホンは、音声を入力し、この音声を電気信号に
変換して、コード９０２へ出力することができる。スピ
ーカは、コード９０２から音声を示す電気信号を受取
り、この電気信号を音声情報に変換し、変換された音声
情報を出力することができる。The handset (receiver) 901 is a composite information conversion system having a microphone and a speaker.
The microphone can input voice, convert the voice into an electrical signal, and output the electrical signal to the cord 902. The speaker can receive an electric signal indicating voice from the code 902, convert the electric signal into voice information, and output the converted voice information.
【０１５６】多重化手段９０３は、送信すべき映像と音
声との多重化を行なうマルチプレクサーと、受信した映
像と音声とを分離するデマルチプレクサーとから構成さ
れる。The multiplexing means 903 comprises a multiplexer for multiplexing the video and audio to be transmitted and a demultiplexer for separating the received video and audio.
【０１５７】次に、図９を用い本実施例による情報入出
力装置の動作概要を説明する。Next, the outline of the operation of the information input / output device according to this embodiment will be described with reference to FIG.
【０１５８】使用者１０１は、この情報入出力装置の起
動時に、選択手段１０６により予め単数或は複数の送受
信すべき相手を指定する。相手が指定されると、接続手
段１０８により、使用者１０１と指定された相手との映
像情報の送受信が可能な状態に電気的に接続され、接続
状態が保持される。When the information input / output device is activated, the user 101 designates a single or a plurality of parties to be transmitted / received by the selecting means 106 in advance. When the other party is designated, the connection means 108 electrically connects the user 101 and the designated other party in a state where video information can be transmitted and received, and the connected state is maintained.
【０１５９】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。Next, the image of the user 101, which is the subject, is read from the camera 102. The read image is converted into a red green blue (hereinafter referred to as RGB) signal and sent to the information transfer path 103.
【０１６０】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。The RGB signals sent to the information transfer path 103 are read by the rotating means 104. R read
The GB signal is divided into the head of the user 101 and a region other than the head for each frame of the obtained video information.
【０１６１】回転手段１０４においては、頭部の３次元
形状を、予め備える卵型の３次元形状データと仮定す
る。卵型データの重心或はその付近を通る水平或は垂直
軸回りに、頭部が正面をむく方向に、約１０°回転させ
た時の前記頭部の映像情報を、頭部の映像情報を卵型の
３次元データにマッピングする手法で生成する。In the rotating means 104, the three-dimensional shape of the head is assumed to be egg-shaped three-dimensional shape data which is provided in advance. About the horizontal or vertical axis passing through or near the center of the egg-shaped data, the image information of the head when rotated about 10 ° in the direction in which the head faces the front, It is generated by a method of mapping to egg-shaped three-dimensional data.
【０１６２】回転させた頭部の映像情報と、頭部以外の
領域の映像情報とを、再び従来の位置関係に従い合成
し、情報転送経路１０５にＲＧＢ信号として送出する。The image information of the rotated head and the image information of the area other than the head are synthesized again in accordance with the conventional positional relationship, and sent to the information transfer path 105 as an RGB signal.
【０１６３】また、ハンドセット９０１のマイクロホン
から使用者の音声を取り込み、音声信号に変換し、コー
ド９０２に送出する。ここで多重化手段９０３により、
ＲＧＢ信号と音声信号とが時分割で多重化される。この
多重化された信号（多重信号）を情報転送経路１０７に
出力する。Further, the voice of the user is taken in from the microphone of the handset 901, converted into a voice signal and transmitted to the code 902. Here, by the multiplexing means 903,
The RGB signal and the audio signal are time-division multiplexed. The multiplexed signal (multiplexed signal) is output to the information transfer path 107.
【０１６４】多重信号は、選択手段１０６および接続手
段１０８により構成される系において、伝送符号化手段
で符号化される。符号化された多重信号は、接続線１０
９を介し接続先へ伝送される。The multiplexed signal is coded by the transmission coding means in the system constituted by the selecting means 106 and the connecting means 108. The encoded multiple signal is connected to the connection line 10
9 is transmitted to the connection destination.
【０１６５】一方、接続線１０９を介して接続先から伝
送される多重信号は、接続手段１０８および情報転送経
路１０７により構成される系で、内蔵する伝送復号化手
段で伝送復号化される。復号化された多重信号は、多重
化手段９０３で、映像信号（つまりＲＧＢ信号）と音声
信号に分離される。ＲＧＢ信号は、ディスプレイ１１１
に情報転送経路１１０を介して転送され、ディスプレイ
１１１で可視の映像に変換されて出力される。音声信号
は、ハンドセット９０１のスピーカにコード９０２を介
し転送され、スピーカで音声に変換されて出力される。On the other hand, the multiplexed signal transmitted from the connection destination via the connection line 109 is transmission-decoded by the built-in transmission-decoding means in the system constituted by the connection means 108 and the information transfer path 107. The decoded multiplexed signal is separated by the multiplexing means 903 into a video signal (that is, an RGB signal) and an audio signal. The RGB signal is displayed on the display 111.
Is transmitted via the information transfer path 110, converted into a visible image on the display 111, and output. The voice signal is transferred to the speaker of the handset 901 via the code 902, converted into voice by the speaker, and output.
【０１６６】[0166]
【発明の効果】上記のように本発明によれば、テレビ電
話等において、使用者を撮像するカメラと対話の相手の
像を表示するディスプレイとが同軸上に無いために発生
していた、対話する２者の視線不一致を、装置内部の画
像処理により解消し、自動的に視線を一致させて表示す
ることができる。このため、従来のディスプレイやカメ
ラのコンポーネントを流用したまま、使用者に何等負担
を強いること無く対話する２者の視線を一致させ、より
臨場感の有る映像通信を可能にする。As described above, according to the present invention, in a videophone or the like, a dialogue that occurs because the camera for picking up the user and the display for displaying the image of the other party of the dialogue are not coaxial with each other. It is possible to eliminate the line-of-sight disagreement between the two persons by the image processing inside the apparatus, and automatically display the lines of sight by matching them. For this reason, the lines of sight of two parties who interact with each other can be matched without diminishing the burden on the user while diverting the components of the conventional display and camera, thereby enabling more realistic video communication.
【図１】本発明の情報入出力装置の第１実施例のブロッ
ク図。FIG. 1 is a block diagram of a first embodiment of an information input / output device of the present invention.
【図２】本発明の情報入出力装置の回転手段の機能を示
す図。FIG. 2 is a diagram showing a function of a rotation unit of the information input / output device of the present invention.
【図３】本発明の情報入出力装置の回転手段のブロック
図。FIG. 3 is a block diagram of rotation means of the information input / output device of the present invention.
【図４】本発明の情報入出力装置の動作を示すフローチ
ャートの図。FIG. 4 is a flowchart showing an operation of the information input / output device of the present invention.
【図５】本発明の情報入出力装置の第２実施例のブロッ
ク図。FIG. 5 is a block diagram of a second embodiment of the information input / output device of the present invention.
【図６】本発明の情報入出力装置の第３実施例のブロッ
ク図。FIG. 6 is a block diagram of a third embodiment of the information input / output device of the present invention.
【図７】本発明の情報入出力装置の回転手段の他の実施
例の機能を示す図。FIG. 7 is a diagram showing the function of another embodiment of the rotation means of the information input / output device of the present invention.
【図８】本発明の情報入出力装置の回転手段のさらに他
の実施例の機能を示す図。FIG. 8 is a diagram showing the function of still another embodiment of the rotating means of the information input / output device of the present invention.
【図９】本発明の情報入出力装置の第４実施例のブロッ
ク図。FIG. 9 is a block diagram of an information input / output device according to a fourth embodiment of the present invention.
【図１０】本発明の情報入出力装置の回転手段の他の実
施例のブロック図。FIG. 10 is a block diagram of another embodiment of the rotating means of the information input / output device of the present invention.
【図１１】本発明の情報入出力装置の回転手段のさらに
他の実施例のブロック図。FIG. 11 is a block diagram of still another embodiment of the rotating means of the information input / output device of the present invention.
１０１・・・使用者、１０２・・・カメラ、１０３，１
０５，１０７，１１０・・・情報転送経路、１０４・・
・回転手段、１０６・・・選択手段、１０８・・・接続
手段、１０９・・・通信回線、１１１・・・ディスプレ
イ、２０１・・・背景、３０１・・・フレームバッフ
ァ、２０３・・・視線一致映像、２０５・・・視線不一
致映像、２０９・・・頭部映像、２１０・・・背景映
像、２１１・・・マッピングモデル、２１２・・・マッ
ピング映像、２１３・・・回転軸、２１４・・・回転映
像、２１５・・・２次元化映像、２１８・・・処理映
像、３０３，３０４，３０６，３１０，３１１，３１
４，３１６，３１８，３２０，３２２・・・情報転送経
路、３０２・・・Ａ／Ｄコンバータ、３０５・・・輪郭
抽出プロセッサ、３０７・・・輪郭ビットマップメモ
リ、３０９・・・マスク、３１２・・・３次元モデル用
メモリ、３１３・・・マッピング用メモリ、３１５・・
・回転プロセッサ、３１７・・・３次元データメモリ、
３１９・・・２次元化プロセッサ、３２１・・・ネガマ
スク、５０１・・・切り換え手段、５０２，５０３，５
０６・・・情報転送経路、５０４・・・解読手段、５０
５・・・切り換え手段、６０１・・・立体化手段、７０
３・・・目部映像、７０４・・・背景映像、７０５・・
・瞳映像、７０７・・・白眼映像、７０８・・・中心
線、７１０・・・書き換え目部映像、７１３・・・処理
映像、８０１・・・眼球マッピングモデル、９０１・・
・ハンドセット、９０２・・・コード、９０３・・・多
重化手段。101 ... User, 102 ... Camera, 103, 1
05,107,110 ... Information transfer path, 104 ...
-Rotating means, 106 ... Selecting means, 108 ... Connecting means, 109 ... Communication line, 111 ... Display, 201 ... Background, 301 ... Frame buffer, 203 ... Line-of-sight matching Image, 205 ... Gaze mismatch image, 209 ... Head image, 210 ... Background image, 211 ... Mapping model, 212 ... Mapping image, 213 ... Rotation axis, 214 ... Rotated image, 215 ... Two-dimensional image, 218 ... Processed image, 303, 304, 306, 310, 311, 31
4, 316, 318, 320, 322 ... Information transfer path, 302 ... A / D converter, 305 ... Contour extraction processor, 307 ... Contour bitmap memory, 309 ... Mask, 312 ... ..Memory for three-dimensional model, 313 ... Memory for mapping, 315 ...
・ Rotation processor, 317 ... Three-dimensional data memory,
319 ... Two-dimensional processor, 321 ... Negative mask, 501 ... Switching means, 502, 503, 5
06 ... Information transfer path, 504 ... Decoding means, 50
5 ... Switching means, 601 ... Three-dimensionalization means, 70
3 ... Eye image, 704 ... Background image, 705 ...
-Pupil image, 707 ... white-eye image, 708 ... center line, 710 ... rewritten eye part image, 713 ... processed image, 801 ... eyeball mapping model, 901 ...
-Handset, 902 ... Code, 903 ... Multiplexing means.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小檜山 智久 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 坂井 浩之 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 中田 順二 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 山岸 正巳 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 木村 祐二 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 冨田 民則 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Tomohisa Kobinoyama 292 Yoshida-cho, Totsuka-ku, Yokohama, Kanagawa Prefecture Microelectronics Equipment Development Laboratory, Hitachi, Ltd. (72) Hiroyuki Sakai Totsuka-ku, Yokohama, Kanagawa 292 Yoshida-cho, Hitachi, Ltd. Microelectronics equipment development laboratory (72) Inventor Junji Nakata 292, Yoshida-cho, Totsuka-ku, Yokohama, Kanagawa Prefecture Hitachi, Ltd. Microelectronics equipment development laboratory (72) ) Inventor Masami Yamagishi 292 Yoshida-cho, Totsuka-ku, Yokohama, Kanagawa Prefecture Hitachi Ltd., Microelectronics Equipment Development Laboratory (72) Inventor Yuji Kimura 292 Yoshida-cho, Totsuka-ku, Yokohama, Kanagawa Prefecture Hitachi, Ltd. Micro Electronics Scan equipment development within the Institute (72) inventor Tomita Min-seok, Kanagawa Prefecture, Totsuka-ku, Yokohama-shi Yoshida-cho, 292 address Co., Ltd. Hitachi, micro-electronics equipment developed within the Institute
Claims (11)
報を入力する入力手段と、 前記入力された映像情報に基づいて、前記被写体の人物
の顔の向きもしくは視線の方向うちの少なくとも一方
を、入力された映像情報中の顔の向きもしくは視線の方
向より変化させた映像を示す映像情報を生成する補正手
段と、 前記生成した映像情報を出力する出力手段と、 を備えることを特徴とする映像入出力装置。1. Input means for inputting at least video information of a person's face as a subject, and based on the input video information, at least one of a face direction and a line-of-sight direction of the person of the subject, An image comprising: a correction unit that generates image information indicating an image changed from a face direction or a line-of-sight direction in the input image information; and an output unit that outputs the generated image information. I / O device.
介して他装置へ出力することを特徴とする映像入出力装
置。2. The video input / output device according to claim 1, wherein the output means outputs the generated video information to another device via a communication line.
介して他装置より入力することを特徴とする映像入出力
装置。3. The video input / output device according to claim 1, wherein the input unit inputs the generated video information from another device via a communication line.
写体の人物の顔の向きもしくは視線の方向うちの少なく
とも一方を、正面向きとした映像を生成することを特徴
とする映像入出力装置。4. The image according to claim 1, 2 or 3, wherein at least one of a face direction and a line-of-sight direction of the person of the subject is directed to the front from the input image information. A video input / output device characterized by generating
置とを含み、 前記請求項２記載の装置は、前記出力手段が出力する映
像情報に、当該映像情報が前記補正手段によって生成さ
れた映像情報であることを示す補正済情報を付加する手
段をさらに備え、 前記請求項３記載の装置は、入力された映像情報に、前
記補正済情報が付加されていることを識別する解読手段
と、前記補正済情報が付加されていることが識別された
場合に、前記補正手段により補正を行なわないよう制御
する制御手段とをさらに備えることを特徴とする通信シ
ステム。5. The apparatus according to claim 2 and the apparatus according to claim 3, wherein the apparatus according to claim 2 includes the video information output by the output means, the video information being output by the correction means. The apparatus according to claim 3, further comprising means for adding corrected information indicating that the image information is generated, and identifying that the corrected information is added to the input image information. The communication system further comprising a decoding unit and a control unit that controls the correction unit not to perform correction when it is identified that the corrected information is added.
た、少なくとも２以上の映像を入力する入力手段と、 前記入力された少なくとも２以上の映像から、前記被写
体の３次元形状を求める立体化手段と、 前記３次元形状中の顔が正面を向いた、前記３次元形状
の２次元映像を生成する２次元化手段と、 前記２次元映像情報を出力する出力手段と、 を備えることを特徴とする映像入出力装置。6. Input means for inputting at least two or more images obtained by photographing a subject including a face from different directions, and three-dimensionalizing means for obtaining a three-dimensional shape of the subject from the input at least two or more images. And a two-dimensionalization unit that generates a two-dimensional image of the three-dimensional shape with the face of the three-dimensional shape facing the front, and an output unit that outputs the two-dimensional image information. Video input / output device.
外の映像情報とを、それぞれ抽出する手段と、 前記抽出された顔の映像情報を、前記モデルにマッピン
グするマッピング手段と、 前記マッピングされたモデルを回転させる手段と、 前記回転されたモデルの２次元映像を生成する２次元化
手段と、 前記２次元映像情報と、前記抽出された顔以外の映像情
報とを合成する手段と、 を備えることを特徴とする映像入出力装置。7. The holding means for holding a model of a three-dimensional shape of a human face according to claim 1, 2 or 3, and the image information of the face and the face of the input image information. 2 of the rotated model, a mapping unit that maps the extracted image information of the face to the model, a unit that rotates the mapped model, A video input / output device comprising: a two-dimensional conversion unit that generates a three-dimensional video; and a unit that combines the two-dimensional video information and the video information other than the extracted face information.
域を認識する認識手段と、 前記認識された目の領域および瞳の領域に基づいて、瞳
の映像の位置を目の領域に対して相対的に移動させた目
の映像を生成する生成手段と、 を備えることを特徴とする映像入出力装置。8. The recognition unit according to claim 1, 2 or 3, wherein the correction unit recognizes an eye region and a pupil region of the input image information, and the recognized eye region and An image input / output device comprising: a generation unit configured to generate an eye image in which the position of the pupil image is moved relative to the eye region based on the pupil region.
ることを特徴とする映像入出力装置。9. The image input / output device according to claim 8, wherein the generation unit moves the position of the image of the pupil to the center of the eye region.
ングする手段と、 前記マッピングされたモデルの所定の位置に、前記抽出
された瞳の映像をマッピングする手段と、 を備えることを特徴とする映像入出力装置。10. The correction unit according to claim 8, wherein the correction unit holds a three-dimensional mapping model of the eye, a unit that extracts an image of the recognized pupil, and the model excludes the recognized pupil. An image input / output device comprising: a unit for mapping an image of an eye; and a unit for mapping the image of the extracted pupil at a predetermined position of the mapped model.
るテレビ電話装置において、 請求項１、２、３、４、５、６、７、８または９記載の
映像入出力装置を内蔵したことを特徴とするテレビ電話
装置。11. A videophone device for transmitting and receiving video and audio in real time, comprising the video input / output device according to claim 1, 2, 3, 4, 5, 6, 7, 8 or 9. Videophone device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4240969A JPH0690445A (en) | 1992-09-09 | 1992-09-09 | Video input/output device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4240969A JPH0690445A (en) | 1992-09-09 | 1992-09-09 | Video input/output device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0690445A true JPH0690445A (en) | 1994-03-29 |
Family
ID=17067354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4240969A Pending JPH0690445A (en) | 1992-09-09 | 1992-09-09 | Video input/output device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0690445A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355804A (en) * | 1998-06-04 | 1999-12-24 | Nec Corp | Network conference image processing unit |
| JP2006510081A (en) * | 2002-12-11 | 2006-03-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for correcting head posture in videophone image |
| JP2007272318A (en) * | 2006-03-30 | 2007-10-18 | Rozefu Technol:Kk | Processing method of personal photographic image |
| JP2008140271A (en) * | 2006-12-04 | 2008-06-19 | Toshiba Corp | Interactive device and method thereof |
| JP2010206307A (en) * | 2009-02-27 | 2010-09-16 | Toshiba Corp | Information processor, information processing method, information processing program, and network conference system |
| JP2011204182A (en) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Image generating device, image processing method, and program |
| KR101252762B1 (en) * | 2012-01-26 | 2013-04-12 | (주) 피디케이리미티드 | Apparatus and method for image synthesis in image conference terminal |
| KR20150029317A (en) * | 2013-09-10 | 2015-03-18 | 에스케이플래닛 주식회사 | Apparatus, method and computer readable medium having computer program recorded for facial image correction |
| JP2015513833A (en) * | 2012-02-27 | 2015-05-14 | エー・テー・ハー・チューリッヒＥｔｈ Ｚｕｅｒｉｃｈ | Method and system for image processing for gaze correction in video conferencing |
| WO2020090128A1 (en) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | Image processing device, method, and computer program |
-
1992
- 1992-09-09 JP JP4240969A patent/JPH0690445A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355804A (en) * | 1998-06-04 | 1999-12-24 | Nec Corp | Network conference image processing unit |
| JP2006510081A (en) * | 2002-12-11 | 2006-03-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for correcting head posture in videophone image |
| JP2007272318A (en) * | 2006-03-30 | 2007-10-18 | Rozefu Technol:Kk | Processing method of personal photographic image |
| JP2008140271A (en) * | 2006-12-04 | 2008-06-19 | Toshiba Corp | Interactive device and method thereof |
| US8514262B2 (en) | 2009-02-27 | 2013-08-20 | Kabushiki Kaisha Toshiba | Information processing apparatus and network conference system |
| JP2010206307A (en) * | 2009-02-27 | 2010-09-16 | Toshiba Corp | Information processor, information processing method, information processing program, and network conference system |
| JP2011204182A (en) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Image generating device, image processing method, and program |
| KR101252762B1 (en) * | 2012-01-26 | 2013-04-12 | (주) 피디케이리미티드 | Apparatus and method for image synthesis in image conference terminal |
| JP2015513833A (en) * | 2012-02-27 | 2015-05-14 | エー・テー・ハー・チューリッヒＥｔｈ Ｚｕｅｒｉｃｈ | Method and system for image processing for gaze correction in video conferencing |
| US9684953B2 (en) | 2012-02-27 | 2017-06-20 | Eth Zurich | Method and system for image processing in video conferencing |
| KR20150029317A (en) * | 2013-09-10 | 2015-03-18 | 에스케이플래닛 주식회사 | Apparatus, method and computer readable medium having computer program recorded for facial image correction |
| WO2020090128A1 (en) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | Image processing device, method, and computer program |
| WO2020089971A1 (en) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | Image processing apparatus, method, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4436126B2 (en) | Video communication systems using model-based coding and prioritization techniques. | |
| CN101610421B (en) | Video communication method, video communication device and video communication system | |
| KR100881526B1 (en) | Data transmission method, apparatus using same, and data transmission system | |
| CA2157613C (en) | Video conference system and method of providing parallax correction and a sense of presence | |
| JP6732716B2 (en) | Image generation apparatus, image generation system, image generation method, and program | |
| WO2013001902A1 (en) | Image processing device, method for controlling image processing device, program, and information storage medium | |
| US11120632B2 (en) | Image generating apparatus, image generating system, image generating method, and program | |
| JP2005500721A (en) | VTV system | |
| JP4144492B2 (en) | Image display device | |
| CN113206971A (en) | Image processing method and display device | |
| JPH0690445A (en) | Video input/output device | |
| JP2018191186A (en) | Client device, processing method for client device, server, and processing method for server | |
| JP6978289B2 (en) | Image generator, head-mounted display, image generation system, image generation method, and program | |
| JP2003009108A (en) | Picture communication system, picture communication equipment and picture communication method | |
| JP2020064592A (en) | Image generator, image generation system, image generation method, and program | |
| JP2020115299A (en) | Virtual space information processing device, method and program | |
| JP4188224B2 (en) | Image processing method | |
| JP7452434B2 (en) | Information processing device, information processing method and program | |
| JPH09331509A (en) | Display device for stored portrait image for video telephone set | |
| JPH09200715A (en) | Equipment, method and system for communication | |
| JP3854871B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| US7154906B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code | |
| JP3721624B2 (en) | TV phone system | |
| JP2001092990A (en) | Three-dimensional virtual space participant display method, three-dimensional virtual space display device and recording medium stored with three-dimensional virtual space participant display program | |
| JPH09154114A (en) | Electronic conference terminal equipment |