JPH06230754A - Image display device with presence and image input/ output device with presence - Google Patents
Image display device with presence and image input/ output device with presenceInfo
- Publication number
- JPH06230754A JPH06230754A JP5019178A JP1917893A JPH06230754A JP H06230754 A JPH06230754 A JP H06230754A JP 5019178 A JP5019178 A JP 5019178A JP 1917893 A JP1917893 A JP 1917893A JP H06230754 A JPH06230754 A JP H06230754A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- background
- background image
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は，高臨場感を必要とする
画像表示装置および対面型の画像通信，例えば高機能Ｔ
Ｖ電話，テレビ会議等の撮像，表示装置に用いられる臨
場感画像表示装置および臨場感画像入出力装置に関する
ものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device and a face-to-face image communication which require a high sense of presence, for example, a high-performance T
The present invention relates to a realistic image display device and a realistic image input / output device used for image pickup and display devices for V telephones, video conferences, and the like.
【０００２】[0002]
【従来の技術】近年，画像通信技術の発達に伴い，遠隔
地間を画像，音声通信網で接続したＴＶ電話，テレビ会
議サービスが普及しつつある。また，画像通信を用いた
サービスのなかでも医療コンサルタント，法律コンサル
タント，あるいはＶＩＰ用の通信端末として，高臨場感
を得ることのできる端末が求められている。高臨場感画
像通信を実現する手段として立体画像表示等が検討され
ているが，自然な立体表示を得るためには，数十枚の画
像情報を同時に伝送する必要があり，大量の通信容量が
求められる。さらに，立体画像を長時間観察する場合，
眼疲労等の問題が生じる等の課題を克服する必要があ
る。2. Description of the Related Art In recent years, along with the development of image communication technology, videophones and videoconference services in which remote areas are connected by image, voice communication network are becoming popular. Further, among services using image communication, a terminal capable of obtaining a high sense of presence is required as a medical consultant, a legal consultant, or a VIP communication terminal. Stereoscopic image display has been studied as a means for realizing highly realistic image communication, but in order to obtain a natural stereoscopic display, it is necessary to transmit several tens of pieces of image information at the same time, and a large communication capacity is required. Desired. Furthermore, when observing a stereoscopic image for a long time,
It is necessary to overcome problems such as problems such as eye fatigue.
【０００３】比較的簡便な構成で，高臨場感の要因であ
る奥行き感がある画像を表示させるための方式として
は，背景に対し人物部分が浮びあがるように見える表示
方式が考案されている。現在実用化されている方式とし
て，現実の背景セット前方にハーフミラーを用いて人物
の虚像と合成表示するマジックビジョン方式がある。As a method for displaying an image having a sense of depth, which is a factor of a high sense of presence, with a relatively simple structure, a display method in which a human portion appears to stand out against the background has been devised. As a method currently put into practical use, there is a magic vision method in which a half mirror is used in front of an actual background set to synthesize and display a virtual image of a person.
【０００４】図３にその従来技術の構成を示す。観察者
３１は，投影機３２によって投影された実像３３をハー
フミラー３４での反射像である虚像人物画像３５として
観察する。虚像人物画像３５は実物の背景３６と重なる
位置で観察されるので，人物があたかも背景３６内の空
間に浮びあがるように観察される。FIG. 3 shows the configuration of the prior art. The observer 31 observes the real image 33 projected by the projector 32 as a virtual image person image 35 which is a reflection image on the half mirror 34. Since the virtual image person image 35 is observed at a position overlapping the actual background 36, the person is observed as if it were floating in the space within the background 36.
【０００５】[0005]
【発明が解決しようとする課題】マジックビジョン方式
を通信に用いる場合，背景３６が実物のセットであり，
固定されているため使用できるシチュエーションが限定
されること，さらに人物像が虚像で表示されるため，人
物像と背景との重なり部分が見えてしまい，これを隠す
ため背景３６の照明を暗くしなければならず，背景情報
が活かされないなどの問題がある。When the magic vision method is used for communication, the background 36 is an actual set,
Since it is fixed, the situations that can be used are limited, and since the human image is displayed as a virtual image, the overlapping portion of the human image and the background can be seen. To hide this, the lighting of the background 36 must be dark. However, there is a problem that background information is not utilized.
【０００６】[0006]
【課題を解決するための手段】この課題を解決するた
め，本発明では，任意背景から切り出した虚像人物画像
と，その人物画像部分を影画像として任意の背景と合成
した背景画像を奥行きが異なる２つの面上に表示させる
ようにする。この際に，前記虚像人物画像を前記背景画
像の人物影部分と重なるように背景画像の前方に表示さ
せる。さらに，観察者の頭部の左右移動位置に応じて前
記背景画像中の人物影部分をスクロールさせる。In order to solve this problem, in the present invention, a virtual image of a person cut out from an arbitrary background and a background image obtained by synthesizing the human image portion as a shadow image with an arbitrary background have different depths. It should be displayed on two surfaces. At this time, the virtual image person image is displayed in front of the background image so as to overlap the person shadow portion of the background image. Further, the shadow portion of the person in the background image is scrolled according to the horizontal movement position of the observer's head.
【０００７】対面型の画像通信端末として用いる画像入
出力装置では，さらに虚像人物像の背後に人物撮影用の
カメラを設置する。In the image input / output device used as the face-to-face type image communication terminal, a camera for photographing a person is further installed behind the virtual image of the person.
【０００８】[0008]
【作用】本発明では，通信の状況等に応じた任意背景画
像を背景画像として表示し，観察者に人物像と背景の重
なりとして観察される部分を画像処理によって背景画像
から抜き出し，黒信号として，画像の重なりを除いてい
るため，人物，背景画像を共に明るく表示でき，さら
に，観察者の観察位置に応じて上記重なり部分の影を左
右にスクロールすることにより運動視差の再現による臨
場感の向上も可能にしている。また，人物像と背景画像
の間に撮影用のカメラを配置することが可能であるた
め，対話者同士が視線の一致した自然な人物像を見なが
ら通信することが可能となる。また，両眼視差による立
体表示方式と異なり，人物像の表示面と背景の表示面が
離れているため，自然な奥行き感を感じさせることがで
き，長時間観察による眼疲労等の問題も生じない。According to the present invention, an arbitrary background image according to the communication situation is displayed as a background image, and a portion observed as an overlap between a human image and the background is extracted from the background image by image processing as an black signal. Since the overlapping of images is eliminated, both the person and the background image can be displayed brightly. Furthermore, by scrolling the shadow of the overlapping part left and right according to the observation position of the observer, a realistic sensation can be obtained by reproducing the motion parallax. It is possible to improve. Moreover, since a camera for photographing can be arranged between the person image and the background image, it becomes possible for the interlocutors to communicate while seeing a natural person image with a matching line of sight. Also, unlike the stereoscopic display method using binocular parallax, the display surface of the human image and the display surface of the background are separated, so that a natural sense of depth can be felt, and problems such as eye fatigue due to long-term observation also occur. Absent.
【０００９】[0009]
【実施例】図１に本発明の構成例を示す。虚像生成表示
手段１０は，送られてきた人物画像の左右反転画像から
ハーフミラー等を用いて虚像人物画像１６を生成・表示
する手段である。合成背景画像生成手段１１は，背景画
像から人物画像の存在する部分を黒画像に置換した合成
背景画像１７を生成する。合成背景画像表示手段１２
は，この合成背景画像１７を，観察者１８から見て虚像
人物画像１６の後方に表示する。テレビカメラ１３は，
観察者１８を撮像する。移動検出手段１４は，テレビカ
メラ１３から入力した画像について観察者１８の頭部の
位置を検出し，その位置の移動を検出する手段である。
スクロール制御手段１５は，移動検出手段１４が検出し
た観察者１８の頭部の移動位置に応じて，合成背景画像
生成手段１１が生成する合成背景画像１７における影画
像１９の部分が，虚像人物画像１６の人物部分と重なる
位置になるように，影画像１９の部分をスクロールさせ
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows a structural example of the present invention. The virtual image generation / display means 10 is means for generating / displaying the virtual image person image 16 from a horizontally inverted image of the sent person image using a half mirror or the like. The synthetic background image generation means 11 generates a synthetic background image 17 in which a portion where a human image exists is replaced with a black image from the background image. Composite background image display means 12
Displays this composite background image 17 behind the virtual image person image 16 when viewed from the observer 18. The TV camera 13
The observer 18 is imaged. The movement detecting means 14 is means for detecting the position of the head of the observer 18 in the image input from the television camera 13 and detecting the movement of the position.
In the scroll control means 15, the portion of the shadow image 19 in the synthetic background image 17 generated by the synthetic background image generating means 11 according to the moving position of the head of the observer 18 detected by the movement detecting means 14 is a virtual image image. The portion of the shadow image 19 is scrolled so that the portion overlaps with the 16 person portion.
【００１０】テレビカメラ１３は，虚像人物画像１６の
背後に設置され，これからの入力画像は，通信相手装置
へ送信される。観察者１８の頭部の移動は，テレビカメ
ラ１３からの入力によって検出することができるが，例
えば赤外線などを用いた他の手段によって検出してもよ
い。The television camera 13 is installed behind the virtual image 16 and the input image from this is transmitted to the communication partner device. The movement of the head of the observer 18 can be detected by an input from the television camera 13, but may be detected by other means using infrared rays or the like.
【００１１】図２は本発明の実施例構成図である。対向
端末から伝送された画像から，人物像抽出部２０によっ
て人物画像を切り出す。この人物像抽出部２０による人
物画像の切り出しは，例えば次の文献に記載されている
方法等によって行うことができる。 〔参考文献〕酒井，滝田，中村：“動領域抽出に関する
一方法”，テレビジョン学会技術報ｖｏｌ．１６，Ｎ
Ｏ．３２，ｐｐ１９−２３。FIG. 2 is a block diagram of an embodiment of the present invention. A person image is extracted by the person image extraction unit 20 from the image transmitted from the opposite terminal. The cutout of the human image by the human image extraction unit 20 can be performed by, for example, the method described in the following document. [References] Sakai, Takita, and Nakamura: "A Method for Moving Region Extraction", Technical Report of the Institute of Television Engineers of Japan, vol. 16, N
O. 32, pp 19-23.
【００１２】左右反転部２１は，切り出した人物画像の
左右を反転させ，その画像を人物用の投影機２２へ送
る。投影機２２は，その人物画像をスクリーン２３に投
影する。この像はハーフミラー２４で反射した後，観察
者１８に観察される。したがって，観察者１８は，虚像
人物画像１６を観察することになる。The left / right reversing unit 21 inverts the left and right of the cut out person image and sends the image to a projector 22 for a person. The projector 22 projects the person image on the screen 23. This image is reflected by the half mirror 24 and then observed by the observer 18. Therefore, the observer 18 observes the virtual image person image 16.
【００１３】一方，任意の背景画像が影画像合成スクロ
ール部２５に入力される。入力される背景画像は，対向
端末から伝送された画像でも他の予め用意されている画
像でもよい。この背景画像は，影画像合成スクロール部
２５によって，虚像人物画像１６の人物領域を黒信号と
した影画像と合成され，背景用の投影機２６へ送られ
る。投影機２６は，これを虚像人物画像１６より奥に配
置されたスクリーン２９に像を結ぶように投影する。On the other hand, an arbitrary background image is input to the shadow image synthesis scroll unit 25. The input background image may be an image transmitted from the opposite terminal or another image prepared in advance. This background image is combined by the shadow image combination scroll unit 25 with a shadow image in which the person area of the virtual image person image 16 is a black signal, and is sent to the background projector 26. The projector 26 projects this so as to form an image on the screen 29 arranged behind the virtual image 16 of the person.
【００１４】したがって，観察者１８は，前方に虚像人
物画像１６を，後方に人物部分の抜けた合成背景画像１
７を同時に観察することになる。テレビカメラ１３によ
り撮像された観察者１８の画像は，画像入力部２７に入
力され，対向端末に送信される。一方，この画像から，
観察者１８が左右に動いたかどうかを頭部位置検出部２
８によって検出する。この頭部位置の検出は，例えば次
の文献に記載されている方法を用いることによって実施
できる。 〔参考文献〕永嶋，中谷，久樹：“映像信号における人
物像検出・追跡法の一検討”，電子情報通信学会研究報
告，ＩＥ８７−８７，ｐｐ１７−２４（１９８７）。Therefore, the observer 18 sees the virtual human image 16 in the front and the synthetic background image 1 in which the human part is missing in the rear.
7 will be observed at the same time. The image of the observer 18 captured by the television camera 13 is input to the image input unit 27 and transmitted to the opposite terminal. On the other hand, from this image,
The head position detection unit 2 determines whether the observer 18 has moved left and right.
8 to detect. The head position can be detected by using the method described in the following document, for example. [References] Nagashima, Nakatani, Hisaki: "A Study on Human Image Detection and Tracking Method in Video Signals", IEICE Research Report, IE87-87, pp17-24 (1987).
【００１５】頭部位置検出部２８によって頭部位置の移
動が検出されると，その頭部位置座標は影画像合成スク
ロール部２５へ通知される。影画像合成スクロール部２
５は，頭部位置座標に応じて，背景画像と合成する人物
の影画像を左右にスクロールさせ，観察者１８が見た場
合に，合成背景画像１７における影画像が虚像人物画像
１６における人物像と重なるように合成する。When the movement of the head position is detected by the head position detection unit 28, the head position coordinates are notified to the shadow image synthesis scroll unit 25. Shadow image composition scroll unit 2
Reference numeral 5 scrolls left and right the shadow image of the person to be combined with the background image according to the head position coordinates, and when the observer 18 sees, the shadow image in the combined background image 17 is the virtual image in the human image 16. Combine so that it overlaps with.
【００１６】図２に示す実施例は，ＴＶ電話等に用いる
ことのできる画像入出力装置の例であるが，表示だけを
行う画像表示装置も同様に構成することができる。The embodiment shown in FIG. 2 is an example of an image input / output device that can be used for a TV phone or the like, but an image display device for displaying only can be similarly constructed.
【００１７】[0017]
【発明の効果】以上説明したように，本発明によれば，
運動視差の再現により臨場感を向上させると共に，人
物，背景画像の双方を明るく表示することができるよう
になる。人物像の表示面と背景の表示面が離れているた
め，自然な奥行き感を感じさせることができ，長時間観
察による眼疲労等の問題も生じない。また，人物像と背
景画像の間に撮影用のカメラを配置することが可能であ
るため，対面型の画像通信において自然な人物像を見な
がら通信することが可能となる。As described above, according to the present invention,
By reproducing the motion parallax, it is possible to improve the sense of realism and display both the person and the background image brightly. Since the display surface of the person image is separated from the display surface of the background, a natural sense of depth can be felt, and problems such as eye fatigue due to long-term observation do not occur. Further, since it is possible to dispose a camera for photographing between the person image and the background image, it is possible to perform communication while looking at a natural person image in face-to-face image communication.
【図１】本発明の構成例を示す図である。FIG. 1 is a diagram showing a configuration example of the present invention.
【図２】本発明の実施例構成図である。FIG. 2 is a configuration diagram of an embodiment of the present invention.
【図３】マジックビジョン方式の例を示す図である。FIG. 3 is a diagram showing an example of a magic vision method.
１０ 虚像生成表示手段 １１ 合成背景画像生成手段 １２ 合成背景画像表示手段 １３ テレビカメラ １４ 移動検出手段 １５ スクロール制御手段 １６ 虚像人物画像 １７ 合成背景画像 １８ 観察者 １９ 影画像 10 Virtual Image Generating / Displaying Means 11 Synthetic Background Image Generating Means 12 Synthetic Background Image Displaying Means 13 TV Cameras 14 Movement Detecting Means 15 Scroll Control Means 16 Virtual Image Personal Images 17 Synthetic Background Images 18 Observers 19 Shadow Images
Claims (2)
示する画像表示装置において，人物画像の左右反転画像
から虚像人物画像を生成・表示する虚像生成表示手段
と，前記背景画像から前記人物画像の存在する部分を黒
画像に置換した合成背景画像を生成する合成背景画像生
成手段と，前記人物画像と前記合成背景画像における黒
画像に置換した部分とが重なるように，前記合成背景画
像を前記虚像人物画像の後方に表示する手段と，観察者
の頭部の位置を検出する手段と，観察者の頭部の移動位
置に応じて前記合成背景画像中の黒画像に置換した人物
影部分をスクロールさせる手段とを備えたことを特徴と
する臨場感画像表示装置。1. An image display device for displaying a person image and a background image in a superimposed manner, and a virtual image generating and displaying means for generating and displaying a virtual image person image from a horizontally reversed image of the person image, and the person image from the background image. The composite background image is generated such that the composite background image generating means for generating a composite background image in which the existing portion is replaced with the black image and the portion of the composite background image replaced with the black image are overlapped with each other. A means for displaying behind the virtual image person image, a means for detecting the position of the observer's head, and a person shadow portion in which the black image in the composite background image is replaced in accordance with the moving position of the observer's head. A realistic image display device, comprising: means for scrolling.
力装置において，送られてきた人物画像の左右反転画像
から虚像人物画像を生成・表示する虚像生成表示手段
と，背景画像から前記人物画像の存在する部分を黒画像
に置換した合成背景画像を生成する合成背景画像生成手
段と，前記人物画像と前記合成背景画像における黒画像
に置換した部分とが重なるように，前記合成背景画像を
前記虚像人物画像の後方に表示する手段と，観察者の頭
部の位置を検出する手段と，観察者の頭部の移動位置に
応じて前記合成背景画像中の黒画像に置換した人物影部
分をスクロールさせる手段と，前記虚像人物画像の背後
に設置されたカメラにより，相手装置へ送信する人物画
像を撮影する手段とを備えたことを特徴とする臨場感画
像入出力装置。2. An image input / output device used for face-to-face type image communication, wherein a virtual image generation / display means for generating / displaying a virtual image human image from a horizontally inverted image of the transmitted human image, and the human image from the background image. The composite background image is generated such that the composite background image generating means for generating a composite background image in which the existing portion is replaced with the black image and the portion of the composite background image replaced with the black image are overlapped with each other. A means for displaying behind the virtual image person image, a means for detecting the position of the observer's head, and a person shadow portion in which the black image in the composite background image is replaced in accordance with the moving position of the observer's head. An immersive image input / output device comprising scrolling means and means for photographing a person image to be transmitted to a partner device by a camera installed behind the virtual image person image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5019178A JP2744394B2 (en) | 1993-02-08 | 1993-02-08 | Realism image display device and realism image input / output device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5019178A JP2744394B2 (en) | 1993-02-08 | 1993-02-08 | Realism image display device and realism image input / output device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06230754A true JPH06230754A (en) | 1994-08-19 |
| JP2744394B2 JP2744394B2 (en) | 1998-04-28 |
Family
ID=11992101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5019178A Expired - Fee Related JP2744394B2 (en) | 1993-02-08 | 1993-02-08 | Realism image display device and realism image input / output device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2744394B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201721A (en) * | 1995-01-25 | 1996-08-09 | Kozo Kagi Kofun Yugenkoshi | Video display device and multimedia display device |
| JP2003506973A (en) * | 1999-08-10 | 2003-02-18 | ホワイト・ピーター・マクダフィー | Communications system |
| JP2011528207A (en) * | 2008-07-14 | 2011-11-10 | ミュジオン アイピー リミテッド | Live teleporting systems and equipment |
| JP2013228557A (en) * | 2012-04-25 | 2013-11-07 | Canon Inc | Display device and control method thereof |
| WO2021079402A1 (en) * | 2019-10-21 | 2021-04-29 | 日本電信電話株式会社 | Video processing device, display system, video processing method, and program |
-
1993
- 1993-02-08 JP JP5019178A patent/JP2744394B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201721A (en) * | 1995-01-25 | 1996-08-09 | Kozo Kagi Kofun Yugenkoshi | Video display device and multimedia display device |
| JP2003506973A (en) * | 1999-08-10 | 2003-02-18 | ホワイト・ピーター・マクダフィー | Communications system |
| JP2011528207A (en) * | 2008-07-14 | 2011-11-10 | ミュジオン アイピー リミテッド | Live teleporting systems and equipment |
| JP2013228557A (en) * | 2012-04-25 | 2013-11-07 | Canon Inc | Display device and control method thereof |
| WO2021079402A1 (en) * | 2019-10-21 | 2021-04-29 | 日本電信電話株式会社 | Video processing device, display system, video processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2744394B2 (en) | 1998-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1203489B1 (en) | Communications system | |
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| US6774869B2 (en) | Teleportal face-to-face system | |
| JP3817020B2 (en) | Image generation method and apparatus in virtual space, and imaging apparatus | |
| JPH08237629A (en) | System and method for video conference that provides parallax correction and feeling of presence | |
| GB2353429A (en) | Video conference system with 3D projection of conference participants, via a two-way mirror. | |
| JP3464754B2 (en) | Method and apparatus for synthesizing a face image of a person wearing a head-mounted display | |
| JP2007501950A (en) | 3D image display device | |
| JP3587106B2 (en) | Eye-gaze video conferencing equipment | |
| CN108020919B (en) | Display device, wearable equipment and display switching method of display device | |
| JP2744394B2 (en) | Realism image display device and realism image input / output device | |
| CN210605808U (en) | Three-dimensional image reconstruction system | |
| JPH0481088A (en) | Coincident glance type figure picture display image pickup device | |
| JP2002027419A (en) | Image terminal device and communication system using the same | |
| JPH03226198A (en) | Stereoscopic picture display device | |
| Yan et al. | Research summary on light field display technology based on projection | |
| JP3128018B2 (en) | Image communication system | |
| CN106886289B (en) | Double-user interaction holographic display device | |
| JPH0497663A (en) | Visual line coincident type portrait image pickup device | |
| JP2005323010A (en) | Image sharing system | |
| WO2023136073A1 (en) | Image display device and image display method | |
| CN213937995U (en) | Electronic equipment with two leading camera lenses | |
| JPH0239690A (en) | Stereoscopic video telephone system | |
| JPH0481090A (en) | Coincident glance type figure image photographing device | |
| JPH0391388A (en) | Input and output method for picture communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090206 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090206 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100206 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |