WO2019138541A1

WO2019138541A1 - Image communication device and image communication method

Info

Publication number: WO2019138541A1
Application number: PCT/JP2018/000664
Authority: WO
Inventors: 尚文田中; 康弘大西
Original assignee: 株式会社アスカネット; 株式会社メディアタージ
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2019-07-18
Also published as: WO2019138592A1

Abstract

Provided is an image communication device 10b having: a display means 15 for receiving an image signal and displaying an image of a person A; a flat optical image forming means 16 for forming as a real image 26 in a free space, the image of the person A displayed on the display means 15; an image capturing means 18 for capturing an image of a person B speaking with the real image 26 in the free space; and an image signal output means 20 for sending to the person A the image signal of the person B image captured by the image capturing means 18. A half mirror 17 is arranged on the light-emitting side of the optical image forming means 16. The image of the person A displayed on the display means 15 is displayed in the free space by the optical image forming means 16 and the half mirror 17. The image capture of the person B by the image capturing means 18 is performed through the half mirror 17.

Description

画像通信装置及び画像通信方法Image communication apparatus and image communication method

本発明は、複数の地点間で画像（実像）を介して、リアルタイムで遠隔会議（テレビ会議）やビデオチャット等を行うことができる画像通信装置及び画像通信方法に関する。 The present invention relates to an image communication apparatus and an image communication method capable of performing teleconferencing (video conference), video chat, and the like in real time through a plurality of points via an image (real image).

従来、遠隔地に存在する人物（通信者）同士が、画像（映像）を通して会話を行うための技術として、テレビ会議システムやテレビ電話システム等が知られている。これらのシステムは、各地点で双方向的に、ビデオカメラ等により各人物の顔を含めた画像を撮影し、それを遠隔地点に伝送して表示手段（表示装置、ディスプレイ）上に表示することにより、遠隔地点間での会話を可能としている。このような遠隔地との双方向通信システムは、近年のブロードバンドに代表される通信回線容量の増大及び制御装置の高性能化と共に急速に進歩しており、高画質のカラー画像を音声と共にリアルタイムで双方向通信することが可能で、特に、ビジネス分野での使用は、一般的になりつつある。
しかし、従来のこれらのシステムでは、例えば、特許文献１のように、表示装置の上方にビデオカメラやウェブカメラ等の撮像装置が設置された構成が採用されており、会話中の通信者を上方から見下ろして撮像している。一方、通信者は、撮像装置ではなく、主に表示装置に表示される通信相手の画像を見ながら会話を行う。従って、撮像装置による撮像方向と、通信者の視線の方向（目線）が異なっており、表示装置には視線が下方を向いた状態で通信相手の画像が映し出されることになる。この結果、通信者同士は視線を合わせることができず、会話に違和感を生じ易く、意思疎通が図りづらくなり、臨場感や緊張感に欠けるという問題点があった。
この問題点を解決するものとして、例えば、特許文献２では、撮像装置が設置されている高さ及び高さ検知部が検知した目の高さが異なるとき、三次元映像生成部により、双方の差及び撮像装置とユーザ（通信者）との間の距離に基づいて、高さ検知部が検知した目の高さにある仮想的な視点から見たときのユーザの三次元映像を取得するためのレンダリング処理を実行する映像表示システムが提案されている。また、特許文献３では、表示装置に表示された相手方映像の像を空間内に空中映像として形成する空中映像形成部を備え、使用者を撮影するカメラが、空中映像よりも使用者から遠い位置に配置されたテレビ会議システムが提案されている。 Conventionally, a video conference system, a video telephone system, etc. are known as a technique for people (communicators) who exist in a remote place to have a conversation through an image (video). In these systems, an image including the face of each person is taken interactively at each point by a video camera or the like, transmitted to a remote point, and displayed on a display means (display device, display) Enables conversation between remote points. Such a two-way communication system with a remote location is rapidly advancing along with the recent increase in communication line capacity represented by broadband and improvement in performance of control devices, and high-quality color images along with voice in real time. Two-way communication is possible, and in particular, use in the business field is becoming common.
However, in these conventional systems, for example, as in Patent Document 1, a configuration in which an imaging device such as a video camera or a web camera is installed above the display device is adopted, and the communicator in conversation is upward I'm looking down from the image. On the other hand, the correspondent talks while looking at the image of the other party of communication mainly displayed on the display device, not the imaging device. Therefore, the imaging direction by the imaging device and the direction (line of sight) of the line of sight of the communicator are different, and the image of the communication partner is displayed on the display device with the line of sight facing downward. As a result, the correspondents can not line up their eyes with each other, which makes the conversation unnatural, makes it difficult to communicate, and lacks realism and tension.
As a solution to this problem, for example, in Patent Document 2, when the height at which the imaging apparatus is installed and the height of the eye detected by the height detection unit differ, the three-dimensional video generation unit In order to acquire a three-dimensional image of the user when viewed from a virtual viewpoint at the eye height detected by the height detection unit based on the difference and the distance between the imaging apparatus and the user (communicator) There has been proposed a video display system that performs rendering processing of Further, in Patent Document 3, an aerial image forming unit for forming an image of the other party image displayed on the display device as an aerial image in space is provided, and the camera for photographing the user is at a position farther from the user than the aerial image. A teleconferencing system has been proposed.

特開２００６－９３８８３号公報Unexamined-Japanese-Patent No. 2006-93883 特開２０１６－１９２６８８号公報JP, 2016-192688, A 国際公開第２０１１／１０８１３９号International Publication No. 2011/108139

しかしながら、特許文献２において、動作を交えて会話する通信者同士の目の高さを確実に合わせるためには、常に通信者の映像を抽出しながら、高さ検知部で通信者の目の高さを検知し、通信者の目の高さや撮像装置と通信者との間の距離が変化する度に、三次元映像生成部によって三次元映像を作成して、表示画面の映像を切り替えなければならない。これらの制御は複雑で、処理にも時間を要するため、実際の通信者の動きと表示装置に表示される映像を一致させることは困難であり、その時間差によって違和感を生じる可能性がある。また、通信者同士の目の高さを仮想的に一致させているに過ぎないため、通信者の目の上下左右の動きには対応することができず、通信者同士の視線を完全に一致させることはできない。よって、例えば、表示装置に、通信者と共に写真や文書等の資料画像（共通画像）が表示されている場合に、一方の通信者が資料画像に視線を移しても、他方の通信者は相手がどこを見ているのか判断がつかず、即座に会話に反応することができない。つまり、現実に対面して会話を行うように、視線を送ったり、目配せをしたりして、アイコンタクトを取ることができないため、十分な意思疎通を図ることが難しく、スムーズな会話が成り立たないという問題があった。 However, in Patent Document 2, in order to ensure that the eye heights of the communicators who talk with each other in motion are matched with each other, the height of the communicator eyes is extracted by the height detection unit while constantly extracting the video of the communicator. Each time the height of the communicator's eyes or the distance between the imaging device and the communicator changes, the 3D video generation unit must create a 3D video and switch the video on the display screen. It does not. Since these controls are complicated and time-consuming, it is difficult to match the movement of the actual correspondent with the image displayed on the display device, and the time difference may cause discomfort. In addition, since the eye heights of the correspondents are merely matched virtually, it is not possible to cope with the up, down, left, and right movements of the correspondent eyes, and the sight lines of the correspondents are completely matched. I can not let it go. Therefore, for example, when a document image (common image) such as a photograph or a document is displayed together with the correspondent on the display device, even if one correspondent shifts his gaze to the document image, the other correspondent is the other party I can not judge where I am looking and can not immediately react to the conversation. In other words, it is difficult to achieve sufficient communication because it is impossible to make eye contact by sending a line of sight or looking closely to face to face and to talk in reality, and a smooth conversation can not be established There was a problem that.

また、特許文献３は、ハーフミラーや偏光ビームスプリッタ等の光学素子を使用せず、カメラで使用者を直接撮影することを前提としたもので、使用者を撮影するカメラを、空中映像よりも使用者から遠い位置に配置することにより、使用者の視線方向とカメラの撮影方向とのズレ角を、視線の不一致を実質的に感じない程度にまで小さくしようとするものである。このため、使用者から空中映像までの距離、及び使用者からカメラまでの距離を適正に管理しなければならない。つまり、使用者の視線方向とカメラの撮影方向とのズレ角を、視線の不一致を実質的に感じない程度にまで小さくするためには、使用者からカメラまでの距離を長くする必要があるが、それに伴って、使用者から空中映像までの距離が長くなり過ぎると、使用者の指が空中映像に届かず、空中映像を指し示すことや、タッチ入力を行うことが困難になるという問題があった。そして、空中映像に指等で触れるために使用者が空中映像に近づき過ぎると、カメラまでの距離も近くなり、使用者の視線方向とカメラの撮影方向とのズレ角が大きくなって通信相手と視線が合わなくなることや、場合によっては使用者の顔をカメラで鮮明に捉えることができなくなることもあり、汎用性、操作性に欠けるという問題があった。また、使用者から空中映像までの距離を変えずに、使用者からカメラまでの距離のみを長くするために、空中映像形成部の位置を動かさずにカメラのみを使用者から遠ざけた場合、装置の奥行き方向寸法が増大して広い設置スペースが必要になるため、コンパクト性、設置自在性に欠けるという問題もあった。 Further, Patent Document 3 assumes that a camera directly shoots a user without using an optical element such as a half mirror or a polarizing beam splitter, and therefore, a camera for shooting a user is more suitable than an aerial image. By arranging at a position far from the user, the angle of deviation between the direction of the user's line of sight and the shooting direction of the camera is reduced to such an extent that the disagreement of the line of sight can not be substantially felt. Therefore, it is necessary to properly manage the distance from the user to the aerial image and the distance from the user to the camera. That is, it is necessary to increase the distance from the user to the camera in order to reduce the angle of deviation between the direction of the user's line of sight and the shooting direction of the camera to such an extent that the line of sight disagreement is not felt substantially. Accordingly, if the distance from the user to the aerial image becomes too long, there is a problem that the finger of the user does not reach the aerial image and it becomes difficult to indicate the aerial image or to perform touch input. The Then, when the user approaches the aerial image too much in order to touch the aerial image with a finger or the like, the distance to the camera also becomes close, and the angle of deviation between the user's gaze direction and the shooting direction of the camera becomes large. In some cases, the user's face can not be clearly captured by the camera, and there is a problem of lack of versatility and operability. In addition, in order to increase the distance from the user to the camera without changing the distance from the user to the aerial image, the device is moved only from the camera without moving the position of the aerial image forming unit. Since the dimension in the depth direction increases and a large installation space is required, there is also a problem of lack of compactness and ease of installation.

本発明はかかる事情に鑑みてなされたもので、複雑な制御や特別な画像処理等を行う必要がなく、遠隔の人物同士が正対して視線を合わせることができ、アイコンタクトやジェスチャーによる意思疎通を図って会話をスムーズに行うことが可能で、操作性、コンパクト性に優れる画像通信装置及び画像通信方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and it is not necessary to perform complicated control or special image processing, etc., so that remote persons can face each other and be in line of sight. An object of the present invention is to provide an image communication apparatus and an image communication method which can perform conversation smoothly and have excellent operability and compactness.

前記目的に沿う第１の発明に係る画像通信装置は、画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
ハーフミラーを前記光学結像手段の出光側に配置し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によって更に前記ハーフミラーを介して前記自由空間に表示され、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行われる。 According to a first aspect of the present invention, there is provided an image communication apparatus according to the first aspect of the present invention, comprising: display means for receiving an image signal and displaying an image of the other party; and displaying an image of the other party displayed on the display as a real image in free space. Planar optical imaging means for imaging; imaging means for imaging a person interacting with a real image in the free space; image signal output means for transmitting an image signal of an image of a person imaged by the imaging means to the conversation partner In an image communication apparatus having
A half mirror is disposed on the light exit side of the optical imaging means, and the image of the other party displayed on the display means is further displayed in the free space by the optical imaging means via the half mirror. The imaging of the person by the imaging means is performed via the half mirror.

ここで、ハーフミラーは、ビームスプリッタとも言われる。なお、ハーフミラーの透過率と反射率は必ずしも等しい必要がなく、例えば透過率が４０～６０％の範囲のものを用いることができる。
また、光学結像手段は、表示手段の表示面に対して傾斜配置されるが、その光学結像手段の傾斜角度は、表示手段の設置角度と、実像を形成する角度との組合せに応じて、適宜、選択することができる。例えば、表示手段の設置角度を水平とした場合、光学結像手段の傾斜角度を４５度にすると、実像は鉛直面となるが、表示手段の設置角度が水平でなく傾斜している場合でも、光学結像手段の傾斜角度を適宜、選択することにより、実像を鉛直面とすることができる。実像と対話する人物が対話相手と視線を合わせようとすると、人物が実像と正対する必要があり、そのためには実像が鉛直面であることが好ましいが、人物の姿勢に応じて、人物の視線の方向と実像が直交するように実像を傾斜させてもよく、その場合も実像を形成する角度に応じて、表示手段の設置角度と、光学結像手段の傾斜角度を適宜、選択して組合せることができる。
また、撮像手段でハーフミラーを介して人物を撮像する際にも、ハーフミラーが設置される角度に応じて、撮像角度（撮像手段の設置角度）を適宜、選択することにより、実像（対話者）と対話する人物を正面から撮像することができるので、人物と対話相手が正対することができ、違和感なく確実に視線を合わせて会話することができる。 Here, the half mirror is also referred to as a beam splitter. The transmittance and the reflectance of the half mirror do not necessarily have to be equal. For example, one having a transmittance of 40 to 60% can be used.
Also, the optical imaging means is arranged to be inclined with respect to the display surface of the display means, and the inclination angle of the optical imaging means depends on the combination of the installation angle of the display means and the angle for forming a real image. And can be selected as appropriate. For example, when the installation angle of the display means is horizontal and the inclination angle of the optical imaging means is 45 degrees, the real image is a vertical plane, but the installation angle of the display means is not horizontal but inclined. The real image can be made a vertical plane by appropriately selecting the tilt angle of the optical imaging means. When a person interacting with a real image tries to align the line of sight with the other person, it is necessary for the person to face the real image, and for this purpose it is preferable that the real image is a vertical plane, but according to the posture of the person The real image may be inclined so that the direction of the image and the real image are orthogonal to each other, in which case the installation angle of the display means and the inclination angle of the optical imaging means are appropriately selected and combined according to the angle forming the real image. Can be
Also, even when imaging a person through the half mirror by the imaging means, according to the angle at which the half mirror is installed, the imaging angle (the installation angle of the imaging means) is appropriately selected to obtain a real image (interactive person Since it is possible to capture an image of the person who is interacting with the person from the front, the person and the other party of the conversation can face each other, and the line of sight can be reliably matched and the conversation can be performed without a sense of discomfort.

第１の発明に係る画像通信装置において、前記ハーフミラーは前記光学結像手段に対して平行に配置されていることが好ましい。 In the image communication apparatus according to the first aspect of the present invention, preferably, the half mirror is disposed parallel to the optical imaging means.

第１の発明に係る画像通信装置において、前記光学結像装置は前記表示手段に対して一定角度で傾斜配置されていることが好ましい。 In the image communication apparatus according to the first aspect of the present invention, it is preferable that the optical imaging apparatus be disposed at an angle with respect to the display means.

第１の発明に係る画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きに配置されていることが好ましい。 In the image communication apparatus according to the first aspect of the present invention, it is preferable that the optical imaging unit is disposed such that the light output side is obliquely upward, obliquely downward, or obliquely horizontal.

第１の発明に係る画像通信装置において、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることが好ましい。 In the image communication apparatus according to the first aspect of the present invention, it is preferable that the image of the person sent to the conversation partner by the image signal output unit is horizontally reversed.

第１の発明に係る画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。 In the image communication apparatus according to the first invention, the image signal output unit has a common image creation unit, and the display unit combines the image of the conversation partner with the common image created by the common image creation unit. It is preferable to superimpose the common image signal of the common image also on the image signal sent to the conversation partner while being displayed.

第１の発明に係る画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することが好ましい。 In the image communication apparatus according to the first aspect of the present invention, it is preferable that the image communication apparatus further includes a detection unit that detects an operation of the person, and the image signal output unit manipulates the common image based on the operation detected by the detection unit. .

前記目的に沿う第２の発明に係る画像通信方法は、表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
ハーフミラーを前記光学結像手段の出光側に配置し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によって更に前記ハーフミラーを介して前記自由空間に表示し、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行う。 In the image communication method according to the second aspect of the invention, the image of the conversation partner displayed on the display means is imaged as a real image on the free space by the planar optical imaging means, and the dialogue with the real image of the free space is made In the image communication method, an image of a person being photographed is imaged by an imaging unit, and an image signal of an image of the person imaged by the imaging unit is transmitted to the conversation partner,
A half mirror is disposed on the light exit side of the optical imaging means, and the image of the conversation partner displayed on the display means is further displayed by the optical imaging means in the free space via the half mirror, The imaging of the person by the imaging means is performed via the half mirror.

第２の発明に係る画像通信方法において、前記ハーフミラーを前記光学結像手段に対して平行に配置することが好ましい。 In the image communication method according to the second aspect of the present invention, it is preferable to arrange the half mirror in parallel to the optical imaging means.

第２の発明に係る画像通信方法において、前記光学結像装置を前記表示手段に対して一定角度で傾斜配置することが好ましい。 In the image communication method according to the second aspect of the present invention, it is preferable that the optical imaging device be disposed at an angle with respect to the display means.

第２の発明に係る画像通信方法において、前記光学結像手段を、出光側を斜め上向き、斜め下向き又は斜め横向きに配置することが好ましい。 In the image communication method according to the second aspect of the present invention, it is preferable that the optical imaging means be disposed such that the light output side is obliquely upward, obliquely downward or obliquely sideways.

第２の発明に係る画像通信方法において、前記対話相手に送る前記人物の画像を左右反転させることが好ましい。 In the image communication method according to the second aspect of the present invention, it is preferable to horizontally flip the image of the person sent to the conversation partner.

第２の発明に係る画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。 In the image communication method according to the second invention, the image of the conversation partner and the common image are combined and displayed on the display means, and the common image signal of the common image is also superimposed on the image signal sent to the conversation partner. Is preferred.

第２の発明に係る画像通信方法において、前記人物の動作を検知して、検知した動作に基づいて前記共通画像を操作することが好ましい。 In the image communication method according to the second aspect of the invention, it is preferable that an operation of the person is detected, and the common image is operated based on the detected operation.

第１の発明に係る画像通信装置及び第２の発明に係る画像通信方法は、表示手段に表示される対話相手の画像を光学結像手段とハーフミラーを介して自由空間に実像として結像させることができるので、実像と対話する人物は、対話相手が目の前に存在しているような感覚で会話をすることができる。また、撮像手段は、光学結像手段の出光側に配置されたハーフミラーを介して、人物を正面から撮像することができ、撮像した画像の画像信号を対話相手に送ることができるので、対話相手と人物が視線を合わせてリアルタイムで会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることができる。さらに、撮像手段で人物を撮像する際にハーフミラーを介して撮像することにより、人物と実像との距離が変化しても、人物の視線方向と撮像手段による撮像方向は変化せず一定に保たれ、人物を常に正面から撮像することができ、汎用性、操作性に優れる。
また、第１の発明に係る画像通信装置は、撮像手段による人物の撮像を、光学結像手段の出光側に配置したハーフミラーを介して行うので、人物から撮像手段までの水平方向距離を短縮して画像通信装置をコンパクト化することができ、省スペース性、設置自在性にも優れる。 An image communication apparatus according to a first aspect of the invention and an image communication method according to the second aspect form an image of a conversation partner displayed on a display means as a real image in a free space via an optical imaging means and a half mirror. Therefore, the person who interacts with the real image can have a conversation as if the other party of the dialogue exists in front of the eyes. In addition, since the image pickup means can pick up an image of the person from the front through the half mirror disposed on the light exit side of the optical image formation means, and can send the image signal of the picked up image to the conversation partner, A person and a person can meet each other's eyes and can talk in real time, and can aim at smooth communication by eye contact and a gesture. Furthermore, by imaging through the half mirror when imaging a person by the imaging means, even if the distance between the person and the real image changes, the line of sight direction of the person and the imaging direction by the imaging means do not change and are kept constant. A person can always be imaged from the front, and has excellent versatility and operability.
Further, in the image communication apparatus according to the first aspect of the present invention, since the imaging of the person by the imaging means is performed through the half mirror disposed on the light exit side of the optical imaging means, the horizontal distance from the person to the imaging means is shortened. As a result, the image communication apparatus can be made compact, and space saving and installation ease are also excellent.

ハーフミラーを光学結像手段に対して平行に配置した場合、組立作業や位置決めを容易に行うことができる。 When the half mirror is disposed parallel to the optical imaging means, the assembly operation and positioning can be easily performed.

光学結像装置を表示手段に対して一定角度で傾斜配置した場合、結像する実像の角度を表示手段に対して傾斜させることができ、特に、表示手段の配置（設置角度）に応じて、実像が鉛直面となるように、光学結像手段の傾斜角度を選択すれば、人物は対話相手の画像（実像）と正対することができ、画像の歪みも少なく、視認性を向上させることができる。 When the optical imaging apparatus is disposed at an angle to the display means, the angle of the real image to be formed can be inclined to the display means, and in particular, depending on the arrangement (setting angle) of the display means If the inclination angle of the optical imaging means is selected so that the real image is a vertical plane, the person can face the image (real image) of the conversation partner, there is little distortion of the image, and the visibility can be improved. it can.

人物の画像を左右反転させる際に、予め画像を左右反転させてから対話相手に送った場合、画像信号を受ける側では、画像処理等を行うことなく、汎用の携帯端末やパーソナルコンピュータ等の画面（ディスプレイ）に、そのまま画像を表示させることができる。 When the image of a person is flipped left / right, if the image is flipped left / right in advance and then sent to the other party, the image signal reception side will not perform image processing etc., but the screen of a general-purpose portable terminal or personal computer The image can be displayed as it is on the (display).

対話相手の画像と共通画像を合成して表示手段に表示させると共に、対話相手に送る画像信号にも共通画像の共通画像信号を重畳させた場合、対話相手と人物は同時に共通画像を見ながらスムーズに会話をすることができる。また、対話相手側では、受けた画像信号と共通画像信号をそのまま表示手段に表示させることができ、特別な画像処理手段や画像処理工程が不要で、汎用の携帯端末やパーソナルコンピュータ等を使用して相手の人物と手軽に通信（対話）を行うことができる。 When the image of the conversation partner and the common image are combined and displayed on the display means, and the common image signal of the common image is also superimposed on the image signal sent to the conversation partner, the conversation partner and the person are smooth while viewing the common image simultaneously You can have a conversation. Also, on the other side of the dialogue, the received image signal and the common image signal can be displayed as they are on the display means, and no special image processing means or image processing step is required, and a general-purpose portable terminal or personal computer is used. Communication with the person at the other end.

人物の動作（ジェスチャー）を検知して、検知した動作に基づいて共通画像を操作する場合、表示手段に表示される共通画像の拡大、縮小、移動、回転等の各種操作を直感的かつ簡単に行うことができ、操作性に優れる。 When detecting a person's action (gesture) and operating the common image based on the detected action, various operations such as enlargement, reduction, movement, rotation, etc. of the common image displayed on the display means are intuitively and easily made It can be done and it is excellent in operability.

本発明の第１の実施例に係る画像通信装置の構成を示す説明図である。FIG. 1 is an explanatory view showing a configuration of an image communication apparatus according to a first embodiment of the present invention. 同画像通信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the same image communication apparatus. 同画像通信装置の使用状態を示す説明図である。It is explanatory drawing which shows the use condition of the same image communication apparatus. （Ａ）、（Ｂ）はそれぞれ同画像通信装置における光学結像手段の正断面図、側断面図である。(A) and (B) are respectively a front sectional view and a side sectional view of an optical imaging means in the image communication apparatus. 本発明の第２の実施例に係る画像通信装置の構成を示す説明図である。It is an explanatory view showing the composition of the picture communication device concerning the 2nd example of the present invention. 本発明の第３の実施例に係る画像通信装置の構成を示す説明図である。It is explanatory drawing which shows the structure of the image communication apparatus based on the 3rd Example of this invention.

続いて、添付した図面を参照しつつ、本発明を具体化した実施例につき説明し、本発明の理解に供する。
図１に示すように、本発明の第１の実施例に係る画像通信装置１０ａ、１０ｂは各地点に配置され、各地点に存在する人物Ａ、Ｂが、画像通信装置１０ａ、１０ｂにより、画像を介して会話を行うものである。
図１、図２に示すように、各画像通信装置１０ａ、１０ｂは、表示面１４が上向きで水平に配置された表示手段１５と、表示手段１５の上方に表示手段１５の表示面１４に対して４５度の傾斜角度で出光側を斜め上向きに傾斜配置された平面状の光学結像手段１６と、光学結像手段１６の出光側（上面）に積層して配置されたハーフミラー１７と、表示面１４の鉛直上方にハーフミラー１７（光学結像手段１６）を挟んで表示面１４と対向配置された撮像手段１８とを有している。表示手段１５としては、高輝度モニターが好適に用いられ、撮像手段１８としては、ウェブカメラ等が好適に用いられる。また、各画像通信装置１０ａ、１０ｂは、画像信号を送受信し、対話相手から受信した画像信号に基づいて表示手段１５に画像を表示する画像信号出力手段２０を有している。この画像信号出力手段２０としては、ＲＡＭ、ＣＰＵ、ＲＯＭ、Ｉ／Ｏ、及びこれらの要素を接続するバスを備えた従来公知の演算器（即ち、コンピュータ）が好適に用いられる。そして、ＣＰＵが所定のプログラムを実行することにより、画像信号出力手段２０での処理が実現される。なお、画像信号出力手段２０には、スピーカー２１とマイク２２が接続されており、音声信号を送受信することにより会話を行うことができる。
光学結像手段１６は、表示手段１５に表示される画像をハーフミラー１７の前面側の自由空間内（実体のない結像面２３上）に実像として結像させるものである。この光学結像手段１６の詳細については、後述する。なお、ハーフミラー１７の形態は特に限定されないが、フィルム状（シート状）に形成されたものは、軽量で、光学結像手段１６の表面に簡単に貼り付けることができるので、好適に用いられる。 The present invention will now be described by way of example with reference to the accompanying drawings in order to provide an understanding of the present invention.
As shown in FIG. 1, the

image communication apparatuses

10a and 10b according to the first embodiment of the present invention are disposed at each point, and persons A and B existing at each point are images by the

image communication apparatuses

10a and 10b. To have a conversation.
As shown in FIGS. 1 and 2, each of the

image communication apparatuses

10 a and 10 b has a display unit 15 with the display surface 14 facing upward and arranged horizontally, and a display surface 14 of the display unit 15 above the display unit 15. A planar optical imaging means 16 disposed obliquely upward on the light exit side at an inclination angle of 45 degrees, and a half mirror 17 disposed laminated on the light exit side (upper surface) of the optical imaging means 16; The imaging unit 18 is disposed vertically above the display surface 14 so as to face the display surface 14 with the half mirror 17 (optical imaging unit 16) interposed therebetween. A high brightness monitor is preferably used as the display unit 15, and a web camera or the like is preferably used as the imaging unit 18. Each of the

image communication apparatuses

10a and 10b has an image signal output unit 20 that transmits and receives an image signal and displays an image on the display unit 15 based on the image signal received from the other party. As the image signal output unit 20, a RAM, a CPU, a ROM, an I / O, and a conventionally known computing unit (i.e., a computer) having a bus for connecting these elements are preferably used. Then, the CPU executes a predetermined program, whereby the processing of the image signal output unit 20 is realized. A speaker 21 and a microphone 22 are connected to the image signal output unit 20, and conversation can be performed by transmitting and receiving an audio signal.
The optical image forming means 16 forms an image displayed on the display means 15 as a real image in a free space (on an image forming surface 23 without substance) on the front side of the half mirror 17. The details of the optical imaging means 16 will be described later. The form of the half mirror 17 is not particularly limited, but the one formed in a film shape (sheet shape) is suitably used because it is lightweight and can be easily attached to the surface of the optical imaging means 16 .

以下、複数の地点の中で、人物Ａと人物Ｂが通信を行う場合について説明する。
まず、画像通信装置１０ａは、ハーフミラー１７の前方にいる人物Ａをハーフミラー１７を介して撮像手段１８で撮像する。そして、画像信号出力手段２０は、撮像した画像の画像信号を通信ネットワーク２４を介して接続される画像通信装置１０ｂの画像信号出力手段２０に送信すると共に、画像通信装置１０ｂの撮像手段１８でハーフミラー１７を介して撮像された人物Ｂ（人物Ａの対話相手）の画像の画像信号を受信して表示手段１５に表示することができる。
同様に、画像通信装置１０ｂは、ハーフミラー１７の前方にいる人物Ｂをハーフミラー１７を介して撮像手段１８で撮像する。そして、画像信号出力手段２０は、撮像した画像の画像信号を通信ネットワーク２４を介して接続される画像通信装置１０ａの画像信号出力手段２０に送信すると共に、画像通信装置１０ａの撮像手段１８でハーフミラー１７を介して撮像された人物Ａ（人物Ｂの対話相手）の画像の画像信号を受信して表示手段１５に表示することができる。
画像通信装置１０ａ、１０ｂの表示手段１５に表示される画像は、前述のように、光学結像手段１６によって、ハーフミラー１７を介して自由空間に実像として結像する（画像の光が光学結像手段１６を通過して結像する際に、ハーフミラー１７を透過する）ので、図３に示すように、画像通信装置１０ａ側（図３では左側）の人物Ａの正面には、対話相手となる人物Ｂの画像（実像）２５が表示され、画像通信装置１０ｂ側（図３では右側）の人物Ｂの正面には、対話相手となる人物Ａの画像（実像）２６が表示される。
このとき、表示手段１５の表示面１４が水平に配置され、光学結像手段１６の出光側が表示手段１５の上方に４５度の傾斜角度で斜め上向きに配置されていることにより、結像面２３は鉛直面となる。また、表示面１４の鉛直上方に配置された撮像手段１８の撮像方向は鉛直下向きであり、ハーフミラー１７の表面に対しては４５度傾斜しており、結像面２３とは平行である。よって、結像面２３上の画像２５、２６とそれぞれ正対している人物Ａ、Ｂをハーフミラー１７で反射させて撮像手段１８で正面から撮像することができ、各表示手段１５に表示され、光学結像手段１６によって結像する人物Ｂの画像２５及び人物Ａの画像２６には違和感が少なく、視線の方向も確認し易くなる。 Hereinafter, the case where the person A and the person B perform communication among a plurality of points will be described.
First, the image communication apparatus 10 a captures an image of the person A in front of the half mirror 17 with the imaging unit 18 via the half mirror 17. Then, the image signal output unit 20 transmits an image signal of the captured image to the image signal output unit 20 of the image communication apparatus 10b connected via the communication network 24, and the image pickup unit 18 of the image communication apparatus 10b performs half. An image signal of an image of a person B (a person with whom the person A interacts) captured through the mirror 17 can be received and displayed on the display means 15.
Similarly, the image communication apparatus 10 b captures an image of the person B in front of the half mirror 17 with the imaging unit 18 via the half mirror 17. Then, the image signal output unit 20 transmits the image signal of the captured image to the image signal output unit 20 of the image communication apparatus 10a connected via the communication network 24, and the image pickup unit 18 of the image communication apparatus 10a performs half. An image signal of an image of a person A (a person with whom the person B interacts) captured through the mirror 17 can be received and displayed on the display means 15.
The image displayed on the display means 15 of the

image communication apparatus

10a, 10b is imaged as a real image in a free space via the half mirror 17 by the optical imaging means 16 as described above (the light of the image is Since it passes through the half mirror 17 when it passes through the image means 16 and forms an image, as shown in FIG. 3, the other side of the dialogue is on the front of the person A on the image communication apparatus 10a side (left side in FIG. 3). An image (real image) 25 of the person B as an image of the person B is displayed, and an image (real image) 26 of the person A as a conversation partner is displayed in front of the person B on the image communication apparatus 10b side (right side in FIG. 3).
At this time, the display surface 14 of the display means 15 is arranged horizontally, and the light exit side of the optical image forming means 16 is arranged obliquely upward at an inclination angle of 45 degrees above the display means 15. Is a vertical plane. The imaging direction of the imaging means 18 disposed vertically above the display surface 14 is vertically downward, inclined 45 degrees with respect to the surface of the half mirror 17, and parallel to the imaging surface 23. Therefore, the persons A and B respectively facing the

images

25 and 26 on the imaging surface 23 can be reflected by the half mirror 17 and imaged from the front by the imaging means 18 and displayed on each display means 15, The image 25 of the person B and the image 26 of the person A formed by the optical imaging means 16 have less discomfort, and it becomes easier to confirm the direction of the line of sight.

なお、各画像信号出力手段２０は、図２に示すように、共通画像作成手段２７を有しており、各表示手段１５に共通して表示される共通画像２８を作成することができる。必要に応じて、人物Ｂの画像２５及び人物Ａの画像２６に共通画像２８を合成して各表示手段１５に表示させることにより、図３に示すように、各結像面２３において人物Ｂの画像２５及び人物Ａの画像２６に対して同じ位置に同じ向きで共通画像２８を重ねて表示することができる。なお、共通画像２８は、主に写真や文書等の資料画像であり、共通画像作成手段２７には、例えば、カメラ、キーボード、タッチペン、スキャナー等の入力機器の他に、画像信号出力手段２０で実行されるプログラムも含まれる。また、共通画像作成手段２７による共通画像２８の作成とは、例えば、カメラで撮影した写真、キーボードやタッチペン等から入力した文書やイラスト等を画像信号出力手段２０のＲＡＭ等に保存すること、写真や文書等をスキャナーで画像として取込んで画像信号出力手段２０のＲＡＭ等に保存すること、画像に対する各種加工だけでなく、予め作成されＵＳＢメモリ等の記憶媒体に保存された写真や文書等のデータの選択や読込み（コピー）等が含まれる。 Each image signal output unit 20 has a common image creation unit 27 as shown in FIG. 2 and can create a common image 28 to be displayed in common to each display unit 15. As shown in FIG. 3, by combining the common image 28 with the image 25 of the person B and the image 26 of the person A as necessary, the common image 28 is displayed on each display means 15. The common image 28 can be superimposed and displayed at the same position in the same position with respect to the image 25 and the image 26 of the person A. The common image 28 is mainly a document image such as a photograph or a document, and the common image creation unit 27 may be an image signal output unit 20 in addition to input devices such as a camera, a keyboard, a touch pen, and a scanner. It also includes the program to be executed. Further, creation of the common image 28 by the common image creation means 27 includes, for example, saving a picture taken with a camera, a document or an illustration, etc. inputted from a keyboard or a touch pen in the RAM of the image signal output means 20 Documents and the like are captured as images by a scanner and stored in the RAM or the like of the image signal output unit 20, and various processing on the images, as well as photographs and documents created in advance and stored in a storage medium such as a USB memory It includes data selection and reading (copying).

なお、共通画像２８の作成、人物Ａの画像２６及び人物Ｂの画像２５と共通画像２８との合成は、いずれか一方の共通画像作成手段２７によって選択的に行われる。例えば、画像通信装置１０ｂ側の人物Ｂが、共通画像２８として表示したい画像を共通画像作成手段２７で作成（選択）すると、画像信号出力手段２０で受信した人物Ａの画像２６と共通画像２８が合成されて画像通信装置１０ｂ側の表示手段１５に表示されると共に、対話相手（人物Ａ側）に送る画像信号にも共通画像２８の共通画像信号が重畳されることにより、画像通信装置１０ａ側の表示手段１５に、人物Ｂの画像２５と共通画像２８が合成されて表示される。このとき、人物Ａ及び人物Ｂと共通画像２８との位置関係を整合させるために、必要に応じて、人物Ａの画像２６及び人物Ｂの画像２５を左右反転させる。なお、この場合、各画像信号出力手段２０（送信側）で、予め人物Ａの画像２６及び人物Ｂの画像２５を左右反転させて、その画像信号を相手側の画像信号出力手段２０に送信してもよいし、人物Ａの画像２６及び人物Ｂの画像２５の画像信号を各画像信号出力手段２０から相手側の画像信号出力手段２０に送信した後、相手側（受け側）の画像信号出力手段２０で反転させてもよい。 The creation of the common image 28 and the combination of the image 26 of the person A and the image 25 of the person B with the common image 28 are selectively performed by one of the common image creation means 27. For example, when the person B on the side of the image communication apparatus 10b creates (selects) an image to be displayed as the common image 28 by the common image creation means 27, the image 26 of the person A received by the image signal output means 20 and the common image 28 are The common image signal of the common image 28 is superimposed also on the image signal to be synthesized and displayed on the display means 15 on the image communication device 10b side and sent to the other party of conversation (person A side), thereby the image communication device 10a side The image 25 of the person B and the common image 28 are combined and displayed on the display means 15 of FIG. At this time, in order to match the positional relationship between the person A and the person B and the common image 28, the image 26 of the person A and the image 25 of the person B are horizontally reversed as necessary. In this case, the image signal output means 20 (transmission side) reverses the image 26 of the person A and the image 25 of the person B horizontally in advance, and transmits the image signal to the image signal output means 20 of the other party. The image signals of the image 26 of the person A and the image 25 of the person B may be transmitted from the image signal output means 20 to the image signal output means 20 of the other side, and then the image signal output of the other side (reception side) It may be reversed by means 20.

図３に示すように、それぞれの結像面２３上の同一位置に共通画像２８が表示されると、人物Ａ、Ｂは、あたかも共通画像２８を挟んで対面するようにして、視線を合わせて会話することができ、互いの動作を正面から観察することができる。そして、それぞれの結像面２３上の共通画像２８に対して人物Ａ、Ｂが行う動作を、対話相手の結像面２３上に表示される共通画像２８の位置や向きと一致させて表示させることにより、互いに対話相手の視線の動きや身振り手振りを目で追って、共通画像２８の確認等を確実に行うことが可能となる。例えば、図３に示すように、人物Ａは、人物Ｂが共通画像２８のどこを指差しているのか、結像面２３上で容易に確認することができ、アイコンタクトを取りながら、スムーズに会話することができる。さらに、人物Ａ、Ｂは、結像面２３上の同じ位置を双方から指差すことができ、その様子を互いに結像面２３上で確認することができるので、身振り手振りも交えながら意思疎通を図ることができる。共通画像２８は小窓のように表示され、共通画像２８の数、大きさ、配置は、適宜、選択することができる。 As shown in FIG. 3, when the common image 28 is displayed at the same position on each of the image forming planes 23, the persons A and B face each other across the common image 28 and match their sights. It is possible to talk and observe each other's actions from the front. Then, the operations performed by the persons A and B with respect to the common image 28 on the respective image forming planes 23 are displayed in agreement with the position and the direction of the common image 28 displayed on the image forming plane 23 of the conversation partner. As a result, it becomes possible to reliably confirm the common image 28, etc. by following the movement of the line of sight and the gesture of the other party in the dialogue. For example, as shown in FIG. 3, the person A can easily confirm where on the common image 28 the person B is pointing on the imaging surface 23, and while taking eye contact, it can be smoothly performed. I can talk. Furthermore, the persons A and B can point at the same position on the imaging surface 23 from both sides, and the situation can be confirmed on the imaging surface 23 with each other. Can be The common image 28 is displayed like a small window, and the number, size, and arrangement of the common image 28 can be selected as appropriate.

また、各画像通信装置１０ａ、１０ｂは、図１、図２に示すように、各地点（自地点）の人物Ａ又はＢの動作を検知する検知手段２９を有している。そして、画像信号出力手段２０は、検知手段２９で検知した動作に基づいて共通画像２８を操作（処理）して、表示手段１５に表示することができる。例えば、人物Ａが共通画像２８を拡大する動作を行った場合、画像通信装置１０ａ側の検知手段２９が、その動作を検知し、画像通信装置１０ａ側の画像信号出力手段２０が共通画像２８を拡大する操作（処理）を行う。そして、拡大された共通画像２８が、画像通信装置１０ａ側の表示手段１５に表示されると共に、その共通画像信号が人物Ａの画像２６の画像信号に重畳されて、画像通信装置１０ａ側の画像信号出力手段２０から画像通信装置１０ｂ側の画像信号出力手段２０に送られ、画像通信装置１０ｂ側の表示手段１５に表示される。これにより、各地点の人物Ａ、Ｂは同じように拡大された共通画像２８を見ながら会話を進めることができる。
特に、画像（実像）２５、２６に焦点を合わせ、結像面２３上での人物Ａ又はＢの手や指の位置及び動作を検知する検知手段２９は、動作の検知性能に優れるので、画像信号出力手段２０によって共通画像２８の大きさや位置等を調整して表示手段１５に表示させることができ、操作性に優れる。このような検知手段２９として、赤外線モーションセンサー等が好適に用いられる。なお、画像信号出力手段２０での処理は、ＣＰＵが所定のプログラムを実行することで実現されるが、手や指の動作と、画像操作指令が予め対応付けられており、共通画像２８の拡大、縮小、移動、回転等の操作（処理）を行うことができる。これにより、共通画像２８を利用して円滑に会話を進めることができる。 Further, as shown in FIGS. 1 and 2, each of the

image communication apparatuses

10a and 10b has a detection unit 29 that detects an operation of the person A or B at each point (own point). Then, the image signal output unit 20 can operate (process) the common image 28 based on the operation detected by the detection unit 29 and display it on the display unit 15. For example, when the person A performs an operation to magnify the common image 28, the detection unit 29 on the image communication device 10 a detects the operation, and the image signal output unit 20 on the image communication device 10 a detects the common image 28. Perform an operation (process) to expand. Then, the enlarged common image 28 is displayed on the display means 15 on the image communication device 10a side, and the common image signal is superimposed on the image signal of the image 26 of the person A to display the image communication device 10a side It is sent from the signal output means 20 to the image signal output means 20 on the image communication device 10b side and displayed on the display means 15 on the image communication device 10b side. Thereby, the persons A and B at each point can advance the conversation while looking at the common image 28 enlarged in the same manner.
In particular, the detection unit 29 focusing on the images (real images) 25 and 26 and detecting the position and movement of the hands and fingers of the persons A and B on the imaging surface 23 is excellent in the detection performance of the movement. The size, position, and the like of the common image 28 can be adjusted by the signal output means 20 and displayed on the display means 15, and the operability is excellent. As such detection means 29, an infrared motion sensor or the like is suitably used. The processing by the image signal output unit 20 is realized by the CPU executing a predetermined program, but the operation of the hand or finger is associated in advance with the image operation instruction, and the enlargement of the common image 28 is performed. , Reduction, movement, rotation, etc. can be performed. Thus, the conversation can be smoothly advanced using the common image 28.

次に、光学結像手段１６について説明する。
図４（Ａ）、（Ｂ）に示すように、光学結像手段１６は、複数の光反射面３０を有する第１の光制御部３１と、複数の光反射面３２を有する第２の光制御部３３からなり、それぞれの光反射面３０、３２が平面視して直交するように第１、第２の光制御部３１、３３が、厚さ方向に重ね合わされて配置（一体化）されたものである。
第１の光制御部３１は、第１の透明板材３４の一側に、傾斜面３５と垂直面３６とを有する断面三角形の複数の溝３７、及び隣り合う溝３７の間に形成される断面三角形の複数の凸条３８がそれぞれ所定ピッチで配置されたものであり、それぞれの溝３７の垂直面３６のみに鏡面（金属反射面）からなる光反射面３０が形成されている。なお、溝３７の底部（傾斜面３５の下端と垂直面３６の下端との間）、及び凸条３８の頂部（傾斜面３５の上端と垂直面３６の上端との間）には、それぞれ微小平面部３９、４０が形成されている。
また、第２の光制御部３３は、第２の透明板材４１の他側に、傾斜面４２と垂直面４３とを有する断面三角形の複数の溝４４、及び隣り合う溝４４の間に形成される断面三角形の複数の凸条４５がそれぞれ所定ピッチで配置されたものであり、それぞれの溝４４の垂直面４３のみに鏡面（金属反射面）からなる光反射面３２が形成されている。なお、溝４４の底部（傾斜面４２の下端と垂直面４３の下端との間）、及び凸条４５の頂部（傾斜面４２の上端と垂直面４３の上端との間）には、それぞれ微小平面部４６、４７が形成されている。
そして、向かい合わせに配置された溝３７、４４には透明樹脂４８が充填されている。
なお、第１、第２の透明板材３４、４１の屈折率η１、η２は同一で、その間に充填される透明樹脂４８の屈折率η３は、第１、第２の透明板材３４、４１の屈折率η１、η２の０．８～１．２倍（より好ましくは、０．９～１．１倍、さらに好ましくは、０．９５～１．０５倍）の範囲にあることが好ましい。
第１、第２の透明板材３４、４１の原料となる透明樹脂としては、シクロオレフィンポリマー、ポリメチルメタルクレート（アクリル系樹脂）、非晶質フッ素樹脂、ＰＭＭＡ、光学用ポリカーボネイト、フルオレン系ポリエステル、ポリエーテルスルホン等の熱可塑性樹脂を使用することができるが、特に融点、透明度の高いものが好適に用いられる。 Next, the optical imaging means 16 will be described.
As shown in FIGS. 4A and 4B, the optical imaging means 16 includes a first light control unit 31 having a plurality of light reflection surfaces 30 and a second light having a plurality of light reflection surfaces 32. The first and second

light control units

31 and 33 are arranged (integrated) in the thickness direction such that the

light reflecting surfaces

30 and 32 are orthogonal to each other in plan view. It is
The first light control unit 31 is formed on one side of the first transparent plate 34 between a plurality of grooves 37 having a triangular cross section having an inclined surface 35 and a vertical surface 36 and an adjacent groove 37. A plurality of triangular ridges 38 are arranged at a predetermined pitch, and a light reflecting surface 30 formed of a mirror surface (metal reflecting surface) is formed only on the vertical surface 36 of each groove 37. The bottom of the groove 37 (between the lower end of the inclined surface 35 and the lower end of the vertical surface 36) and the top of the ridge 38 (between the upper end of the inclined surface 35 and the upper end of the vertical surface 36) are minute

Flat portions

39, 40 are formed.
In addition, the second light control unit 33 is formed on the other side of the second transparent plate 41 between the plurality of grooves 44 having the inclined surface 42 and the vertical surface 43 and the adjacent grooves 44. A plurality of ridges 45 each having a triangular cross section are disposed at a predetermined pitch, and the light reflecting surface 32 formed of a mirror surface (a metal reflecting surface) is formed only on the vertical surface 43 of each groove 44. The bottom of the groove 44 (between the lower end of the inclined surface 42 and the lower end of the vertical surface 43) and the top of the ridge 45 (between the upper end of the inclined surface 42 and the upper end of the vertical surface 43) are minute

Flat portions

46 and 47 are formed.
Then, the transparent resin 48 is filled in the

grooves

37 and 44 disposed facing each other.
The refractive indexes η1 and 412 of the first and second

transparent plates

34 and 41 are the same, and the refractive index η3 of the transparent resin 48 filled therebetween is the refraction of the first and second

transparent plates

34 and 41. The ratio η1 or η2 is preferably in the range of 0.8 to 1.2 times (more preferably 0.9 to 1.1 times, more preferably 0.95 to 1.05 times).
Examples of transparent resins to be used as the raw materials of the first and second

transparent plates

34 and 41 include cycloolefin polymers, polymethylmetallate (acrylic resin), amorphous fluorine resin, PMMA, polycarbonate for optics, fluorene polyester, Although thermoplastic resins such as polyether sulfone can be used, those having a high melting point and high transparency are preferably used.

鏡面（金属反射面）を形成する方法としては、溝３７、４４の垂直面３６、４３に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射、金属ペーストの塗布等を行うものが好適に用いられるが、スパッタリングや金属蒸着等で反射膜を形成した樹脂フィルムを溝３７、４４の垂直面３６、４３に貼り付けてもよい。なお、溝３７、４４の垂直面３６、４３に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射等を行う場合は、真空中又は低圧下で、斜め上方から垂直面３６、４３に向けて金属粒子を照射する。このとき、溝３７、４４の底部にそれぞれ微小平面部３９、４６が形成されているので、傾斜面３５、４２に金属粒子が付着することを減らし又は無くしながら、垂直面３６、４３の下端まで斑なく金属粒子を照射することができる。なお、溝３７、４４の傾斜面３５、４２は平面状に形成する代わりに、凸条３８、４５の内側に窪む断面多角形状の多角面や断面円弧状の凹面、或いは表面に多数の微小な凹凸（疵）を有する凹凸面として、金属粒子の付着を防止してもよい。 As a method of forming a mirror surface (metal reflection surface), sputtering, metal deposition, spraying of metal fine particles, irradiation of ion beam, coating of metal paste, etc. are performed directly on the

vertical surfaces

36, 43 of the

grooves

37, 44 However, a resin film on which a reflective film is formed by sputtering or metal deposition may be attached to the

vertical surfaces

36, 43 of the

grooves

37, 44. In the case where sputtering, metal deposition, spraying of metal particles, ion beam irradiation, etc. are performed directly on the

vertical surfaces

36, 43 of the

grooves

37, 44, the vertical surface 36 from diagonally above in vacuum or under low pressure. Irradiate the metal particles towards 43. At this time, since the minute

flat portions

39 and 46 are respectively formed at the bottoms of the

grooves

37 and 44, the lower end of the

vertical surfaces

36 and 43 is reduced or reduced while the metal particles are not attached to the

inclined surfaces

35 and 42. The metal particles can be irradiated without spots. The inclined surfaces 35 and 42 of the

grooves

37 and 44 are not flat but formed in a polygonal shape having a polygonal cross section which is recessed inward of the ridges 38 and 45, a concave surface having a circular arc shape, or a large number of minute surfaces. The adhesion of the metal particles may be prevented as the uneven surface having the unevenness (ridge).

溝３７、４４に透明樹脂４８を充填して第１、第２の光制御部３１、３３を一体化する方法としては、第１の光制御部３１の一側と、第２の光制御部３３の他側、つまり、それぞれの溝３７、４４が形成された側の面が対向するように向かい合わせに配置された状態で、その間に、第１、第２の透明板材３４、４１より融点が低いシート状の透明樹脂を挟み込み、真空状態で加熱、押圧して、透明樹脂のみを溶解し、固化させてもよいし、それぞれの溝３７、４４に別々に透明樹脂からなる透明接着剤を充填し、第１、第２の光制御部３１、３３の溝３７、４４を向かい合わせ、突き合わせて、透明接着剤を硬化させてもよい。透明接着剤としては、紫外線等を照射することにより硬化する光硬化型の他、熱硬化型や二液混合型の接着剤を用いることができる。特に、屈折率η３を屈折率η１、η２に近づけるために、屈折率を調整した屈折率調整樹脂からなる光学用接着剤等が好適に用いられる。
なお、各溝の傾斜面が多角面、凹面、凹凸面等である場合、アンカー効果によって、傾斜面と、溝に充填される透明樹脂との密着性を高め、溝内を透明樹脂で隙間なく埋めて凹凸を解消することができる。その結果、傾斜面と透明樹脂との界面で乱反射（散乱）を発生させることなく光を通過させることができ、屈折も最小限に抑えて、明るく鮮明な立体像を得ることができる。 As a method of filling the

grooves

37 and 44 with the transparent resin 48 and integrating the first and second

light control units

31 and 33, one side of the first light control unit 31 and the second light control unit With the other side of 33, that is, the surface on the side where the

respective grooves

37 and 44 are formed is disposed facing each other, the melting point of the first and second

transparent plates

34 and 41 is in between A sheet-like transparent resin having a low viscosity may be sandwiched, heated and pressed in a vacuum state, and only the transparent resin may be dissolved and solidified, or a transparent adhesive made of transparent resin separately in each

groove

37, 44 The

grooves

37 and 44 of the first and second

light control portions

31 and 33 may be filled, and the transparent adhesive may be cured by facing and abutting the

grooves

37 and 44. As the transparent adhesive, a thermosetting adhesive or a two-component mixture adhesive can be used in addition to a photo-curing adhesive that is cured by irradiation with ultraviolet light or the like. In particular, in order to bring the refractive index η3 close to the refractive indexes η1 and η2, an optical adhesive made of a refractive index adjusting resin whose refractive index is adjusted is preferably used.
In addition, when the inclined surface of each groove is a polygonal surface, a concave surface, a concavo-convex surface, etc., the adhesion between the inclined surface and the transparent resin filled in the groove is enhanced by the anchor effect, and the groove is transparent resin without a gap. The unevenness can be eliminated by filling. As a result, light can be allowed to pass without generating irregular reflection (scattering) at the interface between the inclined surface and the transparent resin, and refraction can also be minimized, and a bright and clear three-dimensional image can be obtained.

次に、光学結像手段１６の動作を説明する。
図１において、表示手段１５に画像が表示されると、その光が光学結像手段１６に向かって放射される。図４（Ａ）、（Ｂ）に示すように、光Ｌ１がＰ１の位置で光学結像手段１６の第２の光制御部３３に入光した場合、その光Ｌ１は、光反射面３２上のＰ２の位置で反射し、第１の光制御部３１に進入する。そして、光反射面３０のＰ３の位置で反射した後、Ｐ４の位置で第１の光制御部３１から空中に出て行き結像する。ここで、図４（Ａ）のＱ１で第２の透明板材４１から透明樹脂４８に、Ｑ２で透明樹脂４８から第１の透明板材３４に入光するが、第１、第２の透明板材３４、４１の屈折率η１、η２が同一で、透明樹脂４８の屈折率η３と近似する（略同等である）ので、全反射や分光等の現象は起こらない。また、図４（Ｂ）のＳ１で第２の透明板材４１から透明樹脂４８に、Ｓ２で透明樹脂４８から第１の透明板材３４に入光するが、第１、第２の透明板材３４、４１の屈折率η１、η２が同一で、透明樹脂４８の屈折率η３と近似する（略同等である）ので、全反射や分光等の現象は起こらない。
なお、Ｐ１、Ｐ４の位置でも屈折を起こすが、Ｐ１、Ｐ４の屈折は相殺する。また、光反射面３０、３２は表裏（図４（Ａ）、（Ｂ）では左右）いずれ側の面も光反射面として機能させることができる。 Next, the operation of the optical imaging means 16 will be described.
In FIG. 1, when an image is displayed on the display means 15, the light is emitted toward the optical imaging means 16. As shown in FIGS. 4A and 4B, when the light L1 enters the second light control unit 33 of the optical imaging unit 16 at the position P1, the light L1 is on the light reflection surface 32. The light is reflected at the position of P2 and enters the first light control unit 31. Then, the light is reflected at the position P3 of the light reflecting surface 30, and then it exits from the first light control unit 31 into the air at the position P4 and forms an image. Here, although light is incident from the second transparent plate 41 to the transparent resin 48 at Q1 in FIG. 4A and from the transparent resin 48 to the first transparent plate 34 at Q2, the first and second transparent plate 34 Since the refractive indices η1 and η2 of 41 are the same and approximate to (approximately equal to) the refractive index η3 of the transparent resin 48, phenomena such as total reflection and spectroscopy do not occur. 4B, the second transparent plate 41 enters the transparent resin 48, and the transparent resin 48 enters the first transparent plate 34 in S2, the first and second transparent plates 34, Since the refractive indexes η1 and η2 of 41 are the same and approximate to (approximately equal to) the refractive index η3 of the transparent resin 48, phenomena such as total reflection and spectroscopy do not occur.
Although refraction occurs at the positions of P1 and P4, the refraction of P1 and P4 cancels out. The

light reflecting surfaces

30, 32 can function as light reflecting surfaces either on the front or back (left or right in FIGS. 4A and 4B).

次に、本発明の第１の実施例に係る画像通信装置１０ａ、１０ｂを用いた画像通信方法について説明する。
当該画像通信方法は、図１～図３に示したように、各地点に配置された画像通信装置１０ａ、１０ｂを用いて、各地点に存在する人物Ａ、Ｂが、画像を介して会話を行うものである。即ち、人物Ａ側では画像通信装置１０ａを用いて、表示手段１５に表示された対話相手（人物Ｂ）の画像を平面状の光学結像手段１６によって、ハーフミラー１７を介して自由空間の結像面２３に実像として結像させると共に、自由空間の実像と対話する人物Ａを撮像手段１８によってハーフミラー１７を介して撮像し、撮像した画像の画像信号を対話相手（人物Ｂ）側の画像通信装置１０ｂに送る。同様に、人物Ｂ側では画像通信装置１０ｂを用いて、画像通信装置１０ａから送られる対話相手（人物Ａ）の画像を表示手段１５に表示し、表示された画像を平面状の光学結像手段１６によって、ハーフミラー１７を介して自由空間の結像面２３に実像として結像させると共に、自由空間の実像と対話する人物Ｂを撮像手段１８によってハーフミラー１７を介して撮像し、撮像した画像の画像信号を対話相手（人物Ａ）側の画像通信装置１０ａに送る。このように、人物Ｂの画像２５及び人物Ａの画像２６を相互に送受信して、その実像と各人物Ａ、Ｂが対話することにより、対話相手が目の前に存在しているような感覚で視線を合わせて会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることが可能となる。 Next, an image communication method using the

image communication apparatuses

10a and 10b according to the first embodiment of the present invention will be described.
In the image communication method, as shown in FIG. 1 to FIG. 3, persons A and B present at each point use the

image communication devices

10 a and 10 b arranged at each point to talk through images. It is something to do. That is, on the person A side, using the image communication apparatus 10a, the image of the other party (person B) displayed on the display means 15 is connected to the free space via the half mirror 17 by the planar optical imaging means 16. An image of the person A who is imaged as a real image on the image plane 23 and who interacts with the real image in free space is imaged by the imaging means 18 through the half mirror 17, and the image signal of the imaged image is the image on the conversation partner (person B) side It sends to the communication device 10b. Similarly, on the person B side, using the image communication device 10b, the image of the other party (person A) sent from the image communication device 10a is displayed on the display means 15, and the displayed image is a planar optical imaging means An image obtained by imaging the person B interacting with the real image in free space via the half mirror 17 via the half mirror 17 while forming an image as a real image on the imaging surface 23 in free space via the half mirror 17 Is sent to the image communication apparatus 10a on the side of the conversation partner (person A). In this manner, the image 25 of the person B and the image 26 of the person A are mutually transmitted and received, and the real image and each person A, B interact with each other, so that the other party of the dialogue exists in front of the eyes It is possible to make a line of sight and have a conversation, and to achieve smooth communication by eye contact and gestures.

続いて、図５を参照して、本発明の第２の実施例に係る画像通信装置５０ａ、５０ｂについて説明する。
この画像通信装置５０ａ、５０ｂが、第１の実施例と異なる点は、表示手段１５、光学結像手段１６、ハーフミラー１７、撮像手段１８、検知手段２９が、上下反転して配置されている点であり、その動作及び得られる作用、効果は第１の実施例と同様である。
なお、検知手段２９は、実像に焦点を合わせ、結像面２３上での人物Ａ又はＢの手や指の位置及び動作を検知できればよいので、第１の実施例と同様に、光学結像手段１６の上方に配置してもよい。
また、第１の実施例では、光学結像手段１６を斜め上向きに配置したのに対し、本実施例では、表示手段１５、光学結像手段１６、ハーフミラー１７、撮像手段１８、検知手段２９の位置関係を上下反転（１８０度回転）させて、光学結像手段１６の出光側を斜め下向きに配置したが、第１の実施例における上記構成の位置関係を９０度回転させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。 Next, with reference to FIG. 5, an

image communication apparatus

50a, 50b according to a second embodiment of the present invention will be described.
The

image communication apparatus

50a, 50b differs from the first embodiment in that the display means 15, the optical imaging means 16, the half mirror 17, the imaging means 18, and the detection means 29 are arranged upside down. It is a point, and its operation and the obtained action and effect are the same as those of the first embodiment.
As long as the detection means 29 focuses on the real image and can detect the position and operation of the hands and fingers of the person A or B on the imaging surface 23, as in the first embodiment, the optical imaging is performed. It may be located above the means 16.
In the first embodiment, the optical imaging means 16 is disposed obliquely upward, whereas in the present embodiment, the display means 15, the optical imaging means 16, the half mirror 17, the imaging means 18, and the detection means 29. The light emitting side of the optical image forming means 16 is disposed obliquely downward by turning upside down (180 degree rotation) of the position relation of the optical image forming means 16, but the position relation of the above configuration in the first embodiment is rotated 90 degrees The display surface can be arranged in the vertical direction, and the optical imaging means can be arranged on the side of the display means so that the light output side is obliquely oriented.

次に、図６を参照して、本発明の第３の実施例に係る画像通信装置５１ａ、５１ｂについて説明する。
この画像通信装置５１ａ、５１ｂが、第１の実施例と異なる点は、表示手段１５の設置角度が水平面に対して傾斜しており、それに応じて光学結像手段１６の傾斜角度を変更している点である。このように、表示手段１５の設置角度が水平でなく傾斜している場合でも、光学結像手段１６の傾斜角度を適宜、選択することにより、結像面２３を鉛直面とすることができる。また、画像通信装置５１ａ、５１ｂの動作及び得られる作用、効果は第１の実施例と同様である。 Next, referring to FIG. 6, an

image communication apparatus

51a, 51b according to a third embodiment of the present invention will be described.
The

image communication apparatus

51a, 51b differs from the first embodiment in that the installation angle of the display means 15 is inclined with respect to the horizontal plane, and the inclination angle of the optical imaging means 16 is changed accordingly. That is the point. As described above, even when the installation angle of the display unit 15 is not horizontal but inclined, the imaging surface 23 can be made to be a vertical plane by appropriately selecting the inclination angle of the optical imaging unit 16. Further, the operation of the

image communication apparatuses

51a and 51b and the obtained operation and effects are the same as in the first embodiment.

以上、本発明の実施例を説明したが、本発明は何ら上記した実施例に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施例や変形例も含むものである。
上記実施例では、通信を行う２つの地点の双方に本発明に係る画像通信装置を設置した場合について説明したが、必ずしも双方にこの画像通信装置を設置する必要はなく、一方の装置は、他方の画像通信装置から送られる画像信号を受けて対話相手となる人物の画像を表示する表示手段（ディスプレイ）と、その表示手段を見ている人物を撮像する撮像手段（カメラ）と、撮像手段で撮像された画像の画像信号を通信ネットワークを介して画像通信装置に送信する画像信号出力手段のみを備えたものであればよい。このような装置として、例えば、汎用のカメラ付きのスマートフォン等の携帯端末やパーソナルコンピュータ等を使用することができる。 As mentioned above, although the Example of this invention was described, this invention is not limited to the structure as described in the above-mentioned Example in any way, The other things considered in the range of the matter described in the claim are considered. Examples and modifications are also included.
Although the above embodiment has described the case where the image communication apparatus according to the present invention is installed at both of two communication points, it is not necessary to install the image communication apparatus on both sides. A display means (display) for receiving an image signal sent from the image communication device and displaying an image of a person who is a dialog partner, an imaging means (camera) for imaging a person looking at the display means, and It is sufficient to have only image signal output means for transmitting an image signal of a captured image to an image communication apparatus via a communication network. As such an apparatus, for example, a portable terminal such as a smartphone with a general-purpose camera or a personal computer can be used.

また、上記実施例では、２つの地点間で通信を行う場合について説明したが、３つ以上の地点間で通信を行うことも可能である。なお、３つ以上の地点間で通信を行う場合は、各地点の表示手段に表示する他地点の人物の画像を適宜、選択して切替える必要がある。例えば、３つの地点で人物Ａ、Ｂ、Ｃが通信を行う場合、人物Ａが発言している時には、人物Ｂ、Ｃ側の表示手段に人物Ａの画像を表示することが好ましい。このとき、発言している人物Ａ或いは発言を聞いている人物Ｂ、Ｃが、手動で選択して人物Ａの画像が表示されるように切替えてもよいが、人物Ａ側の検知手段で人物Ａの声を検知した時に、人物Ａの画像を人物Ａ側の画像信号出力手段から人物Ｂ、Ｃ側の画像信号出力手段に送信し、それぞれの表示手段に表示するようにして、画像の切替えを自動化することもできる。なお、人物Ａ側の表示手段には、人物Ｂ又はＣの画像を表示することが好ましい。このとき、表示する人物Ｂ又Ｃの画像は、例えば、人物Ａ側の画像信号出力手段により自動的に定期又は不定期で切替えてもよいし、人物Ａが、発言の内容等に応じて、手動で人物Ｂ又はＣの画像を選択して切替えてもよい。 Moreover, although the said Example demonstrated the case where it communicated between two points, it is also possible to communicate between three or more points. In addition, when communicating between three or more points, it is necessary to select and switch suitably the image of the person of the other point displayed on the display means of each point. For example, when persons A, B, and C communicate at three points, it is preferable to display the image of the person A on the display means on the persons B and C when the person A is speaking. At this time, the person A who is speaking or the person B or C who is listening to the utterance may be manually selected and switched so that the image of the person A is displayed. When the voice of A is detected, the image of the person A is transmitted from the image signal output means on the person A side to the image signal output means on the person B, C side, and displayed on each display means. Can also be automated. It is preferable to display the image of the person B or C on the display means on the person A side. At this time, the image of the person B or C to be displayed may be automatically switched periodically or irregularly by the image signal output means of the person A side, for example, according to the contents of the statement by the person A, etc. The image of the person B or C may be selected and switched manually.

上記実施例では、実像が形成される結像面が鉛直となるように、表示手段の設置角度と、光学結像手段の傾斜角度を設定したが、人物の姿勢（視線の方向）に応じて実像（結像面）を傾斜させてもよく、表示手段の設置角度と、光学結像手段の傾斜角度は、適宜、選択することができる。
また、上記実施例では、光学結像手段にハーフミラーを積層したものについて説明したが、光学結像手段とハーフミラーは必ずしも密着している必要はなく、間隔を空けて配置してもよい。光学結像手段とハーフミラーの間隔を空けて配置する場合、光学結像手段とハーフミラーは平行に配置してもよいし、傾斜させて配置してもよい。なお、撮像手段で人物の画像を撮像する際に、ハーフミラーで反射した人物を撮像する代わりに、必要に応じて、ハーフミラーで反射した人物をさらに鏡で反射させてから撮像することもでき、鏡の配置や設置角度に応じて、撮像手段の設置位置を適宜、変更することができる。 In the above embodiment, the installation angle of the display means and the inclination angle of the optical imaging means are set so that the image forming plane on which the real image is formed is vertical, but according to the posture of the person (direction of sight line) The real image (imaging surface) may be inclined, and the installation angle of the display means and the inclination angle of the optical imaging means can be selected appropriately.
Further, in the above-described embodiment, the optical imaging means has been described in which the half mirror is laminated. However, the optical imaging means and the half mirror do not necessarily have to be in close contact with each other. When the optical imaging means and the half mirror are spaced apart, the optical imaging means and the half mirror may be arranged in parallel or may be inclined. When capturing an image of a person with the imaging means, instead of capturing the person reflected by the half mirror, if necessary, the person reflected by the half mirror can be further reflected by the mirror and then imaged. The installation position of the imaging means can be appropriately changed according to the arrangement and installation angle of the mirror.

さらに、上記実施例では、検知手段として、実像に焦点を合わせ、結像面上での人物の手や指の位置及び動作を検知するもの（赤外線モーションセンサー等）について説明したが、その他に、検知手段として、表示手段の表面（表示面）に、表側からの光のみを検知するセンサ素子が並んで設けられた光センサを設置しておき、結像面に触れた手や指からの反射光を光学結像手段を介して表示手段上に実像として形成して、その実像の位置を、光センサで検知することもできる。さらに、検知手段として、人物の指や手の動作を検知するものの他、声や音を検知するものを用いることもできる。 Furthermore, in the above embodiment, as the detection means, one that focuses on a real image and detects the position and operation of a person's hand or finger on an imaging surface (such as an infrared motion sensor) has been described. As a detection means, an optical sensor provided with sensor elements for detecting only light from the front side is installed on the surface (display surface) of the display means, and reflection from the hand or finger touching the imaging surface Light can be formed as a real image on the display means through an optical imaging means, and the position of the real image can be detected by an optical sensor. Furthermore, as the detection means, in addition to one that detects the movement of a person's finger or hand, one that detects voice or sound can also be used.

また、上記実施例では、光学結像手段として、第１、第２の光制御部の表側（溝が形成された面）同士が接するように配置したものを用いたが、光学結像手段は、第１、第２の光制御部の光反射面が、平面視して直交配置されていればよい。よって、第１、第２の光制御部の表側と裏側が接するように配置する場合や、第１、第２の光制御部の裏側同士が接するように配置する場合もある。さらに、第１、第２の光制御部を２枚の透明板材に別々に形成して接合する代わりに、１枚の透明板材の両面に第１、第２の光制御部を形成することもできる。
なお、第１、第２の光制御部の各溝の垂直面に鏡面（金属反射面）を形成する代わりに、溝内に空気等の気体を密封したり、溝内を真空にしたりして、光の全反射を利用すれば、各溝の垂直面をそのまま光反射面とすることができる。
また、上記実施例では、光学結像手段として、第１、第２の光制御部の複数の光反射面がそれぞれ直線状（平行）に配置されたものについて説明したが、複数の光反射面が放射状に配置された第１の光制御部と、複数の光反射面が同心円状に配置された第２の光制御部を有するものも使用することができる。この場合、第１の光制御部の放射状の光反射面が、基準点Ｘを中心にして直線状に設けられるのに対し、第２の光制御部の同心円状の光反射面は、平面視して基準点Ｘと重なる基準点Ｙを中心とする同心円に沿って湾曲しているが、平面視して光反射面同士が交差する点では、両者は直交している。よって、上記実施例と同様に、立体像を結像させることができる。 Further, in the above embodiment, as the optical imaging means, one in which the front sides of the first and second light control portions (surfaces on which the grooves are formed) are in contact with each other is used. The light reflecting surfaces of the first and second light control units may be orthogonally disposed in plan view. Therefore, the front and back sides of the first and second light control units may be disposed in contact with each other, or the back sides of the first and second light control units may be disposed in contact with each other. Furthermore, instead of separately forming and joining the first and second light control units to the two transparent plate members, it is also possible to form the first and second light control units on both sides of one transparent plate member. it can.
Instead of forming a mirror surface (metal reflection surface) on the vertical surface of each groove of the first and second light control sections, a gas such as air is sealed in the groove or the inside of the groove is evacuated. If the total reflection of light is used, the vertical surface of each groove can be used as the light reflection surface as it is.
Further, in the above embodiment, as the optical imaging means, one in which the plurality of light reflecting surfaces of the first and second light control sections are arranged linearly (parallelly) has been described, but a plurality of light reflecting surfaces It is also possible to use one having a first light control unit in which the light emitting devices are arranged radially and a second light control unit in which a plurality of light reflecting surfaces are arranged concentrically. In this case, the radial light reflection surface of the first light control unit is provided in a straight line centering on the reference point X, while the concentric light reflection surface of the second light control unit is viewed in plan. And although it curves along the concentric circle centering on the reference point Y which overlaps with the reference point X, both are orthogonally crossed in the point which light-reflecting surfaces intersect in planar view. Therefore, a three-dimensional image can be formed as in the above embodiment.

本発明に係る画像通信装置及び画像通信方法は、遠隔地の人物同士が、画像を通して会話を行う際に、視線を合わせて意思疎通を図り、スムーズに会話を進めることができ、遠隔会議（テレビ会議）やビデオチャット等で有効に利用できる。 In the image communication apparatus and the image communication method according to the present invention, when persons in remote places talk with each other through images, they can keep their eyes in line to communicate and smoothly communicate with each other. It can be effectively used in meetings, video chats, etc.

１０ａ、１０ｂ：画像通信装置、１４：表示面、１５：表示手段、１６：光学結像手段、１７：ハーフミラー、１８：撮像手段、２０：画像信号出力手段、２１：スピーカー、２２：マイク、２３：結像面、２４：通信ネットワーク、２５、２６：画像（実像）、２７：共通画像作成手段、２８共通画像、２９：検知手段、３０：光反射面、３１：第１の光制御部、３２：光反射面、３３：第２の光制御部、３４：第１の透明板材、３５：傾斜面、３６：垂直面、３７：溝、３８：凸条、３９、４０：微小平面部、４１：第２の透明板材、４２：傾斜面、４３：垂直面、４４：溝、４５：凸条、４６、４７：微小平面部、４８：透明樹脂、５０ａ、５０ｂ、５１ａ、５１ｂ：画像通信装置 10a, 10b: image communication device, 14: display surface, 15: display means, 16: optical imaging means, 17: half mirror, 18: imaging means, 20: image signal output means, 21: speaker, 22: microphone, 23: imaging plane, 24: communication network, 25, 26: image (real image), 27: common image creation means, 28 common image, 29: detection means, 30: light reflecting surface, 31: first light control unit , 32: light reflecting surface, 33: second light control unit, 34: first transparent plate, 35: inclined surface, 36: vertical surface, 37: groove, 38: convex, 39, 40: micro flat surface , 41: second transparent plate, 42: inclined surface, 43: vertical surface, 44: groove, 45: ridge, 46, 47: minute flat portion, 48: transparent resin, 50a, 50b, 51a, 51b: image Communication device

Claims

画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
ハーフミラーを前記光学結像手段の出光側に配置し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によって更に前記ハーフミラーを介して前記自由空間に表示され、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行われることを特徴とする画像通信装置。 Display means for receiving an image signal and displaying an image of the other party, planar optical imaging means for forming the image of the other party displayed on the display means as a real image in the free space, and An image communication apparatus comprising: imaging means for imaging a person interacting with a real image; and image signal output means for transmitting an image signal of an image of a person imaged by the imaging means to the interaction partner.
A half mirror is disposed on the light exit side of the optical imaging means, and the image of the other party displayed on the display means is further displayed in the free space by the optical imaging means via the half mirror. An image communication apparatus, wherein imaging of the person by the imaging means is performed via the half mirror.
請求項１記載の画像通信装置において、前記ハーフミラーは前記光学結像手段に対して平行に配置されていることを特徴とする画像通信装置。 The image communication apparatus according to claim 1, wherein the half mirror is disposed parallel to the optical imaging unit.
請求項１又は２記載の画像通信装置において、前記光学結像装置は前記表示手段に対して一定角度で傾斜配置されていることを特徴とする画像通信装置。 The image communication apparatus according to claim 1, wherein the optical image forming apparatus is disposed at an angle to the display unit.
請求項３記載の画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きに配置されていることを特徴とする画像通信装置。 4. The image communication apparatus according to claim 3, wherein the optical imaging means is disposed such that the light output side is directed obliquely upward, obliquely downward or obliquely sideways.
請求項１～４のいずれか１項に記載の画像通信装置において、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることを特徴とする画像通信装置。 The image communication apparatus according to any one of claims 1 to 4, wherein the image of the person sent to the conversation partner by the image signal output unit is horizontally reversed.
請求項１～５のいずれか１項に記載の画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信装置。 The image communication apparatus according to any one of claims 1 to 5, wherein the image signal output unit has a common image creation unit, and the image of the other party of the conversation and the common image created by the common image creation unit And a common image signal of the common image is superimposed on the image signal sent to the conversation partner as well as being synthesized and displayed on the display means.
請求項６記載の画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することを特徴とする画像通信装置。 7. The image communication apparatus according to claim 6, further comprising: detection means for detecting an action of the person, wherein the image signal output means manipulates the common image based on the action detected by the detection means. Image communication device.
表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
ハーフミラーを前記光学結像手段の出光側に配置し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によって更に前記ハーフミラーを介して前記自由空間に表示し、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行うことを特徴とする画像通信方法。 The image of the other party displayed on the display means is imaged as a real image in free space by the planar optical imaging means, the person interacting with the real image in the free space is imaged by the imaging means, and imaged by the imaging means In an image communication method for transmitting an image signal of an image of a person to the conversation partner,
A half mirror is disposed on the light exit side of the optical imaging means, and the image of the conversation partner displayed on the display means is further displayed by the optical imaging means in the free space via the half mirror, An image communication method characterized in that imaging of the person by the imaging means is performed via the half mirror;
請求項８記載の画像通信方法において、前記ハーフミラーを前記光学結像手段に対して平行に配置したことを特徴とする画像通信方法。 9. The image communication method according to claim 8, wherein the half mirror is disposed parallel to the optical imaging means.
請求項８又は９記載の画像通信方法において、前記光学結像装置を前記表示手段に対して一定角度で傾斜配置したことを特徴とする画像通信方法。 10. The image communication method according to claim 8, wherein the optical imaging device is disposed at an angle to the display means.
請求項１０記載の画像通信方法において、前記光学結像手段を、出光側を斜め上向き、斜め下向き又は斜め横向きに配置したことを特徴とする画像通信方法。 11. The image communication method according to claim 10, wherein the optical imaging means is disposed such that the light output side is obliquely upward, obliquely downward or obliquely sideways.
請求項８～１１のいずれか１項に記載の画像通信方法において、前記対話相手に送る前記人物の画像を左右反転させることを特徴とする画像通信方法。 The image communication method according to any one of claims 8 to 11, wherein the image of the person sent to the conversation partner is horizontally reversed.
請求項８～１２のいずれか１項に記載の画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信方法。 The image communication method according to any one of claims 8 to 12, wherein the image of the conversation partner and the common image are combined and displayed on the display means, and the image signal sent to the conversation partner is also the common image. An image communication method comprising: superimposing a common image signal of
請求項１３記載の画像通信方法において、前記人物の動作を検知して、検知した動作に基づいて前記共通画像を操作することを特徴とする画像通信方法。 The image communication method according to claim 13, wherein the operation of the person is detected, and the common image is operated based on the detected operation.