JP2008017348A - Video display apparatus, and distortion correction processing method of video signal - Google Patents
Video display apparatus, and distortion correction processing method of video signal Download PDFInfo
- Publication number
- JP2008017348A JP2008017348A JP2006188510A JP2006188510A JP2008017348A JP 2008017348 A JP2008017348 A JP 2008017348A JP 2006188510 A JP2006188510 A JP 2006188510A JP 2006188510 A JP2006188510 A JP 2006188510A JP 2008017348 A JP2008017348 A JP 2008017348A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- video
- projection
- projector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000036544 posture Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 abstract description 98
- 230000008859 change Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000010287 polarization Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008602 contraction Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、任意形状の映写面を有する映像表示手段を用いる映像表示装置及び映像信号の歪み補正処理方法に関するものである。 The present invention relates to a video display device using video display means having a projection surface of an arbitrary shape and a video signal distortion correction processing method.
従来より、大型のスクリーンに映像を投影して、観察者に各種の疑似体験をさせる技術が知られている。 2. Description of the Related Art Conventionally, a technique for projecting an image on a large screen and causing an observer to perform various simulated experiences is known.
これらの仮想現実実感生成システムは、人間の感覚の内視覚から得られる情報が最も多く、人間の全感覚から得られる情報の８０％〜８５％を占めているために、人間の視野を覆うような映像を提示することによって、当該映像に対する没入感を与えている。またバーチャルリアリティにおいても、より現実的な仮想空間を生成するために、視覚へ情報提示を行うことは最も重要な要素となっている。 These virtual reality generation systems generate the most information from the human senses and account for 80% to 85% of the information obtained from all human senses. By presenting a simple video, an immersive feeling is given to the video. In virtual reality, in order to generate a more realistic virtual space, it is the most important element to present information to the eye.
このように、単に映像を提示するだけでなく、広視野、立体視等より自然な見え方を実現するための映像表示装置が希求されている。 Thus, there is a demand for a video display device that not only presents video, but also realizes a natural appearance such as wide field of view and stereoscopic vision.
このような映像表示装置としては、半球面形状の映写面を持つ映像表示手段（スクリーン）と、この映像表示手段に歪みの無い広視野の映像を投影する映像投影装置とからなるものがある（例えば、特許文献１）。
ところで、例えば内視鏡カメラで捉えた被術者の内臓の状態を術者が観察しながら手術を行うために、上述のような映像投影装置を手術室に設置したい等の要望があるものの、特許文献１に記載されている装置の構成は、映像表示手段を固定しておくものであるため、手術の進行等により術者の位置が変わる用途には対応できなかった。
By the way, for example, in order to perform an operation while the operator observes the state of the internal organs of the subject captured by an endoscopic camera, there is a desire to install the video projection device as described above in the operating room, Since the configuration of the device described in
本発明は、上述の点に鑑みて為されたもので、その目的とするところは、映像表示手段、映像投影手段、該映像表示手段の映写面の映像を視る観察者の視点位置の内の選択した何れか二つの相対的な位置や姿勢が変化しても、観察者に対して歪みの無い映像を表示することができる映像表示装置及び映像信号の歪み補正処理方法を提供することにある。 The present invention has been made in view of the above-described points, and an object of the present invention is to provide video display means, video projection means, and the viewpoint position of an observer who views the video on the projection surface of the video display means. To provide a video display device and a video signal distortion correction processing method capable of displaying an image without distortion for an observer even if any two relative positions and postures selected by the above change. is there.
上述の目的を達成するために、映像表示装置の係る発明では、映像信号を入力して映像光を投写する映像投影手段と、前記映像投影手段から映像光が投写されて映像を映す任意形状の映写面を有する映像表示手段と、前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置及び姿勢を動かす可動手段と、前記相対的な位置及び前記姿勢を計測する計測手段と、前記計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と前記映写面の形状とから、前記映像投影手段の投写によって前記映像表示手段の映写面に映される映像の歪みを補正する補正パラメータを求め、該補正パラメータに基づいて前記映像投影手段に入力する前記映像信号に歪み補正処理を施す映像信号処理手段と、を備えていることを特徴とする
また、映像信号の歪み補正処理方法に係る発明では、前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から何れか二つを選択する選択過程と、該選択過程で選択した二つの相対的な位置及び姿勢を所望の位置及び姿勢に調整するとともに、選択外の残り一つの予め設定した位置及び姿勢を設定する位置調整過程と、前記位置調整過程で調整した前記選択した二つの相対的な位置及び姿勢と、前記選択外の残り一つの設定した位置及び姿勢と、前記映像表示手段の映写面の形状とに基づいて、前記映像投影手段から投写された映像光で前記映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算する補正パラメータを演算する補正パラメータ演算過程と、演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す歪み補正処理過程と、を含むことを特徴とする。
In order to achieve the above-described object, in an invention related to a video display device, video projection means for inputting video signals and projecting video light, and an arbitrary shape for projecting video light by projecting video light from the video projection means A video display means having a projection surface, and any two relative positions and postures selected from the viewpoint position of the observer viewing the video on the projection screen of the video projection means, the video display means, and the video display means. Movable means for moving; measuring means for measuring the relative position and attitude; the relative position and attitude measured by the measuring means; the remaining one preset position and attitude not selected; From the shape of the projection surface, a correction parameter for correcting distortion of the image projected on the projection surface of the image display means by the projection of the image projection means is obtained, and the image projection means is determined based on the correction parameter. Video signal processing means for performing distortion correction processing on the video signal to be applied. Also, in the invention relating to the distortion correction processing method for video signal, the video projection means, the video display means, A selection process of selecting any two from the viewpoint positions of the observer viewing the video on the projection screen of the video display means, and the two relative positions and postures selected in the selection process to a desired position and posture A position adjustment process for setting the remaining one preset position and posture that is not selected, the two selected relative positions and postures adjusted in the position adjustment process, and the remaining one that is not selected. Based on two set positions and orientations and the shape of the projection surface of the image display means, the image light projected from the image projection means corrects the distortion of the image projected on the projection surface of the image display means. A correction parameter calculation step for calculating a correction parameter for calculating a positive parameter, and a distortion correction processing step for performing distortion correction on the video signal input to the video projection unit based on the calculated correction parameter. To do.
映像表示装置の係る発明は、映像投影手段、映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置や姿勢が変化しても、計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と、映写面の形状とから、映像信号処理手段が映写面に映される映像の歪みを補正する処理を行うため、観察者に対して歪みの無い映像を表示することができ、また立体視用の立体映像を映し出すことで、観察者は没入感の映像を視ることができるという効果がある。 The invention relating to the video display apparatus is such that any two relative positions and postures selected from the video projector, the video display, and the viewpoint position of the observer viewing the video on the projection screen of the video display change. The video signal processing means displays on the projection screen from the relative position and orientation measured by the measurement means, the remaining one preset position and orientation that is not selected, and the shape of the projection plane. Since the distortion correction process is performed, an image without distortion can be displayed to the observer, and the stereoscopic image for stereoscopic viewing can be displayed so that the observer can see an immersive image. There is an effect that can be done.
更に、映像信号の歪み補正処理方法に係る発明は、映像投影手段、映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置や姿勢を調整するとともに、選択外の残り一つの位置及び姿勢を設定するだけで、映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算し、この演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す処理が為されて、観察者に対して歪みの無い映像を表示する映像表示装置を実現される。 Further, the invention relating to the distortion correction processing method of the video signal includes any two relative positions selected from the video projection means, the video display means, and the viewpoint position of the observer viewing the video on the projection plane of the video display means. And adjusting the posture, and setting the remaining one position and posture that are not selected, the correction parameter for correcting the distortion of the image projected on the projection screen of the image display means is calculated, and the calculated correction parameter is used as the calculated correction parameter. Based on this, the video signal input to the video projection means is subjected to distortion correction processing, thereby realizing a video display device that displays a video without distortion to the observer.
以下本発明を実施形態により説明する。
（実施形態１）
本実施形態の映像表示装置は、図１（ａ）、（ｂ）に示すように映像信号Ｓを入力して映像光を投写する映像投影手段たるプロジェクタ１と、プロジェクタ１から投写される映像光によって映像を映す観察者に凹面を向けた任意形状、例えば半球凹面形状の映写面２ａを有する映像表示手段たるスクリーン２と、プロジェクタ１とスクリーン２の位置及び姿勢を動かすために、これらプロジェクタ１及びスクリーン２を動かす可動手段たる可動機構部３、観察者Ｍのスクリーン２の映写面２ａを視る視点位置αを検出する視点位置計測部７と、プロジェクタ１とスクリーン２の位置及び姿勢を検出するセンサ部４と、このセンサ部４と視点位置計測部７の計測情報とに基づいて求められる、例えばスクリーン２の映写面２ａと観察者Ｍの視点位置αの相対的な位置及び姿勢と、プロジェクタ１の位置及び姿勢と、スクリーン２の映写面２ａの形状とにより求められる、スクリーン２の映写面２ａに映し出される映像の歪みを補正する補正パラメータに基づいてプロジェクタ１に入力する映像信号Ｓに歪み補正処理を施す映像信号処理部５とを主構成要素として構成される。
Embodiments of the present invention will be described below.
(Embodiment 1)
As shown in FIGS. 1 (a) and 1 (b), the video display device of this embodiment includes a
尚図１（ｂ）では、簡略化のために観察者Ｍを、頭と右眼だけで示している（尚他の図においても同様に示している。）
さて、以下の例では、プロジェクタ１からスクリーン２に単眼視の映像光を投影する場合について説明するが、スクリーン２に立体視用の立体映像を表示させても良い。このような立体視用の立体映像を用いた場合、観察者は没入感のある映像を視ることができる。
In FIG. 1B, for the sake of simplification, the observer M is shown only with the head and the right eye (also shown in other figures).
In the following example, a case where monocular video light is projected from the
この場合、映像を視る観察者に右眼と左眼とで透過する映像光の偏光方向が異なる偏光眼鏡又は液晶シャッタ眼鏡を装着させて、偏光方式又は時分割方式でプロジェクタ１から相互に視差が与えられ且つ偏光方向が異なる複数種の映像光を出射する。
In this case, the viewer who views the image is attached with polarized glasses or liquid crystal shutter glasses having different polarization directions of the image light transmitted by the right eye and the left eye, and the parallax is mutually separated from the
偏光方式（例えば円偏光式）でスクリーン２に立体映像を表示する場合、スクリーン２として映像光の偏光方向を保持する素材のものを使用し、プロジェクタ１の２個の光出射口から偏光方向が異なる右眼用映像光と左眼用映像光を出射させる。また、時分割方式でスクリーン２に立体映像を表示する場合、１個の光出射口から右眼用映像光と左眼用映像光とを時分割で交互に出射し、右眼用映像光と左眼用映像光との出射タイミングと液晶シャッタ眼鏡の右眼及び左眼シャッタの切り替えタイミングとの同期を取る。
When a stereoscopic image is displayed on the
また、立体画像用に用いるスクリーン２として、偏光方式の場合には、映写面２ａの表面にアルミ粉末等を塗布した所謂シルバースクリーンを用いる。
Further, as the
さて本実施形態のプロジェクタ１は、例えば病院の手術室の床Ｆに固定設置した支持台６上に、水平面内で回転自在な回転機構３０ａと鉛直面内で回転自在な回転機構３０ｂとからなる回転支持部３０を介して配設され、回転機構３０ａの回転により水平面内で３６０度の範囲、また回転機構３０ｂの回転により鉛直面内の所定角度の範囲においてプロジェクタ１の位置、姿勢、つまり投影方向を変えることができるようになっている。
The
一方スクリーン２は、プロジェクタ１の上面部に一端を連結したリンク機構部３１の他端に支持され、リンク機構部３１によってその位置及び姿勢を変えることができるようになっている。
On the other hand, the
ここで、リンク機構部３１は．回転節３１ａ、３１ｂで連結された３つのアーム３１ｃ〜３１ｅと、プロジェクタ１の上面部に取り付け、上面部と並行する面内で回転する回転機構３１ｆと、この回転機構３１ｆの回転軸とアーム３１ｃの一端との間に介在する回転節３１ｇと、アーム３１ｅの端部に連結されアーム３１ｅの軸方向に対して直交する面内で回転する回転機構３１ｈ、この回転機構３１ｈの回転軸に連結され、両側の腕片間に配置したスクリーン２の両側を支持しているＹ字状の支持腕３１ｉとで構成され、回転節３１ａ、３１ｂ、３１ｇと回転機構３１ｆ、３１ｆにより、プロジェクタ１に対するスクリーン２の位置と姿勢とを変える得ることができる。
Here, the
而して上述の回転支持部３０と、リンク機構部３１とで、プロジェクタ１とスクリーン２の位置と姿勢とを手動によって自在に動かすことができる可動機構部３が構成されることになる。
Thus, the
センサ部４は、プロジェクタ１とスクリーン２の位置と姿勢を計測するために、可動機構部３の回転支持部３０の各回転機構３０ａ、３０ｂに内蔵され、夫々の回転角度を計測する角度センサと、リンク機構部３１の回転節３１ａ、３１ｂ、３１ｇ及び回転機構３１ｆ、３１ｈに内蔵され夫々の回転角度を計測する角度センサとで構成され、これらセンサ群によって計測された各角度情報は、観察者Ｍの視点位置αの計測情報とともに後述する歪み補正のための歪み補正パラメータの演算時に用いられる。
The
視点位置計測部７は、３次元の位置検出ができる磁気センサを用い、この磁気センサを観察者Ｍの被装品である眼鏡（偏光眼鏡や液晶シャッタ眼鏡）、マスク、帽子等に取り付けることで視点位置αを計測する手段で構成される。勿論このほかに例えばスクリーン２に取り付けた撮像カメラで観察者Ｍの顔面画像を撮像してその眉を抽出し、その眉の位置とスクリーン２の位置との相対関係から視点位置αを計測する手段を用いても良い。
The viewpoint
映像信号処理部５は、例えばパーソナルコンピュータにより構成され、図２に示すように、映像信号入力部５１と、座標演算部５２と、補正パラメータ演算部５３と、補正処理部５４の機能をソフトウェアの実行によって構築している。
The video
座標演算部５２は、センサ部４で計測された各角度の情報と、視点位置計測部７の計測情報とを入力し、当該現在の各角度と、予め記憶しておいたリンク機構部３１のアーム３１ｃ〜３１ｄの長さとから、プロジェクタ１の位置を原点としたスクリーン２の相対位置を算出し、更に視点位置計測部７が計測する観察者Ｍの視点位置αを原点として、スクリーン２の位置の相対位置を算出する。
The
また、座標演算部５２は、同時に、前記の現在の角度と、アーム３１ｃ〜３１ｄの長さとから、プロジェクタ１の光軸方向（投影方向）を基準としたスクリーン２の回転角度であるプロジェクタ１とスクリーン２との相対的な姿勢を算出する。更に視点位置計測部７が計測する観察者Ｍの視点位置αから想定する視点方向を基準として、スクリーン２の回転角度である視点位置αとスクリーン２との相対的な姿勢を算出する。
In addition, the
尚視点位置αとスクリーン２との相対的な位置及び姿勢の算出は、代わりに視点位置αとプロジェクタ１との相対的な位置及び姿勢を算出しても良い。
Note that the relative position and orientation of the viewpoint position α and the
更に、座標演算部５２は、スクリーン２とプロジェクタ１との相対的な位置及び距離と、プロジェクタ１の画角からプロジェクタ１の投影範囲の外側にスクリーン２が配置しているか否かを判定する。
Further, the coordinate
そして、プロジェクタ１から投写される映像光がスクリーン２に投影されないような場合には、スクリーン２が無いものと判定して、映像光の投影を中止させる。
When the image light projected from the
更にまた、座標演算部５２は、スクリーン２とプロジェクタ１との距離を演算して、プロジェクタ１に映像光の拡大又は縮小の程度を通知して、プロジェクタ１のズーム・フォーカス機構（図示せず）を制御することが望ましく、これによって、スクリーン２の全面に亘って映像光を投影させることができる。つまりズーム・フォーカス機構のズーム機能により、投影光の拡大・縮小を行い、フォーカス機能でスクリーン２の映写面２ａの位置の遠近に応じてピント合わせを行う。
Furthermore, the coordinate
補正パラメータ演算部５３は、座標演算部５２から受け取ったプロジェクタ１の位置及び姿勢（これらは予め設定される位置及び姿勢である）を含むプロジェクタ１とスクリーン２の相対的な位置及び姿勢と、映像を視る観察者Ｍの視点位置αとスクリーン２との相対的な位置及び姿勢と、プロジェクタ１の現在の画角とを入力し、後述する平面映像信号がスクリーン２に投影した時の歪みを補正するための歪み補正パラメータとして、歪み補正テーブルを作成する。
The correction
尚この作成の際に、観察者Ｍの視点位置αとスクリーン２との相対的な位置及び姿勢の代わりに、視点位置αとプロジェクタ１との相対的な位置及び姿勢を用いても良い。
In this creation, the relative position and orientation of the viewpoint position α and the
この歪み補正テーブルは、平面の投影面と任意形状のスクリーン２の投影面のメッシュモデルとの対応マップであり、当該歪み補正テーブルに従って座標変換を行い、例えば画素ごとに、平面映像信号を任意形状投影面への表示用の出力映像信号に変換するためのものである。
This distortion correction table is a correspondence map between a flat projection surface and a mesh model of the projection surface of the
映像信号入力部５１は、外部から撮像カメラ（例えば手術室において被術者の内臓状態を撮像する内視鏡カメラ）の映像信号Ｓから平面上に映像を投影するための平面映像信号を生成して、補正処理部５４に出力する。
The video signal input unit 51 generates a planar video signal for projecting a video on a plane from the video signal S of an imaging camera (for example, an endoscopic camera that captures the visceral state of a subject in an operating room) from the outside. To the
補正処理部５４は、映像信号入力部５１から出力される平面映像信号を入力すると、補正パラメータ演算部５３で演算された補正パラメータに従って、平面映像信号をスクリーン２の投影面に投影して観察者Ｍの視点位置αから歪みの無い映像を視認させるための歪み補正処理を行う。
When the planar video signal output from the video signal input unit 51 is input, the
また補正処理部５４は、画素ごとに、平面映像信号を任意形状投影面への表示用の出力映像信号に変換して出力映像信号を作成して、プロジェクタ１に供給する。これによって、プロジェクタ１からは、スクリーン２とプロジェクタ１との相対的な位置及び姿勢に応じて歪み補正が為された映像光をスクリーン２に向けて投影する。
Further, the
このように、本発明を適用した映像表示装置によれば、スクリーン２とプロジェクタ１とをリンク機構部３１で接続した構成であっても、センサ部４及び視点位置計測部７の情報から、プロジェクタ１の位置及び姿勢と、スクリーン２と観察者Ｍの視点位置αとの相対的な位置及び姿勢を計測することで、自動的に平面映像信号に歪み補正処理を施すことができ、歪みの無い映像をスクリーン２で表示させることができる。
As described above, according to the video display device to which the present invention is applied, even if the
また、本実施形態の映像表示装置によれば、スクリーン２とプロジェクタ１との間に障害物等がありスクリーン２やプロジェクタ１を移動させた場合であっても、新たなプロジェクタ１とスクリーン２の相対的な位置及び姿勢と、観察者Ｍの視点位置αとスクリーン２との相対的な位置及び姿勢に基づく歪み補正処理を再度行うことによって、障害物の影等の影響を受けずに没入感があり、歪みがなく鮮明な映像をスクリーン２に映し出すことができる。
Further, according to the video display apparatus of the present embodiment, even when there is an obstacle between the
例えば、観察者が医師である場合、手術室において、スクリーン２とプロジェクタ１との間に障害物となるベッドや計器類や照明機器等を挟むように回転支持部３０及びリンク機構部３１を駆動させてスクリーン２及びプロジェクタ１の位置を配することができるので、スペースの少ない手術室のような空間であっても、被術者の患部の映像をスクリーン２に投影して、歪みの無い鮮明な映像を見ながら手術を行うことも可能である。特に立体視用の立体画像を用いた場合には、奥行き方向が認識し易くなり、内臓位置等の把握が容易となる。
For example, when the observer is a doctor, in the operating room, the
次に本実施形態の実際の使用例について説明する。 Next, an actual usage example of the present embodiment will be described.
図２は、観察者Ｍの視点位置αからスクリーン２の位置及び姿勢が適切でない状態からスクリーン２を適切な位置及び姿勢とする場合を示しており、まず図２（ａ）ではスクリーン２に対する観察者Ｍの視点位置αが予め設定される適切な位置でないため、図２（ｂ）に示すようにリンク機構部３１を動かすことで、視点位置αに対してスクリーン２の位置及び姿勢を適切な状態に変更する。
FIG. 2 shows a case where the
この変更した状態ではスクリーン２の映写面２ａが斜め下向きとなっているため、プロジェクタ１の投写軸を変更して映像光が映写面２に適切に投影されるように、回転支持部３０を動かすことで、図２（ｃ）に示すようにプロジェクタ１の位置及び姿勢を変更して投写軸を斜め上向きにする。これによりプロジェクタ１からの映像光をスクリーン２の映写面２ａに適切に投影させることができることになる。
In this changed state, since the
またこのようなスクリーン２とプロジェクタ１の位置と姿勢の変更があると、スクリーン２と観察者Ｍの視点位置αとの相対的な位置及び姿勢も変更されることになる。つまりこの変更過程がスクリーン２とプロジェクタ１の位置及び観察者Ｍの視点位置αの位置調整過程となり、この過程が終了すると、映像信号処理部５は、センサ部４から計測された角度の情報及び視点位置計測部７の計測情報及び映写面２ａの形状に基づき つまり、図２（ｃ）で示す最終的なプロジェクタ１の位置及び姿勢を設定された位置及び姿勢とし、この位置及び姿勢と、センサ部４から計測された角度の情報及び視点位置計測部７の計測情報に基づいたスクリーン２の映写面２ａと観察者Ｍの視点位置αとの相対的な位置及び姿勢と、スクリーン２の映写面２ａの形状とに基づき、上述のように歪み補正パラメータを演算し（補正パラメータ演算過程）、この補正パラメータ演算過程の終了後、歪み補正パラメータによって平面映像信号を補正する処理を行い（補正処理過程）、スクリーン２の映写面２ａに歪みの無い映像を映し出すことができることになる。
If the position and orientation of the
ところで、図２の使用形態では、観察者Ｍの視点位置αに対してスクリーン２の位置や姿勢を変更し、このスクリーン２の位置や姿勢の変更に対応してプロジェクタ１の投写軸がスクリーン２に適切となるようにプロジェクタ１の位置や姿勢を変更させているが、プロジェクタ１の位置及び姿勢を所定の位置及び姿勢に設定したままで、スクリーン２の位置や姿勢を変更し、この変更に伴って、観察者Ｍがその視点位置αを最適な位置へ移動させるような使用形態もある。
2, the position and orientation of the
図３はこの使用形態を示しており、図３（ａ）ではプロジェクタ１とスクリーン２の相対位置及び姿勢は、プロジェクタ１の投影範囲内にスクリーン２の映写面２ａが収まっていない状態にあって、プロジェクタ１からの映像光の投影は中止されているような場合、プロジェクタ１の投影範囲内にスクリーン２の映写面２ａが収まり、投影が開始されるように、図３（ｂ）のようにリンク機構部３１を動かすことでスクリーン２の位置と姿勢を変更することになる。この場合当然観察者Ｍの視点位置αとスクリーン２の映写面２ａの相対的な位置及び姿勢が変更されることになるが、この図３（ｂ）では投影範囲内に観察者Ｍが存在し、投影される映像光が観察者Ｍにより遮光されることになる。そこで、図３（ｃ）に示すように観察者Ｍは映像光を遮らない位置に移動する。この移動により観察者Ｍの視点位置αの位置と、スクリーン２の映写面２ａの相対的な位置及び姿勢も更に変更されることになる。この最終的に位置調整の過程が終了すると、映像信号処理部５は、センサ部４から計測された角度の情報及び視点位置計測部７の計測情報及び映写面２ａの形状に基づき、つまり、図３（ｃ）で示す最終的なプロジェクタ１の位置及び姿勢を設定された位置及び姿勢とし、この位置及び姿勢と、センサ部４から計測された角度の情報及び視点位置計測部７の計測情報に基づいたスクリーン２の映写面２ａと観察者Ｍの視点位置αとの相対的な位置及び姿勢と、スクリーン２の映写面２ａの形状とに基づき、上述のように歪み補正パラメータを演算し（補正パラメータ演算過程）、この補正パラメータ演算過程の終了後、歪み補正パラメータによって平面映像信号を補正する処理を行い（補正処理過程）、スクリーン２の映写面２ａに歪みの無い映像を映し出すことができることになる。
FIG. 3 shows this usage pattern. In FIG. 3A, the relative positions and orientations of the
尚上述のプロジェクタ１やスクリーン２の位置や姿勢変更は可動機構部３を手動によって動かしているが、可動機構部３を電動駆動部で駆動できる構成としても良い。この場合、映像信号処理部５に、観察者Ｍの音声を認識する音声認識機能、又は、観察者Ｍの操作を検出する操作入力機能を搭載し、観察者Ｍの音声又は操作に基づいてスクリーン２の位置及び姿勢やプロジェクタ１の投写方向を変更する命令を入力する手段と、この命令を解釈して電動駆動部を制御して可動機構部３を動かして、スクリーン２とプロジェクタ１との相対的な位置及び姿勢を変更する制御手段とを備えれば良い。
Although the
この場合、映像信号処理部５の座標演算部２４及び補正パラメータ演算部５３は、スクリーン２の位置及び姿勢の変化に応じて補正パラメータを更新して、観察者Ｍの意図に対応したスクリーン２位置において歪みの無い映像を観察させることができる。
In this case, the coordinate calculation unit 24 and the correction
また、観察者Ｍからの命令に従ってスクリーン２とプロジェクタ１との相対的な位置及び姿勢を変更した場合、当該変更後のスクリーン２とプロジェクタ１との相対的な位置及び姿勢を固定するロック機構を回転節３１ａ、３１ｂ、３１ｇ及び回転機構３０ａ、３０ｂ、３１ｆ、３１ｈ内に備えていることが望ましい。これにより、観察者Ｍの命令によってスクリーン２とプロジェクタ１との相対的な位置及び姿勢を変更した後には、確実にスクリーン２位置を固定することができる。
Further, when the relative position and orientation of the
尚本実施形態では支持台６は床Ｆに固定しているが、キャスターを設けて移動自在にしても良い（後述する他の実施形態でも同様）。
In this embodiment, the
更に、本実施形態では、スクリーン２として半球凹面形状（ドーム状）の映写面２ａを持つものを用いているが、平面状の映写面２ａを持つスクリーンや円筒型の一部を用いた２次曲面の映写面２ｑを持つスクリーンであっても良い。また半球凹面形状（ドーム状）の映写面、平面状の映写面スクリーン、２次曲面の映写面を種々組み合わせて形成したスクリーンを用いても良い（後述する他の実施形態でも同様）。
Furthermore, in the present embodiment, a
また更に、上述の実施形態では、プロジェクタ１の光軸をスクリーン２の映写面２ａの方向に向けているが、反対方向に向けて、プロジェクタ１から出射した映像光を反射ミラーで反射して、スクリーン２に映像光を投影させるようにして良い。この場合反射ミラーには、映像信号処理部５の制御信号に応じて、映像光の反射角度を可変とする回転アクチュエータを反射ミラーの支持部に設置しておく。
Furthermore, in the above-described embodiment, the optical axis of the
そして、映像信号処理部５によって、現在のスクリーン２の位置及び姿勢が演算されて、反射ミラーの姿勢（回転角度）に対するスクリーン２の中心位置における位置及び姿勢を演算するとともに、反射ミラーで反射した映像光がスクリーン２の全面に亘って投影される反射ミラーの回転角度を演算して、前記回転アクチュエータを制御する、一方、反射ミラーで反射した映像光がスクリーン２の全面に亘って歪み無く表示されるように、スクリーン２と反射ミラーとの相対的な位置及び姿勢を演算して補正パラメータを作成し、歪み補正処理を行う。
Then, the current position and orientation of the
このような反射ミラーを用いることで、プロジェクタ１の位置及び姿勢を変更する機構を備えること無く、スクリーン２を任意の位置及び姿勢としても、歪みの無い映像を表示させることができる。
By using such a reflection mirror, an image without distortion can be displayed even when the
更に、プロジェクタ１の位置・姿勢を直接変更する場合に比べて、簡便な機構を用い少ないパワーで、変更可能となる。
（実施形態２）
ところで、上述の実施形態１の映像表示装置は可動機構部３を手動で動かすことを前提としているが、例えばスクリーン２が手動で移動されて、スクリーン２がプロジェクタ１の投影範囲外となった場合であっても、スクリーン２の中心部にプロジェクタ１の光軸を自動的に向けることができるようにしたのが本実施形態である。
Furthermore, compared with the case where the position / orientation of the
(Embodiment 2)
By the way, although the video display apparatus of the above-mentioned
本実施形態は、図４に示すように、スクリーン２の位置、姿勢を変更させるためのスクリーン駆動部３７と、プロジェクタ１の位置、姿勢を変更するためのプロジェクタ駆動部３８と、映像表示範囲を撮像するカメラである状態撮影機構部１０とを備えるとともに、映像信号処理部５内に、スクリーン駆動位置演算部５５、プロジェクタ駆動位置演算部５６，画像処理部５７，対応テーブル記憶部５８，投影範囲演算部５９を備えてある。
In the present embodiment, as shown in FIG. 4, a
この投影範囲演算部５９は、プロジェクタ１の光軸方向、プロジェクタ１の画角、スクリーン２の中心位置、スクリーン２の大きさ、スクリーン２とプロジェクタ１との距離などから、スクリーン２の全体に亘って映像光が投影されているか否かを判定する。
The projection range calculation unit 59 covers the
この判定で、スクリーン２の全体に亘って映像光が投影されていないと判定された場合、ズーム・フォーカス調整機構（図示せず）がズーム機能により、映像光がスクリーン２の映写面２ａを覆うように、投影範囲を拡大・縮小させる。またプロジェクタ駆動位置演算部５６が、プロジェクタ１の位置及び姿勢を変更するような駆動パラメータを作成して、映像光の光軸がスクリーン２の中心部に向くように、プロジェクタ駆動部３８を駆動させる。
If it is determined in this determination that the image light is not projected over the
そして、プロジェクタ駆動部３８が回転支持部３０内のアクチュエータ（図示せず）を駆動して、プロジェクタ１のスクリーン２に対する位置及び姿勢が変更すると、補正パラメータ演算部５３で、プロジェクタ１の現在の画角も加味して、補正パラメータが更新される。
When the
これによって、映像信号入力部５１からの映像信号に、更新された補正パラメータを使用した歪み補正処理を行い、歪みが無い状態でスクリーン２に映像を表示できる。
Thus, the video signal from the video signal input unit 51 can be subjected to distortion correction processing using the updated correction parameter, and the video can be displayed on the
また更に、スクリーン２に影が生じている場合にも、スクリーン２を自動的に動かすことにより、影を回避できるようにする。尚スクリーン２に影が発生する理由としては、プロジェクタ１からスクリーン２への光路に障害物があるために映像光を遮っている、プロジェクタ１の光軸方向に対するスクリーン２の角度が大きいためにスクリーン２の一部によって映像光が遮られているといった状況がある。
Furthermore, even when a shadow is generated on the
図４の状態撮影機構部１０は、このために、スクリーン２の映写面２ａの全体を撮影するためのもので、この撮影した画像データは、映像信号処理部５内の画像処理部５７に取り込まれ、この画像処理部５７によって映写面２ａの全体に亘って映像光が投影されているかを判定する。
For this purpose, the state photographing
つまり画像処理部５７は、状態撮影機構部１０で撮像された映像信号を入力して、当該映像信号を解析し、スクリーン２で表示している映像内に影が存在するか否かを判定する。
That is, the
例えば、所定輝度よりも輝度が低い画素群が存在する場合に、画像処理部５７は当該画素群を影であると判定する。スクリーン２に影が発生する理由としては、プロジェクタ１からスクリーン２への光路に障害物があるために映像光を遮っている、プロジェクタ１の光軸方向に対するスクリーン２の回転角度が大きいためにスクリーン２の一部によって映像光が遮られているといった状況がある。
For example, when there is a pixel group whose luminance is lower than the predetermined luminance, the
そして画像処理部５７は、スクリーン２に影が発生していると判定すると、当該影が発生しているスクリーン２内の領域を判定して、スクリーン駆動位置演算部５５に通知する。
When the
ここで対応テーブル記憶部５８は、スクリーン２内の影が発生している領域と、スクリーン２の位置及び姿勢の変更方向及び変更量との対応関係を記述した対応テーブルを記憶している。
Here, the correspondence
従って、スクリーン駆動位置演算部５５は、画像処理部５７から影が発生している領域が通知されることに応じて対応テーブル記憶部５８に記憶されている対応テーブルを参照して、スクリーン２の駆動パラメータを作成して、スクリーン２に影が映り込まない位置及び姿勢に変更させるために、リンク機構部３１内及び回転機構３１ｈ内のアクチュエータ（図示せず）をスクリーン駆動部３７が駆動する制御信号を出力する。
Accordingly, the screen drive position calculation unit 55 refers to the correspondence table stored in the correspondence
ところで、画像処理部５７において影（ｓｈ）の発生判定を行うために、例えば図５に示すように半球状のスクリーン２の映写面２ａを８分割した映像投影領域２−１，２−２，２−３，２−４，２−５，２−６，２−７，２−８を設定しておき、どの映像投影領域に影（ｓｈ）が発生しているかを判定する。また対応テーブルは、影（ｓｈ）が発生している映像投影領域から、スクリーン２の中心位置方向に移動させるスクリーン２の変更方向及び変更量が登録されている。
Incidentally, in order to determine the occurrence of a shadow (sh) in the
例えば映像投影領域２−５に影が発生していると画像処理部５７によって判定した場合、図５中の矢印で示す方向、すなわち映像投影領域２−５から映像投影領域２−１に向かう方向（図示する矢印方向）にスクリーン２を移動させる。
For example, when the
スクリーン駆動位置演算部５５からスクリーン駆動部３７への制御信号によって、リンク機構部３１内及び回転機構３１ｈ内のアクチュエータ（図示せず）が駆動され、スクリーン２のプロジェクタ１に対する位置及び姿勢が変更すると、当該スクリーン２の位置及び姿勢の変更がセンサ部１１で検知されてスクリーン２とプロジェクタ１との相対的な位置及び姿勢が再計算されて、補正パラメータが更新される。
When an actuator (not shown) in the
これによって、映像信号入力部５１からの映像信号に、更新された補正パラメータを使用した歪み補正処理を行い、歪みが無く、影が無い状態でスクリーン２に映像を表示できる。
As a result, a distortion correction process using the updated correction parameter is performed on the video signal from the video signal input unit 51, and an image can be displayed on the
また、映像信号処理部５は、座標演算部２４から得たスクリーン２とプロジェクタ１との相対的な位置及び姿勢を入力して、現在のプロジェクタ１の投影範囲を投影範囲演算部５９で演算する。
In addition, the video
このような映像表示装置の動作は、図６に示すようになる。 The operation of such a video display apparatus is as shown in FIG.
尚、この図６に示す動作は、スクリーン２の位置及び姿勢を変更する動作と、プロジェクタ１の位置及び姿勢を変更する動作の双方を含んでいる。
The operation shown in FIG. 6 includes both an operation for changing the position and orientation of the
映像表示装置は、ステップＳ１〜ステップＳ３の処理によってスクリーン２とプロジェクタ１との相対的な位置及び姿勢を演算すると、ステップＳ１１において、投影範囲演算部５９によってプロジェクタ１の投影範囲を演算し、ステップＳ１２において、映像光がスクリーン２の全体に亘って投影されている適正な投影範囲内か否かを判定する。
When the image display device calculates the relative position and orientation of the
そして、適正な投影範囲内であると判定した場合にはステップＳ７以降に処理を進め、そうでない場合にはステップＳ１３ａ，Ｓ１３ｂに処理を進める。 If it is determined that it is within the proper projection range, the process proceeds to step S7 and subsequent steps. If not, the process proceeds to steps S13a and S13b.
ステップＳ１３ａにおいて、映像表示装置は、プロジェクタ駆動位置演算部５６によって、プロジェクタ１の投影範囲が適正な投影範囲内となるようにプロジェクタ１の駆動位置を算出して、駆動パラメータをプロジェクタ駆動部３８に供給する。
In step S <b> 13 a, the video display device calculates the drive position of the
これによって、ステップＳ１４ａにおいて、プロジェクタ駆動部３８が回転支持部３０内のアクチュエータ（図示せず）を駆動して、プロジェクタ１の位置及び姿勢を変更することができる。
Accordingly, in step S14a, the
また、同時にステップＳ１３ｂにおいて、映像表示装置は、投影範囲演算部５９によって、プロジェクタ１がスクリーン２の映写面２ａに映し出す映像の大きさとピントが適正となる投影範囲を算出して、駆動パラメータをプロジェクタ１内のズーム・フォーカス調整機構の駆動部（図示せず）に供給する。
At the same time, in step S13b, the video display device calculates the projection range in which the size and focus of the video image projected by the
これによって、ステップＳ１４ｂにおいて、ズーム・フォーカス調整機構の駆動部は最適なズーム倍率とピント位置となるようにズーム・フォーカス調整機構を駆動することになる。 As a result, in step S14b, the drive unit of the zoom / focus adjustment mechanism drives the zoom / focus adjustment mechanism so as to obtain the optimum zoom magnification and focus position.
ステップＳ１２においてプロジェクタ１の投影範囲が適正な投影範囲内であると判定されると、ズーム・フォーカス調整機構で調整された画角を加味した上で、ステップＳ７において歪み補正処理のための補正パラメータを算出し、この算出した補正パラメータを用いて、次のステップＳ８において平面映像信号に歪み補正処理を施し、ステップＳ９においてプロジェクタ１から映像を投影させる。
If it is determined in step S12 that the projection range of the
また、ステップＳ８の次のステップＳ１５において、映像表示装置は、画像処理部５７によって状態撮影機構部１０で撮像したスクリーン２の投影状態を解析して、スクリーン２の全体に亘って映像が投影されているか否かを判定して、スクリーン２に影が無く映像光６が投影されている場合にはステップＳ１９に処理を進めて、現在のスクリーン２とプロジェクタ１との相対的な位置及び姿勢を維持して、処理を終了する。
In step S15 subsequent to step S8, the video display apparatus analyzes the projection state of the
一方、ステップＳ１５において、スクリーン２の映像投影範囲に影が発生していると判定した場合には、画像処理部５７によって当該影が発生している映像投影領域を求めて、スクリーン駆動位置演算部５５に通知する。
On the other hand, if it is determined in step S15 that a shadow is generated in the video projection range of the
次にスクリーン駆動位置演算部５５は、ステップＳ１６において、ステップＳ１５で判定された影が発生した映像投影領域に応じて対応テーブル記憶部５８の対応テーブルを参照して、ステップＳ１７においてスクリーン２の位置及び姿勢の変更方向及び変更量を求めて、駆動パラメータをスクリーン駆動部３７に供給する。
Next, in step S16, the screen drive position calculation unit 55 refers to the correspondence table in the correspondence
これによって、ステップＳ１８において、スクリーン駆動部３７がリンク機構部３１内のアクチュエータ（図示せず）を駆動して、スクリーン２の位置及び姿勢を変更することができる。
Thereby, in step S18, the
尚映像表示装置は、状態撮影機構部１０によってスクリーン２の映像表示状態を判定するのみならず、スクリーン２の周縁部における映像表示状態を検出する手段、例えば複数の光センサ（図示せず）を取り付けても良い。
The video display device not only determines the video display state of the
この場合光センサは、図５に示したように映像投影範囲２−１〜２−８の周縁部にそれぞれ１個ずつ設ける。そして、スクリーン２の周縁部に係って影が存在する場合、何れかの光センサによって当該影の発生を検出できる。
In this case, one optical sensor is provided at each of the peripheral portions of the image projection ranges 2-1 to 2-8 as shown in FIG. And when a shadow exists in the peripheral part of the
そして何れかの光センサによって検出された映像光の光量が少なくなって影の発生を検知した場合、影が発生した映像投影領域をスクリーン駆動位置演算部５８に通知する信号処理手段（図示せず）を設け、この信号処理手段の通知に応じて、スクリーン駆動位置演算部５８が対応テーブル記憶部５８の対応テーブルを参照して、スクリーン２の位置及び姿勢の変更方向及び変更量を求めて、スクリーン駆動部３７がアクチュエータ（図示せず）を駆動することで、スクリーン２に影が映り込まないようにスクリーン２の位置及び姿勢を変更できることになる。
（実施形態３）
上述の実施形態１では、回転支持部３０を介して支持台６上にプロジェクタ１を配設し、スクリーン２をリンク機構部３１の自由端側に取り付けた構成となっているが、本実施形態では、図７に示すように回転支持部３０を介して支持台６上にスクリーン２を配設し、スクリーン２の支持腕３１ｉを介して連結されたリンク機構部３１の自由端側に回転節３１ｇ、回転機構３１ｆを介してプロジェクタ１を支持した構成としている。尚図７で示すその他の構成要素中、図１（ａ）で示す構成要素と同じものには同じ符号を付し、説明は省略する。また本実施形態では、図１（ｂ）で示す映像信号処理部５や図３の回路構成を用いる。
When the amount of image light detected by any of the optical sensors decreases and the occurrence of a shadow is detected, a signal processing means (not shown) for notifying the screen drive
(Embodiment 3)
In the first embodiment described above, the
而して、本実施形態では、図７（ａ）に示すようにスクリーン２の位置に対して観察者Ｍの視点位置αが適切でない位置にある場合、図７（ｂ）に示すように観察者Ｍは移動する。
Thus, in this embodiment, when the viewpoint position α of the observer M is not appropriate with respect to the position of the
そして、図７（ｂ）の位置では、観察者Ｍがプロジェクタ１の投影範囲に入り、映像光を遮ることになるため、図７（ｃ）に示すようにリンク機構部３１を動かしてプロジェクタ１の投影範囲内に観察者Ｍが入らないようにプロジェクタ１の位置及び姿勢を変更する。この変更に伴う各回転節３１ａ、３１ｂ、３１ｇの角度の情報と、回転機構３０ａ、３０ｂ、３１ｆ、３１ｈの角度の情報と、視点位置計測部７の計測情報とを取り込んだ映像信号処理部５の歪み補正処理によりプロジェクタ１から投影される映像光によってスクリーン２の映写面２ａには映写面形状に併せて歪み補正された平面映像が映し出されることになる。
（実施形態４）
実施形態１〜３の映像表示装置は、回転支持部３０を介して支持台６にプロジェクタ１又はスクリーン２を配設し、この支持台６に配設したプロジェクタ１又はスクリーン２に対してスクリーン２又はプロジェクタ１を可動機構部３のリンク機構部３１を介して互いに接続した構成であって、本実施形態の手術室に配置される映像表示装置は、図８に示すように手術室の天井ＣＥ側にリンク機構部３１Ａを介してスクリーン２を配置し、床Ｆに固定した支持台６に対して回転支持部３０とリンク機構部３１Ｂを介してプロジェクタ１を支持させることで、互いに独立させて構成とした点に特徴がある。
At the position shown in FIG. 7B, the observer M enters the projection range of the
(Embodiment 4)
In the video display devices according to the first to third embodiments, the
リンク機構部３１Ａは天井ＣＥに固定され水平面内で回転自在な回転軸を備えた回転機構３１ｊと、この回転機構３１ｊの回転軸に一端が連結されたアーム３１ｋと、このアーム３１ｋの他端に回転節３１ｌを介して一端が連結されたアーム３１ｍと、このアーム３１ｍの他端を連結した回転節３１ｎと、この回転節３１ｎに一端を連結し、他端を回転機構３１ｏに連結したアーム３１ｐとから構成され、この回転機構３１ｏの回転軸にはスクリーン２を取り付けた支持腕３１ｉを連結してある。
The
リンク機構部３１Ｂは、支持台６に配設された回転機構３０ａ、３０ｂからなる回転支持部３０の回転機構３０ｂを回転節としてアーム３１ｑの一端を連結し、このアーム３１ｑの他端をプロジェクタ１の下面に取り付けた鉛直面内で回転自在な回転機構３１ｒを回転節として連結した構成となっており、上述のリンク機構部３１Ａとでプロジェクタ１とスクリーン２の相対的な位置と姿勢を変更するための可動機構部３を構成する。
The
そして回転機構３１ａ、３１ｂ、３１ｊ、３１ｏ、３１ｒ及び回転節３１ｌ、３１ｎにセンサ部４の角度センサを夫々内蔵し、各角度センサで計測される角度情報を図１（ｂ）で示す映像信号処理部５に出力することで、上述と同様にスクリーン２の映写面の形状に対応して平面映像信号の歪み補正を行うようになっている。
The
尚視点位置監視手段や、映像信号処理部５の構成及び動作は実施形態１と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態１や実施形態２と同様に観察者Ｍの視点位置αとスクリーン２との相対的な位置や、姿勢の変更に対応した映像信号処理部５による平面映像信号の歪み補正処理により、観察者Ｍは、スクリーン２の映写面２ａに映し出される映像を適切に視ることができることになる。
（実施形態５）
上記実施形態１〜３のプロジェクタ１とスクリーン２の相対的な位置や姿勢の変更に用いる可動機構部３は、プロジェクタ１又はスクリーン２を支持台６に支持配設するために用いる回転支持部３０と、スクリーン２又はプロジェクタ１を自由端側に取り付けたリンク機構部３１との組み合わせにより構成されたものであるが、本実施形態は、リンク機構部３１の代わりに、図９に示すように伸縮且つ曲げ自在な蛇腹アーム３２を接続機構として用いた点に特徴がある。
Thus, even in the present embodiment, as in the first and second embodiments, the video
(Embodiment 5)
The
蛇腹アーム３２は一端をプロジェクタ１の上面の中央部に連結固定し、自由端を構成する他端にスクリーン２を支持して吊り下げており、この蛇腹アーム３２を伸縮したり、曲げることで、自由端に支持して吊り下げているスクリーン２の位置及び姿勢をプロジェクタ１に対して相対的変更することができるようになっている。蛇腹アーム３２には曲げ度合い、伸縮度合いを抵抗値変化で計測するフィルム状の可撓性を有する曲げセンサ（図示せず）を内蔵し、回転機構３０ａ、３０ｂ側の角度センサの計測情報とともに、曲げセンサの計測情報をセンサ部４の計測情報として、実施形態１と同様に図１（ｂ）に示す映像信号処理部５の座標演算部５２へ出力するようになっている。
One end of the
尚視点位置監視手段や、映像信号処理部５の構成及び動作は実施形態１と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態１〜４と同様に観察者Ｍの視点位置αとスクリーン２との相対的な位置や、姿勢の変更に対応した映像信号処理部５による平面映像信号の歪み補正処理により、観察者Ｍは、スクリーン２の映写面２ａに映し出される映像を適切に視ることができることになる。
（実施形態６）
実施形態５は、可動機構部３の接続機構として蛇腹アーム３２を用い、この蛇腹アーム３３により、プロジェクタ１に対するスクリーン２の位置、及び姿勢を自在に変更できるようにしたものであるが、本実施形態は、可動機構部３の接続機構として、図１０（ａ）に示すように、プロジェクタ１の上面に一端が支柱３６により支持固定され、プロジェクタ１の投写軸に平行するように伸縮時自在となったロッド体３３を用い、このロッド体３３の自由端にスクリーン２に支持して吊り下げた点に特徴がある。
Thus, even in the present embodiment, as in the first to fourth embodiments, the plane by the video
(Embodiment 6)
In the fifth embodiment, a
ロッド体３３は、図１０（ｂ）、（ｃ）に示すように互いに直線方向に出し入れ可能となった複数のロッド３３１〜３３３により両端方向に伸縮自在に形成され、内部には伸縮度合いを計測するセンサを備え、このセンサにより計測するスクリーン２のプロジェクタ１に対する相対的な位置、姿勢の情報を回転支持部３０のセンサの計測情報とともに、実施形態１と同様に図１（ｂ）に示す映像信号処理部５の座標演算部５２へ出力するようになっている。
As shown in FIGS. 10B and 10C, the
尚視点位置監視手段や、映像信号処理部５の構成及び動作は実施形態１と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態１〜実施形態５と同様に観察者Ｍの視点位置αとスクリーン２の相対的な位置や、姿勢の変更に対応した映像信号処理部５による平面映像信号の歪み補正処理により、観察者Ｍは、スクリーン２の映写面２ａに映し出される映像を適切に視ることができることになる。
（実施形態７）
実施形態６では、可動機構部３の接続機構としてロッド体３３を用いたが、本実施形態では、図１１（ａ）に示すように一端が支柱３６により支持固定され、プロジェクタ１の投写軸に平行するよう延出したレール体３４を設け、このレール体３４に沿って図１１（ｂ）、（ｃ）に示すように移動自在にレール体３４に懸垂装着された走行手段であるランナー３４ａにスクリーン２を支持して吊り下げた点に特徴を有する。
Thus, even in the present embodiment, similarly to the first to fifth embodiments, the video
(Embodiment 7)
In the sixth embodiment, the
レール体３４は、内部にはランナー３４ａの位置を計測するセンサを備え、このセンサにより計測したランナー３４ａの走行位置、つまりスクリーン２のプロジェクタ１に対する相対的な位置、姿勢の情報を回転支持部３０のセンサの計測情報とともに、実施形態１と同様に図１（ｂ）に示す映像信号処理部５の座標演算部５２へ出力するようになっている。
The
尚視点位置監視手段や、映像信号処理部５の構成及び動作は実施形態１と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態１〜実施形態６と同様に観察者Ｍの視点位置αとスクリーン２の相対的な位置や、姿勢の変更に対応した映像信号処理部５による平面映像信号の歪み補正処理により、観察者Ｍは、スクリーン２の映写面２ａに映し出される映像を適切に視ることができることになる。
（実施形態８）
本実施形態は、実施形態６のロッド体３３と同様に伸縮自在な接続機構として、図１２（ａ）に示すようにパンダグラフ機構による伸縮節を備えて図１２（ｂ）、（ｃ）に示すように両端方向に伸縮自在に形成された伸縮アーム３５を用いた点に特徴がある。
Thus, even in the present embodiment, similarly to the first to sixth embodiments, the video
(Embodiment 8)
As shown in FIG. 12 (a), the present embodiment is provided with an expansion / contraction node by a panda graph mechanism as shown in FIG. 12 (a), as shown in FIG. 12 (b). As shown, there is a feature in that an
伸縮アーム３５は、自由端にスクリーン２を支持して吊り下げるとともに、伸縮度合いを計測するセンサを備え、このセンサにより計測するスクリーン２のプロジェクタ１に対する相対的な位置、姿勢の情報を回転支持部３０のセンサの計測情報とともに、実施形態１と同様に図１（ｂ）に示す映像信号処理部５の座標演算部５２へ出力するようになっている。
The
尚視点位置監視手段や、映像信号処理部５の構成及び動作は実施形態１と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態１〜実施形態４と同様に観察者Ｍの視点位置αとスクリーン２の相対的な位置や、姿勢の変更に対応した映像信号処理部５による平面映像信号の歪み補正処理により、観察者Ｍは、スクリーン２の映写面２ａに映し出される映像を適切に視ることができることになる。
Thus, even in the present embodiment, similarly to the first to fourth embodiments, the video
尚可動機構部３の接続機構としては、上述の実施形態の構成以外に、例えば互いに出し入れ自在で且つ螺子結合された複数のロッドの螺子回転により両端方向に伸縮自在に形成され、プロジェクタ１側に一端を連結固定し、他端からなる自由端にスクリーン２を支持したロッド体や、外周に雄ねじ溝を形成した螺子体の両端を回転自在に支持し、プロジェクタ１側に一端を連結固定したアーム体と、このアーム体に前記映像投影手段の上部に一端を固定し、他端を前記螺子体の雄ねじ溝に係合した走行体の回転を規制して直線方向にガイドするガイド部とで構成した機構などを採用しても良い。
In addition to the configuration of the above-described embodiment, the connecting mechanism of the
勿論その他の構成によって可動機構部３の接続機構を構成しても良い。
Of course, you may comprise the connection mechanism of the
ところで、上述した映像表示装置を手術室に設け、手術中の被術者の手術部位の状態を内視鏡カメラで撮像し、その映像をプロジェクタ１からスクリーン２に投影し、この映像をリアルタイムに視ながら術者は手術を進行させるのであるが、同時に被術者の生体情報（脈拍、血圧等の情報）を同時に映像として並行表示や、手術の進行の指示情報を示すことでナビゲータとしての役割を持たせることで、手術が的確に且つ迅速に行うことが可能な手術室を提供することができる。
By the way, the above-described video display device is provided in the operating room, the state of the surgical site of the subject during the operation is imaged by the endoscope camera, the video is projected from the
更に手術のシミュレーションのプログラムと連携し、例えばＣＧ等によって被術者の映像を映し、これに対して術者に装着したセンサ付きグローブから信号により術者の手の動きに応じた手術進行状態をＣＧで映すことで、仮想的に手術のシミュレーションを可能とするシミュレータを構成しても良い。この場合観察者（術者）はスクリーン２に映し出される映像が歪みの無い映像であるため、違和感無く、仮想現実であるシミュレーションの世界に没入することができる。
Furthermore, in conjunction with a surgical simulation program, for example, a CG image is displayed on the subject, and the operation progress state corresponding to the movement of the operator's hand is indicated by a signal from a sensor-equipped glove attached to the surgeon. You may comprise the simulator which enables the simulation of a surgery virtually by projecting by CG. In this case, the observer (operator) can immerse in the simulation world, which is a virtual reality, without a sense of incongruity because the image displayed on the
また、上述の各実施形態では、映像信号処理部５の座標演算部５２が、観察者Ｍの視点位置αを計測する視点位置計測部７の計測情報と、センサ部４が検出するスクリーン２の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、プロジェクタ１の位置及び姿勢の設定情報と、スクリーン２の映写面２ａの形状とに基づいて補正パラメータ演算部５３が補正パラメータを演算しているが、観察者Ｍの視点位置αを計測する視点位置計測部７の計測情報と、センサ部４が検出するプロジェクタ１の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、スクリーン２の位置及び姿勢の設定情報と、スクリーン２の映写面２ａの形状とに基づいて補正パラメータ演算部５３が補正パラメータを演算しても良い。また映像信号処理部５の座標演算部５２が、センサ部４が検出するプロジェクタ１及びスクリーン２の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、予め設定してある適切な観察者Ｍの設定視点位置と、スクリーン２の映写面２ａの形状とに基づいて補正パラメータ演算部５３が補正パラメータを演算するようにしても良い。この場合、実際の観察者Ｍの視点位置αが設定視点位置から外れた場合に、観察者Ｍに外れたことを報知する手段を設け、この報知により視点位置αが設定視点位置から外れないように移動して対処する。
In the above-described embodiments, the coordinate
１ プロジェクタ
２ スクリーン
２ａ 映写面
３ 可動機構部
３０ 回転支持部
３０ａ 回転機構
３０ｂ 回転機構
３１ リンク機構部
３１ａ、３１ｂ回転節
３１ｃ〜３１ｅ アーム
３１ｆ 回転機構
３１ｇ 回転節
３１ｈ 回転機構
３１ｉ 支持腕
４ センサ部
５ 映像信号処理部
５１ 映像信号入力部
５２ 座標演算部
５３ 補正パラメータ演算部
５４ 補正処理部
６ 支持台
７ 視点位置計測部
Ｍ 観察者
α 視点位置
DESCRIPTION OF
Claims (3)
前記映像投影手段から映像光が投写されて映像を映す任意形状の映写面を有する映像表示手段と、
前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置及び姿勢を動かす可動手段と、
前記相対的な位置及び前記姿勢を計測する計測手段と、
前記計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と前記映写面の形状とから、前記映像投影手段の投写によって前記映像表示手段の映写面に映される映像の歪みを補正する補正パラメータを求め、該補正パラメータに基づいて前記映像投影手段に入力する前記映像信号に歪み補正処理を施す映像信号処理手段と、
を備えていることを特徴とする映像表示装置。 Video projection means for inputting video signals and projecting video light;
Image display means having a projection surface of an arbitrary shape for projecting image light from the image projection means;
Movable means for moving any two relative positions and postures selected from the viewpoint position of the observer viewing the video on the projection plane of the video display means, the video display means, and the video display means;
Measuring means for measuring the relative position and the posture;
Based on the relative position and orientation measured by the measurement means, the remaining one preset position and orientation that is not selected, and the shape of the projection surface, the projection of the video display means is performed by projection of the video projection means. Video signal processing means for obtaining a correction parameter for correcting distortion of the video projected on the screen, and performing distortion correction processing on the video signal input to the video projection means based on the correction parameter;
A video display device comprising:
前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から何れか二つを選択する選択過程と、
該選択過程で選択した二つの相対的な位置及び姿勢を所望の位置及び姿勢に調整するとともに、選択外の残り一つの予め設定した位置及び姿勢を設定する位置調整過程と、
前記位置調整過程で調整した前記選択した二つの相対的な位置及び姿勢と、前記選択外の残り一つの設定した位置及び姿勢と、前記映像表示手段の映写面の形状とに基づいて、前記映像投影手段から投写された映像光で前記映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算する補正パラメータを演算する補正パラメータ演算過程と、
演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す歪み補正処理過程と、を含むことを特徴とする映像信号の歪み補正処理方法。
A distortion correction processing method for a video signal in the video display device according to claim 1,
A selection process of selecting any two from the viewpoint position of an observer viewing the video on the projection surface of the video projection means, the video display means, and the video display means;
Adjusting the two relative positions and postures selected in the selection process to a desired position and posture, and a position adjustment step of setting the remaining one preset position and posture not selected;
Based on the two selected relative positions and postures adjusted in the position adjustment process, the remaining one set position and posture other than the selection, and the shape of the projection surface of the image display means A correction parameter calculation process for calculating a correction parameter for calculating a correction parameter for correcting distortion of the image projected on the projection surface of the image display means by the image light projected from the projection means;
And a distortion correction processing step of performing distortion correction on the video signal input to the video projection means based on the calculated correction parameter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006188510A JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006188510A JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008017348A true JP2008017348A (en) | 2008-01-24 |
Family
ID=39073938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006188510A Pending JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008017348A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2265006A1 (en) * | 2009-06-17 | 2010-12-22 | Koninklijke Philips Electronics N.V. | Display apparatus for displaying information to a person |
| JP2012049987A (en) * | 2010-08-30 | 2012-03-08 | Toshiba Corp | Glasses for stereoscopic view and stereoscopic video display system |
| CN114791687A (en) * | 2021-03-05 | 2022-07-26 | 成都极米科技股份有限公司 | Projection correction method and device and projection system |
| US11601627B2 (en) | 2020-07-22 | 2023-03-07 | Canon Kabushiki Kaisha | Apparatus, control method, and storage medium |
| CN115767042A (en) * | 2021-09-02 | 2023-03-07 | 成都极米科技股份有限公司 | Posture tracking method and system |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08331602A (en) * | 1995-05-29 | 1996-12-13 | Sony Corp | Video projector system |
| JPH09298759A (en) * | 1996-05-08 | 1997-11-18 | Sanyo Electric Co Ltd | Stereoscopic video display device |
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
| JP2003107392A (en) * | 2001-09-28 | 2003-04-09 | Sanyo Electric Co Ltd | Stereoscopic video image display device of head position tacking type |
| JP2003233031A (en) * | 2002-02-07 | 2003-08-22 | Olympus Optical Co Ltd | Stereoscopic viewing apparatus |
| JP2003283964A (en) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | Video display apparatus |
| JP2003324669A (en) * | 2002-05-01 | 2003-11-14 | Canon Inc | System for correcting inclination of projection type projector |
| JP2005244835A (en) * | 2004-02-27 | 2005-09-08 | Olympus Corp | Multiprojection system |
| JP2005318937A (en) * | 2004-05-06 | 2005-11-17 | Olympus Corp | Display device |
-
2006
- 2006-07-07 JP JP2006188510A patent/JP2008017348A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08331602A (en) * | 1995-05-29 | 1996-12-13 | Sony Corp | Video projector system |
| JPH09298759A (en) * | 1996-05-08 | 1997-11-18 | Sanyo Electric Co Ltd | Stereoscopic video display device |
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
| JP2003107392A (en) * | 2001-09-28 | 2003-04-09 | Sanyo Electric Co Ltd | Stereoscopic video image display device of head position tacking type |
| JP2003233031A (en) * | 2002-02-07 | 2003-08-22 | Olympus Optical Co Ltd | Stereoscopic viewing apparatus |
| JP2003283964A (en) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | Video display apparatus |
| JP2003324669A (en) * | 2002-05-01 | 2003-11-14 | Canon Inc | System for correcting inclination of projection type projector |
| JP2005244835A (en) * | 2004-02-27 | 2005-09-08 | Olympus Corp | Multiprojection system |
| JP2005318937A (en) * | 2004-05-06 | 2005-11-17 | Olympus Corp | Display device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2265006A1 (en) * | 2009-06-17 | 2010-12-22 | Koninklijke Philips Electronics N.V. | Display apparatus for displaying information to a person |
| JP2012049987A (en) * | 2010-08-30 | 2012-03-08 | Toshiba Corp | Glasses for stereoscopic view and stereoscopic video display system |
| US11601627B2 (en) | 2020-07-22 | 2023-03-07 | Canon Kabushiki Kaisha | Apparatus, control method, and storage medium |
| CN114791687A (en) * | 2021-03-05 | 2022-07-26 | 成都极米科技股份有限公司 | Projection correction method and device and projection system |
| WO2022183721A1 (en) * | 2021-03-05 | 2022-09-09 | 成都极米科技股份有限公司 | Projection correction method and apparatus, and projection system |
| CN114791687B (en) * | 2021-03-05 | 2024-02-27 | 成都极米科技股份有限公司 | Projection correction method, device and projection system |
| CN115767042A (en) * | 2021-09-02 | 2023-03-07 | 成都极米科技股份有限公司 | Posture tracking method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11217028B2 (en) | Surgeon head-mounted display apparatuses | |
| EP1987679B1 (en) | Image display apparatus and image distortion correction method of the same | |
| JP7216768B2 (en) | Utilization and Communication of 2D Digital Imaging in Medical Imaging in 3D Extended Reality Applications | |
| EP2903551B1 (en) | Digital system for surgical video capturing and display | |
| US11303823B2 (en) | Camera array for a mediated-reality system | |
| JP2017524281A (en) | Systems and methods for surgical visualization of mediated reality | |
| WO2018025483A1 (en) | Video outputting system, video outputting method, and control apparatus | |
| US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
| JP2008017348A (en) | Video display apparatus, and distortion correction processing method of video signal | |
| JP4222420B2 (en) | Image display device and image distortion correction method for image display device | |
| JP6222835B2 (en) | X-ray diagnostic equipment | |
| JP2008017347A (en) | Video display apparatus, and distortion correction processing method of video signal | |
| JP2008017346A (en) | Video display apparatus, and distortion correction processing method of video signal | |
| JP2008015381A (en) | Video display apparatus, distortion correction processing method for video signal | |
| JP7356697B2 (en) | Image observation system | |
| US20200306003A1 (en) | Medical control apparatus and medical observation system | |
| JP2017163245A (en) | Multi-viewpoint video generation system, multi-viewpoint video generation device and program therefor | |
| TW202418223A (en) | Head wearable virtual image module for superimposing virtual image on real-time image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090313 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110607 |