JP2008017348A - Video display apparatus, and distortion correction processing method of video signal - Google Patents
Video display apparatus, and distortion correction processing method of video signal Download PDFInfo
- Publication number
- JP2008017348A JP2008017348A JP2006188510A JP2006188510A JP2008017348A JP 2008017348 A JP2008017348 A JP 2008017348A JP 2006188510 A JP2006188510 A JP 2006188510A JP 2006188510 A JP2006188510 A JP 2006188510A JP 2008017348 A JP2008017348 A JP 2008017348A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- video
- projection
- projector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000036544 posture Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 abstract description 98
- 230000008859 change Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000010287 polarization Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008602 contraction Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、任意形状の映写面を有する映像表示手段を用いる映像表示装置及び映像信号の歪み補正処理方法に関するものである。 The present invention relates to a video display device using video display means having a projection surface of an arbitrary shape and a video signal distortion correction processing method.
従来より、大型のスクリーンに映像を投影して、観察者に各種の疑似体験をさせる技術が知られている。 2. Description of the Related Art Conventionally, a technique for projecting an image on a large screen and causing an observer to perform various simulated experiences is known.
これらの仮想現実実感生成システムは、人間の感覚の内視覚から得られる情報が最も多く、人間の全感覚から得られる情報の80%〜85%を占めているために、人間の視野を覆うような映像を提示することによって、当該映像に対する没入感を与えている。またバーチャルリアリティにおいても、より現実的な仮想空間を生成するために、視覚へ情報提示を行うことは最も重要な要素となっている。 These virtual reality generation systems generate the most information from the human senses and account for 80% to 85% of the information obtained from all human senses. By presenting a simple video, an immersive feeling is given to the video. In virtual reality, in order to generate a more realistic virtual space, it is the most important element to present information to the eye.
このように、単に映像を提示するだけでなく、広視野、立体視等より自然な見え方を実現するための映像表示装置が希求されている。 Thus, there is a demand for a video display device that not only presents video, but also realizes a natural appearance such as wide field of view and stereoscopic vision.
このような映像表示装置としては、半球面形状の映写面を持つ映像表示手段(スクリーン)と、この映像表示手段に歪みの無い広視野の映像を投影する映像投影装置とからなるものがある(例えば、特許文献1)。
ところで、例えば内視鏡カメラで捉えた被術者の内臓の状態を術者が観察しながら手術を行うために、上述のような映像投影装置を手術室に設置したい等の要望があるものの、特許文献1に記載されている装置の構成は、映像表示手段を固定しておくものであるため、手術の進行等により術者の位置が変わる用途には対応できなかった。
By the way, for example, in order to perform an operation while the operator observes the state of the internal organs of the subject captured by an endoscopic camera, there is a desire to install the video projection device as described above in the operating room, Since the configuration of the device described in
本発明は、上述の点に鑑みて為されたもので、その目的とするところは、映像表示手段、映像投影手段、該映像表示手段の映写面の映像を視る観察者の視点位置の内の選択した何れか二つの相対的な位置や姿勢が変化しても、観察者に対して歪みの無い映像を表示することができる映像表示装置及び映像信号の歪み補正処理方法を提供することにある。 The present invention has been made in view of the above-described points, and an object of the present invention is to provide video display means, video projection means, and the viewpoint position of an observer who views the video on the projection surface of the video display means. To provide a video display device and a video signal distortion correction processing method capable of displaying an image without distortion for an observer even if any two relative positions and postures selected by the above change. is there.
上述の目的を達成するために、映像表示装置の係る発明では、映像信号を入力して映像光を投写する映像投影手段と、前記映像投影手段から映像光が投写されて映像を映す任意形状の映写面を有する映像表示手段と、前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置及び姿勢を動かす可動手段と、前記相対的な位置及び前記姿勢を計測する計測手段と、前記計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と前記映写面の形状とから、前記映像投影手段の投写によって前記映像表示手段の映写面に映される映像の歪みを補正する補正パラメータを求め、該補正パラメータに基づいて前記映像投影手段に入力する前記映像信号に歪み補正処理を施す映像信号処理手段と、を備えていることを特徴とする
また、映像信号の歪み補正処理方法に係る発明では、前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から何れか二つを選択する選択過程と、該選択過程で選択した二つの相対的な位置及び姿勢を所望の位置及び姿勢に調整するとともに、選択外の残り一つの予め設定した位置及び姿勢を設定する位置調整過程と、前記位置調整過程で調整した前記選択した二つの相対的な位置及び姿勢と、前記選択外の残り一つの設定した位置及び姿勢と、前記映像表示手段の映写面の形状とに基づいて、前記映像投影手段から投写された映像光で前記映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算する補正パラメータを演算する補正パラメータ演算過程と、演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す歪み補正処理過程と、を含むことを特徴とする。
In order to achieve the above-described object, in an invention related to a video display device, video projection means for inputting video signals and projecting video light, and an arbitrary shape for projecting video light by projecting video light from the video projection means A video display means having a projection surface, and any two relative positions and postures selected from the viewpoint position of the observer viewing the video on the projection screen of the video projection means, the video display means, and the video display means. Movable means for moving; measuring means for measuring the relative position and attitude; the relative position and attitude measured by the measuring means; the remaining one preset position and attitude not selected; From the shape of the projection surface, a correction parameter for correcting distortion of the image projected on the projection surface of the image display means by the projection of the image projection means is obtained, and the image projection means is determined based on the correction parameter. Video signal processing means for performing distortion correction processing on the video signal to be applied. Also, in the invention relating to the distortion correction processing method for video signal, the video projection means, the video display means, A selection process of selecting any two from the viewpoint positions of the observer viewing the video on the projection screen of the video display means, and the two relative positions and postures selected in the selection process to a desired position and posture A position adjustment process for setting the remaining one preset position and posture that is not selected, the two selected relative positions and postures adjusted in the position adjustment process, and the remaining one that is not selected. Based on two set positions and orientations and the shape of the projection surface of the image display means, the image light projected from the image projection means corrects the distortion of the image projected on the projection surface of the image display means. A correction parameter calculation step for calculating a correction parameter for calculating a positive parameter, and a distortion correction processing step for performing distortion correction on the video signal input to the video projection unit based on the calculated correction parameter. To do.
映像表示装置の係る発明は、映像投影手段、映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置や姿勢が変化しても、計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と、映写面の形状とから、映像信号処理手段が映写面に映される映像の歪みを補正する処理を行うため、観察者に対して歪みの無い映像を表示することができ、また立体視用の立体映像を映し出すことで、観察者は没入感の映像を視ることができるという効果がある。 The invention relating to the video display apparatus is such that any two relative positions and postures selected from the video projector, the video display, and the viewpoint position of the observer viewing the video on the projection screen of the video display change. The video signal processing means displays on the projection screen from the relative position and orientation measured by the measurement means, the remaining one preset position and orientation that is not selected, and the shape of the projection plane. Since the distortion correction process is performed, an image without distortion can be displayed to the observer, and the stereoscopic image for stereoscopic viewing can be displayed so that the observer can see an immersive image. There is an effect that can be done.
更に、映像信号の歪み補正処理方法に係る発明は、映像投影手段、映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置や姿勢を調整するとともに、選択外の残り一つの位置及び姿勢を設定するだけで、映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算し、この演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す処理が為されて、観察者に対して歪みの無い映像を表示する映像表示装置を実現される。 Further, the invention relating to the distortion correction processing method of the video signal includes any two relative positions selected from the video projection means, the video display means, and the viewpoint position of the observer viewing the video on the projection plane of the video display means. And adjusting the posture, and setting the remaining one position and posture that are not selected, the correction parameter for correcting the distortion of the image projected on the projection screen of the image display means is calculated, and the calculated correction parameter is used as the calculated correction parameter. Based on this, the video signal input to the video projection means is subjected to distortion correction processing, thereby realizing a video display device that displays a video without distortion to the observer.
以下本発明を実施形態により説明する。
(実施形態1)
本実施形態の映像表示装置は、図1(a)、(b)に示すように映像信号Sを入力して映像光を投写する映像投影手段たるプロジェクタ1と、プロジェクタ1から投写される映像光によって映像を映す観察者に凹面を向けた任意形状、例えば半球凹面形状の映写面2aを有する映像表示手段たるスクリーン2と、プロジェクタ1とスクリーン2の位置及び姿勢を動かすために、これらプロジェクタ1及びスクリーン2を動かす可動手段たる可動機構部3、観察者Mのスクリーン2の映写面2aを視る視点位置αを検出する視点位置計測部7と、プロジェクタ1とスクリーン2の位置及び姿勢を検出するセンサ部4と、このセンサ部4と視点位置計測部7の計測情報とに基づいて求められる、例えばスクリーン2の映写面2aと観察者Mの視点位置αの相対的な位置及び姿勢と、プロジェクタ1の位置及び姿勢と、スクリーン2の映写面2aの形状とにより求められる、スクリーン2の映写面2aに映し出される映像の歪みを補正する補正パラメータに基づいてプロジェクタ1に入力する映像信号Sに歪み補正処理を施す映像信号処理部5とを主構成要素として構成される。
Embodiments of the present invention will be described below.
(Embodiment 1)
As shown in FIGS. 1 (a) and 1 (b), the video display device of this embodiment includes a
尚図1(b)では、簡略化のために観察者Mを、頭と右眼だけで示している(尚他の図においても同様に示している。)
さて、以下の例では、プロジェクタ1からスクリーン2に単眼視の映像光を投影する場合について説明するが、スクリーン2に立体視用の立体映像を表示させても良い。このような立体視用の立体映像を用いた場合、観察者は没入感のある映像を視ることができる。
In FIG. 1B, for the sake of simplification, the observer M is shown only with the head and the right eye (also shown in other figures).
In the following example, a case where monocular video light is projected from the
この場合、映像を視る観察者に右眼と左眼とで透過する映像光の偏光方向が異なる偏光眼鏡又は液晶シャッタ眼鏡を装着させて、偏光方式又は時分割方式でプロジェクタ1から相互に視差が与えられ且つ偏光方向が異なる複数種の映像光を出射する。
In this case, the viewer who views the image is attached with polarized glasses or liquid crystal shutter glasses having different polarization directions of the image light transmitted by the right eye and the left eye, and the parallax is mutually separated from the
偏光方式(例えば円偏光式)でスクリーン2に立体映像を表示する場合、スクリーン2として映像光の偏光方向を保持する素材のものを使用し、プロジェクタ1の2個の光出射口から偏光方向が異なる右眼用映像光と左眼用映像光を出射させる。また、時分割方式でスクリーン2に立体映像を表示する場合、1個の光出射口から右眼用映像光と左眼用映像光とを時分割で交互に出射し、右眼用映像光と左眼用映像光との出射タイミングと液晶シャッタ眼鏡の右眼及び左眼シャッタの切り替えタイミングとの同期を取る。
When a stereoscopic image is displayed on the
また、立体画像用に用いるスクリーン2として、偏光方式の場合には、映写面2aの表面にアルミ粉末等を塗布した所謂シルバースクリーンを用いる。
Further, as the
さて本実施形態のプロジェクタ1は、例えば病院の手術室の床Fに固定設置した支持台6上に、水平面内で回転自在な回転機構30aと鉛直面内で回転自在な回転機構30bとからなる回転支持部30を介して配設され、回転機構30aの回転により水平面内で360度の範囲、また回転機構30bの回転により鉛直面内の所定角度の範囲においてプロジェクタ1の位置、姿勢、つまり投影方向を変えることができるようになっている。
The
一方スクリーン2は、プロジェクタ1の上面部に一端を連結したリンク機構部31の他端に支持され、リンク機構部31によってその位置及び姿勢を変えることができるようになっている。
On the other hand, the
ここで、リンク機構部31は.回転節31a、31bで連結された3つのアーム31c〜31eと、プロジェクタ1の上面部に取り付け、上面部と並行する面内で回転する回転機構31fと、この回転機構31fの回転軸とアーム31cの一端との間に介在する回転節31gと、アーム31eの端部に連結されアーム31eの軸方向に対して直交する面内で回転する回転機構31h、この回転機構31hの回転軸に連結され、両側の腕片間に配置したスクリーン2の両側を支持しているY字状の支持腕31iとで構成され、回転節31a、31b、31gと回転機構31f、31fにより、プロジェクタ1に対するスクリーン2の位置と姿勢とを変える得ることができる。
Here, the
而して上述の回転支持部30と、リンク機構部31とで、プロジェクタ1とスクリーン2の位置と姿勢とを手動によって自在に動かすことができる可動機構部3が構成されることになる。
Thus, the
センサ部4は、プロジェクタ1とスクリーン2の位置と姿勢を計測するために、可動機構部3の回転支持部30の各回転機構30a、30bに内蔵され、夫々の回転角度を計測する角度センサと、リンク機構部31の回転節31a、31b、31g及び回転機構31f、31hに内蔵され夫々の回転角度を計測する角度センサとで構成され、これらセンサ群によって計測された各角度情報は、観察者Mの視点位置αの計測情報とともに後述する歪み補正のための歪み補正パラメータの演算時に用いられる。
The
視点位置計測部7は、3次元の位置検出ができる磁気センサを用い、この磁気センサを観察者Mの被装品である眼鏡(偏光眼鏡や液晶シャッタ眼鏡)、マスク、帽子等に取り付けることで視点位置αを計測する手段で構成される。勿論このほかに例えばスクリーン2に取り付けた撮像カメラで観察者Mの顔面画像を撮像してその眉を抽出し、その眉の位置とスクリーン2の位置との相対関係から視点位置αを計測する手段を用いても良い。
The viewpoint
映像信号処理部5は、例えばパーソナルコンピュータにより構成され、図2に示すように、映像信号入力部51と、座標演算部52と、補正パラメータ演算部53と、補正処理部54の機能をソフトウェアの実行によって構築している。
The video
座標演算部52は、センサ部4で計測された各角度の情報と、視点位置計測部7の計測情報とを入力し、当該現在の各角度と、予め記憶しておいたリンク機構部31のアーム31c〜31dの長さとから、プロジェクタ1の位置を原点としたスクリーン2の相対位置を算出し、更に視点位置計測部7が計測する観察者Mの視点位置αを原点として、スクリーン2の位置の相対位置を算出する。
The
また、座標演算部52は、同時に、前記の現在の角度と、アーム31c〜31dの長さとから、プロジェクタ1の光軸方向(投影方向)を基準としたスクリーン2の回転角度であるプロジェクタ1とスクリーン2との相対的な姿勢を算出する。更に視点位置計測部7が計測する観察者Mの視点位置αから想定する視点方向を基準として、スクリーン2の回転角度である視点位置αとスクリーン2との相対的な姿勢を算出する。
In addition, the
尚視点位置αとスクリーン2との相対的な位置及び姿勢の算出は、代わりに視点位置αとプロジェクタ1との相対的な位置及び姿勢を算出しても良い。
Note that the relative position and orientation of the viewpoint position α and the
更に、座標演算部52は、スクリーン2とプロジェクタ1との相対的な位置及び距離と、プロジェクタ1の画角からプロジェクタ1の投影範囲の外側にスクリーン2が配置しているか否かを判定する。
Further, the coordinate
そして、プロジェクタ1から投写される映像光がスクリーン2に投影されないような場合には、スクリーン2が無いものと判定して、映像光の投影を中止させる。
When the image light projected from the
更にまた、座標演算部52は、スクリーン2とプロジェクタ1との距離を演算して、プロジェクタ1に映像光の拡大又は縮小の程度を通知して、プロジェクタ1のズーム・フォーカス機構(図示せず)を制御することが望ましく、これによって、スクリーン2の全面に亘って映像光を投影させることができる。つまりズーム・フォーカス機構のズーム機能により、投影光の拡大・縮小を行い、フォーカス機能でスクリーン2の映写面2aの位置の遠近に応じてピント合わせを行う。
Furthermore, the coordinate
補正パラメータ演算部53は、座標演算部52から受け取ったプロジェクタ1の位置及び姿勢(これらは予め設定される位置及び姿勢である)を含むプロジェクタ1とスクリーン2の相対的な位置及び姿勢と、映像を視る観察者Mの視点位置αとスクリーン2との相対的な位置及び姿勢と、プロジェクタ1の現在の画角とを入力し、後述する平面映像信号がスクリーン2に投影した時の歪みを補正するための歪み補正パラメータとして、歪み補正テーブルを作成する。
The correction
尚この作成の際に、観察者Mの視点位置αとスクリーン2との相対的な位置及び姿勢の代わりに、視点位置αとプロジェクタ1との相対的な位置及び姿勢を用いても良い。
In this creation, the relative position and orientation of the viewpoint position α and the
この歪み補正テーブルは、平面の投影面と任意形状のスクリーン2の投影面のメッシュモデルとの対応マップであり、当該歪み補正テーブルに従って座標変換を行い、例えば画素ごとに、平面映像信号を任意形状投影面への表示用の出力映像信号に変換するためのものである。
This distortion correction table is a correspondence map between a flat projection surface and a mesh model of the projection surface of the
映像信号入力部51は、外部から撮像カメラ(例えば手術室において被術者の内臓状態を撮像する内視鏡カメラ)の映像信号Sから平面上に映像を投影するための平面映像信号を生成して、補正処理部54に出力する。
The video signal input unit 51 generates a planar video signal for projecting a video on a plane from the video signal S of an imaging camera (for example, an endoscopic camera that captures the visceral state of a subject in an operating room) from the outside. To the
補正処理部54は、映像信号入力部51から出力される平面映像信号を入力すると、補正パラメータ演算部53で演算された補正パラメータに従って、平面映像信号をスクリーン2の投影面に投影して観察者Mの視点位置αから歪みの無い映像を視認させるための歪み補正処理を行う。
When the planar video signal output from the video signal input unit 51 is input, the
また補正処理部54は、画素ごとに、平面映像信号を任意形状投影面への表示用の出力映像信号に変換して出力映像信号を作成して、プロジェクタ1に供給する。これによって、プロジェクタ1からは、スクリーン2とプロジェクタ1との相対的な位置及び姿勢に応じて歪み補正が為された映像光をスクリーン2に向けて投影する。
Further, the
このように、本発明を適用した映像表示装置によれば、スクリーン2とプロジェクタ1とをリンク機構部31で接続した構成であっても、センサ部4及び視点位置計測部7の情報から、プロジェクタ1の位置及び姿勢と、スクリーン2と観察者Mの視点位置αとの相対的な位置及び姿勢を計測することで、自動的に平面映像信号に歪み補正処理を施すことができ、歪みの無い映像をスクリーン2で表示させることができる。
As described above, according to the video display device to which the present invention is applied, even if the
また、本実施形態の映像表示装置によれば、スクリーン2とプロジェクタ1との間に障害物等がありスクリーン2やプロジェクタ1を移動させた場合であっても、新たなプロジェクタ1とスクリーン2の相対的な位置及び姿勢と、観察者Mの視点位置αとスクリーン2との相対的な位置及び姿勢に基づく歪み補正処理を再度行うことによって、障害物の影等の影響を受けずに没入感があり、歪みがなく鮮明な映像をスクリーン2に映し出すことができる。
Further, according to the video display apparatus of the present embodiment, even when there is an obstacle between the
例えば、観察者が医師である場合、手術室において、スクリーン2とプロジェクタ1との間に障害物となるベッドや計器類や照明機器等を挟むように回転支持部30及びリンク機構部31を駆動させてスクリーン2及びプロジェクタ1の位置を配することができるので、スペースの少ない手術室のような空間であっても、被術者の患部の映像をスクリーン2に投影して、歪みの無い鮮明な映像を見ながら手術を行うことも可能である。特に立体視用の立体画像を用いた場合には、奥行き方向が認識し易くなり、内臓位置等の把握が容易となる。
For example, when the observer is a doctor, in the operating room, the
次に本実施形態の実際の使用例について説明する。 Next, an actual usage example of the present embodiment will be described.
図2は、観察者Mの視点位置αからスクリーン2の位置及び姿勢が適切でない状態からスクリーン2を適切な位置及び姿勢とする場合を示しており、まず図2(a)ではスクリーン2に対する観察者Mの視点位置αが予め設定される適切な位置でないため、図2(b)に示すようにリンク機構部31を動かすことで、視点位置αに対してスクリーン2の位置及び姿勢を適切な状態に変更する。
FIG. 2 shows a case where the
この変更した状態ではスクリーン2の映写面2aが斜め下向きとなっているため、プロジェクタ1の投写軸を変更して映像光が映写面2に適切に投影されるように、回転支持部30を動かすことで、図2(c)に示すようにプロジェクタ1の位置及び姿勢を変更して投写軸を斜め上向きにする。これによりプロジェクタ1からの映像光をスクリーン2の映写面2aに適切に投影させることができることになる。
In this changed state, since the
またこのようなスクリーン2とプロジェクタ1の位置と姿勢の変更があると、スクリーン2と観察者Mの視点位置αとの相対的な位置及び姿勢も変更されることになる。つまりこの変更過程がスクリーン2とプロジェクタ1の位置及び観察者Mの視点位置αの位置調整過程となり、この過程が終了すると、映像信号処理部5は、センサ部4から計測された角度の情報及び視点位置計測部7の計測情報及び映写面2aの形状に基づき つまり、図2(c)で示す最終的なプロジェクタ1の位置及び姿勢を設定された位置及び姿勢とし、この位置及び姿勢と、センサ部4から計測された角度の情報及び視点位置計測部7の計測情報に基づいたスクリーン2の映写面2aと観察者Mの視点位置αとの相対的な位置及び姿勢と、スクリーン2の映写面2aの形状とに基づき、上述のように歪み補正パラメータを演算し(補正パラメータ演算過程)、この補正パラメータ演算過程の終了後、歪み補正パラメータによって平面映像信号を補正する処理を行い(補正処理過程)、スクリーン2の映写面2aに歪みの無い映像を映し出すことができることになる。
If the position and orientation of the
ところで、図2の使用形態では、観察者Mの視点位置αに対してスクリーン2の位置や姿勢を変更し、このスクリーン2の位置や姿勢の変更に対応してプロジェクタ1の投写軸がスクリーン2に適切となるようにプロジェクタ1の位置や姿勢を変更させているが、プロジェクタ1の位置及び姿勢を所定の位置及び姿勢に設定したままで、スクリーン2の位置や姿勢を変更し、この変更に伴って、観察者Mがその視点位置αを最適な位置へ移動させるような使用形態もある。
2, the position and orientation of the
図3はこの使用形態を示しており、図3(a)ではプロジェクタ1とスクリーン2の相対位置及び姿勢は、プロジェクタ1の投影範囲内にスクリーン2の映写面2aが収まっていない状態にあって、プロジェクタ1からの映像光の投影は中止されているような場合、プロジェクタ1の投影範囲内にスクリーン2の映写面2aが収まり、投影が開始されるように、図3(b)のようにリンク機構部31を動かすことでスクリーン2の位置と姿勢を変更することになる。この場合当然観察者Mの視点位置αとスクリーン2の映写面2aの相対的な位置及び姿勢が変更されることになるが、この図3(b)では投影範囲内に観察者Mが存在し、投影される映像光が観察者Mにより遮光されることになる。そこで、図3(c)に示すように観察者Mは映像光を遮らない位置に移動する。この移動により観察者Mの視点位置αの位置と、スクリーン2の映写面2aの相対的な位置及び姿勢も更に変更されることになる。この最終的に位置調整の過程が終了すると、映像信号処理部5は、センサ部4から計測された角度の情報及び視点位置計測部7の計測情報及び映写面2aの形状に基づき、つまり、図3(c)で示す最終的なプロジェクタ1の位置及び姿勢を設定された位置及び姿勢とし、この位置及び姿勢と、センサ部4から計測された角度の情報及び視点位置計測部7の計測情報に基づいたスクリーン2の映写面2aと観察者Mの視点位置αとの相対的な位置及び姿勢と、スクリーン2の映写面2aの形状とに基づき、上述のように歪み補正パラメータを演算し(補正パラメータ演算過程)、この補正パラメータ演算過程の終了後、歪み補正パラメータによって平面映像信号を補正する処理を行い(補正処理過程)、スクリーン2の映写面2aに歪みの無い映像を映し出すことができることになる。
FIG. 3 shows this usage pattern. In FIG. 3A, the relative positions and orientations of the
尚上述のプロジェクタ1やスクリーン2の位置や姿勢変更は可動機構部3を手動によって動かしているが、可動機構部3を電動駆動部で駆動できる構成としても良い。この場合、映像信号処理部5に、観察者Mの音声を認識する音声認識機能、又は、観察者Mの操作を検出する操作入力機能を搭載し、観察者Mの音声又は操作に基づいてスクリーン2の位置及び姿勢やプロジェクタ1の投写方向を変更する命令を入力する手段と、この命令を解釈して電動駆動部を制御して可動機構部3を動かして、スクリーン2とプロジェクタ1との相対的な位置及び姿勢を変更する制御手段とを備えれば良い。
Although the
この場合、映像信号処理部5の座標演算部24及び補正パラメータ演算部53は、スクリーン2の位置及び姿勢の変化に応じて補正パラメータを更新して、観察者Mの意図に対応したスクリーン2位置において歪みの無い映像を観察させることができる。
In this case, the coordinate calculation unit 24 and the correction
また、観察者Mからの命令に従ってスクリーン2とプロジェクタ1との相対的な位置及び姿勢を変更した場合、当該変更後のスクリーン2とプロジェクタ1との相対的な位置及び姿勢を固定するロック機構を回転節31a、31b、31g及び回転機構30a、30b、31f、31h内に備えていることが望ましい。これにより、観察者Mの命令によってスクリーン2とプロジェクタ1との相対的な位置及び姿勢を変更した後には、確実にスクリーン2位置を固定することができる。
Further, when the relative position and orientation of the
尚本実施形態では支持台6は床Fに固定しているが、キャスターを設けて移動自在にしても良い(後述する他の実施形態でも同様)。
In this embodiment, the
更に、本実施形態では、スクリーン2として半球凹面形状(ドーム状)の映写面2aを持つものを用いているが、平面状の映写面2aを持つスクリーンや円筒型の一部を用いた2次曲面の映写面2qを持つスクリーンであっても良い。また半球凹面形状(ドーム状)の映写面、平面状の映写面スクリーン、2次曲面の映写面を種々組み合わせて形成したスクリーンを用いても良い(後述する他の実施形態でも同様)。
Furthermore, in the present embodiment, a
また更に、上述の実施形態では、プロジェクタ1の光軸をスクリーン2の映写面2aの方向に向けているが、反対方向に向けて、プロジェクタ1から出射した映像光を反射ミラーで反射して、スクリーン2に映像光を投影させるようにして良い。この場合反射ミラーには、映像信号処理部5の制御信号に応じて、映像光の反射角度を可変とする回転アクチュエータを反射ミラーの支持部に設置しておく。
Furthermore, in the above-described embodiment, the optical axis of the
そして、映像信号処理部5によって、現在のスクリーン2の位置及び姿勢が演算されて、反射ミラーの姿勢(回転角度)に対するスクリーン2の中心位置における位置及び姿勢を演算するとともに、反射ミラーで反射した映像光がスクリーン2の全面に亘って投影される反射ミラーの回転角度を演算して、前記回転アクチュエータを制御する、一方、反射ミラーで反射した映像光がスクリーン2の全面に亘って歪み無く表示されるように、スクリーン2と反射ミラーとの相対的な位置及び姿勢を演算して補正パラメータを作成し、歪み補正処理を行う。
Then, the current position and orientation of the
このような反射ミラーを用いることで、プロジェクタ1の位置及び姿勢を変更する機構を備えること無く、スクリーン2を任意の位置及び姿勢としても、歪みの無い映像を表示させることができる。
By using such a reflection mirror, an image without distortion can be displayed even when the
更に、プロジェクタ1の位置・姿勢を直接変更する場合に比べて、簡便な機構を用い少ないパワーで、変更可能となる。
(実施形態2)
ところで、上述の実施形態1の映像表示装置は可動機構部3を手動で動かすことを前提としているが、例えばスクリーン2が手動で移動されて、スクリーン2がプロジェクタ1の投影範囲外となった場合であっても、スクリーン2の中心部にプロジェクタ1の光軸を自動的に向けることができるようにしたのが本実施形態である。
Furthermore, compared with the case where the position / orientation of the
(Embodiment 2)
By the way, although the video display apparatus of the above-mentioned
本実施形態は、図4に示すように、スクリーン2の位置、姿勢を変更させるためのスクリーン駆動部37と、プロジェクタ1の位置、姿勢を変更するためのプロジェクタ駆動部38と、映像表示範囲を撮像するカメラである状態撮影機構部10とを備えるとともに、映像信号処理部5内に、スクリーン駆動位置演算部55、プロジェクタ駆動位置演算部56,画像処理部57,対応テーブル記憶部58,投影範囲演算部59を備えてある。
In the present embodiment, as shown in FIG. 4, a
この投影範囲演算部59は、プロジェクタ1の光軸方向、プロジェクタ1の画角、スクリーン2の中心位置、スクリーン2の大きさ、スクリーン2とプロジェクタ1との距離などから、スクリーン2の全体に亘って映像光が投影されているか否かを判定する。
The projection range calculation unit 59 covers the
この判定で、スクリーン2の全体に亘って映像光が投影されていないと判定された場合、ズーム・フォーカス調整機構(図示せず)がズーム機能により、映像光がスクリーン2の映写面2aを覆うように、投影範囲を拡大・縮小させる。またプロジェクタ駆動位置演算部56が、プロジェクタ1の位置及び姿勢を変更するような駆動パラメータを作成して、映像光の光軸がスクリーン2の中心部に向くように、プロジェクタ駆動部38を駆動させる。
If it is determined in this determination that the image light is not projected over the
そして、プロジェクタ駆動部38が回転支持部30内のアクチュエータ(図示せず)を駆動して、プロジェクタ1のスクリーン2に対する位置及び姿勢が変更すると、補正パラメータ演算部53で、プロジェクタ1の現在の画角も加味して、補正パラメータが更新される。
When the
これによって、映像信号入力部51からの映像信号に、更新された補正パラメータを使用した歪み補正処理を行い、歪みが無い状態でスクリーン2に映像を表示できる。
Thus, the video signal from the video signal input unit 51 can be subjected to distortion correction processing using the updated correction parameter, and the video can be displayed on the
また更に、スクリーン2に影が生じている場合にも、スクリーン2を自動的に動かすことにより、影を回避できるようにする。尚スクリーン2に影が発生する理由としては、プロジェクタ1からスクリーン2への光路に障害物があるために映像光を遮っている、プロジェクタ1の光軸方向に対するスクリーン2の角度が大きいためにスクリーン2の一部によって映像光が遮られているといった状況がある。
Furthermore, even when a shadow is generated on the
図4の状態撮影機構部10は、このために、スクリーン2の映写面2aの全体を撮影するためのもので、この撮影した画像データは、映像信号処理部5内の画像処理部57に取り込まれ、この画像処理部57によって映写面2aの全体に亘って映像光が投影されているかを判定する。
For this purpose, the state photographing
つまり画像処理部57は、状態撮影機構部10で撮像された映像信号を入力して、当該映像信号を解析し、スクリーン2で表示している映像内に影が存在するか否かを判定する。
That is, the
例えば、所定輝度よりも輝度が低い画素群が存在する場合に、画像処理部57は当該画素群を影であると判定する。スクリーン2に影が発生する理由としては、プロジェクタ1からスクリーン2への光路に障害物があるために映像光を遮っている、プロジェクタ1の光軸方向に対するスクリーン2の回転角度が大きいためにスクリーン2の一部によって映像光が遮られているといった状況がある。
For example, when there is a pixel group whose luminance is lower than the predetermined luminance, the
そして画像処理部57は、スクリーン2に影が発生していると判定すると、当該影が発生しているスクリーン2内の領域を判定して、スクリーン駆動位置演算部55に通知する。
When the
ここで対応テーブル記憶部58は、スクリーン2内の影が発生している領域と、スクリーン2の位置及び姿勢の変更方向及び変更量との対応関係を記述した対応テーブルを記憶している。
Here, the correspondence
従って、スクリーン駆動位置演算部55は、画像処理部57から影が発生している領域が通知されることに応じて対応テーブル記憶部58に記憶されている対応テーブルを参照して、スクリーン2の駆動パラメータを作成して、スクリーン2に影が映り込まない位置及び姿勢に変更させるために、リンク機構部31内及び回転機構31h内のアクチュエータ(図示せず)をスクリーン駆動部37が駆動する制御信号を出力する。
Accordingly, the screen drive position calculation unit 55 refers to the correspondence table stored in the correspondence
ところで、画像処理部57において影(sh)の発生判定を行うために、例えば図5に示すように半球状のスクリーン2の映写面2aを8分割した映像投影領域2−1,2−2,2−3,2−4,2−5,2−6,2−7,2−8を設定しておき、どの映像投影領域に影(sh)が発生しているかを判定する。また対応テーブルは、影(sh)が発生している映像投影領域から、スクリーン2の中心位置方向に移動させるスクリーン2の変更方向及び変更量が登録されている。
Incidentally, in order to determine the occurrence of a shadow (sh) in the
例えば映像投影領域2−5に影が発生していると画像処理部57によって判定した場合、図5中の矢印で示す方向、すなわち映像投影領域2−5から映像投影領域2−1に向かう方向(図示する矢印方向)にスクリーン2を移動させる。
For example, when the
スクリーン駆動位置演算部55からスクリーン駆動部37への制御信号によって、リンク機構部31内及び回転機構31h内のアクチュエータ(図示せず)が駆動され、スクリーン2のプロジェクタ1に対する位置及び姿勢が変更すると、当該スクリーン2の位置及び姿勢の変更がセンサ部11で検知されてスクリーン2とプロジェクタ1との相対的な位置及び姿勢が再計算されて、補正パラメータが更新される。
When an actuator (not shown) in the
これによって、映像信号入力部51からの映像信号に、更新された補正パラメータを使用した歪み補正処理を行い、歪みが無く、影が無い状態でスクリーン2に映像を表示できる。
As a result, a distortion correction process using the updated correction parameter is performed on the video signal from the video signal input unit 51, and an image can be displayed on the
また、映像信号処理部5は、座標演算部24から得たスクリーン2とプロジェクタ1との相対的な位置及び姿勢を入力して、現在のプロジェクタ1の投影範囲を投影範囲演算部59で演算する。
In addition, the video
このような映像表示装置の動作は、図6に示すようになる。 The operation of such a video display apparatus is as shown in FIG.
尚、この図6に示す動作は、スクリーン2の位置及び姿勢を変更する動作と、プロジェクタ1の位置及び姿勢を変更する動作の双方を含んでいる。
The operation shown in FIG. 6 includes both an operation for changing the position and orientation of the
映像表示装置は、ステップS1〜ステップS3の処理によってスクリーン2とプロジェクタ1との相対的な位置及び姿勢を演算すると、ステップS11において、投影範囲演算部59によってプロジェクタ1の投影範囲を演算し、ステップS12において、映像光がスクリーン2の全体に亘って投影されている適正な投影範囲内か否かを判定する。
When the image display device calculates the relative position and orientation of the
そして、適正な投影範囲内であると判定した場合にはステップS7以降に処理を進め、そうでない場合にはステップS13a,S13bに処理を進める。 If it is determined that it is within the proper projection range, the process proceeds to step S7 and subsequent steps. If not, the process proceeds to steps S13a and S13b.
ステップS13aにおいて、映像表示装置は、プロジェクタ駆動位置演算部56によって、プロジェクタ1の投影範囲が適正な投影範囲内となるようにプロジェクタ1の駆動位置を算出して、駆動パラメータをプロジェクタ駆動部38に供給する。
In step S <b> 13 a, the video display device calculates the drive position of the
これによって、ステップS14aにおいて、プロジェクタ駆動部38が回転支持部30内のアクチュエータ(図示せず)を駆動して、プロジェクタ1の位置及び姿勢を変更することができる。
Accordingly, in step S14a, the
また、同時にステップS13bにおいて、映像表示装置は、投影範囲演算部59によって、プロジェクタ1がスクリーン2の映写面2aに映し出す映像の大きさとピントが適正となる投影範囲を算出して、駆動パラメータをプロジェクタ1内のズーム・フォーカス調整機構の駆動部(図示せず)に供給する。
At the same time, in step S13b, the video display device calculates the projection range in which the size and focus of the video image projected by the
これによって、ステップS14bにおいて、ズーム・フォーカス調整機構の駆動部は最適なズーム倍率とピント位置となるようにズーム・フォーカス調整機構を駆動することになる。 As a result, in step S14b, the drive unit of the zoom / focus adjustment mechanism drives the zoom / focus adjustment mechanism so as to obtain the optimum zoom magnification and focus position.
ステップS12においてプロジェクタ1の投影範囲が適正な投影範囲内であると判定されると、ズーム・フォーカス調整機構で調整された画角を加味した上で、ステップS7において歪み補正処理のための補正パラメータを算出し、この算出した補正パラメータを用いて、次のステップS8において平面映像信号に歪み補正処理を施し、ステップS9においてプロジェクタ1から映像を投影させる。
If it is determined in step S12 that the projection range of the
また、ステップS8の次のステップS15において、映像表示装置は、画像処理部57によって状態撮影機構部10で撮像したスクリーン2の投影状態を解析して、スクリーン2の全体に亘って映像が投影されているか否かを判定して、スクリーン2に影が無く映像光6が投影されている場合にはステップS19に処理を進めて、現在のスクリーン2とプロジェクタ1との相対的な位置及び姿勢を維持して、処理を終了する。
In step S15 subsequent to step S8, the video display apparatus analyzes the projection state of the
一方、ステップS15において、スクリーン2の映像投影範囲に影が発生していると判定した場合には、画像処理部57によって当該影が発生している映像投影領域を求めて、スクリーン駆動位置演算部55に通知する。
On the other hand, if it is determined in step S15 that a shadow is generated in the video projection range of the
次にスクリーン駆動位置演算部55は、ステップS16において、ステップS15で判定された影が発生した映像投影領域に応じて対応テーブル記憶部58の対応テーブルを参照して、ステップS17においてスクリーン2の位置及び姿勢の変更方向及び変更量を求めて、駆動パラメータをスクリーン駆動部37に供給する。
Next, in step S16, the screen drive position calculation unit 55 refers to the correspondence table in the correspondence
これによって、ステップS18において、スクリーン駆動部37がリンク機構部31内のアクチュエータ(図示せず)を駆動して、スクリーン2の位置及び姿勢を変更することができる。
Thereby, in step S18, the
尚映像表示装置は、状態撮影機構部10によってスクリーン2の映像表示状態を判定するのみならず、スクリーン2の周縁部における映像表示状態を検出する手段、例えば複数の光センサ(図示せず)を取り付けても良い。
The video display device not only determines the video display state of the
この場合光センサは、図5に示したように映像投影範囲2−1〜2−8の周縁部にそれぞれ1個ずつ設ける。そして、スクリーン2の周縁部に係って影が存在する場合、何れかの光センサによって当該影の発生を検出できる。
In this case, one optical sensor is provided at each of the peripheral portions of the image projection ranges 2-1 to 2-8 as shown in FIG. And when a shadow exists in the peripheral part of the
そして何れかの光センサによって検出された映像光の光量が少なくなって影の発生を検知した場合、影が発生した映像投影領域をスクリーン駆動位置演算部58に通知する信号処理手段(図示せず)を設け、この信号処理手段の通知に応じて、スクリーン駆動位置演算部58が対応テーブル記憶部58の対応テーブルを参照して、スクリーン2の位置及び姿勢の変更方向及び変更量を求めて、スクリーン駆動部37がアクチュエータ(図示せず)を駆動することで、スクリーン2に影が映り込まないようにスクリーン2の位置及び姿勢を変更できることになる。
(実施形態3)
上述の実施形態1では、回転支持部30を介して支持台6上にプロジェクタ1を配設し、スクリーン2をリンク機構部31の自由端側に取り付けた構成となっているが、本実施形態では、図7に示すように回転支持部30を介して支持台6上にスクリーン2を配設し、スクリーン2の支持腕31iを介して連結されたリンク機構部31の自由端側に回転節31g、回転機構31fを介してプロジェクタ1を支持した構成としている。尚図7で示すその他の構成要素中、図1(a)で示す構成要素と同じものには同じ符号を付し、説明は省略する。また本実施形態では、図1(b)で示す映像信号処理部5や図3の回路構成を用いる。
When the amount of image light detected by any of the optical sensors decreases and the occurrence of a shadow is detected, a signal processing means (not shown) for notifying the screen drive
(Embodiment 3)
In the first embodiment described above, the
而して、本実施形態では、図7(a)に示すようにスクリーン2の位置に対して観察者Mの視点位置αが適切でない位置にある場合、図7(b)に示すように観察者Mは移動する。
Thus, in this embodiment, when the viewpoint position α of the observer M is not appropriate with respect to the position of the
そして、図7(b)の位置では、観察者Mがプロジェクタ1の投影範囲に入り、映像光を遮ることになるため、図7(c)に示すようにリンク機構部31を動かしてプロジェクタ1の投影範囲内に観察者Mが入らないようにプロジェクタ1の位置及び姿勢を変更する。この変更に伴う各回転節31a、31b、31gの角度の情報と、回転機構30a、30b、31f、31hの角度の情報と、視点位置計測部7の計測情報とを取り込んだ映像信号処理部5の歪み補正処理によりプロジェクタ1から投影される映像光によってスクリーン2の映写面2aには映写面形状に併せて歪み補正された平面映像が映し出されることになる。
(実施形態4)
実施形態1〜3の映像表示装置は、回転支持部30を介して支持台6にプロジェクタ1又はスクリーン2を配設し、この支持台6に配設したプロジェクタ1又はスクリーン2に対してスクリーン2又はプロジェクタ1を可動機構部3のリンク機構部31を介して互いに接続した構成であって、本実施形態の手術室に配置される映像表示装置は、図8に示すように手術室の天井CE側にリンク機構部31Aを介してスクリーン2を配置し、床Fに固定した支持台6に対して回転支持部30とリンク機構部31Bを介してプロジェクタ1を支持させることで、互いに独立させて構成とした点に特徴がある。
At the position shown in FIG. 7B, the observer M enters the projection range of the
(Embodiment 4)
In the video display devices according to the first to third embodiments, the
リンク機構部31Aは天井CEに固定され水平面内で回転自在な回転軸を備えた回転機構31jと、この回転機構31jの回転軸に一端が連結されたアーム31kと、このアーム31kの他端に回転節31lを介して一端が連結されたアーム31mと、このアーム31mの他端を連結した回転節31nと、この回転節31nに一端を連結し、他端を回転機構31oに連結したアーム31pとから構成され、この回転機構31oの回転軸にはスクリーン2を取り付けた支持腕31iを連結してある。
The
リンク機構部31Bは、支持台6に配設された回転機構30a、30bからなる回転支持部30の回転機構30bを回転節としてアーム31qの一端を連結し、このアーム31qの他端をプロジェクタ1の下面に取り付けた鉛直面内で回転自在な回転機構31rを回転節として連結した構成となっており、上述のリンク機構部31Aとでプロジェクタ1とスクリーン2の相対的な位置と姿勢を変更するための可動機構部3を構成する。
The
そして回転機構31a、31b、31j、31o、31r及び回転節31l、31nにセンサ部4の角度センサを夫々内蔵し、各角度センサで計測される角度情報を図1(b)で示す映像信号処理部5に出力することで、上述と同様にスクリーン2の映写面の形状に対応して平面映像信号の歪み補正を行うようになっている。
The
尚視点位置監視手段や、映像信号処理部5の構成及び動作は実施形態1と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態1や実施形態2と同様に観察者Mの視点位置αとスクリーン2との相対的な位置や、姿勢の変更に対応した映像信号処理部5による平面映像信号の歪み補正処理により、観察者Mは、スクリーン2の映写面2aに映し出される映像を適切に視ることができることになる。
(実施形態5)
上記実施形態1〜3のプロジェクタ1とスクリーン2の相対的な位置や姿勢の変更に用いる可動機構部3は、プロジェクタ1又はスクリーン2を支持台6に支持配設するために用いる回転支持部30と、スクリーン2又はプロジェクタ1を自由端側に取り付けたリンク機構部31との組み合わせにより構成されたものであるが、本実施形態は、リンク機構部31の代わりに、図9に示すように伸縮且つ曲げ自在な蛇腹アーム32を接続機構として用いた点に特徴がある。
Thus, even in the present embodiment, as in the first and second embodiments, the video
(Embodiment 5)
The
蛇腹アーム32は一端をプロジェクタ1の上面の中央部に連結固定し、自由端を構成する他端にスクリーン2を支持して吊り下げており、この蛇腹アーム32を伸縮したり、曲げることで、自由端に支持して吊り下げているスクリーン2の位置及び姿勢をプロジェクタ1に対して相対的変更することができるようになっている。蛇腹アーム32には曲げ度合い、伸縮度合いを抵抗値変化で計測するフィルム状の可撓性を有する曲げセンサ(図示せず)を内蔵し、回転機構30a、30b側の角度センサの計測情報とともに、曲げセンサの計測情報をセンサ部4の計測情報として、実施形態1と同様に図1(b)に示す映像信号処理部5の座標演算部52へ出力するようになっている。
One end of the
尚視点位置監視手段や、映像信号処理部5の構成及び動作は実施形態1と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態1〜4と同様に観察者Mの視点位置αとスクリーン2との相対的な位置や、姿勢の変更に対応した映像信号処理部5による平面映像信号の歪み補正処理により、観察者Mは、スクリーン2の映写面2aに映し出される映像を適切に視ることができることになる。
(実施形態6)
実施形態5は、可動機構部3の接続機構として蛇腹アーム32を用い、この蛇腹アーム33により、プロジェクタ1に対するスクリーン2の位置、及び姿勢を自在に変更できるようにしたものであるが、本実施形態は、可動機構部3の接続機構として、図10(a)に示すように、プロジェクタ1の上面に一端が支柱36により支持固定され、プロジェクタ1の投写軸に平行するように伸縮時自在となったロッド体33を用い、このロッド体33の自由端にスクリーン2に支持して吊り下げた点に特徴がある。
Thus, even in the present embodiment, as in the first to fourth embodiments, the plane by the video
(Embodiment 6)
In the fifth embodiment, a
ロッド体33は、図10(b)、(c)に示すように互いに直線方向に出し入れ可能となった複数のロッド331〜333により両端方向に伸縮自在に形成され、内部には伸縮度合いを計測するセンサを備え、このセンサにより計測するスクリーン2のプロジェクタ1に対する相対的な位置、姿勢の情報を回転支持部30のセンサの計測情報とともに、実施形態1と同様に図1(b)に示す映像信号処理部5の座標演算部52へ出力するようになっている。
As shown in FIGS. 10B and 10C, the
尚視点位置監視手段や、映像信号処理部5の構成及び動作は実施形態1と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態1〜実施形態5と同様に観察者Mの視点位置αとスクリーン2の相対的な位置や、姿勢の変更に対応した映像信号処理部5による平面映像信号の歪み補正処理により、観察者Mは、スクリーン2の映写面2aに映し出される映像を適切に視ることができることになる。
(実施形態7)
実施形態6では、可動機構部3の接続機構としてロッド体33を用いたが、本実施形態では、図11(a)に示すように一端が支柱36により支持固定され、プロジェクタ1の投写軸に平行するよう延出したレール体34を設け、このレール体34に沿って図11(b)、(c)に示すように移動自在にレール体34に懸垂装着された走行手段であるランナー34aにスクリーン2を支持して吊り下げた点に特徴を有する。
Thus, even in the present embodiment, similarly to the first to fifth embodiments, the video
(Embodiment 7)
In the sixth embodiment, the
レール体34は、内部にはランナー34aの位置を計測するセンサを備え、このセンサにより計測したランナー34aの走行位置、つまりスクリーン2のプロジェクタ1に対する相対的な位置、姿勢の情報を回転支持部30のセンサの計測情報とともに、実施形態1と同様に図1(b)に示す映像信号処理部5の座標演算部52へ出力するようになっている。
The
尚視点位置監視手段や、映像信号処理部5の構成及び動作は実施形態1と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態1〜実施形態6と同様に観察者Mの視点位置αとスクリーン2の相対的な位置や、姿勢の変更に対応した映像信号処理部5による平面映像信号の歪み補正処理により、観察者Mは、スクリーン2の映写面2aに映し出される映像を適切に視ることができることになる。
(実施形態8)
本実施形態は、実施形態6のロッド体33と同様に伸縮自在な接続機構として、図12(a)に示すようにパンダグラフ機構による伸縮節を備えて図12(b)、(c)に示すように両端方向に伸縮自在に形成された伸縮アーム35を用いた点に特徴がある。
Thus, even in the present embodiment, similarly to the first to sixth embodiments, the video
(Embodiment 8)
As shown in FIG. 12 (a), the present embodiment is provided with an expansion / contraction node by a panda graph mechanism as shown in FIG. 12 (a), as shown in FIG. 12 (b). As shown, there is a feature in that an
伸縮アーム35は、自由端にスクリーン2を支持して吊り下げるとともに、伸縮度合いを計測するセンサを備え、このセンサにより計測するスクリーン2のプロジェクタ1に対する相対的な位置、姿勢の情報を回転支持部30のセンサの計測情報とともに、実施形態1と同様に図1(b)に示す映像信号処理部5の座標演算部52へ出力するようになっている。
The
尚視点位置監視手段や、映像信号処理部5の構成及び動作は実施形態1と同じであるので、図示及び説明は省略する。
Since the configuration and operation of the viewpoint position monitoring unit and the video
而して本実施形態にあっても、実施形態1〜実施形態4と同様に観察者Mの視点位置αとスクリーン2の相対的な位置や、姿勢の変更に対応した映像信号処理部5による平面映像信号の歪み補正処理により、観察者Mは、スクリーン2の映写面2aに映し出される映像を適切に視ることができることになる。
Thus, even in the present embodiment, similarly to the first to fourth embodiments, the video
尚可動機構部3の接続機構としては、上述の実施形態の構成以外に、例えば互いに出し入れ自在で且つ螺子結合された複数のロッドの螺子回転により両端方向に伸縮自在に形成され、プロジェクタ1側に一端を連結固定し、他端からなる自由端にスクリーン2を支持したロッド体や、外周に雄ねじ溝を形成した螺子体の両端を回転自在に支持し、プロジェクタ1側に一端を連結固定したアーム体と、このアーム体に前記映像投影手段の上部に一端を固定し、他端を前記螺子体の雄ねじ溝に係合した走行体の回転を規制して直線方向にガイドするガイド部とで構成した機構などを採用しても良い。
In addition to the configuration of the above-described embodiment, the connecting mechanism of the
勿論その他の構成によって可動機構部3の接続機構を構成しても良い。
Of course, you may comprise the connection mechanism of the
ところで、上述した映像表示装置を手術室に設け、手術中の被術者の手術部位の状態を内視鏡カメラで撮像し、その映像をプロジェクタ1からスクリーン2に投影し、この映像をリアルタイムに視ながら術者は手術を進行させるのであるが、同時に被術者の生体情報(脈拍、血圧等の情報)を同時に映像として並行表示や、手術の進行の指示情報を示すことでナビゲータとしての役割を持たせることで、手術が的確に且つ迅速に行うことが可能な手術室を提供することができる。
By the way, the above-described video display device is provided in the operating room, the state of the surgical site of the subject during the operation is imaged by the endoscope camera, the video is projected from the
更に手術のシミュレーションのプログラムと連携し、例えばCG等によって被術者の映像を映し、これに対して術者に装着したセンサ付きグローブから信号により術者の手の動きに応じた手術進行状態をCGで映すことで、仮想的に手術のシミュレーションを可能とするシミュレータを構成しても良い。この場合観察者(術者)はスクリーン2に映し出される映像が歪みの無い映像であるため、違和感無く、仮想現実であるシミュレーションの世界に没入することができる。
Furthermore, in conjunction with a surgical simulation program, for example, a CG image is displayed on the subject, and the operation progress state corresponding to the movement of the operator's hand is indicated by a signal from a sensor-equipped glove attached to the surgeon. You may comprise the simulator which enables the simulation of a surgery virtually by projecting by CG. In this case, the observer (operator) can immerse in the simulation world, which is a virtual reality, without a sense of incongruity because the image displayed on the
また、上述の各実施形態では、映像信号処理部5の座標演算部52が、観察者Mの視点位置αを計測する視点位置計測部7の計測情報と、センサ部4が検出するスクリーン2の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、プロジェクタ1の位置及び姿勢の設定情報と、スクリーン2の映写面2aの形状とに基づいて補正パラメータ演算部53が補正パラメータを演算しているが、観察者Mの視点位置αを計測する視点位置計測部7の計測情報と、センサ部4が検出するプロジェクタ1の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、スクリーン2の位置及び姿勢の設定情報と、スクリーン2の映写面2aの形状とに基づいて補正パラメータ演算部53が補正パラメータを演算しても良い。また映像信号処理部5の座標演算部52が、センサ部4が検出するプロジェクタ1及びスクリーン2の角度情報とから両者の相対的な位置及び姿勢が求め、この求めた相対的な位置及び姿勢と、予め設定してある適切な観察者Mの設定視点位置と、スクリーン2の映写面2aの形状とに基づいて補正パラメータ演算部53が補正パラメータを演算するようにしても良い。この場合、実際の観察者Mの視点位置αが設定視点位置から外れた場合に、観察者Mに外れたことを報知する手段を設け、この報知により視点位置αが設定視点位置から外れないように移動して対処する。
In the above-described embodiments, the coordinate
1 プロジェクタ
2 スクリーン
2a 映写面
3 可動機構部
30 回転支持部
30a 回転機構
30b 回転機構
31 リンク機構部
31a、31b回転節
31c〜31e アーム
31f 回転機構
31g 回転節
31h 回転機構
31i 支持腕
4 センサ部
5 映像信号処理部
51 映像信号入力部
52 座標演算部
53 補正パラメータ演算部
54 補正処理部
6 支持台
7 視点位置計測部
M 観察者
α 視点位置
DESCRIPTION OF
Claims (3)
前記映像投影手段から映像光が投写されて映像を映す任意形状の映写面を有する映像表示手段と、
前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から選択した何れか二つの相対的な位置及び姿勢を動かす可動手段と、
前記相対的な位置及び前記姿勢を計測する計測手段と、
前記計測手段で計測した前記相対的な位置及び前記姿勢と、選択外の残り一つの予め設定した位置及び姿勢と前記映写面の形状とから、前記映像投影手段の投写によって前記映像表示手段の映写面に映される映像の歪みを補正する補正パラメータを求め、該補正パラメータに基づいて前記映像投影手段に入力する前記映像信号に歪み補正処理を施す映像信号処理手段と、
を備えていることを特徴とする映像表示装置。 Video projection means for inputting video signals and projecting video light;
Image display means having a projection surface of an arbitrary shape for projecting image light from the image projection means;
Movable means for moving any two relative positions and postures selected from the viewpoint position of the observer viewing the video on the projection plane of the video display means, the video display means, and the video display means;
Measuring means for measuring the relative position and the posture;
Based on the relative position and orientation measured by the measurement means, the remaining one preset position and orientation that is not selected, and the shape of the projection surface, the projection of the video display means is performed by projection of the video projection means. Video signal processing means for obtaining a correction parameter for correcting distortion of the video projected on the screen, and performing distortion correction processing on the video signal input to the video projection means based on the correction parameter;
A video display device comprising:
前記映像投影手段、前記映像表示手段、該映像表示手段の映写面の映像を視る観察者の視点位置から何れか二つを選択する選択過程と、
該選択過程で選択した二つの相対的な位置及び姿勢を所望の位置及び姿勢に調整するとともに、選択外の残り一つの予め設定した位置及び姿勢を設定する位置調整過程と、
前記位置調整過程で調整した前記選択した二つの相対的な位置及び姿勢と、前記選択外の残り一つの設定した位置及び姿勢と、前記映像表示手段の映写面の形状とに基づいて、前記映像投影手段から投写された映像光で前記映像表示手段の映写面で映し出される映像の歪みを補正する補正パラメータを演算する補正パラメータを演算する補正パラメータ演算過程と、
演算された補正パラメータに基づいて前記映像投影手段に入力する映像信号に歪み補正を施す歪み補正処理過程と、を含むことを特徴とする映像信号の歪み補正処理方法。
A distortion correction processing method for a video signal in the video display device according to claim 1,
A selection process of selecting any two from the viewpoint position of an observer viewing the video on the projection surface of the video projection means, the video display means, and the video display means;
Adjusting the two relative positions and postures selected in the selection process to a desired position and posture, and a position adjustment step of setting the remaining one preset position and posture not selected;
Based on the two selected relative positions and postures adjusted in the position adjustment process, the remaining one set position and posture other than the selection, and the shape of the projection surface of the image display means A correction parameter calculation process for calculating a correction parameter for calculating a correction parameter for correcting distortion of the image projected on the projection surface of the image display means by the image light projected from the projection means;
And a distortion correction processing step of performing distortion correction on the video signal input to the video projection means based on the calculated correction parameter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006188510A JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006188510A JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008017348A true JP2008017348A (en) | 2008-01-24 |
Family
ID=39073938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006188510A Pending JP2008017348A (en) | 2006-07-07 | 2006-07-07 | Video display apparatus, and distortion correction processing method of video signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008017348A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2265006A1 (en) * | 2009-06-17 | 2010-12-22 | Koninklijke Philips Electronics N.V. | Display apparatus for displaying information to a person |
JP2012049987A (en) * | 2010-08-30 | 2012-03-08 | Toshiba Corp | Glasses for stereoscopic view and stereoscopic video display system |
CN114791687A (en) * | 2021-03-05 | 2022-07-26 | 成都极米科技股份有限公司 | Projection correction method and device and projection system |
US11601627B2 (en) | 2020-07-22 | 2023-03-07 | Canon Kabushiki Kaisha | Apparatus, control method, and storage medium |
CN115767042A (en) * | 2021-09-02 | 2023-03-07 | 成都极米科技股份有限公司 | Posture tracking method and system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331602A (en) * | 1995-05-29 | 1996-12-13 | Sony Corp | Video projector system |
JPH09298759A (en) * | 1996-05-08 | 1997-11-18 | Sanyo Electric Co Ltd | Stereoscopic video display device |
JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
JP2003107392A (en) * | 2001-09-28 | 2003-04-09 | Sanyo Electric Co Ltd | Stereoscopic video image display device of head position tacking type |
JP2003233031A (en) * | 2002-02-07 | 2003-08-22 | Olympus Optical Co Ltd | Stereoscopic viewing apparatus |
JP2003283964A (en) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | Video display apparatus |
JP2003324669A (en) * | 2002-05-01 | 2003-11-14 | Canon Inc | System for correcting inclination of projection type projector |
JP2005244835A (en) * | 2004-02-27 | 2005-09-08 | Olympus Corp | Multiprojection system |
JP2005318937A (en) * | 2004-05-06 | 2005-11-17 | Olympus Corp | Display device |
-
2006
- 2006-07-07 JP JP2006188510A patent/JP2008017348A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331602A (en) * | 1995-05-29 | 1996-12-13 | Sony Corp | Video projector system |
JPH09298759A (en) * | 1996-05-08 | 1997-11-18 | Sanyo Electric Co Ltd | Stereoscopic video display device |
JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Image projecting device |
JP2003107392A (en) * | 2001-09-28 | 2003-04-09 | Sanyo Electric Co Ltd | Stereoscopic video image display device of head position tacking type |
JP2003233031A (en) * | 2002-02-07 | 2003-08-22 | Olympus Optical Co Ltd | Stereoscopic viewing apparatus |
JP2003283964A (en) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | Video display apparatus |
JP2003324669A (en) * | 2002-05-01 | 2003-11-14 | Canon Inc | System for correcting inclination of projection type projector |
JP2005244835A (en) * | 2004-02-27 | 2005-09-08 | Olympus Corp | Multiprojection system |
JP2005318937A (en) * | 2004-05-06 | 2005-11-17 | Olympus Corp | Display device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2265006A1 (en) * | 2009-06-17 | 2010-12-22 | Koninklijke Philips Electronics N.V. | Display apparatus for displaying information to a person |
JP2012049987A (en) * | 2010-08-30 | 2012-03-08 | Toshiba Corp | Glasses for stereoscopic view and stereoscopic video display system |
US11601627B2 (en) | 2020-07-22 | 2023-03-07 | Canon Kabushiki Kaisha | Apparatus, control method, and storage medium |
CN114791687A (en) * | 2021-03-05 | 2022-07-26 | 成都极米科技股份有限公司 | Projection correction method and device and projection system |
WO2022183721A1 (en) * | 2021-03-05 | 2022-09-09 | 成都极米科技股份有限公司 | Projection correction method and apparatus, and projection system |
CN114791687B (en) * | 2021-03-05 | 2024-02-27 | 成都极米科技股份有限公司 | Projection correction method, device and projection system |
CN115767042A (en) * | 2021-09-02 | 2023-03-07 | 成都极米科技股份有限公司 | Posture tracking method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11217028B2 (en) | Surgeon head-mounted display apparatuses | |
EP1987679B1 (en) | Image display apparatus and image distortion correction method of the same | |
JP7216768B2 (en) | Utilization and Communication of 2D Digital Imaging in Medical Imaging in 3D Extended Reality Applications | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
US11303823B2 (en) | Camera array for a mediated-reality system | |
JP2017524281A (en) | Systems and methods for surgical visualization of mediated reality | |
WO2018025483A1 (en) | Video outputting system, video outputting method, and control apparatus | |
US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
JP2008017348A (en) | Video display apparatus, and distortion correction processing method of video signal | |
JP4222420B2 (en) | Image display device and image distortion correction method for image display device | |
JP6222835B2 (en) | X-ray diagnostic equipment | |
JP2008017347A (en) | Video display apparatus, and distortion correction processing method of video signal | |
JP2008017346A (en) | Video display apparatus, and distortion correction processing method of video signal | |
JP2008015381A (en) | Video display apparatus, distortion correction processing method for video signal | |
JP7356697B2 (en) | Image observation system | |
US20200306003A1 (en) | Medical control apparatus and medical observation system | |
JP2017163245A (en) | Multi-viewpoint video generation system, multi-viewpoint video generation device and program therefor | |
TW202418223A (en) | Head wearable virtual image module for superimposing virtual image on real-time image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090313 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110607 |