JP2002010299A - Image display device - Google Patents

Image display device

Info

Publication number
JP2002010299A
JP2002010299A JP2000189891A JP2000189891A JP2002010299A JP 2002010299 A JP2002010299 A JP 2002010299A JP 2000189891 A JP2000189891 A JP 2000189891A JP 2000189891 A JP2000189891 A JP 2000189891A JP 2002010299 A JP2002010299 A JP 2002010299A
Authority
JP
Japan
Prior art keywords
image
stereo pair
display
input
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000189891A
Other languages
Japanese (ja)
Other versions
JP4516188B2 (en
Inventor
Hideaki Yoshida
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2000189891A priority Critical patent/JP4516188B2/en
Publication of JP2002010299A publication Critical patent/JP2002010299A/en
Application granted granted Critical
Publication of JP4516188B2 publication Critical patent/JP4516188B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a high image quality observation in which the presence is high using a stereo pear in multimedia(SPM). SOLUTION: Generally, the identical image is displayed at two displays device 115a and 115b (monocular mode). When SPM, a electronic stereo pear in multimedia image, is read out and displayed from a memory card 117, the image signals are respectively displayed as left eye image and as right image from the display devices 115a and 115b (the stereo mode) after each of the left eye image and the right eye image has been processed through the shift processing, trimming processing and the electronic enlarging processing, respectively. Using the shift processing, trimming processing and the electronic enlarging processing, the position of the L image in the left eye image side and the position of the R image in the right eye image side are aligned, respectively, the unnecessary image is removed and the observation field angle of the image can be increased.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は立体画像を表示する
ための画像表示装置に関し、特にステレオペア画像の観
察に好適な画像表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device for displaying a stereoscopic image, and more particularly to an image display device suitable for observing a stereo pair image.

【0002】[0002]

【従来の技術】画像を立体的情報を含んで撮影記録し、
これを再生観察する方式には多種多様な提案がある。そ
の中でも最も簡単、安価な割に効果が大きいものとして
は、左右両眼の視点に対応する視差を持った2画像を記
録し、これを左右両眼に対してそれぞれ提示するいわゆ
る2眼式ステレオ方式が、旧くから今日に至るまで利用
されている。
2. Description of the Related Art An image is photographed and recorded including three-dimensional information.
There are a variety of proposals for reproducing and observing this. Among them, the most simple and inexpensive one is a so-called binocular stereo that records two images with parallax corresponding to the viewpoints of the left and right eyes and presents them to the left and right eyes respectively. The method has been used since ancient times.

【0003】この2眼式ステレオにおいても提示方式に
はまた各種あり、例えば大画面による多人数同時観察を
行なう場合には、偏光メガネを併用した偏光投影方式
や、シャッタメガネを併用した時分割提示方式が使用さ
れているが、これらはいずれも大がかりで高価なシステ
ムを必要とするため特殊な業務用途以外には使用される
ことは少ない。そこでいわゆるパーソナルユースに対し
ては、同時には1人しか観察できないという制約はある
ものの、最も基本的かつ古典的な方法であるステレオペ
ア画像を用いる方式が、極めて安価にまた鮮明な画像を
観察できる方式として、今日なお広く使用されている。
[0003] In this twin-lens stereo, there are various presentation methods. For example, in the case of simultaneous observation by a large number of people on a large screen, a polarization projection method using polarized glasses or a time-sharing presentation using shutter glasses is used. Although these methods are used, all of them require a large-scale and expensive system, so that they are rarely used except for special business use. Therefore, for so-called personal use, there is a restriction that only one person can observe at the same time, but the method using stereo pair images, which is the most basic and classic method, can observe clear images at very low cost. As a method, it is still widely used today.

【0004】このステレオペア画像について詳述すれ
ば、左眼視点対応画像であるL画像と右眼視点対応画像
であるR画像とが、通常僅かな隙間を介して2枚並列に
並べられて1つの画像を構成している(図2参照)。こ
の種の画像の最も手軽な撮影装置として普及している3
5ミリ1眼レフカメラ+ステレオアダプターのシステム
上の制約等のため、LR画像は実際には1つの標準横位
置画像(横3:縦2)を縦に2分割した形で構成されて
おり、従って各画像すなわち観察される立体画像は縦位
置(横縦比約3:4程度)になっているのが一般的であ
る。
[0004] The stereo pair image will be described in detail. An L image corresponding to a left-eye viewpoint image and an R image corresponding to a right-eye viewpoint image are usually arranged in parallel with a slight gap, and are arranged in parallel. (See FIG. 2). Widespread as the easiest imaging device for this type of image 3
The LR image is actually composed of one standard horizontal position image (horizontal 3: vertical 2) divided into two vertically due to the system restrictions of the 5 mm single-lens reflex camera + stereo adapter, etc. Therefore, each image, that is, the stereoscopic image to be observed, is generally at a vertical position (horizontal aspect ratio of about 3: 4).

【0005】本明細書に於いては、このようにLR2画
像が空間的に(画像平面上に)併置されて1つの画像を
構成しているものをステレオペア画像と称する。なお、
上記した具体的な構成(数値等)は一例に過ぎないが、
説明を簡明にするために、特記しない場合は上記具体例
のものが例として取り上げられていることを前提に説明
する。
[0005] In this specification, an image in which the LR2 images are spatially juxtaposed (on the image plane) to form one image is referred to as a stereo pair image. In addition,
The above specific configuration (numerical values etc.) is only an example,
For the sake of simplicity, the following description is based on the premise that the specific example is taken as an example unless otherwise specified.

【0006】このステレオペア画像は、 (1)記録、印画、伝送、印刷等に際して何らの特殊な
システムを要しない (2)適当な条件を充たせば、直接立体視観察できる
(左右像の融合が何らの装置を用いることなくできる)
という極めて優れた特長を有している。
[0006] This stereo pair image can (1) not require any special system for recording, printing, transmission, printing, etc. (2) If appropriate conditions are satisfied, direct stereoscopic observation is possible (fusion of left and right images) Can be done without any equipment)
It has an extremely excellent feature.

【0007】特に(2)に関して詳述すれば、LR画像
が正しく左右眼によって捉えられ、2つの異なる画像で
は無く一つの立体画像として認識される状態を左右像の
融合と称するが、例えば適当な大きさ(具体的には横幅
が眼幅の2倍よりやや小さい程度=10〜13cm)に
印画された「平行配置」(Lを左、Rを右に配置)のも
のであれば、観察に際しても視線を平行に向けるいわゆ
る「平行法」(人によっては若干の練習を要するが)を
用いることで融合可能である。またこれとは左右の画像
を入れ替えた「交差配置」も使用され、こちらは印画サ
イズの制約が無く、視線を交差させる「交差法」によっ
てやはり直接立体視観察できるが、観察時の眼の疲労と
立体観察時の不自然さ(箱庭現象)がやや大きいため、
上記平行配置の方がより普及しているものである。
More specifically, in the case of (2), a state in which the LR image is correctly captured by the left and right eyes and recognized as one stereoscopic image instead of two different images is referred to as fusion of the left and right images. In the case of a "parallel arrangement" (L is arranged on the left and R is arranged on the right) printed in a size (specifically, the width is slightly smaller than twice the interpupillary distance = 10 to 13 cm), it is necessary for observation. They can be fused by using the so-called "parallel method" that turns the gaze parallel (although it takes some practice for some people). In addition, "crossing arrangement" in which the left and right images are exchanged is also used, and there is no restriction on the print size, and you can still directly observe stereoscopically by the "crossing method" that crosses the eyes, but eyestrain at the time of observation And the unnaturalness during stereoscopic observation (the miniature garden phenomenon) is somewhat large,
The parallel arrangement is more popular.

【0008】いずれにせよこのように(1)システムを
選ばず(2)直接観察も可能であるという2つの大きな
特長をもつステレオペア画像は、互換性に優れているた
め、特にインターネットやデジタルカメラの普及などい
わゆるメディアミックス化が進めば進むほどその不朽の
価値が見直され、利用され続けるものと予想される。
[0008] In any case, stereo pair images having the two great features of (1) being able to select a system and (2) being capable of direct observation are excellent in compatibility. It is expected that the more imminent the media mix such as the spread of the technology, the more its value will be reviewed and its continued use.

【0009】一方、ステレオペア画像の直接観察には (ア)比較的容易な平行法であっても若干の練習を要す
る(立体視=像の融合の難易の個人差が大きい) (イ)視差情報と眼球の焦点合わせのための緊張(ピン
ト情報)の食い違いが大きいことから生じる立体感の不
自然さ(書割、箱庭効果)が大きいこと (ウ)平行法の場合は画像サイズが限られること などの問題がある。すなわち、直接観察法は何ら装置を
必要としないという基本的優位性はあるものの、臨場感
の高い高画質観察を容易に行なう場合には充分とは言え
ないものである。そこで従来より観察用補助光学系たる
ステレオビュアーが用いられていた。このようなビュア
ーとして公知のものには、いわゆるプリントビュアーと
スライドビュアーとがあり、前者の一例は特開平07−
110536号公報にも記載されている。
On the other hand, direct observation of a stereo pair image requires (a) a little practice even with a relatively easy parallel method (stereoscopic vision = difficulty in fusion of images is large among individuals). Large unnaturalness of three-dimensional effect (book splitting, box garden effect) resulting from large discrepancies in tension (focus information) for focusing information and eyeballs (c) The image size is limited in the parallel method Problems. That is, although the direct observation method has the basic advantage that no device is required, it cannot be said that the direct observation method is sufficient for easily performing high-quality observation with a high sense of reality. Therefore, a stereo viewer as an auxiliary optical system for observation has conventionally been used. Known such viewers include a so-called print viewer and a slide viewer.
It is also described in 110536 publication.

【0010】上記公報記載のものはプリントビュアーで
あるから印画(印刷)されたステレオペア画像は高画質
に観察できるが、例えばディジタルカメラで撮影された
ディジタルステレオペア画像のようなマルチメディア媒
体におけるステレオペア画像(以下 a Stereo Pear in
Multimedia:SPMと称する)については印刷しなけれ
ば適用できないという不具合があった。
Although the above-mentioned publication is a print viewer, a printed (printed) stereo pair image can be observed with high image quality. For example, a stereo pair image on a multimedia medium such as a digital stereo pair image photographed by a digital camera can be observed. Pair image (hereinafter a Stereo Pear in
Multimedia: SPM) was not applicable unless it was printed.

【0011】詳述すれば、このようなSPMであって
も、マルチメディア環境のプラットフォームというべき
汎用パーソナルコンピュータの画面上に表示した場合は
単純にステレオペア画像が表示されるから、これを直接
観察する限りは上記(2)と同じ状況であって、新たな
不具合は生じない。しかしながら直接観察には(ア)〜
(ウ)のような問題があることは上記したところであ
り、改善が必要であった。なお印刷してプリントビュア
ーを適用することは一つの策ではあるが、プリンターの
画質が悪いと本来の画質が再現できない、印刷に時間が
かかり紙やインクを消耗するため検索的な使用には適用
困難であるなど、本質的な解決にならないことは明らか
である。
More specifically, even when such an SPM is displayed on the screen of a general-purpose personal computer, which is a platform for a multimedia environment, a stereo pair image is simply displayed. As far as possible, the situation is the same as the above (2), and no new trouble occurs. However, for direct observation (a) ~
As described above, there is a problem as described in (c), and improvement is required. Printing and applying the print viewer is one measure, but if the image quality of the printer is poor, the original image quality cannot be reproduced, and it takes time to print and consumes paper and ink. Obviously, it will not be an essential solution, such as difficulty.

【0012】[0012]

【発明が解決しようとする課題】そこで、本出願人は先
にSPMを用いて臨場感の高い高画質観察を容易に行な
うために、LR画像に異なるシフトを与える観察方法お
よび観察装置(ビュアー)に関する技術を提案している
(特願2000−115357号明細書)。
SUMMARY OF THE INVENTION In view of the above, the present applicant has previously made an observation method and an observation apparatus (viewer) for giving different shifts to an LR image in order to easily perform high-quality observation with high sense of reality using SPM. (Japanese Patent Application No. 2000-115357).

【0013】この技術においては、通常は、2つの表示
デバイスには同一の画像が表示されるが(モノキュラモ
ード)、電子的なステレオペア画像たるSPMをメモリ
カードから読み出して表示する場合には、左眼画像側と
右眼画像側とで互いに異なるシフト処理がステレオペア
画像シフト処理部によって施され、そのシフト処理後の
画像信号がそれぞれ左眼画像および右眼画像として2つ
の表示デバイスからそれぞれ表示される(ステレオモー
ド)。このシフト処理により、左眼画像側におけるSP
MのL画像と右眼画像側におけるSPMのR画像とが一
つの立体画像として融合するようになり、臨場感の高い
高画質の立体画像を容易に観察することが可能となると
いうものである。
In this technique, the same image is usually displayed on two display devices (monocular mode). However, when an SPM, which is an electronic stereo pair image, is read from a memory card and displayed, Different shift processing is performed by the stereo pair image shift processing unit on the left eye image side and the right eye image side by the stereo pair image shift processing unit, and the image signals after the shift processing are output from the two display devices as a left eye image and a right eye image, respectively. Displayed (stereo mode). By this shift processing, SP on the left eye image side
The L image of M and the R image of SPM on the right-eye image side are merged as one stereoscopic image, so that a high-quality stereoscopic image with high realism can be easily observed. .

【0014】ところが、このようなビュアーで観察する
場合、本来の立体画像の両側に画像が観察され、融合の
妨害になったり不自然になることがあった。
However, when observing with such a viewer, images are observed on both sides of the original stereoscopic image, which sometimes hinders fusion or becomes unnatural.

【0015】また、表示される立体画像の大きさが小さ
く臨場感を欠く場合があった。加えて、同じ画素数の平
面(非ステレオ)画像と比べて表示画像サイズが小さく
なるという不具合もあった。
Further, there are cases where the size of the displayed stereoscopic image is small and lacks a sense of reality. In addition, there is a disadvantage that the display image size is smaller than that of a flat (non-stereo) image having the same number of pixels.

【0016】本発明は上記問題点を解決し、融合妨害が
無く、臨場感を増した立体画像の観察に適した画像表示
装置を提供することを目的とする。
An object of the present invention is to solve the above-mentioned problems and to provide an image display device suitable for observing a stereoscopic image with no presence of fusion interference and increased realism.

【0017】[0017]

【課題を解決するための手段】上述の課題を解決するた
め、本発明の画像表示装置は、左右両眼に対する各表示
画像である左眼画像および右眼画像の各画像を左右両眼
に対して個別に表示可能な表示手段と、前記表示手段に
表示させるべき画像信号を入力する入力手段と、LR画
像を含むステレオペア画像信号を前記入力手段により入
力して前記表示手段により左右両眼に対して個別に表示
する場合、前記左眼画像として前記L画像のみが、前記
右眼画像として前記R画像のみがそれぞれ表示されるよ
うに、前記入力されたステレオペア画像信号に対してト
リミング処理を施すトリミング手段とを具備することを
第1の特徴とする。
In order to solve the above-mentioned problems, an image display apparatus according to the present invention provides a left-eye image and a right-eye image, which are display images for the left and right eyes, to the left and right eyes. Display means that can be individually displayed by the input means, an input means for inputting an image signal to be displayed on the display means, and a stereo pair image signal including an LR image is input by the input means, and the display means applies the signal to the left and right eyes. When individually displayed, the input stereo pair image signal is subjected to a trimming process so that only the L image is displayed as the left eye image and only the R image is displayed as the right eye image. The first feature is to provide trimming means for applying.

【0018】このように、トリミング処理を行なうこと
によって不要画像が除去されるから、融合の妨害要因が
大いに軽減され立体画像の観察を極めて容易ならしめる
と同時に観察画質を向上することができる。
As described above, since unnecessary images are removed by performing the trimming process, the disturbing factor of the fusion is greatly reduced, so that the observation of the stereoscopic image can be made extremely easy and the observation image quality can be improved.

【0019】また、前記トリミング処理は、入力された
ステレオペア画像の画像巾に基づいて行うことにより、
容易に適切なトリミングを実現することができる。
Further, the trimming process is performed based on the image width of the input stereo pair image.
Appropriate trimming can be easily realized.

【0020】さらに前記入力手段によって入力された画
像信号に対して左眼画像と右眼画像とで互いに異なる画
像シフト処理を施すシフト手段を設け、前記左眼画像の
表示画枠に対するL画像の相対位置と前記右眼画像の表
示画枠に対するR画像の相対位置とが前記左眼および右
眼の両表示画像間で相揃うように、前記入力されたステ
レオペア画像信号に対して画像シフト処理を施すことが
好ましい。これにより、LR画像が並行配置されたステ
レオペア画像信号を観察する場合でも、より容易にLR
画像を融合させることが可能となり、上述のトリミング
による効果とあいまって、極めて融合状態が良く臨場感
の高い立体画像観察が実現できる。
Further, a shift means for performing different image shift processing on the image signal input by the input means between the left eye image and the right eye image is provided, and the shift of the L image relative to the display frame of the left eye image is provided. Image shift processing is performed on the input stereo pair image signal so that the position and the relative position of the R image with respect to the display image frame of the right eye image are aligned between the left and right display images. It is preferable to apply. Thereby, even when observing a stereo pair image signal in which LR images are arranged in parallel, LR images can be more easily realized.
It is possible to fuse the images, and in combination with the effect of the above-described trimming, it is possible to realize a three-dimensional image observation with an excellent fusion state and a high sense of reality.

【0021】また前記入力手段により入力された画像信
号が前記ステレオペア画像信号であるか否かを検出する
ステレオペア画像検出手段をさらに設け、前記ステレオ
ペア画像信号である旨の検出結果を受けた場合、これに
応答して前記トリミング処理が自動実行されるように構
成することが望ましい。これにより、ステレオペア画像
信号であることが検出された場合は入力画像信号に対す
るトリミング処理を自動実行し、非ステレオペア画像信
号であることが検出された場合は入力画像信号に対する
トリミング処理の実行を禁止するという制御が可能とな
り、ステレオペア画像と通常の非ステレオ画像とが混在
する環境下でも、入力画像信号に合った適切な画像表示
を実現することが可能となる。
Further, there is further provided a stereo pair image detecting means for detecting whether or not the image signal inputted by the input means is the stereo pair image signal, and receives a detection result indicating that the image signal is the stereo pair image signal. In such a case, it is desirable that the trimming process is automatically executed in response to this. Thereby, when it is detected that the input image signal is a stereo pair image signal, the trimming process is automatically executed on the input image signal. When it is detected that the input image signal is a non-stereo pair image signal, the trimming process is executed on the input image signal. The control of prohibition can be performed, and even in an environment where a stereo pair image and a normal non-stereo image are mixed, an appropriate image display suitable for an input image signal can be realized.

【0022】また、本発明の画像表示装置は、左右両眼
に対する各表示画像である左眼画像および右眼画像の各
画像を左右両眼に対して個別に表示可能な表示手段と、
前記表示手段に表示させるべき画像信号を入力する入力
手段と、LR画像を含むステレオペア画像信号を前記入
力手段により入力して前記表示手段により左右両眼に対
して個別に表示する場合、各表示画像が拡大表示される
ように、前記入力されたステレオペア画像信号に対して
電子的拡大処理を施す電子的変倍手段とを具備すること
を第2の特徴とする。
Further, the image display device of the present invention comprises a display means capable of individually displaying each image of a left eye image and a right eye image, which are display images for the left and right eyes, to both the left and right eyes,
Input means for inputting an image signal to be displayed on the display means, and a stereo pair image signal including an LR image input by the input means and individually displayed on the left and right eyes by the display means. A second feature is that an electronic scaling unit that performs electronic enlargement processing on the input stereo pair image signal so that the image is enlarged and displayed is provided.

【0023】このように電子的拡大処理を行なうことに
よって画質を損なうことなく臨場感を増すことができ、
あるいはこれに加えて特に非ステレオ画像とステレオ画
像が混在した状態での画像表示面積(対角長)や画像の
水平長を等しく保つことができる。
By performing the electronic enlargement processing as described above, it is possible to increase the sense of reality without deteriorating the image quality.
Alternatively, in addition to this, the image display area (diagonal length) and the horizontal length of the image can be kept equal particularly when the non-stereo image and the stereo image are mixed.

【0024】また電子的拡大処理における拡大倍率は、
前記ステレオペア画像全体の対角長とこれに含まれるL
Rの各画像の対角長の比にほぼ等しい値以上で、かつ前
記ステレオペア画像全体の水平長とこれに含まれるLR
の各画像の水平長の比にほぼ等しい値以下に設定する
か、あるいは前記ステレオペア画像全体の対角長とこれ
に含まれるLRの各画像の対角長の比にほぼ等しい値に
設定することが好ましい。これにより、適正な像拡大を
実現でき、臨場感を高めることが可能となる。
The enlargement magnification in the electronic enlargement processing is as follows.
Diagonal length of the entire stereo pair image and L included therein
R equal to or greater than the ratio of the diagonal lengths of the respective images, and the horizontal length of the entire stereo pair image and the LR included therein
Or a value substantially equal to the ratio between the diagonal length of the entire stereo pair image and the diagonal length of each of the LR images included therein. Is preferred. As a result, appropriate image enlargement can be realized, and the sense of realism can be enhanced.

【0025】なお、観察者の好みや入力されるLR画像
の特性の違い等に対応するため、電子的拡大処理におけ
る拡大倍率の設定は入力手段からの入力によって切換え
可能に構成しておくことが望ましい。
It should be noted that, in order to cope with differences in the characteristics of the input LR image and the preference of the observer, the setting of the enlargement magnification in the electronic enlargement processing can be switched by input from the input means. desirable.

【0026】また、電子的拡大処理を行う第2の構成に
おいても、上述のシフト手段をさらに設け、前記左眼画
像の表示画枠に対するL画像の相対位置と前記右眼画像
の表示画枠に対するR画像の相対位置とが前記左眼およ
び右眼の両表示画像間で相揃うように、前記入力された
ステレオペア画像信号に対して画像シフト処理を施すこ
とにより、さらに容易にLR画像を融合させることが可
能となる。
Also, in the second configuration for performing the electronic enlargement processing, the above-described shift means is further provided, and the relative position of the L image with respect to the display frame of the left eye image and the position of the L image with respect to the display frame of the right eye image are provided. An LR image is more easily fused by performing an image shift process on the input stereo pair image signal so that the relative position of the R image is the same between the display images of the left eye and the right eye. It is possible to do.

【0027】また前記入力手段により入力された画像信
号が前記ステレオペア画像信号であるか否かを検出する
ステレオペア画像検出手段をさらに設け、前記ステレオ
ペア画像信号である旨の検出結果を受けた場合、これに
応答して前記電子的拡大処理が自動実行されるように構
成することが好ましい。
Further, there is further provided a stereo pair image detecting means for detecting whether or not the image signal input by the input means is the stereo pair image signal, and receives a detection result indicating that the image signal is the stereo pair image signal. In this case, it is preferable that the electronic enlarging process is automatically executed in response to this.

【0028】[0028]

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。図1には、本発明の一実施形態に係
わる画像表示装置の構成が示されている。この画像表示
装置100はSPMを用いて立体画像の高画質画像観測
を実現するためのビューアであり、例えばフェイスマウ
ンテッドディスプレイ(FMD)などとして実現されて
いる。図中、111は装置全体の動作を統括的に制御す
るためのシステムコントローラ(CPU)、112は各
種操作ボタンからなる操作スイッチ系、113は操作状
態及びモード状態等を表示するための操作表示系、11
4は各種画像信号処理機能を持つデジタルプロセス回
路、115はLCD画像表示系を示している。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of an image display device according to an embodiment of the present invention. The image display device 100 is a viewer for realizing high-quality image observation of a stereoscopic image using SPM, and is realized as, for example, a face-mounted display (FMD). In the figure, reference numeral 111 denotes a system controller (CPU) for comprehensively controlling the operation of the entire apparatus, 112 denotes an operation switch system including various operation buttons, and 113 denotes an operation display system for displaying an operation state, a mode state, and the like. , 11
Reference numeral 4 denotes a digital process circuit having various image signal processing functions, and 115 denotes an LCD image display system.

【0029】LCD画像表示系115は左右両眼に対す
る各表示画像である左眼画像および右眼画像の各画像を
左右両眼に対して個別に表示することによって、左眼画
像および右眼画像の仮想的な合成拡大像を仮想表示画面
として観察者に提示するためのものであり、左眼画像表
示用のLCD表示デバイス(DL)115aおよび右眼
画像表示用のLCD表示デバイス(DR)115bの2
つのLCD表示デバイスを有している。
The LCD image display system 115 displays the left-eye image and the right-eye image, which are the display images for the left and right eyes, individually for both the left and right eyes, thereby displaying the left-eye image and the right-eye image. This is for presenting a virtual synthetic enlarged image as a virtual display screen to the observer, and includes an LCD display device (DL) 115a for displaying a left-eye image and an LCD display device (DR) 115b for displaying a right-eye image. 2
It has two LCD display devices.

【0030】また、図中の116はメモリカードインタ
ーフェース、117はメモリカード、118は各種設定
情報等を記憶するための不揮発性メモリ(EEPRO
M)を示している。
In the figure, reference numeral 116 denotes a memory card interface, 117 denotes a memory card, 118 denotes a nonvolatile memory (EEPRO) for storing various setting information and the like.
M).

【0031】メモリカード117は表示再生対象の画像
信号を記録するためのものであり、ここには電子的なス
テレオペア画像からなる上述のSPM、および他の通常
の非ステレオ画像が公知の画像フォーマット(BMP、
JPEG等)によって記録されている。
The memory card 117 is for recording an image signal to be displayed and reproduced. The memory card 117 stores the above-mentioned SPM composed of an electronic stereo pair image and other ordinary non-stereo images in a known image format. (BMP,
JPEG).

【0032】本実施形態の画像表示装置100において
は、システムコントローラ111の制御の下、表示再生
対象の画像信号がメモリカード117から読み出され、
それが表示再生対象の入力画像信号としてLCD画像表
示系115に送られて2つの表示デバイス115a,1
15bにてそれぞれ個別に表示される。通常は、2つの
表示デバイス115a,115bには同一の画像が表示
されるが(モノキュラモード)、電子的なステレオペア
画像たるSPMをメモリカード117から読み出して表
示する場合には、左眼画像側と右眼画像側とで互いに異
なるシフト処理、トリミング処理、電子的拡大処理が施
された後の画像信号がそれぞれ左眼画像および右眼画像
として表示デバイス115a,115bから表示される
(ステレオモード)。
In the image display device 100 of the present embodiment, under the control of the system controller 111, the image signal to be displayed and reproduced is read from the memory card 117,
This is sent to the LCD image display system 115 as an input image signal to be displayed and reproduced, and the two display devices 115a, 1
15b are displayed individually. Normally, the same image is displayed on the two display devices 115a and 115b (monocular mode). However, when an SPM, which is an electronic stereo pair image, is read from the memory card 117 and displayed, the left eye image is displayed. Image signals that have been subjected to different shift processing, trimming processing, and electronic enlargement processing on the side and the right-eye image side are displayed as left-eye images and right-eye images from the display devices 115a and 115b, respectively (stereo mode). ).

【0033】すなわち、システムコントローラ111に
は図示のようにステレオペア画像シフト処理部201、
トリミング処理部202、電子的変倍処理部203が設
けられており、ステレオモードにおいてはステレオペア
画像シフト処理部201によって上述のシフト処理が、
トリミング処理部202によってトリミング処理が、電
子的変倍処理部203によって電子的拡大処理が、それ
ぞれ実行される。これらの処理の詳細については図5以
降で後述するが、それぞれ左眼画像側におけるL画像の
位置と右眼画像側におけるR画像の位置とを合わせ、不
要な画像を除去しまた画像の観察画角を大きくするため
に行われる。これらの処理により、左右両眼で左眼画像
および右眼画像をそれぞれ観察したときに左眼画像側に
おけるSPMのL画像と右眼画像側におけるSPMのR
画像とが一つの立体画像として融合するようになり、臨
場感の高い高画質の立体画像を容易に観察することが可
能となる。
That is, the system controller 111 has a stereo pair image shift processing unit 201 as shown in FIG.
A trimming processing unit 202 and an electronic scaling processing unit 203 are provided. In the stereo mode, the above-described shift processing is performed by the stereo pair image shift processing unit 201.
A trimming process is performed by the trimming processing unit 202 and an electronic enlargement process is performed by the electronic scaling unit 203. The details of these processes will be described later with reference to FIG. 5 and thereafter. However, the positions of the L image on the left eye image side and the R image positions on the right eye image side are adjusted to remove unnecessary images, and This is done to increase the corner. By these processes, when the left-eye image and the right-eye image are respectively observed by the left and right eyes, the L image of the SPM on the left-eye image side and the RPM of the SPM on the right-eye image side
The image is merged as one stereoscopic image, and a high-quality stereoscopic image with a high sense of reality can be easily observed.

【0034】(SPM)図2には、本実施形態で用いら
れるSPMの構成の一例が示されている。上述したよう
に、SPMは、1枚の画像空間を2分割するように併置
されたL、Rの2つの画像(PL,PR)から構成され
ている。L画像(PL)は左眼視点対応画像であり、R
画像(PR)は右眼視点対応画像である。従って平行配
置のSPMを前提としている。SPMの巾(横巾)はW
ピクセル、高さ(縦巾)がHピクセルである。また、こ
こで取扱うSPMの横縦比は一般的なフィルムカメラフ
ォーマットに併せてH=W×2/3としている。なお、
Wの例示値として720、すなわち横720×縦480
のSPMであるとする。
(SPM) FIG. 2 shows an example of the configuration of the SPM used in the present embodiment. As described above, the SPM is composed of two images L and R (PL, PR) juxtaposed to divide one image space into two. The L image (PL) is a left eye viewpoint corresponding image,
The image (PR) is a right-eye viewpoint corresponding image. Therefore, it is assumed that SPMs are arranged in parallel. The width (width) of the SPM is W
The pixel and the height (vertical width) are H pixels. The aspect ratio of the SPM handled here is set to H = W × 2/3 in accordance with a general film camera format. In addition,
As an example value of W, 720, ie, 720 horizontal × 480 vertical
SPM.

【0035】(FMD)図3には、本実施形態で用いら
れるFMDにおける表示部の構成が模式的に示されてい
る。図3は観察者が装着した状態のFMDを上から見た
ものである。
(FMD) FIG. 3 schematically shows a configuration of a display unit in the FMD used in the present embodiment. FIG. 3 is a top view of the FMD worn by the observer.

【0036】メガネ型の形状を持つFMDフレーム10
の左眼対応位置には前述のLCD表示デバイス(DL)
115aとルーペ光学系(LL)116aが取り付けら
れており、また右眼対応位置には前述のLCD表示デバ
イス(DR)115bとルーペ光学系(LR)116b
が取り付けられている。ルーペ光学系116a,116
bはFMD本来の像拡大機能並びに像距離変換作用を実
現するための拡大光学系であり、ルーペ光学系116
a,116bによって拡大された左眼画像および右眼画
像を左右両眼に個別に提示することにより、例えば眼前
1mに対角50インチ(1270mm)の仮想表示画面
があるように表示される。なお横縦比は4:3すなわち
水平40インチ(1016mm)垂直30インチ(76
2mm)であり、標準状態における画像の表示密度は3
2画素/インチとする。従って上記SPMをそのまま平
面画像として表示観察した場合には、横22.5インチ
×縦15インチの画像として観察される。
An FMD frame 10 having a glasses-like shape
The above-mentioned LCD display device (DL)
115a and a loupe optical system (LL) 116a are attached, and the above-mentioned LCD display device (DR) 115b and a loupe optical system (LR) 116b are provided at positions corresponding to the right eye.
Is attached. Loupe optical systems 116a, 116
b denotes a magnifying optical system for realizing the original image magnifying function and image distance converting function of the FMD.
By presenting the left-eye image and the right-eye image enlarged by a and b individually to both the left and right eyes, for example, a virtual display screen having a diagonal of 50 inches (1270 mm) is displayed 1 m in front of the eye. The aspect ratio is 4: 3, that is, 40 inches (1016 mm) horizontally and 30 inches (76 inches) vertically.
2 mm), and the display density of the image in the standard state is 3
2 pixels / inch. Therefore, when the SPM is directly displayed and observed as a planar image, it is observed as an image of 22.5 inches in width × 15 inches in height.

【0037】また、FMDフレーム10には、ステレオ
/モノキュラ切換スイッチ112aが設けられている。
ステレオ/モノキュラ切換スイッチ112aは図1の操
作スイッチ系112内の1操作スイッチであり、前述の
ステレオモード/モノキュラモードの切り換えのために
用いられる。
The FMD frame 10 is provided with a stereo / monocular switch 112a.
The stereo / monocular switch 112a is one operation switch in the operation switch system 112 shown in FIG. 1, and is used for switching between the stereo mode / monocular mode.

【0038】(インターフェースボックス)実際のFM
Dに実現に際しては、その本体内に図1のブロック図の
機能を単独で有する構成のもの(再生装置)のみなら
ず、例えばパーソナルコンピュータやデジタルカメラな
どからのディスプレイ出力を受けて、それを表示するた
めの表示系のみを本体内に持つFMDも考えられる。こ
の場合には、図4に示すように、パーソナルコンピュー
タやデジタルカメラなどの画像信号出力装置30からの
ディスプレイ出力を入力画像信号として受けるインター
フェースボックス20を用意し、このインターフェース
ボックス20からケーブル等を通じてFMD10に入力
画像信号を導けばよい。
(Interface Box) Actual FM
In realizing D, not only a device (reproducing device) having the function of the block diagram of FIG. 1 alone in its main body but also a display output from, for example, a personal computer or a digital camera, and displaying it. An FMD having only a display system for performing the operation in the main body is also conceivable. In this case, as shown in FIG. 4, an interface box 20 for receiving a display output from an image signal output device 30 such as a personal computer or a digital camera as an input image signal is prepared. In this case, the input image signal may be derived.

【0039】この際、FMD10は受けた画像信号をそ
のまま表示するだけであるので、前述の各処理機能はイ
ンターフェースボックス20内に設けた画像シフト処理
部20a、トリミング処理部20b、電子的変倍処理部
20cによって実行されることになる。画像シフト処理
部20aとしては、例えば画像信号出力装置30からの
入力画像信号を保持するバッファメモリと、このバッフ
ァメモリからの画像信号の読み出し時のアドレス制御を
左眼画像と右眼画像とで独立に可変設定可能なメモリコ
ントロール回路などによって実現することができる。そ
の具体的な実施例としては「バッファメモリ、メモリコ
ントロール回路とも左右独立に2系統とするもの」「バ
ッファメモリは1系統(左右共通)で、読み出しアドレ
ス制御を左右点順次の時分割(倍速読み出し)で行な
い、左右独立(2系統)のラッチ回路によって左右分離
を行なうもの」の2例を挙げておくが、以下では前者の
2系統方式として説明する。また、トリミング処理部2
0bは、上記左右独立に設けられたバッファメモリ上に
取り込まれた各画像のそれぞれ不要部分のデータをクリ
ア(例えば全て0値とする)することによりトリミング
処理を行なう。さらに、電子的変倍処理部20cはこの
トリミング処理された画像データに対して、アドレス変
換およびデータ補間演算処理による公知のいわゆる電子
ズームによる電子的拡大処理を行なう。
At this time, since the FMD 10 only displays the received image signal as it is, the above-described processing functions are performed by the image shift processing unit 20a, the trimming processing unit 20b, and the electronic scaling processing provided in the interface box 20. This will be executed by the unit 20c. As the image shift processing unit 20a, for example, a buffer memory that holds an input image signal from the image signal output device 30, and address control when reading the image signal from the buffer memory is performed independently for the left-eye image and the right-eye image. It can be realized by a memory control circuit or the like that can be variably set. As a specific example thereof, “the buffer memory and the memory control circuit have two independent systems for the left and right” “the buffer memory is one system (common for the left and right), and the read address control is performed by time division (sequential reading at right and left points) ), And the left and right are separated by independent left and right (two systems) latch circuits ". The former two systems will be described below. Also, the trimming processing unit 2
In step 0b, the trimming process is performed by clearing (for example, setting all data to 0 values) the unnecessary portions of the respective images fetched on the buffer memories provided independently for the left and right. Further, the electronic scaling unit 20c performs an electronic enlargement process by a known so-called electronic zoom by an address conversion and a data interpolation operation process on the trimmed image data.

【0040】また、インターフェースボックス20に
は、前述と同様のステレオ/モノキュラ切換スイッチが
設けられると共に、入力画像信号に対するシフト処理に
おけるシフト量、トリミング処理におけるトリミング範
囲および、電子的拡大処理における拡大倍率の設定に必
要なSPMパラメータをマニュアル操作で入力するため
のパラメータ入力スイッチが設けられており、観察者自
身が当該パラメータ入力スイッチの操作によってマニュ
アルで設定操作を行い得ると同時に、一旦設定された値
をインターフェースボックス20内のEEPROMに記
録しておくことにより、再設定操作を簡略化することも
できる。
The interface box 20 is provided with a stereo / monocular switch similar to that described above. The interface box 20 also controls the shift amount in the shift process for the input image signal, the trimming range in the trimming process, and the enlargement magnification in the electronic enlargement process. A parameter input switch for manually inputting the SPM parameters required for the setting is provided, and the observer himself can perform the setting operation manually by operating the parameter input switch, and at the same time, sets the once set value. By recording the information in the EEPROM in the interface box 20, the resetting operation can be simplified.

【0041】(画像表示動作1)次に、FMDが図1の
ブロック図の機能を単独で有する再生装置として実現さ
れている場合を例示して、その画像表示動作について説
明する。
(Image Display Operation 1) Next, the image display operation will be described by exemplifying a case where the FMD is realized as a reproducing apparatus having the function of the block diagram of FIG. 1 alone.

【0042】<モノキュラモード>ステレオ/モノキュ
ラ切換スイッチ112aでモノキュラモードを選択した
場合は従来どおりであるから、LCD表示デバイス(D
L)115aに左眼画像として表示される表示画像(以
下、ILと称する)と、LCD表示デバイス(DR)1
15bに右眼画像として表示される表示画像(以下、I
Rと称する)は全く同一である。
<Monocular Mode> When the monocular mode is selected by the stereo / monocular changeover switch 112a, the operation is the same as the conventional one.
L) A display image (hereinafter, referred to as IL) displayed as a left-eye image on 115a and an LCD display device (DR) 1
A display image (hereinafter referred to as I) displayed as a right eye image
R) are identical.

【0043】この際、仮想画面上に表示される虚像の画
像サイズは大きくなるので、仮に通常の20インチCR
Tディスプレイ上で表示した場合には並行法によって立
体像の直接観察が可能であるようなステレオペア画像を
表示した場合でも、FMDでは、例えば前述のように眼
前1mに対角50インチ程度の仮想表示画面があるよう
に表示されるため、ステレオペア画像のL画像(PL)
とR画像(PR)の表示画像サイズが共に並行法による
立体像観察可能範囲を超えてしまい、左右両像の融合は
通常不可能となる。
At this time, since the image size of the virtual image displayed on the virtual screen becomes large, a normal 20-inch CR
Even when displaying a stereo pair image that allows direct observation of a stereoscopic image by the parallel method when displayed on the T display, the FMD, for example, has a virtual diagonal of about 50 inches diagonally 1 m in front of the eye as described above. Because the display screen is displayed as if it were, an L image (PL) of the stereo pair image
And the display image size of the R image (PR) exceed the stereoscopic image observable range by the parallel method, so that the fusion of the left and right images is normally impossible.

【0044】<ステレオモード> [シフト処理]ステレオ/モノキュラ切換スイッチ11
2aでステレオモードを選択した場合は、表示対象の入
力画像信号に対してシフト処理が施される。ここで、シ
フト処理の原理を図5を参照して説明する。
<Stereo mode> [Shift processing] Stereo / monocular switch 11
When the stereo mode is selected in 2a, a shift process is performed on the input image signal to be displayed. Here, the principle of the shift processing will be described with reference to FIG.

【0045】図1のシステムコントローラ111は表示
対象入力画像信号であるSPMの画像サイズを認識して
いるので、シフト量SをSPMの画像幅Wの1/4に設
定する。そして、SPMに対して左眼画像と右眼画像と
で互いに異なるシフト処理を施し、図5に示すように、
左眼表示画像ILについては右方向にW/4ピクセル分
だけシフトし、逆に右眼表示画像IRについては左方向
にW/4ピクセル分だけシフトする。
Since the system controller 111 in FIG. 1 recognizes the image size of the SPM which is the input image signal to be displayed, the shift amount S is set to 1 / of the image width W of the SPM. Then, different shift processes are performed on the SPM between the left eye image and the right eye image, and as shown in FIG.
The left-eye display image IL is shifted rightward by W / 4 pixels, and the right-eye display image IR is shifted leftward by W / 4 pixels.

【0046】図5は、LCD表示デバイス115a,1
15bそれぞれに対する入力画像信号全体をシフトした
場合の例であり、LCD表示デバイス115aによって
表示されるILの表示画枠の左端はW/4ピクセル分の
ブランク領域となり、SPMのLR画像は本来の表示位
置よりも右側にW/4ピクセル分だけ移動することにな
る。この時、L画像(PL)の表示位置は、非ステレオ
表示である通常表示(モノキュラーモード)におけるS
PMの画枠中心位置(PLとPRの境界位置)に設定さ
れる。同様にして、LCD表示デバイス115bによっ
て表示されるIRの表示画枠の右端はW/4ピクセル分
のブランク領域となり、SPMのLR画像は本来の表示
位置よりも左側にW/4ピクセル分だけ移動することに
なる。この時、R画像(PR)の表示位置は、非ステレ
オ表示である通常表示(モノキュラーモード)における
SPMの画枠中心位置(PLとPRの境界位置)に設定
される。
FIG. 5 shows an LCD display device 115a, 1
This is an example in which the entire input image signal for each of the 15b is shifted. The left end of the display frame of the IL displayed by the LCD display device 115a is a blank area of W / 4 pixels, and the LR image of the SPM is the original display. It will move to the right of the position by W / 4 pixels. At this time, the display position of the L image (PL) is S
This is set to the center position of the image frame of PM (the boundary position between PL and PR). Similarly, the right end of the IR display image frame displayed by the LCD display device 115b is a blank area of W / 4 pixels, and the LR image of the SPM moves to the left side of the original display position by W / 4 pixels. Will do. At this time, the display position of the R image (PR) is set to the center position of the SPM image frame (the boundary position between PL and PR) in the normal display (monocular mode) which is a non-stereo display.

【0047】このようなシフト処理により、ILの表示
画枠に対するL画像(PL)の相対位置とIRの表示画
枠に対するR画像(PR)の相対位置とが相等しく設定
される。ここで、ILとIRを左右両眼でそれぞれ観察
した場合に得られる仮想表示画面の様子を説明する。図
6はSPMを非ステレオ表示(モノキュラーモード)で
表示した場合の仮想表示画面を示し、また図7はSPM
をステレオ表示(ステレオモード)で表示した場合の仮
想表示画面を示している。
By such a shift process, the relative position of the L image (PL) with respect to the display frame of IL and the relative position of the R image (PR) with respect to the display frame of IR are set to be equal. Here, the state of the virtual display screen obtained when observing IL and IR with both the left and right eyes will be described. FIG. 6 shows a virtual display screen when the SPM is displayed in a non-stereo display (monocular mode), and FIG.
Shows a virtual display screen when is displayed in a stereo display (stereo mode).

【0048】図6から分かるように、仮想表示画面はI
Lの表示画枠とIRの表示画枠とを一致するように重ね
てそれを拡大した像に相当するものであるから、非ステ
レオ表示において観察されるのは、ILとIRの両表示
画像間のL画像(PL)同士およびR画像(PR)同士
を互いに合成した像となる。
As can be seen from FIG. 6, the virtual display screen is I
Since the display frame of L and the display frame of IR are overlapped so as to coincide with each other and correspond to an enlarged image, what is observed in the non-stereo display is between the IL and IR display images. L images (PL) and R images (PR) are combined with each other.

【0049】これに対し、ステレオモードを用いた場合
には、図7に示すように、ILの表示画枠内のL画像
(PL)とIRの表示画枠内のR画像(PR)との相対
的な位置関係が一致するため、左眼で観測されるL画像
(PL)と右眼で観測されるR画像(PR)とが一つの
立体画像として認識されやすくなり、両画像の融合度を
顕著に高めることが可能となる。
On the other hand, when the stereo mode is used, as shown in FIG. 7, the L image (PL) in the IL display frame and the R image (PR) in the IR display frame are displayed. Since the relative positional relationships match, the L image (PL) observed by the left eye and the R image (PR) observed by the right eye are easily recognized as one stereoscopic image, and the degree of fusion of the two images Can be significantly increased.

【0050】すなわち、本実施形態のシフト処理は、左
眼および右眼それぞれに対する左右像の相対的な位置関
係を合わせるという一種のセンタリング処理である。し
たがって、L画像(PL)をILの表示画枠の中心に設
定し、R画像(PR)をIRの表示画枠の中心に設定し
ても、同様の効果が得られる。実際、通常の非ステレオ
表示でSPMがIL,IRの表示画枠の中心に表示され
るような場合には、上述のシフト処理により、L画像
(PL)はILの表示画枠の中心に設定され、R画像
(PR)はIRの表示画枠の中心に設定されることにな
る。また、観察時の画像の融合という点では、ILの表
示画枠に対するL画像(PL)の相対位置とIRの表示
画枠に対するR画像(PR)の相対位置とが必ずしも完
全に一致している必要はなく、仮想画面上でL画像(P
L)とR画像(PR)とが重複して観察されるように、
L画像(PL)の中心位置とR画像(PR)の中心位置
を互いに近接させるようなシフト処理を施せば良い。
That is, the shift processing of the present embodiment is a kind of centering processing of matching the relative positional relationship between the left and right images for the left eye and the right eye. Therefore, the same effect can be obtained by setting the L image (PL) at the center of the IL display image frame and setting the R image (PR) at the center of the IR display image frame. Actually, when the SPM is displayed at the center of the display frame of IL and IR in the normal non-stereo display, the L image (PL) is set at the center of the display frame of IL by the above-described shift processing. Thus, the R image (PR) is set at the center of the display frame of the IR. Further, in terms of fusion of images at the time of observation, the relative position of the L image (PL) with respect to the IL display image frame and the relative position of the R image (PR) with respect to the IR display image frame do not always completely match. There is no need to use an L image (P
As L and R images (PR) are observed overlapping,
A shift process may be performed to bring the center position of the L image (PL) and the center position of the R image (PR) closer to each other.

【0051】なお、本実施形態ではSPMの画像巾に基
づいてシフト量Sを決定しているが、これは入力画像信
号中のSPMの画枠位置を認識せずとも、画像巾さえ認
識していれば十分なセンタリング効果を得られるように
するためである。
In this embodiment, the shift amount S is determined based on the image width of the SPM. However, the shift amount S is determined without recognizing the image frame position of the SPM in the input image signal. This is so that a sufficient centering effect can be obtained.

【0052】またシフト量Sの値は基本的には画像巾に
基づいて自動的に決定されるが、立体画像の視認性を向
上させるために微調整可能にしておくことが好ましい。
例えば、EEPROM118に微調整用データを予め記
録しておき、使用者によるスイッチ操作などに基づい
て、その微調整用データを用いてシフト量Sの値を増減
できるように構成しておくことにより、立体画像の視認
性をより高めることが可能となる。
Although the value of the shift amount S is basically automatically determined based on the image width, it is preferable that the shift amount S can be finely adjusted in order to improve the visibility of the stereoscopic image.
For example, by pre-recording the fine adjustment data in the EEPROM 118, and by using the fine adjustment data, the value of the shift amount S can be increased or decreased based on a switch operation or the like by the user. It is possible to further enhance the visibility of the stereoscopic image.

【0053】[トリミング処理]ステレオモードにおい
ては、さらにトリミング処理が行なわれる。上記図7に
示したように、ステレオペア画像を用いて画像を観察し
た場合には左眼で観測されるL画像(PL)と右眼で観
測されるR画像(PR)とが融合した一つの立体画像
(PL+PR)の両側に、本来不要な画像であるIRの
表示画枠内のL画像(PL)とILの表示画枠内のR画
像(PR)とがそれぞれ並んで観察されてしまう。この
不要画像は、従来のステレオ写真を直接観察法で鑑賞す
る場合に極めて大きな融合妨害要因となることが知られ
ており、また融合可能な場合においても画像観察時にお
いてより不自然感を与える画質劣化要因となるものであ
った。
[Trimming Process] In the stereo mode, a trimming process is further performed. As shown in FIG. 7, when an image is observed using a stereo pair image, an L image (PL) observed by the left eye and an R image (PR) observed by the right eye are fused. On both sides of the three stereoscopic images (PL + PR), the L image (PL) in the IR display frame and the R image (PR) in the IL display frame, which are originally unnecessary images, are observed side by side. . This unnecessary image is known to be a very large disturbing factor when viewing conventional stereo photographs by the direct observation method, and even when fusion is possible, image quality that gives a more unnatural feeling during image observation It was a factor of deterioration.

【0054】本実施例においては上記したシフト処理を
用いているから融合は比較的容易に行なえるが、それで
もなおこの不要画像はやはり融合に対する妨害効果を有
するものであり、そして融合状態における観察時の画質
劣化要因となる。従ってトリミング処理は上記不要画像
であるIRの表示画枠内のL画像(PL)とILの表示
画枠内のR画像(PR)を取り除き、ILの表示画枠内
にはL画像(PL)を、IRの表示画枠内にはR画像
(PR)のみが表示されるようにトリミングを行なう。
この際図8に示したように、必要な(融合対象の)画像
部分以外の全表示領域を、例えば黒(0値)で埋め尽く
すことも好適である。
In this embodiment, since the above-described shift processing is used, the fusion can be performed relatively easily. Nevertheless, this unnecessary image still has a disturbing effect on the fusion. Of image quality. Therefore, the trimming process removes the L image (PL) in the IR display image frame and the R image (PR) in the IL display image frame, which are the unnecessary images, and leaves the L image (PL) in the IL display image frame. Is trimmed so that only the R image (PR) is displayed in the IR display frame.
At this time, as shown in FIG. 8, it is preferable that the entire display area other than the necessary (combination target) image portion is filled with, for example, black (0 value).

【0055】またトリミング範囲は、基本的には、PL
画像については画像の左右中心から左側半分、すなわち
画像全体の中心点から左にW/4移動した点を中心に持
つ、横巾がW/2、高さ(縦巾)がH=2/3Wの領域
とし、PR画像については画像の左右中心から右側半
分、すなわち画像全体の中心点から右にW/4移動した
点を中心に持つ、横巾がW/2、高さ(縦巾)がH=2
/3Wの領域とすれば良い。ただしこの際SPM内のL
R画像間の隙間等を考慮して、トリミング範囲をこれよ
り若干狭く設定(例えば横方向のみあるいは横縦とも、
上記の90%程度とする。図8に点線で例示)しても良
い。また、融合状態の立体画像において画像の存在範囲
が左右の眼で異なってしまわないために、左右のトリミ
ングの中心点間の距離を若干増減することも好ましい。
The trimming range is basically set to PL
The image is centered on the left half from the left and right center of the image, that is, a point shifted W / 4 to the left from the center point of the entire image. The width is W / 2 and the height (vertical width) is H = 2 / 3W. The PR image has a width of W / 2 and a height (height) of about half the right half from the left and right centers of the image, that is, a point shifted W / 4 to the right from the center of the entire image. H = 2
/ 3W area. However, in this case, L in the SPM
The trimming range is set slightly narrower in consideration of the gap between the R images (for example, only in the horizontal direction or in the horizontal and vertical directions).
It is about 90% of the above. 8 may be illustrated by a dotted line). In addition, in order to prevent the existence range of the image in the fused three-dimensional image from being different between the left and right eyes, it is preferable to slightly increase or decrease the distance between the center points of the left and right trimmings.

【0056】なお、このSPMに対する表示時における
トリミング処理は、上記シフト処理と併せて用いること
が極めて好ましいものではあるが、シフト処理の併用を
絶対要件とするものでは無く単独でも効果を有するもの
である。すなわち、例えば用いるSPMが交差配置のも
のであった場合はシフト処理を行なわないでも融合は可
能であり、このとき上記したようなトリミング処理(た
だし交差配置であるから上記平行配置の場合に対してト
リミング範囲が左右入れ替わることは勿論である)を行
なうことによって不要画像が除去されるから、融合の妨
害要因が大いに軽減され立体画像の観察を極めて容易な
らしめると同時に観察画質を向上することができるもの
である。
Although the trimming process at the time of displaying the SPM is very preferably used together with the shift process, the use of the shift process is not an absolute requirement, and the trimming process is effective alone. is there. That is, for example, when the SPMs to be used are of the intersecting arrangement, the fusion can be performed without performing the shift processing. At this time, the trimming processing as described above (however, since the intersecting arrangement is adopted, Unnecessary images are removed by performing the trimming range (of course, the left and right are interchanged), so that the disturbing factor of the fusion is greatly reduced, and the observation of the stereoscopic image becomes extremely easy, and the observation image quality can be improved. Things.

【0057】[拡大処理]ステレオモードにおいては、
さらに電子的拡大処理が行なわれる。一般に立体画像は
提示画角が大きい方が視覚に対するいわゆる取り囲み効
果による臨場感の向上が期待出来る。一方でSPMは1
画面中に2枚の単眼画像を配するから、その画像サイズ
は記録画像全体の画素数の1/2相当しか無いという基
本的な制約を有し、またこれとは別に上記トリミングの
やり方によってはさらに画像サイズが減少している。以
上のような観点から、上記トリミング後の画像に拡大処
理を施すことが有効である。
[Enlargement processing] In the stereo mode,
Further, electronic enlargement processing is performed. In general, a stereoscopic image with a larger presentation angle of view can be expected to improve the sense of reality due to a so-called surrounding effect on vision. On the other hand, SPM is 1
Since two monocular images are arranged on the screen, there is a basic restriction that the image size is only 1 / of the number of pixels of the entire recorded image. Apart from this, depending on the above-described trimming method, Further, the image size has been reduced. From the above viewpoint, it is effective to perform the enlargement processing on the image after the trimming.

【0058】具体例を図9に示す。PL’,PR’は上
記SPMのPL,PR画像をそれぞれ電子的に1.4倍
の拡大処理をしたものであって、拡大後の相当画素数は
横504×縦672となっている。すなわち同フォーマ
ットで記録した平面(非ステレオ)画像横720×48
0の画素数(表示面積)とほぼ等しくなるようにしてあ
る。表示面積従って対角長がほぼ等しいから、同フォー
マットで記録された平面(非ステレオ)画像と立体画像
(SPM)とが混在した場合にも、画像サイズに関して
は事実上不変の(単に画像の横位置と縦位置が変わった
と認識される)状態を保つことができる。なお上記例に
おいて、画素数(表示面積)を最も等しくする倍率は
1.44倍(拡大後の相当画素数横518×縦691)
であるが、この点若干の誤差があっても効果が充分得ら
れることは自明であり本実施形態では切りの良い扱い易
い数値として上記1.4倍を用いているものである。
FIG. 9 shows a specific example. PL 'and PR' are obtained by electronically expanding the PL and PR images of the SPM by a factor of 1.4, and the corresponding number of pixels after the enlargement is 504 (horizontal) x 672 (vertical). That is, a horizontal (non-stereo) image horizontally recorded in the same format, 720 × 48
The number of pixels (display area) is almost equal to zero. Since the display area and thus the diagonal lengths are almost equal, even when a flat (non-stereo) image and a stereoscopic image (SPM) recorded in the same format are mixed, the image size is practically unchanged (simply the horizontal size of the image). (It is recognized that the position and the vertical position have changed). In the above example, the magnification for making the number of pixels (display area) the same is 1.44 times (equivalent number of pixels after enlargement: 518 × 691).
However, it is obvious that the effect can be sufficiently obtained even if there is a slight error in this point, and in the present embodiment, the above-mentioned 1.4 times is used as a numerical value that is easy to handle and easy to handle.

【0059】また、この時上記90%トリミングを行な
っている場合には、これによる画像サイズの減少を考慮
して倍率を1.44/0.9=1.6倍とすることも望
ましい。(以下倍率のトリミング補正と呼ぶ。) 上記標準的な拡大処理は、非ステレオ画像との面積(対
角長)不変を狙いとしたものであったが、これとは別
に、立体画像としての臨場感向上を主目的とすれば、画
像の水平画角を充分確保することが極めて効果的であ
る。しかしながらこの時、本来の画像サイズと無関係に
任意の拡大を施すことは、視覚に対する無制限な解像度
劣化を生じることになり却って画質を損ねてしまうこと
になる。この意味からは、拡大倍率は横位置の非ステレ
オ画像に対して水平長を等しくするように設定されるべ
きである。すなわち拡大倍率2倍(ステレオペア画像全
体の水平長とこれに含まれるLRの各画像の水平長の
比)の電子的拡大を行ない、拡大後の相当画素数を横7
20×縦960とする。このとき本例では画像高(縦
巾)が表示画面高にちょうど一致しており特に好ましい
が、SPMおよび表示画面の横縦比によっては表示画面
高をはみ出してしまうことも生じ得る。このような場合
の処理策は以下の2通り(及び妥協的な解決策としてこ
の2通りの間の処理)に分けられる。
If the 90% trimming is performed at this time, it is also desirable to set the magnification to 1.44 / 0.9 = 1.6 times in consideration of the reduction in image size due to this. (Hereinafter referred to as magnification trimming correction.) The above-described standard enlargement processing aims at invariant area (diagonal length) with a non-stereo image. If the main purpose is to improve the feeling, it is extremely effective to sufficiently secure the horizontal angle of view of the image. However, at this time, performing arbitrary enlargement irrespective of the original image size results in unlimited resolution degradation for visual perception, and rather impairs image quality. In this sense, the magnification should be set so that the horizontal length is equal to the non-stereo image at the horizontal position. That is, electronic magnification of twice the magnification (ratio of the horizontal length of the entire stereo pair image to the horizontal length of each of the LR images included in the stereo pair image) is performed, and the corresponding number of pixels after the enlargement is set to 7 times.
20 × length 960. At this time, in this example, the image height (vertical width) exactly matches the display screen height, which is particularly preferable. However, depending on the SPM and the aspect ratio of the display screen, the display screen height may be protruded. The processing measures in such a case can be divided into the following two methods (and processing between these two methods as a compromise solution).

【0060】第1の処理ははみ出しても構わないとする
もので、画像の上下は一部カットされてしまうが、立体
画像としての臨場感確保を優先してこれを許容する。従
って倍率は常に2倍である。第2の処理は2倍の倍率で
は上下がはみ出すような場合は、これがはみ出さない倍
率に制限するものである。例えば表示画面がワイドアス
ペクトタイプで画面高が22.5インチ(対応画素数7
20)しか無かったとすれば倍率は720/480=
1.5倍とすれば良い。
In the first process, it is assumed that the image may protrude, and the upper and lower portions of the image are partially cut, but priority is given to securing the sense of reality as a stereoscopic image, and this is allowed. Therefore, the magnification is always twice. In the second process, when the upper and lower portions are protruded at a magnification of 2 times, the magnification is limited to a value that does not protrude. For example, the display screen is a wide aspect type and the screen height is 22.5 inches (corresponding to 7 pixels).
20) If there was only one, the magnification would be 720/480 =
It may be 1.5 times.

【0061】またこのような臨場感を優先させた拡大処
理においても、上記標準的な拡大処理と同様、倍率のト
リミング補正を用いることができる。(例示90%トリ
ミングに対して、上記第1の処理では倍率2/0.9=
2.22、上記第2の処理では倍率1.5/0.9=
1.67) 念のため付記すれば、このような臨場感向上を優先させ
た拡大処理を行なった場合は、トリミング補正を考慮し
ても、倍率は通常2倍程度以下に限られるから、視覚に
対する無制限な解像度劣化を生じて却って画質を損なう
ことは無いものである。
Also in the enlargement processing giving priority to the sense of reality, magnification trimming correction can be used as in the standard enlargement processing. (In contrast to the 90% trimming illustrated, in the first processing, the magnification is 2 / 0.9 =
2.22, 1.5 / 0.9 = magnification in the second process
1.67) As a precautionary note, if such enlargement processing is performed with an emphasis on realism, even if the trimming correction is taken into account, the magnification is usually limited to about 2 times or less. The image quality is not impaired by causing unlimited resolution degradation for.

【0062】さらに、上記標準的な拡大倍率と、臨場感
向上を主目的とした拡大倍率の両者の間に存在する任意
の値を採用することは、「上記サイズ不変」と「臨場感
向上」とを妥協的に解決することになるから、このよう
な倍率を採用することも極めて好適な実施例の一つと言
える。またこれとは別に上記「標準的な拡大倍率(上記
では1.4倍)」と「これとは異なる別の倍率(上記で
は2倍)」とを切換え可能とすることも好適であって、
一例を示せば、動作開始時のデフォルト設定モードにお
いてはステレオモードにおける拡大倍率は上記標準
(1.4倍)であるが装置の適所に設けたズームスイッ
チを操作することによってステレオモードにおける拡大
倍率が2倍に変わり、ズームスイッチの再度の操作でま
た標準倍率に復帰(以下いわゆるインクリメント動作)
するような構成を挙げることができる。
Further, adopting an arbitrary value existing between the above-mentioned standard magnification and the magnification for the main purpose of improving the sense of realism can be achieved by "the size invariable" and "improvement of the sense of reality". Thus, it can be said that adopting such a magnification is one of the most preferable embodiments. In addition, it is also preferable to be able to switch between the above-mentioned “standard magnification (1.4 times in the above)” and “another different magnification (2 times in the above)”.
As an example, in the default setting mode at the start of the operation, the magnification in the stereo mode is the standard (1.4 times) described above, but the magnification in the stereo mode can be increased by operating the zoom switch provided at an appropriate position in the apparatus. It changes to 2x and returns to the standard magnification again by operating the zoom switch again (hereinafter called the increment operation)
Such a configuration can be given.

【0063】なお、このSPMに対する表示時における
電子的拡大処理は、上記シフト処理およびトリミング処
理と併せて用いることが極めて好ましいものではある
が、これらの処理の併用を絶対要件とするものでは無く
単独でも効果を有するものである。すなわち、例えば用
いるSPMが交差配置のものであった場合はこれらの処
理を行なわないでも融合は可能であり、このとき上記し
たような電子的拡大処理を行なうことによって画質を損
なうことなく臨場感を増すことができ、あるいはこれに
加えて特に非ステレオ画像とステレオ画像が混在した状
態での画像表示面積(対角長)や画像の水平長を等しく
保つことができるものである。また、トリミング処理の
みを省略し、上記シフト処理と拡大処理の組み合わせを
利用するようにしてもよい。
It is extremely preferable to use the electronic enlargement processing at the time of displaying the SPM in conjunction with the shift processing and the trimming processing. However, it is not absolutely necessary to use these processings together. But it has an effect. That is, for example, when the SPMs to be used are of a crossed arrangement, the fusion can be performed without performing these processings. At this time, by performing the above-described electronic enlargement processing, a sense of realism can be obtained without impairing the image quality. In addition to this, the image display area (diagonal length) and the horizontal length of the image can be kept equal particularly in a state where the non-stereo image and the stereo image are mixed. Alternatively, only the trimming process may be omitted, and a combination of the shift process and the enlargement process may be used.

【0064】<シフト処理 その2>次に、図10を参
照して、ステレオモード時に実行されるシフト処理の第
2の例について説明する。
<Shift Process # 2> Next, a second example of the shift process executed in the stereo mode will be described with reference to FIG.

【0065】本例は、左眼画像側あるいは右眼画像の一
方を止めておき、他方のみをシフトさせることによっ
て、左眼および右眼それぞれに対する左右像の相対的な
位置関係を合わせるというものである。この場合、シフ
ト量SをSPMの画像幅Wの1/2に設定する。そし
て、SPMの入力画像信号に対して例えば左眼画像につ
いてのみシフト処理を施し、図10に示すように、左眼
表示画像ILについては右方向にW/2ピクセル分だけ
シフトし、右眼画像IRについてはシフト量Sをゼロに
して、原画像信号のまま保持する。
In this example, the relative position of the left and right images with respect to the left and right eyes is adjusted by stopping one of the left eye image and the right eye image and shifting only the other. is there. In this case, the shift amount S is set to の of the image width W of the SPM. Then, for example, a shift process is performed only on the left-eye image with respect to the input image signal of the SPM, and the left-eye display image IL is shifted rightward by W / 2 pixels as shown in FIG. For the IR, the shift amount S is set to zero and the original image signal is held.

【0066】これにより、LCD表示デバイス115a
によって表示されるILの表示画枠の左端はW/2ピク
セル分のブランク領域となり、SPMのLR画像は本来
の表示位置よりも右側にW/2ピクセル分だけ移動する
ことになる。この時、L画像(PL)の表示位置は、非
ステレオ表示である通常表示(モノキュラーモード)に
おけるSPMのR画像(PR)の表示位置に設定され
る。よって、画像画面上ではILのL画像(PL)とI
RのR画像(PR)とが重なり合い、両画像の融合が可
能となる。
Thus, the LCD display device 115a
Is a blank area of W / 2 pixels, and the LR image of the SPM moves to the right side of the original display position by W / 2 pixels. At this time, the display position of the L image (PL) is set to the display position of the R image (PR) of the SPM in the normal display (monocular mode) which is a non-stereo display. Therefore, on the image screen, the L image (PL) of IL and I
The R image and the R image (PR) overlap each other, and the two images can be fused.

【0067】(画像表示動作2)次に、インターフェー
スボックス20によってシフト処理を行う場合を例示し
て、FMDによる画像表示動作を説明する。
(Image Display Operation 2) Next, an image display operation by the FMD will be described by exemplifying a case where the shift processing is performed by the interface box 20.

【0068】<モノキュラモード>インターフェースボ
ックス20のステレオ/モノキュラ切換スイッチでモノ
キュラモードを選択した場合は、前述の画像表示動作1
と全く同じである。
<Monocular Mode> When the monocular mode is selected by the stereo / monocular switch of the interface box 20, the above-described image display operation 1 is performed.
Is exactly the same as

【0069】<ステレオモード>インターフェースボッ
クス20のステレオ/モノキュラ切換スイッチでステレ
オモードを選択した場合は、使用者は、パラメータ入力
スイッチより、この場合のSPMパラメータ「画像表示
位置情報(画像中心位置アドレス)」と「画像サイズ
(縦横の各画素数)」を入力する。これらが指定されれ
ば、インターフェースボックス20への入力信号に関す
るSPM画像の存在領域が完全に特定されたことになる
から、画像シフト処理部20a、トリミング処理部20
b、電子的変倍処理部20cはそれぞれこれに基づい
て、上記画像表示動作1と全く同じ処理を行なうもので
ある。
<Stereo mode> When the stereo mode is selected by the stereo / monocular switch of the interface box 20, the user operates the parameter input switch to set the SPM parameter "image display position information (image center position address)" in this case. "And" image size (the number of pixels in each of the vertical and horizontal directions) ". When these are specified, the existence area of the SPM image related to the input signal to the interface box 20 is completely specified. Therefore, the image shift processing unit 20a and the trimming processing unit 20
b, The electronic scaling unit 20c performs exactly the same processing as in the image display operation 1 based on this.

【0070】なお、複数の画像を同時に表示する場合に
は、これに対応した複数組のSPMパラメータを入力可
能に構成すれば良い。この際、例えば複数の画像の存在
領域が重複するなど、本来有り得ない(矛盾する)パラ
メータの指定に対しては、例えば入力を禁止する(受付
けない)とか、重複した画像の一方を優先的に取扱って
解釈した処理を行なうなど、適当な不具合回避策を講じ
ることがより望ましいことを指摘しておく。
When a plurality of images are to be displayed at the same time, a plurality of sets of SPM parameters corresponding to the images may be input. At this time, for the specification of parameters that are originally impossible (contradictory), for example, such that the existing areas of a plurality of images overlap, for example, input is prohibited (not accepted), or one of the duplicated images is given priority. It should be pointed out that it is more desirable to take appropriate trouble avoidance measures such as handling and interpreting the processing.

【0071】なお、インターフェースボックス20内の
シフト処理においても、左眼画像側あるいは右眼画像の
一方を止めておき、他方のみをシフトさせるという図1
0の処理を利用可能である。
In the shift processing in the interface box 20, one of the left-eye image and the right-eye image is stopped, and only the other is shifted.
0 processing is available.

【0072】(動作モードの自動切り換え)次に、図1
1のフローチャートを参照して、ステレオモード/モノ
キュラモードを自動的に切り換える場合の動作について
説明する。
(Automatic Switching of Operation Mode) Next, FIG.
The operation when automatically switching between the stereo mode and the monocular mode will be described with reference to the flowchart of FIG.

【0073】これは、FMDが図1のブロック図の機能
を単独で有する再生装置として実現されている場合に適
用される制御であり、ステレオ/モノキュラ切換スイッ
チによるモード切り換えではなく、表示対象の画像がス
テレオペア画像であるか否かを検出し、それによってス
テレオモード/モノキュラモードの切り換えを行う。こ
の場合、表示対象の画像がステレオペア画像であるか否
かの検出は、画像ファイルのヘッダ領域に「ステレオペ
ア画像」であるという情報を予め記録しておき、これを
認識するという方法を利用することができる。
This is a control applied when the FMD is realized as a reproducing apparatus having the function of the block diagram of FIG. 1 alone, and is not a mode switching by a stereo / monocular switch but an image to be displayed. Is a stereo pair image, thereby switching between the stereo mode / monocular mode. In this case, detection of whether or not the image to be displayed is a stereo pair image uses a method of pre-recording information of “stereo pair image” in the header area of the image file and recognizing the information. can do.

【0074】まず、システムコントローラ111はメモ
リカード117から表示対象の画像ファイルを読み込
み、そのヘッダ領域の解析を行う(ステップS101,
S102)。そして、ヘッダ領域に「ステレオペア画
像」である旨の情報が含まれているか否かによって、ス
テレオペア画像であるかどうかの判定を行う(ステップ
S103)。ステレオペア画像、つまりSPMであるこ
とが検出された場合には、システムコントローラ111
は、動作モードをステレオモードとし、ステレオペア画
像シフト処理部201、トリミング処理部202、電子
的変倍処理部203に前述のシフト処理、トリミング処
理、電子的拡大処理のステレオ対応処理を自動実行させ
る(ステップS104〜S106)。そしてシフト処理
後の画像信号がLCD表示系115により表示される
(ステップS107)。
First, the system controller 111 reads an image file to be displayed from the memory card 117 and analyzes the header area (step S101,
S102). Then, it is determined whether or not the image is a stereo pair image based on whether or not information indicating that the image is a “stereo pair image” is included in the header area (step S103). If a stereo pair image, that is, an SPM is detected, the system controller 111
Sets the operation mode to the stereo mode, and causes the stereo pair image shift processing unit 201, the trimming processing unit 202, and the electronic scaling unit 203 to automatically execute the stereo correspondence processing of the shift processing, the trimming processing, and the electronic enlargement processing described above. (Steps S104 to S106). Then, the image signal after the shift processing is displayed by the LCD display system 115 (step S107).

【0075】一方、ステレオペア画像以外の画像であれ
ば、システムコントローラ111は、不要なステレオ対
応処理が実行されることによる表示画像の位置ずれ、不
適切なトリミングや変倍などの問題が生じないように、
上記各処理部201〜203によるステレオ対応処理の
実行を禁止し、ステレオ対応処理を行わない状態でLC
D表示系115により表示する(ステップS107)。
On the other hand, in the case of an image other than a stereo pair image, the system controller 111 does not cause a problem such as displacement of the display image, inappropriate trimming or scaling due to execution of unnecessary stereo correspondence processing. like,
The execution of the stereo correspondence processing by each of the processing units 201 to 203 is prohibited, and the LC processing is performed in a state where the stereo correspondence processing is not performed.
It is displayed by the D display system 115 (step S107).

【0076】これにより、SPM/モノキュラーの両画
像が混在している場合であっても、入力される表示対象
画像の種類に応じて適切な処理を行うことが可能とな
り、モノキュラーの画像に対して不要なステレオ対応処
理が誤って施されることによる表示画質低下などの問題
を事前に防ぐことが可能となる。
As a result, even when both SPM / monocular images are mixed, it is possible to perform appropriate processing in accordance with the type of the input display target image. It is possible to prevent in advance problems such as a decrease in display image quality caused by erroneously performing unnecessary stereo correspondence processing.

【0077】以上説明したように、本実施形態において
は、FMD本体内、あるいはFMD本体内に外部からの
入力画像信号を導くインターフェースボックス内に、シ
フト処理機能、トリミング処理機能、電子的拡大処理機
能を設けて、入力された画像信号に対して左眼画像と右
眼画像とで互いに異なるステレオ対応処理を施す構成を
採用することにより、SPMを用いて臨場感の高い立体
画像の高画質観察を行うことが可能となる。
As described above, in the present embodiment, the shift processing function, the trimming processing function, and the electronic enlargement processing function are provided in the FMD main body or in the interface box for guiding an external input image signal into the FMD main body. , And adopting a configuration in which different stereo correspondence processing is performed on the input image signal between the left eye image and the right eye image, thereby realizing high-quality observation of a highly realistic stereoscopic image using the SPM. It is possible to do.

【0078】なお、この他にも様々な実施例が考えられ
る。以上の実施形態では、シフト量Sの基本値としてW
/4(またはW/2)を用いたが、SPM内のLR画像
間の隙間を考慮してシフト量Sを基本値よりも若干大き
く設定したり、あるいは逆に臨場感の補正を考慮して若
干小さくするなどしても良い。つまり、入力画像信号に
対するシフト処理はL画像とR画像の融合度を高め、従
来融合が不可能あるいは極めて困難であった画像を容易
に融合可能ならしめることを最小限の目的とするもので
あるので、仮想画面上でL画像とR画像が融合可能な範
囲内に位置されるように設定すればそれで必要最小限の
基本的な効果が得られる。言い換えれば、より高次の目
的としては臨場感の高い高画質の立体画像を容易に観察
することにあるから、そのための最適配置を得るため
に、シフト量Sを上記基本的な例示値に対して調整的な
範囲で適量だけ変更することは、望ましい1つの変形実
施形態として本発明に当然に含まれるものである。ま
た、L画像が右側に、R画像が左側に配置されてなる左
右逆配置のSPMを用いることも可能である。ただし、
この場合には、入力画像信号に対して左眼画像は左シフ
ト、右眼画像は右シフトを施すことになる。
Various other embodiments are conceivable. In the above embodiment, the basic value of the shift amount S is W
Although / 4 (or W / 2) is used, the shift amount S is set slightly larger than the basic value in consideration of the gap between the LR images in the SPM, or conversely, in consideration of the correction of the presence. It may be slightly smaller. In other words, the shift processing on the input image signal has a minimum purpose of increasing the degree of fusion between the L image and the R image, and making it possible to easily fuse an image that was previously impossible or extremely difficult to fuse. Therefore, if the L image and the R image are set so as to be located within a range in which the L image and the R image can be merged on the virtual screen, a minimum necessary basic effect can be obtained. In other words, since a higher-order purpose is to easily observe a high-quality stereoscopic image with a high sense of reality, in order to obtain an optimal arrangement therefor, the shift amount S is set with respect to the above basic example value. Changing by an appropriate amount within an adjustable range is naturally included in the present invention as a desirable modified embodiment. It is also possible to use a left-right reversed SPM in which the L image is arranged on the right side and the R image is arranged on the left side. However,
In this case, the input image signal is subjected to a left shift for the left eye image and a right shift for the right eye image.

【0079】さらに、L画像とR画像が上下に配置され
てなるSPMを用いることもできる。この場合のシフト
処理の様子を図12に示す。すなわち、左眼表示画像I
Lについては下方向にH/4ピクセル分だけシフトし、
逆に右眼表示画像IRについては上方向にH/4ピクセ
ル分だけシフトする。もちろん、どちらか一方の表示画
像のみをH/2ピクセル分だけ上または下方向にシフト
してもよい。このような場合、トリミング処理および電
子的拡大処理についても、同様に、対象となるL、Rの
各画像に対して適用されることは当然である。ただし上
記インターフェースボックス20による実施形態につい
ても同様の対応を行なうためには、指定パラメータとし
て画像の配置(左右配置か上下配置か、LRの割当ては
どうかなど)情報も追加する必要がある。
Further, an SPM in which an L image and an R image are arranged vertically can be used. FIG. 12 shows the state of the shift processing in this case. That is, the left eye display image I
L is shifted downward by H / 4 pixels,
Conversely, the right-eye display image IR is shifted upward by H / 4 pixels. Of course, only one of the display images may be shifted upward or downward by H / 2 pixels. In such a case, it is natural that the trimming process and the electronic enlarging process are similarly applied to the target L and R images. However, in order to perform the same correspondence in the embodiment using the interface box 20, it is also necessary to add information on the arrangement of images (horizontal arrangement or vertical arrangement, LR assignment, etc.) as a designated parameter.

【0080】また、SPMの横縦比は任意であり、様々
なアスペクト非の画像信号を扱うことが可能である。
The aspect ratio of the SPM is arbitrary, and it is possible to handle image signals having various aspects.

【0081】また、上記実施例においてはSPMは静止
画の場合を例示したが、これに限られることなく、例え
ばMPEGなど動画であっても全く同様に適用可能であ
る。動画SPMの場合、動画のままプリントすることは
不可能であり従って従来のプリントビュアーを用いるこ
とができないという意味からも、極めて有効であること
を付言する。
Further, in the above-described embodiment, the case where the SPM is a still image has been exemplified. However, the present invention is not limited to this, and the present invention can be applied to a moving image such as MPEG. In the case of a moving image SPM, it is impossible to print the moving image as it is, so that it is extremely effective from the viewpoint that a conventional print viewer cannot be used.

【0082】[0082]

【発明の効果】以上説明したように、本発明によれば、
電子画像のステレオペアを用いて、臨場感の高い高画質
観察を容易に行なうことが可能になる。特にトリミング
処理によって不要画像が除去されるから、融合の妨害要
因が大いに軽減され立体画像の観察を極めて容易ならし
めると同時に観察画質を向上することができる。また電
子的拡大処理によって画質を損なうことなく臨場感を増
すことができ、あるいはこれに加えて特に非ステレオ画
像とステレオ画像が混在した状態での画像表示面積(対
角長)や画像の水平長を等しく保つことができる。
As described above, according to the present invention,
Using a stereo pair of electronic images, it is possible to easily perform high-quality observation with a high sense of reality. In particular, since unnecessary images are removed by the trimming process, the disturbing factor of the fusion is greatly reduced, so that the observation of the stereoscopic image can be made extremely easy and the observation image quality can be improved. The electronic enlargement process can enhance the sense of realism without deteriorating the image quality. In addition to this, the image display area (diagonal length) and the horizontal length of the image, especially when non-stereo images and stereo images are mixed, can be added. Can be kept equal.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施形態に係わる画像表示装置の構
成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of an image display device according to an embodiment of the present invention.

【図2】同実施形態の画像表示装置で用いられるステレ
オペア画像SPMの構造を示す図。
FIG. 2 is an exemplary view showing the structure of a stereo pair image SPM used in the image display device of the embodiment.

【図3】同実施形態で用いられるFMDの表示部の構成
を示す図。
FIG. 3 is an exemplary view showing a configuration of a display unit of the FMD used in the embodiment.

【図4】同実施形態で用いられるFMDとインターフェ
ースボックスとの関係を示す図。
FIG. 4 is an exemplary view showing a relationship between an FMD and an interface box used in the embodiment.

【図5】同実施形態で実行されるシフト処理の第1の例
を示す図。
FIG. 5 is an exemplary view showing a first example of shift processing executed in the embodiment.

【図6】同実施形態の非ステレオモード時における仮想
表示画面の表示例を示す図。
FIG. 6 is an exemplary view showing a display example of a virtual display screen in a non-stereo mode according to the embodiment.

【図7】同実施形態のステレオモード時(画像シフト処
理)における仮想表示画面の表示例を示す図。
FIG. 7 is an exemplary view showing a display example of a virtual display screen in a stereo mode (image shift processing) of the embodiment.

【図8】同実施形態のステレオモード時(画像シフト、
トリミング処理)における仮想表示画面の表示例を示す
図。
FIG. 8 shows a stereo mode (image shift,
FIG. 9 is a diagram showing a display example of a virtual display screen in (trimming processing).

【図9】同実施形態のステレオモード時(画像シフト、
トリミング、画像拡大)における仮想表示画面の表示例
を示す図。
FIG. 9 shows a stereo mode (image shift,
FIG. 8 is a diagram showing a display example of a virtual display screen in (trimming, image enlargement).

【図10】同実施形態で実行されるシフト処理の第2の
例を示す図。
FIG. 10 is an exemplary view showing a second example of the shift processing executed in the embodiment.

【図11】同実施形態における動作モードの自動切り換
え動作を説明するためのフローチャート。
FIG. 11 is an exemplary flowchart for explaining an operation mode automatic switching operation in the embodiment.

【図12】同実施形態で実行されるシフト処理の第3の
例を示す図。
FIG. 12 is an exemplary view showing a third example of the shift processing executed in the embodiment.

【符号の説明】[Explanation of symbols]

111…システムコントローラ 112…操作スイッチ系 112a…ステレオ/モノキュラ切り換えスイッチ 117…メモリカード 115…LCD表示系 115a…左眼画像表示用のLCD表示デバイス(D
L) 115b…右眼画像表示用のLCD表示デバイス(D
R) 201…ステレオペア画像シフト処理部 202…トリミング処理部 203…電子的変倍処理部
111: System controller 112: Operation switch system 112a: Stereo / monocular switch 117: Memory card 115: LCD display system 115a: LCD display device for left-eye image display (D
L) 115b: LCD display device for displaying right-eye images (D
R) 201: stereo pair image shift processing unit 202: trimming processing unit 203: electronic scaling processing unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 3/36 G09G 3/36 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09G 3/36 G09G 3/36

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 左右両眼に対する各表示画像である左眼
画像および右眼画像の各画像を左右両眼に対して個別に
表示可能な表示手段と、 前記表示手段に表示させるべき画像信号を入力する入力
手段と、 LR画像を含むステレオペア画像信号を前記入力手段に
より入力して前記表示手段により左右両眼に対して個別
に表示する場合、前記左眼画像として前記L画像のみ
が、前記右眼画像として前記R画像のみがそれぞれ表示
されるように、前記入力されたステレオペア画像信号に
対してトリミング処理を施すトリミング手段とを具備す
ることを特徴とする画像表示装置。
1. A display means capable of individually displaying a left-eye image and a right-eye image, which are display images for the left and right eyes, for both the left and right eyes, and an image signal to be displayed on the display means. When input means for inputting, and when a stereo pair image signal including an LR image is input by the input means and individually displayed on both the left and right eyes by the display means, only the L image as the left eye image is the L image. An image display apparatus comprising: a trimming unit that performs trimming processing on the input stereo pair image signal so that only the R image is displayed as a right-eye image.
【請求項2】 前記トリミング処理は、入力されたステ
レオペア画像の画像巾に基づいて行われるものであるこ
とを特徴とする請求項1記載の画像表示装置。
2. The image display device according to claim 1, wherein the trimming process is performed based on an image width of an input stereo pair image.
【請求項3】 左右両眼に対する各表示画像である左眼
画像および右眼画像の各画像を左右両眼に対して個別に
表示可能な表示手段と、 前記表示手段に表示させるべき画像信号を入力する入力
手段と、 LR画像を含むステレオペア画像信号を前記入力手段に
より入力して前記表示手段により左右両眼に対して個別
に表示する場合、各表示画像が拡大表示されるように、
前記入力されたステレオペア画像信号に対して電子的拡
大処理を施す電子的変倍手段とを具備することを特徴と
する画像表示装置。
3. A display means capable of individually displaying left and right eye images, which are display images for the left and right eyes, respectively, for the left and right eyes, and an image signal to be displayed on the display means. When input means for inputting, and when a stereo pair image signal including an LR image is input by the input means and individually displayed on both the left and right eyes by the display means, each display image is enlarged and displayed.
An image display device comprising: electronic scaling means for performing electronic enlargement processing on the input stereo pair image signal.
【請求項4】 前記電子的拡大処理における拡大倍率
は、前記ステレオペア画像全体の対角長とこれに含まれ
るLRの各画像の対角長の比にほぼ等しい値以上で、か
つ前記ステレオペア画像全体の水平長とこれに含まれる
LRの各画像の水平長の比にほぼ等しい値以下に設定さ
れたものであることを特徴とする請求項3記載の画像表
示装置。
4. An enlargement magnification in the electronic enlargement processing is equal to or more than a value substantially equal to a ratio of a diagonal length of the entire stereo pair image to a diagonal length of each image of LR included therein, and the stereo pair 4. The image display device according to claim 3, wherein the value is set to be equal to or less than a value substantially equal to a ratio of a horizontal length of the entire image to a horizontal length of each image of LR included therein.
【請求項5】 前記電子的拡大処理における拡大倍率
は、前記ステレオペア画像全体の対角長とこれに含まれ
るLRの各画像の対角長の比にほぼ等しい値に設定され
たものであることを特徴とする請求項3記載の画像表示
装置。
5. An enlargement magnification in the electronic enlargement processing is set to a value substantially equal to a ratio of a diagonal length of the entire stereo pair image to a diagonal length of each LR image included therein. The image display device according to claim 3, wherein:
【請求項6】 前記電子的拡大処理における前記拡大倍
率の設定を切換えるための入力手段を有したことを特徴
とする請求項3記載の画像表示装置。
6. The image display device according to claim 3, further comprising an input unit for switching a setting of the enlargement magnification in the electronic enlargement processing.
【請求項7】 前記入力手段によって入力された画像信
号に対して左眼画像と右眼画像とで互いに異なる画像シ
フト処理を施すシフト手段をさらに具備し、 前記左眼画像の表示画枠に対するL画像の相対位置と前
記右眼画像の表示画枠に対するR画像の相対位置とが前
記左眼および右眼の両表示画像間で相揃うように、前記
入力されたステレオペア画像信号に対して画像シフト処
理を施すことを特徴とする請求項1記載の画像表示装
置。
7. The image processing apparatus according to claim 1, further comprising a shift unit configured to perform a different image shift process between the left-eye image and the right-eye image on the image signal input by the input unit. An image for the input stereo pair image signal is displayed so that the relative position of the image and the relative position of the R image with respect to the display frame of the right eye image are aligned between the left and right display images. The image display device according to claim 1, wherein a shift process is performed.
【請求項8】 前記入力手段によって入力された画像信
号に対して左眼画像と右眼画像とで互いに異なる画像シ
フト処理を施すシフト手段をさらに具備し、 前記左眼画像の表示画枠に対するL画像の相対位置と前
記右眼画像の表示画枠に対するR画像の相対位置とが前
記左眼および右眼の両表示画像間で相揃うように、前記
入力されたステレオペア画像信号に対して画像シフト処
理を施すことを特徴とする請求項3記載の画像表示装
置。
8. The image processing apparatus according to claim 1, further comprising a shift unit configured to perform a different image shift process between the left eye image and the right eye image on the image signal input by the input unit. An image for the input stereo pair image signal is displayed so that the relative position of the image and the relative position of the R image with respect to the display frame of the right eye image are aligned between the left and right display images. The image display device according to claim 3, wherein a shift process is performed.
【請求項9】 前記入力手段により入力された画像信号
が前記ステレオペア画像信号であるか否かを検出するス
テレオペア画像検出手段をさらに具備し、 前記ステレオペア画像信号である旨の検出結果を受けた
場合、これに応答して前記トリミング処理が自動実行さ
れるように構成されていることを特徴とする請求項1ま
たは7記載の画像表示装置。
9. A stereo pair image detecting means for detecting whether or not the image signal input by the input means is the stereo pair image signal, wherein a detection result indicating that the image signal is the stereo pair image signal is provided. The image display device according to claim 1, wherein, when received, the trimming process is automatically executed in response thereto.
【請求項10】 前記入力手段により入力された画像信
号が前記ステレオペア画像信号であるか否かを検出する
ステレオペア画像検出手段をさらに具備し、 前記ステレオペア画像信号である旨の検出結果を受けた
場合、これに応答して前記電子的拡大処理が自動実行さ
れるように構成されていることを特徴とする請求項3乃
至6、8のいずれか1項記載の画像表示装置。
10. A stereo pair image detecting means for detecting whether or not the image signal input by the input means is the stereo pair image signal, wherein a detection result indicating the stereo pair image signal is provided. 9. The image display device according to claim 3, wherein the electronic enlargement process is automatically executed in response to the reception.
【請求項11】 前記入力手段により入力された画像信
号が前記ステレオペア画像信号であるか否かを検出する
ステレオペア画像検出手段をさらに具備し、 前記ステレオペア画像信号である旨の検出結果を受けた
場合、これに応答して前記シフト手段による前記画像シ
フト処理が自動実行されるように構成されていることを
特徴とする請求項7または8記載の画像表示装置。
11. A stereo pair image detecting means for detecting whether or not the image signal input by the input means is the stereo pair image signal, wherein a stereo pair image signal is detected. 9. The image display apparatus according to claim 7, wherein the image shift processing by the shift means is automatically executed in response to the reception.
【請求項12】 前記入力手段により入力された画像信
号が前記ステレオペア画像信号であるか否かを検出する
ステレオペア画像検出手段をさらに具備し、 非ステレオペア画像信号である旨の検出結果を受けた場
合、これに応答してステレオ対応処理の実行が禁止され
るように構成されていることを特徴とする請求項9乃至
11のいずれか1項記載の画像表示装置。
12. A stereo pair image detecting means for detecting whether or not the image signal input by the input means is the stereo pair image signal, wherein a detection result indicating that the image signal is a non-stereo pair image signal is provided. 12. The image display device according to claim 9, wherein execution of the stereo correspondence processing is prohibited in response to the reception.
JP2000189891A 2000-06-23 2000-06-23 Image display device Expired - Fee Related JP4516188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000189891A JP4516188B2 (en) 2000-06-23 2000-06-23 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000189891A JP4516188B2 (en) 2000-06-23 2000-06-23 Image display device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010052982A Division JP2010187385A (en) 2010-03-10 2010-03-10 Image display device

Publications (2)

Publication Number Publication Date
JP2002010299A true JP2002010299A (en) 2002-01-11
JP4516188B2 JP4516188B2 (en) 2010-08-04

Family

ID=18689465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000189891A Expired - Fee Related JP4516188B2 (en) 2000-06-23 2000-06-23 Image display device

Country Status (1)

Country Link
JP (1) JP4516188B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003092305A1 (en) * 2002-04-25 2005-09-08 シャープ株式会社 Image encoding device, image decoding device, recording medium, and image recording device
JP2008033219A (en) * 2006-07-27 2008-02-14 Korea Electronics Telecommun Face-mounted display apparatus for mixed reality environment
WO2011096280A1 (en) * 2010-02-05 2011-08-11 ソニー株式会社 Image display device, image display system, and image display method
JP2012003327A (en) * 2010-06-14 2012-01-05 Nintendo Co Ltd Three-dimensional image display program, three-dimensional image display device, three-dimensional image display system, and three-dimensional image display method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149515A (en) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd Stereoscopic image pickup device
JPH08317425A (en) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd Electronic camera
JPH099301A (en) * 1995-06-24 1997-01-10 Victor Co Of Japan Ltd Head mount display device
JPH10322725A (en) * 1997-05-19 1998-12-04 Sony Corp Stereoscopic photographed image positioning device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149515A (en) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd Stereoscopic image pickup device
JPH08317425A (en) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd Electronic camera
JPH099301A (en) * 1995-06-24 1997-01-10 Victor Co Of Japan Ltd Head mount display device
JPH10322725A (en) * 1997-05-19 1998-12-04 Sony Corp Stereoscopic photographed image positioning device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003092305A1 (en) * 2002-04-25 2005-09-08 シャープ株式会社 Image encoding device, image decoding device, recording medium, and image recording device
US7529400B2 (en) 2002-04-25 2009-05-05 Sharp Kabushiki Kaisha Image encoder, image decoder, record medium, and image recorder
JP2008033219A (en) * 2006-07-27 2008-02-14 Korea Electronics Telecommun Face-mounted display apparatus for mixed reality environment
WO2011096280A1 (en) * 2010-02-05 2011-08-11 ソニー株式会社 Image display device, image display system, and image display method
CN102483909A (en) * 2010-02-05 2012-05-30 索尼公司 Image display device, image display system, and image display method
JP2012003327A (en) * 2010-06-14 2012-01-05 Nintendo Co Ltd Three-dimensional image display program, three-dimensional image display device, three-dimensional image display system, and three-dimensional image display method

Also Published As

Publication number Publication date
JP4516188B2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
TWI508519B (en) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
US6747610B1 (en) Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
US9060170B2 (en) Image display device and method, as well as program
JP5266126B2 (en) Image display apparatus and method, and program
TWI554080B (en) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
JP3841630B2 (en) Image handling device
JP5250070B2 (en) Image processing apparatus, image processing method, and image processing system
JP4376194B2 (en) Digital stereo camera or digital stereo video camera and 3D display or 3D projector and printer
JP2002095018A (en) Image display controller, image display system and method for displaying image data
KR20060097549A (en) Digital stereo camera/digital stereo video camera, 3-dimensional display, 3-dimensional projector, and printer and stereo viewer
KR20090035880A (en) Osmu( one source multi use)-type stereoscopic camera and method of making stereoscopic video content thereof
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
JP2002125245A (en) Stereoscopic image edit method, stereoscopic image editor and stereoscopic image display system
JPH0865715A (en) Method and device for stereoscopic video display
JP2002010299A (en) Image display device
JP2002077942A (en) Image pickup device
JP4815042B2 (en) Image display device and image presentation method
JP2002218501A (en) Image pickup device
JP5367747B2 (en) Imaging apparatus, imaging method, and imaging system
JPH06335029A (en) Stereoscopic video display device and method for adjusting congestion angle of stereoscopic vision
JP4902012B1 (en) Zoomable stereo photo viewer
JP2002271816A (en) Stereoscopic mosaic generating device
US20120249872A1 (en) Video signal processing apparatus and video signal processing method
JP2010187385A (en) Image display device
JP4819194B2 (en) Compound eye photographing apparatus and method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100514

R151 Written notification of patent or utility model registration

Ref document number: 4516188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees