JP2013038640A - Imaging apparatus and program - Google Patents

Imaging apparatus and program Download PDF

Info

Publication number
JP2013038640A
JP2013038640A JP2011173882A JP2011173882A JP2013038640A JP 2013038640 A JP2013038640 A JP 2013038640A JP 2011173882 A JP2011173882 A JP 2011173882A JP 2011173882 A JP2011173882 A JP 2011173882A JP 2013038640 A JP2013038640 A JP 2013038640A
Authority
JP
Japan
Prior art keywords
image
imaging
distance
eye image
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011173882A
Other languages
Japanese (ja)
Other versions
JP5891645B2 (en
Inventor
Nobuyuki Miyake
信行 三宅
Kajiro Ushio
嘉次郎 潮
Yutaka Ichihara
裕 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011173882A priority Critical patent/JP5891645B2/en
Publication of JP2013038640A publication Critical patent/JP2013038640A/en
Application granted granted Critical
Publication of JP5891645B2 publication Critical patent/JP5891645B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To photograph a stereoscopic image in an appropriate base line length.SOLUTION: An imaging apparatus imaging a right-eye image and a left-eye image for a stereoscopic display, includes: a determination part that determines a base line length, based on a photographing distance and a focal distance to a main subject, the base line length being a distance in a longitudinal direction between imaging positions of the right-eye image and the left-eye image; and an imaging part that images both of the right-eye image and the left-eye image by sifting the imaging position in the longitudinal direction by the base line length determined by the determination part. The determination part sets the base line length to a larger value when the photographing distance is larger, sets the base line length to the smaller value when the focal distance is larger, and sets the base line length to a predetermined minimum setting distance or more, independent on the photographing distance and the focal distance.

Description

本発明は、撮像装置およびプログラムに関する。   The present invention relates to an imaging apparatus and a program.

従来より、1眼式のカメラにより立体視用の画像を撮像する方法が知られている。この方法では、右眼用画像および左眼用画像のうち一方の画像(第1画像)を1回目に撮像し、続いて、カメラを水平方向にスライドさせて右眼用画像および左眼用画像のうち他方の画像(第2画像)を2回目に撮像する。   Conventionally, a method of capturing an image for stereoscopic viewing with a single-lens camera is known. In this method, one image (first image) of the right-eye image and the left-eye image is captured for the first time, and then the camera is slid horizontally to right-eye image and left-eye image. The other image (second image) is taken for the second time.

ところで、第1画像の撮像時のレンズ位置から第2画像の撮像時のレンズ位置までの間の距離(基線長)によって、立体画像の印象が大きく異なる。例えば、基線長が小さければ立体感は弱いが、基線長が大きければ立体感が強くなる。従って、立体画像を撮像する場合には基線長を適切に設定しなければならない。   By the way, the impression of the stereoscopic image varies greatly depending on the distance (baseline length) from the lens position at the time of capturing the first image to the lens position at the time of capturing the second image. For example, if the baseline length is small, the stereoscopic effect is weak, but if the baseline length is large, the stereoscopic effect is strong. Therefore, when capturing a stereoscopic image, the baseline length must be set appropriately.

本発明の第1の態様においては、立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、を備え、前記決定部は、前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする撮像装置、および、このような撮像装置に実行されるプログラムを提供する。   In the first aspect of the present invention, there is provided an imaging apparatus that captures a right-eye image and a left-eye image for stereoscopic display, wherein the right-eye image is based on a shooting distance and a focal distance to a main subject. Determining a baseline length that is a distance in the left-right direction between the imaging position of the left-eye image and the imaging position of the left-eye image, and shifting the imaging position in the left-right direction by the baseline length determined by the determining unit An imaging unit that captures the image for the right eye and the image for the left eye, and the determination unit sets the baseline length to a larger value as the imaging distance increases, and sets the baseline length as the focal length increases. Provided are an imaging device that has a small value and sets the baseline length to be equal to or larger than a predetermined minimum setting distance regardless of the shooting distance and the focal length, and a program that is executed in such an imaging device.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

本実施形態に係る撮像装置10を表面側から見た外観、および、第1画像の撮像位置および第2画像の撮像位置の一例を示す。An example of an appearance of the imaging apparatus 10 according to the present embodiment as viewed from the front surface side, an imaging position of the first image, and an imaging position of the second image is shown. 本実施形態に係る撮像装置10の裏面側から見た外観、および、第1画像の撮像位置および第2画像の撮像位置のそれぞれにおいて表示部30に表示される画像の一例を示す。An example of an image displayed on the display unit 30 in each of the appearance viewed from the back side of the imaging device 10 according to the present embodiment and the imaging position of the first image and the imaging position of the second image is shown. 本実施形態に係る撮像装置10の機能構成を示す。1 shows a functional configuration of an imaging apparatus 10 according to the present embodiment. 本実施形態に係る撮像装置10の立体撮影モードの処理フローを示す。3 shows a processing flow of a stereoscopic shooting mode of the imaging apparatus 10 according to the present embodiment. 主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第1例を示す。The 1st example of the table which described the numerical value of the base line length with respect to the imaging distance and focal distance of a main subject is shown. 主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの第2例を示す。The 2nd example of the table which described the numerical value of the base line length with respect to the imaging distance and focal distance of a main subject is shown. 奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。An example of the parallax angle of the subject located on the back side and the parallax angle of the subject located on the near side is shown. 本実施形態に係る補正部36による補正処理の一例を示す。An example of the correction process by the correction unit 36 according to the present embodiment is shown. 画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。An example of the image for right eyes and the image for left eyes produced | generated by an image shift process is shown. 本実施形態に係る撮像装置10の表示部30に表示される方向マーク60の一例を示す。An example of the direction mark 60 displayed on the display unit 30 of the imaging apparatus 10 according to the present embodiment is shown. 縦撮り状態の撮像装置10の外観、および、第1画像および第2画像の撮像位置の一例を示す。An example of the appearance of the imaging device 10 in the vertical shooting state and the imaging positions of the first image and the second image are shown. 本実施形態に係る変形例の撮像装置10の外観を示す。The external appearance of the imaging device 10 of the modification which concerns on this embodiment is shown.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、本実施形態に係る撮像装置10を表面側から見た外観、および、第1画像の撮像位置および第2画像の撮像位置の一例を示す。本実施形態に係る撮像装置10は、立体表示のための右眼用画像および左眼用画像を撮像する。   FIG. 1 shows an example of an appearance of an imaging device 10 according to the present embodiment as viewed from the front side, and an imaging position of a first image and an imaging position of a second image. The imaging device 10 according to the present embodiment captures a right eye image and a left eye image for stereoscopic display.

本実施形態に係る撮像装置10は、1つのレンズ部12を有する。撮像装置10は、右眼用画像および左眼用画像のうち一方の静止画像(第1画像)を1回目に撮像し、続いて、レンズ部12を左右方向に例えば手動により移動させて(スライドさせて)、右眼用画像および左眼用画像のうち他方の静止画像(第2画像)を2回目に撮像する。   The imaging device 10 according to the present embodiment has one lens unit 12. The imaging device 10 captures the first still image (first image) of the right-eye image and the left-eye image for the first time, and then moves the lens unit 12 in the left-right direction, for example, manually (slide). The other still image (second image) of the right-eye image and the left-eye image is captured a second time.

ここで、第1画像の撮像位置と第2画像の撮像位置との間の左右方向の距離を、基線長と呼ぶ。本実施形態に係る撮像装置10は、第1画像の撮像後であってスライド前において基線長を決定し、第2画像の撮像位置を特定する。   Here, the distance in the left-right direction between the imaging position of the first image and the imaging position of the second image is referred to as a baseline length. The imaging apparatus 10 according to the present embodiment determines the baseline length after the first image is captured and before the slide, and specifies the imaging position of the second image.

図2は、本実施形態に係る撮像装置10の裏面側から見た外観、および、第1画像の撮像位置および第2画像の撮像位置のそれぞれにおいて表示部30に表示される画像の一例を示す。   FIG. 2 shows an example of an appearance viewed from the back side of the imaging device 10 according to the present embodiment and an image displayed on the display unit 30 at each of the first image capturing position and the second image capturing position. .

撮像装置10は、裏面側に表示部30を備える。表示部30は、通常撮影において、撮影範囲のリアルタイムの画像を表すスルー画像を表示する。ユーザは、このスルー画像を確認しながら画角および各種のカメラパラメータを設定して、静止画像を撮像する。   The imaging device 10 includes a display unit 30 on the back side. The display unit 30 displays a through image representing a real-time image of the shooting range in normal shooting. The user captures a still image by setting the angle of view and various camera parameters while confirming the through image.

ここで、撮像装置10は、立体撮影モードにおいて、まず、ユーザによるシャッタボタンの押下しの動作に応じて第1画像を撮像する。続いて、撮像装置10は、第1画像を撮像した後に、第2画像の予測画像を第1画像から予測して生成し、生成した予測画像をスルー画像に重ねて表示する。これにより、撮像装置10は、ユーザに第1画像の撮像位置を知らせて、当該撮像装置10を適切な位置へとスライドさせることができる。   Here, in the stereoscopic shooting mode, the imaging device 10 first captures a first image according to the operation of the user pressing the shutter button. Subsequently, after imaging the first image, the imaging device 10 predicts and generates a predicted image of the second image from the first image, and displays the generated predicted image superimposed on the through image. Thereby, the imaging device 10 notifies the user of the imaging position of the first image, and can slide the imaging device 10 to an appropriate position.

そして、撮像装置10は、ユーザが当該撮像装置10の本体をスライドさせた結果、スルー画像と予測画像とが一致したことに応じて第2画像を自動的に撮像する。このようにして、撮像装置10は、第2画像を適切な位置で撮像することができる。   Then, the imaging device 10 automatically captures the second image in response to the fact that the through image and the predicted image match as a result of the user sliding the main body of the imaging device 10. In this way, the imaging device 10 can capture the second image at an appropriate position.

図3は、本実施形態に係る撮像装置10の機能構成を示す。撮像装置10は、撮像部20と、テーブル記憶部22と、決定部24と、一時保存部26と、予測画生成部28と、表示部30と、一致検出部32と、シャッタ指示部34と、補正部36と、シフト部38と、出力部40とを備える。   FIG. 3 shows a functional configuration of the imaging apparatus 10 according to the present embodiment. The imaging device 10 includes an imaging unit 20, a table storage unit 22, a determination unit 24, a temporary storage unit 26, a predicted image generation unit 28, a display unit 30, a coincidence detection unit 32, and a shutter instruction unit 34. , A correction unit 36, a shift unit 38, and an output unit 40.

撮像部20は、被写体を撮像して静止画像を生成する。また、撮像部20は、立体撮影モードにおいて、最初に右眼用画像および左眼用画像のうち一方の画像(第1画像)を撮像し、続いて、基線長を決定し、続いて、右眼用画像および左眼用画像のうち他方の画像(第2画像)を撮像する。これにより、撮像部20は、決定部24により決定された基線長分、撮像位置を左右方向にずらして右眼用画像および左眼用画像を撮像することができる。   The imaging unit 20 captures a subject and generates a still image. Further, in the stereoscopic imaging mode, the imaging unit 20 first captures one of the right-eye image and the left-eye image (first image), subsequently determines the baseline length, and then continues to the right The other image (second image) of the eye image and the left eye image is captured. Thereby, the imaging unit 20 can capture the right-eye image and the left-eye image by shifting the imaging position in the left-right direction by the baseline length determined by the determination unit 24.

テーブル記憶部22は、撮影距離のそれぞれと焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを記憶する。テーブルの内容については図5および図6を参照して説明する。   The table storage unit 22 stores a table in which values of base line lengths that are determined in advance for each correspondence between the shooting distances and the focal lengths are stored. The contents of the table will be described with reference to FIGS.

決定部24は、第1画像を撮像したときの主要被写体までの撮影距離および焦点距離を撮像部20から取得する。決定部24は、主要被写体までの撮影距離および焦点距離に基づき基線長を決定する。より詳しくは、決定部24は、テーブル記憶部22に記憶されたテーブルを参照し、主要被写体までの撮影距離および焦点距離に対応する基線長を決定する。   The determination unit 24 acquires from the imaging unit 20 the shooting distance and the focal distance to the main subject when the first image is captured. The determination unit 24 determines the baseline length based on the shooting distance and the focal distance to the main subject. More specifically, the determination unit 24 refers to the table stored in the table storage unit 22 and determines a baseline length corresponding to the shooting distance and the focal length to the main subject.

一時保存部26は、撮像部20により撮像された第1画像を一時的に保存する。即ち、一時保存部26は、第1画像を撮像してから第2画像を撮像するまでの間、第1画像を記憶する。   The temporary storage unit 26 temporarily stores the first image captured by the imaging unit 20. In other words, the temporary storage unit 26 stores the first image from when the first image is captured until the second image is captured.

予測画生成部28は、第1画像を決定部24により決定された基線長に対応するシフト量分左右方向にシフトして、第2画像の予測画像を生成する。予測画生成部28は、第2画像の予測画像を画角全体について生成するのではなく、主要被写体の部分画像のような第1画像の一部のみについて生成してもよい。   The predicted image generation unit 28 shifts the first image in the left-right direction by the shift amount corresponding to the baseline length determined by the determination unit 24 to generate a predicted image of the second image. The predicted image generation unit 28 may generate only a part of the first image such as the partial image of the main subject, instead of generating the predicted image of the second image for the entire angle of view.

表示部30は、第1画像を撮像してから第2画像を撮像するまでの間において、スルー画像と予測画像とを合成して表示する。そして、表示部30は、スルー画像と予測画像とを合成した合成画像を表示面に表示する。   The display unit 30 synthesizes and displays the through image and the predicted image between the time when the first image is captured and the time when the second image is captured. Then, the display unit 30 displays a combined image obtained by combining the through image and the predicted image on the display surface.

一致検出部32は、第1画像を撮像した後において、スルー画像が予測画像と一致したかを検出する。より詳しくは、一致検出部32は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部32は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。   The coincidence detection unit 32 detects whether the through image coincides with the predicted image after the first image is captured. More specifically, the coincidence detection unit 32 detects whether the through image and the predicted image coincide with each other with a predetermined degree of coincidence. For example, the coincidence detection unit 32 compares the through image and the predicted image for each pixel unit, and if the through image pixel and the predicted image pixel coincide with each other at a predetermined ratio, the coincidence is detected. Judge that

シャッタ指示部34は、ユーザがシャッタボタンを押下す操作をしたことに応じて撮像部20に撮像指示を与える。これにより、シャッタ指示部34は、ユーザがシャッタボタンを押下したことに応じて撮像部20に第1画像を撮像させることができる。   The shutter instruction unit 34 gives an imaging instruction to the imaging unit 20 in response to the user's operation of pressing the shutter button. Accordingly, the shutter instruction unit 34 can cause the imaging unit 20 to capture the first image in response to the user pressing the shutter button.

また、シャッタ指示部34は、第1画像を撮像した後において、スルー画像が予測画像と一致したことに応じて撮像部20に撮像指示を与える。これにより、シャッタ指示部34は、撮像部20にスルー画像が予測画像と一致したことに応じて撮像部20に第2画像を撮像させることができる。   In addition, after the first image is captured, the shutter instruction unit 34 gives an imaging instruction to the imaging unit 20 in accordance with the fact that the through image matches the predicted image. Accordingly, the shutter instruction unit 34 can cause the imaging unit 20 to capture the second image in response to the imaging unit 20 matching the through image with the predicted image.

補正部36は、第2画像を撮像した後において、第1画像および第2画像のうち一方である右眼用画像、および、第1画像および第2画像のうち他方である左眼用画像を補正する。補正部36は、一例として、手動のスライド操作により生じる右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。   After the second image is captured, the correction unit 36 selects the right-eye image that is one of the first image and the second image, and the left-eye image that is the other of the first image and the second image. to correct. For example, the correction unit 36 corrects a vertical shift and a rotational shift between the right-eye image and the left-eye image that are generated by a manual slide operation.

シフト部38は、補正部36により補正された右眼用画像および左眼用画像を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる。シフト部38は、右眼用画像および左眼用画像の画素のそれぞれを同一のピクセル数分左右方向にシフトする。   The shift unit 38 shifts the right-eye image and the left-eye image corrected by the correction unit 36 in the left-right direction by a predetermined number of pixels, and separates the right-eye image and the left-eye image in the left-right direction. Let The shift unit 38 shifts the pixels of the right eye image and the left eye image in the left-right direction by the same number of pixels.

出力部40は、シフト部38によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する。そして、出力部40は、ファイル化した画像データをメモリカード等に保存する。   The output unit 40 outputs the right-eye image and the left-eye image shifted by the shift unit 38 as a stereoscopic display image file in a predetermined format. The output unit 40 stores the filed image data in a memory card or the like.

図4は、本実施形態に係る撮像装置10の立体撮影モードの処理フローを示す。撮像装置10は、立体撮影モードにおいて、図4に示すステップS11〜ステップS25の処理を実行する。   FIG. 4 shows a processing flow in the stereoscopic shooting mode of the imaging apparatus 10 according to the present embodiment. The imaging apparatus 10 executes the processes of Steps S11 to S25 illustrated in FIG. 4 in the stereoscopic shooting mode.

まず、シャッタ指示部34は、ユーザによりシャッタボタンが押下されたか否かを判断する(ステップS11)。シャッタ指示部34は、シャッタボタンが押下されない場合には(ステップS11のNo)、スルー画像を逐次更新しながら表示して、シャッタボタンが押下されるまで処理を待機する(S12)。   First, the shutter instruction unit 34 determines whether or not the user has pressed the shutter button (step S11). When the shutter button is not pressed (No in step S11), the shutter instruction unit 34 displays the through image while sequentially updating it, and waits for processing until the shutter button is pressed (S12).

ユーザによりシャッタボタンが押下された場合には(ステップS11のYes)、撮像部20は、右眼用画像および左眼用画像のうち予め定められた一方の画像(第1画像)を撮像する(ステップS13)。続いて、一時保存部26は、撮像部20により撮像された第1画像を一時保存する(S14)。   When the shutter button is pressed by the user (Yes in step S11), the imaging unit 20 captures one of the predetermined images (first image) of the right-eye image and the left-eye image (first image) ( Step S13). Subsequently, the temporary storage unit 26 temporarily stores the first image captured by the imaging unit 20 (S14).

続いて、決定部24は、主要被写体の撮影距離および焦点距離を撮像部20から取得する(ステップS15)。決定部24は、一例として、当該撮像装置10からピントを合わせた被写体までの距離を、撮影距離として取得する。   Subsequently, the determination unit 24 acquires the shooting distance and focal length of the main subject from the imaging unit 20 (step S15). For example, the determination unit 24 acquires the distance from the imaging device 10 to the focused subject as the shooting distance.

続いて、決定部24は、主要被写体までの撮影距離および焦点距離に基づき、テーブル記憶部22に記憶されたテーブルを参照して基線長を決定する(ステップS16)。なお、テーブルの内容については図5および図6を参照して説明する。   Subsequently, the determination unit 24 determines the base line length with reference to the table stored in the table storage unit 22 based on the photographing distance to the main subject and the focal length (step S16). The contents of the table will be described with reference to FIGS.

続いて、予測画生成部28は、第1画像を決定された基線長に対応するピクセル数分左右方向にシフトして、第2画像の予測画像を生成する(ステップS17)。即ち、予測画生成部28は、第1画像の撮像位置から左右方向に基線長分スライドした位置から撮像した画像の予測画像を、第1画像の各画素を左右方向にシフトさせることにより生成する。   Subsequently, the predicted image generation unit 28 shifts the first image in the left-right direction by the number of pixels corresponding to the determined baseline length, and generates a predicted image of the second image (step S17). That is, the predicted image generation unit 28 generates a predicted image of an image captured from a position slid by the baseline length in the horizontal direction from the imaging position of the first image by shifting each pixel of the first image in the horizontal direction. .

なお、予測画生成部28は、第1画像を予め定められた方向にシフトする。予測画生成部28は、一例として、第1画像を右眼用画像とする場合には、第1画像を右側にシフトさせて予測画像を生成する。また、予測画生成部28は、一例として、第1画像を左眼用画像とする場合には、第1画像を左側にシフトさせて予測画像を生成する。また、予測画生成部28は、表示される画面全体の予測画像ではなく、画面内における一部の被写体(例えば、主要被写体)の画像を予測画像としてもよい。   Note that the predicted image generation unit 28 shifts the first image in a predetermined direction. For example, when the first image is an image for the right eye, the predicted image generation unit 28 generates the predicted image by shifting the first image to the right side. In addition, as an example, when the first image is a left-eye image, the predicted image generation unit 28 generates the predicted image by shifting the first image to the left side. In addition, the predicted image generation unit 28 may use an image of a part of a subject (for example, a main subject) in the screen as a predicted image instead of the predicted image of the entire screen to be displayed.

続いて、表示部30は、スルー画像と予測画像とを合成した合成画像を生成して表示する(ステップS18)。この場合において、表示部30は、予測画像に透過度を与えて、スルー画像上に上書きして表示させる。そして、表示部30は、撮像部20による撮像位置が移動しても、予測画像を表示面に対して固定した位置に表示させ続ける。これにより、表示部30は、撮像部20による撮像位置が、予測画像が撮像できる位置(即ち、第2画像の撮像位置)に近づいているか否かをユーザに認識させることができる。   Subsequently, the display unit 30 generates and displays a combined image obtained by combining the through image and the predicted image (step S18). In this case, the display unit 30 gives transparency to the predicted image and overwrites it on the through image for display. And even if the imaging position by the imaging part 20 moves, the display part 30 continues displaying a prediction image in the position fixed with respect to the display surface. Thereby, the display part 30 can make a user recognize whether the imaging position by the imaging part 20 is approaching the position (namely, imaging position of a 2nd image) which can image a prediction image.

続いて、一致検出部32は、スルー画像が予測画像と一致したかを検出する(ステップS19)。より詳しくは、一致検出部32は、スルー画像と予測画像とが予め定められた一致度以上で一致したかを検出する。一致検出部32は、一例として、スルー画像と予測画像とを画素単位毎に比較して、スルー画像の画素と予測画像の画素とが予め定められた割合で一致している場合には、一致したと判断する。   Subsequently, the coincidence detection unit 32 detects whether the through image coincides with the predicted image (step S19). More specifically, the coincidence detection unit 32 detects whether the through image and the predicted image coincide with each other with a predetermined degree of coincidence. For example, the coincidence detection unit 32 compares the through image and the predicted image for each pixel unit, and if the through image pixel and the predicted image pixel coincide with each other at a predetermined ratio, the coincidence is detected. Judge that

スルー画像と予測画像とが一致していると判断されない場合(ステップS19のNo)、続いて、シャッタ指示部34は、ユーザによりシャッタボタンが強制的に押下されたか否かを判断する(ステップS20)。シャッタ指示部34は、シャッタボタンが押下されない場合には(ステップS20のNo)、スルー画像を逐次更新しながら(ステップS21)、スルー画像と予測画像を合成した合成画像を表示して(ステップS18)、スルー画像と予測画像とが一致するまで処理を待機する。   If it is not determined that the through image and the predicted image match (No in step S19), then the shutter instruction unit 34 determines whether the shutter button is forcibly pressed by the user (step S20). ). When the shutter button is not pressed (No in step S20), the shutter instruction unit 34 displays a composite image obtained by combining the through image and the predicted image while sequentially updating the through image (step S21) (step S18). ), And waits for processing until the through image and the predicted image match.

スルー画像と予測画像とが一致したと判断された場合(ステップS19のYes)には、撮像部20は、右眼用画像および左眼用画像のうち予め定められた他方の画像(第2画像)を撮像する(ステップS22)。即ち、撮像部20は、第1画像を基線長に対応するシフト量分左右方向にシフトして第2画像の予測画像と、当該撮像部20の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて第2画像を撮像する。これにより、撮像装置10は、ユーザが当該撮像装置10をスライドさせるのみで、自動的に第2画像を撮像することができる。   When it is determined that the through image matches the predicted image (Yes in step S19), the imaging unit 20 determines the other predetermined image (second image) of the right eye image and the left eye image. ) Is imaged (step S22). That is, the imaging unit 20 shifts the first image in the left-right direction by the shift amount corresponding to the baseline length, and the predicted image of the second image and the through image representing the real-time image of the imaging range of the imaging unit 20 are obtained. A second image is captured in response to the match. Thereby, the imaging device 10 can automatically capture the second image only by the user sliding the imaging device 10.

また、スルー画像と予測画像とが一致しないと判断される場合であっても(ステップS19のNo)、ユーザによりシャッタボタンが強制的に押下された場合(ステップS20のYes)には、撮像部20は、第2画像を撮像する(ステップS22)。これにより、撮像装置10は、第2画像が自動的に撮像されるのを待たずに、自身の意図で強制的に第2画像を撮像することができる。   Even if it is determined that the through image and the predicted image do not match (No in step S19), if the shutter button is forcibly pressed by the user (Yes in step S20), the imaging unit 20 captures the second image (step S22). Thereby, the imaging device 10 can forcibly capture the second image with its own intention without waiting for the second image to be automatically captured.

続いて、補正部36は、第1画像および第2画像のうち一方である右眼用画像、および、第1画像および第2画像のうち他方である左眼用画像を補正する(ステップS23)。補正部36は、一例として、右眼用画像および左眼用画像の上下方向のずれおよび回転方向のずれを補正する。   Subsequently, the correcting unit 36 corrects the right-eye image that is one of the first image and the second image, and the left-eye image that is the other of the first image and the second image (step S23). . For example, the correcting unit 36 corrects the vertical shift and the rotational shift of the right-eye image and the left-eye image.

続いて、シフト部38は、補正された右眼用画像および左眼用画像の全体を予め定められたピクセル数分左右方向にシフトして、右眼用画像および左眼用画像を左右方向に離間させる(ステップS24)。シフト部38は、一例として、右眼用画像の各画素の位置を、予め定められたピクセル数の1/2分右側にシフトさせる。また、シフト部38は、一例として、左眼用画像の各画素の位置を、予め定められたピクセル数の1/2分左側にシフトさせる。   Subsequently, the shift unit 38 shifts the corrected right-eye image and left-eye image as a whole in the left-right direction by a predetermined number of pixels, and the right-eye image and the left-eye image are shifted in the left-right direction. Separate (step S24). For example, the shift unit 38 shifts the position of each pixel of the right-eye image to the right by ½ of a predetermined number of pixels. In addition, as an example, the shift unit 38 shifts the position of each pixel of the left-eye image to the left by a half of the predetermined number of pixels.

これにより、シフト部38は、より奥行き感のある立体画像を提供することができる。なお、シフト部38は、左右にシフトさせるピクセル数を、撮影距離、焦点距離および基線長等に応じて画像毎に変更してもよい。   Thereby, the shift unit 38 can provide a stereoscopic image with a sense of depth. Note that the shift unit 38 may change the number of pixels to be shifted left and right for each image according to the shooting distance, the focal length, the baseline length, and the like.

続いて、出力部40は、シフト部38によりシフトされた右眼用画像および左眼用画像を予め定められたフォーマットの立体表示用の画像ファイルとして出力する(ステップS25)。出力部40は、一例として、右眼用画像および左眼用画像のそれぞれから表示範囲の画像データを切り出したり、所定の圧縮処理符号化処理等をしたりして、ファイル化する。   Subsequently, the output unit 40 outputs the right-eye image and the left-eye image shifted by the shift unit 38 as a stereoscopic display image file in a predetermined format (step S25). As an example, the output unit 40 cuts out image data in the display range from each of the right-eye image and the left-eye image, or performs predetermined compression processing encoding processing or the like to form a file.

この場合、出力部40は、立体画像を表示するモニタのアスペクト比を予め取得している場合には、対応するサイズで画像データを切り出してもよい。例えば、表示するモニタが4:3の比率であることを予め取得している場合には、出力部40は、アスペクト比が4:3の画像データを切り出して生成する。また、例えば、表示するモニタが16:9の比率であることを予め取得している場合には、出力部40は、アスペクト比が16:9の画像データを切り出して生成する。そして、出力部40は、このようにファイル化した画像データをメモリカード等に保存する。   In this case, the output unit 40 may cut out the image data with a corresponding size when the aspect ratio of the monitor that displays the stereoscopic image is acquired in advance. For example, when it is acquired in advance that the monitor to be displayed has a ratio of 4: 3, the output unit 40 cuts out and generates image data with an aspect ratio of 4: 3. For example, if the monitor to be displayed has previously acquired that the ratio is 16: 9, the output unit 40 cuts out and generates image data having an aspect ratio of 16: 9. Then, the output unit 40 stores the image data filed in this way in a memory card or the like.

以上のように、撮像装置10によれば、1つのレンズ部12により結像される被写体像を異なるタイミングにおいて撮像して、右眼用画像および左眼用画像を生成することができる。また、撮像装置10によれば、撮影距離および焦点距離に応じて基線長が設定されるので、適切な立体感のある立体画像を撮像することができる。   As described above, according to the imaging device 10, it is possible to capture a subject image formed by one lens unit 12 at different timings and generate a right eye image and a left eye image. Moreover, according to the imaging device 10, since the baseline length is set according to the shooting distance and the focal length, it is possible to capture a stereoscopic image with an appropriate stereoscopic effect.

図5および図6は、主要被写体の撮影距離および焦点距離に対する基線長の数値を記述したテーブルの一例を示す。なお、図5および図6において、テーブル内の各数値は基線長を表す。図5の数値の単位はセンチメートルである。また、図6の左側の数値の単位はセンチメートルであり、右側の数値は、予め定められたサイズの表示画面上における、基線長に対応したピクセル数を表す。   5 and 6 show an example of a table in which numerical values of the base line length with respect to the shooting distance and the focal length of the main subject are described. 5 and 6, each numerical value in the table represents a base line length. The unit of the numerical values in FIG. 5 is centimeters. The unit of the numerical value on the left side of FIG. 6 is centimeter, and the numerical value on the right side represents the number of pixels corresponding to the baseline length on the display screen having a predetermined size.

決定部24は、一例として、図5に示されるようなテーブルまたは図6に示されるようなテーブルを参照して、撮影距離(L)および焦点距離(f)に基づき基線長を決定する。   As an example, the determination unit 24 refers to a table as shown in FIG. 5 or a table as shown in FIG. 6 to determine the baseline length based on the photographing distance (L) and the focal distance (f).

これらのテーブルには、撮影距離が大きい程、大きい値となる基線長が記述されている。従って、決定部24は、焦点距離が同じであれば、撮影距離が大きいほど基線長を大きい値とする。これにより、決定部24は、被写体が遠い程、基線長を大きくして、遠い被写体により大きな立体感を与えるようにしている。   In these tables, the base line length that is larger as the shooting distance is larger is described. Accordingly, if the focal length is the same, the determination unit 24 sets the baseline length to a larger value as the shooting distance increases. Thus, the determination unit 24 increases the baseline length as the subject is farther, and gives a greater stereoscopic effect to the far subject.

また、これらのテーブルには、焦点距離が大きい程、小さい値となる基線長が記述されている。従って、決定部24は、撮影距離が同じであれば、焦点距離が大きいほど基線長を小さい値とする。これにより、決定部24は、拡大して撮影する場合には、基線長を小さくして、過度な視差を与えなくできる。   Also, in these tables, the base line length that is smaller as the focal length is larger is described. Therefore, if the shooting distance is the same, the determination unit 24 sets the baseline length to a smaller value as the focal length increases. Thereby, when enlarging and photographing, the determination unit 24 can reduce the baseline length so as not to give excessive parallax.

さらに、これらのテーブルには、撮影距離および焦点距離によらず最小設定距離以上となる基線長が記述されている。従って、決定部24は、撮影距離および焦点距離によらず基線長を最小設定距離以上とする。これにより、決定部24は、手振れにより撮像装置10の本体が微小にずれて意図せずに第2画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。   Further, in these tables, a base line length that is equal to or longer than the minimum set distance is described regardless of the shooting distance and the focal distance. Therefore, the determination unit 24 sets the baseline length to be equal to or greater than the minimum set distance regardless of the shooting distance and the focal distance. Thereby, the determination unit 24 can avoid that the main body of the imaging device 10 is slightly displaced due to camera shake and the second image is unintentionally captured and a stereoscopic image with poor accuracy is generated. .

なお、最小設定距離は、手振れにより生じる移動量よりも大きな距離とすることが好ましい。コンパクトデジタルカメラに適用する場合には、最小設定距離は、一例として、0.5cmである。   Note that the minimum set distance is preferably a distance larger than the amount of movement caused by camera shake. When applied to a compact digital camera, the minimum set distance is 0.5 cm as an example.

また、決定部24は、撮影距離が予め定められた第1基準距離以下の場合において、焦点距離によらず基線長を最小設定距離としてもよい。第1基準距離は、手振れにより本体の微小なずれの影響が撮影した画像に大きく影響する撮影距離であり、例えば0.1mである。これにより、決定部24は、手振れにより撮像装置10の本体が微小にずれて意図せずに第2画像が撮像されてしまって精度の悪い立体画像が生成されることを、回避することができる。   In addition, the determination unit 24 may set the baseline length as the minimum set distance regardless of the focal length when the shooting distance is equal to or less than a predetermined first reference distance. The first reference distance is a shooting distance in which the influence of a slight deviation of the main body due to camera shake greatly affects a shot image, for example, 0.1 m. Thereby, the determination unit 24 can avoid that the main body of the imaging device 10 is slightly displaced due to camera shake and the second image is unintentionally captured and a stereoscopic image with poor accuracy is generated. .

また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、最大設定距離以下となる基線長が記述されている。従って、決定部24は、撮影距離および焦点距離によらず、基線長を最大設定距離以下にする。これにより、決定部24は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。コンパクトデジタルカメラに適用する場合には、最大設定距離は、一例として、3cmである。   Furthermore, in these tables, the base line length that is not more than the maximum set distance is described regardless of the shooting distance and the focal distance. Therefore, the determination unit 24 sets the baseline length to be equal to or less than the maximum set distance regardless of the shooting distance and the focal distance. Thereby, the determination part 24 can avoid that the subject of the shift amount more than the assumed distance will be imaged. When applied to a compact digital camera, the maximum set distance is 3 cm as an example.

また、決定部24は、撮影距離が予め定められた第2基準距離以上の場合において、焦点距離によらず基線長を最大設定距離としてもよい。第2基準距離は、第1基準距離より大きく、一例として、想定される距離以上のシフト量の被写体が撮像されてしまう可能性のある撮影距離であり、例えば2mである。これにより、決定部24は、想定される距離以上のシフト量の被写体が撮像されてしまうことを回避することができる。   Further, the determination unit 24 may set the baseline length as the maximum set distance regardless of the focal length when the shooting distance is equal to or greater than a predetermined second reference distance. The second reference distance is larger than the first reference distance. For example, the second reference distance is a shooting distance at which a subject having a shift amount greater than or equal to an assumed distance may be captured, for example, 2 m. Thereby, the determination part 24 can avoid that the subject of the shift amount more than the assumed distance will be imaged.

また、さらに、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上または予め定められたサイズの表示画面上で、予め定められた最小ピクセル数以上となる基線長が記述されている。従って、決定部24は、撮影距離および焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められた最小ピクセル数以上とする。   Furthermore, in these tables, a baseline length that is equal to or greater than a predetermined minimum number of pixels on the image sensor or a predetermined size display screen is described regardless of the shooting distance and the focal length. Yes. Therefore, the determination unit 24 sets the base line length to be equal to or larger than the predetermined minimum number of pixels on the image sensor or on a display screen having a predetermined size regardless of the shooting distance and the focal distance.

これにより、決定部24は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。35mmフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、最小ピクセル数は、一例として、横サイズが640ピクセルの表示画面上において、10ピクセルである。   Thereby, the determination part 24 can recognize the difference between the image for right eyes, and the image for left eyes, and can produce | generate the image which can be made to feel at least a three-dimensional effect. When applied to a compact digital camera including an image sensor equivalent to a full size of 35 mm, as an example, the minimum number of pixels is 10 pixels on a display screen having a horizontal size of 640 pixels.

これに代えて、これらのテーブルには、撮影距離および焦点距離によらず、撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する基線長が記述されていてもよい。この場合、決定部24は、撮影距離および焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする。   Instead, in these tables, a base line length corresponding to a length equal to or more than a predetermined ratio with respect to the length in the left-right direction on the image sensor is described regardless of the shooting distance and the focal length. May be. In this case, the determination unit 24 sets the base line length to a value corresponding to a length equal to or greater than a predetermined ratio with respect to the length in the left-right direction on the image sensor regardless of the shooting distance and the focal length.

これにより、決定部24は、右眼用画像と左眼用画像との間の差異を認識させて、少なくとも立体感を感じさせることができる画像を生成させることができる。35mmフルサイズ相当の撮像素子を備えるコンパクトデジタルカメラに適用する場合、予め定められた割合は、一例として3%である。   Thereby, the determination part 24 can recognize the difference between the image for right eyes, and the image for left eyes, and can produce | generate the image which can be made to feel at least a three-dimensional effect. When applied to a compact digital camera equipped with an image sensor equivalent to a full size of 35 mm, the predetermined ratio is 3% as an example.

以上のように、決定部24は、予め設定されたテーブルを参照して、撮影距離および焦点距離に基づき適切な基線長を決定する。そして、決定部24は、手振れによるずれで自動的に画像が撮像されたり、想定以上の距離の基線長で画像が撮像されたりしないように、基線長の範囲を制限している。これにより、本実施形態に係る撮像装置10によれば、適切な基線長で右眼用画像および左眼用画像を撮像することができる。   As described above, the determination unit 24 refers to a preset table and determines an appropriate baseline length based on the shooting distance and the focal distance. Then, the determination unit 24 limits the range of the baseline length so that an image is not automatically captured due to a shift due to camera shake or an image is captured with a baseline length that is longer than expected. Thereby, according to the imaging device 10 which concerns on this embodiment, the image for right eyes and the image for left eyes can be imaged with appropriate base line length.

なお、テーブル記憶部22は、当該撮像装置10の撮影モードに対応付けられた複数種類のテーブルを記憶していてもよい。テーブル記憶部22は、一例として、風景撮影モード、接写モードおよび望遠モード等の、主な撮影対象を指定するモードに応じたテーブルを記憶していてもよい。そして、決定部24は、テーブル記憶部22に記憶された複数のテーブルのうち、撮像モードに対応するテーブルを参照して基線長を決定してもよい。これにより、決定部24は、主な被写体に応じてより適切な基線長で立体撮影をすることができる。   The table storage unit 22 may store a plurality of types of tables associated with the shooting modes of the imaging device 10. As an example, the table storage unit 22 may store a table corresponding to a mode for specifying a main shooting target, such as a landscape shooting mode, a close-up mode, and a telephoto mode. Then, the determination unit 24 may determine the baseline length with reference to the table corresponding to the imaging mode among the plurality of tables stored in the table storage unit 22. Thereby, the determination unit 24 can perform stereoscopic shooting with a more appropriate baseline length according to the main subject.

図7は、奥側に位置する被写体の視差角および手前側に位置する被写体の視差角の一例を示す。決定部24は、少なくとも2つの被写体を含む立体画像の撮像において、右眼用画像および左眼用画像を表示した場合における2つの被写体の視差角の差を、予め定められた範囲内とするように基線長を決定してもよい。   FIG. 7 shows an example of the parallax angle of the subject located on the back side and the parallax angle of the subject located on the near side. In capturing a stereoscopic image including at least two subjects, the determination unit 24 sets the difference between the parallax angles of the two subjects when the right-eye image and the left-eye image are displayed within a predetermined range. The base line length may be determined.

例えば、撮影距離が異なる2つの被写体を含む立体画像を撮影するとする。ここで、左眼用画像の撮像位置と被写体Aとを結ぶ直線aと、右眼用画像の撮像位置と被写体Aとを結ぶ直線aとの成す角を輻輳角αとする。また、左眼用画像の撮像位置と被写体Bとを結ぶ直線bと、右眼用画像の撮像位置と被写体Bとを結ぶ直線bとの成す角を輻輳角βとする。この場合、被写体Aと被写体Bとの視差角は、β−αとなる。 For example, assume that a stereoscopic image including two subjects with different shooting distances is shot. Here, an angle formed by a straight line a 1 connecting the imaging position of the left-eye image and the subject A and a straight line a 2 connecting the imaging position of the right-eye image and the subject A is a convergence angle α. Also, an angle formed by a straight line b 1 connecting the imaging position of the left eye image and the subject B and a straight line b 2 connecting the imaging position of the right eye image and the subject B is defined as a convergence angle β. In this case, the parallax angle between the subject A and the subject B is β−α.

決定部24は、奥側の被写体Aと手前側の被写体Bとの視差角(β−α)が予め定められた角度の範囲内(視差角の差が±1°の範囲内)となるように、基線長を設定する。決定部24は、一例として、それぞれの被写体の撮影距離を撮像部20から取得することにより、視差角の差を算出する。   The determination unit 24 sets the parallax angle (β−α) between the subject A on the back side and the subject B on the near side to be within a predetermined angle range (difference in parallax angle is within ± 1 °). Set the baseline length. For example, the determination unit 24 calculates the difference in parallax angle by acquiring the shooting distance of each subject from the imaging unit 20.

決定部24は、テーブルを参照して決定した基線長が視差角の差が予め定められた範囲外となる場合には、この範囲内となるように基線長を小さくする。撮像装置10は、このように基線長を調整することにより、立体視に適した視差角の差の画像を撮像することができる。   When the base line length determined with reference to the table is outside the predetermined range, the determining unit 24 reduces the base line length so that it is within this range. The imaging device 10 can capture an image with a difference in parallax angle suitable for stereoscopic viewing by adjusting the baseline length in this way.

図8は、本実施形態に係る補正部36による補正処理の一例を示す。第1画像を撮像した後に左右方向に手動でスライドさせて第2画像を撮像する場合、正確に左右方向にスライドできずに、第2画像が第1画像に対して上下方向にずれてしまうことがある。また、第1画像および第2画像を撮像する場合に、手振れ等により面内において傾いてしまうことがある。   FIG. 8 shows an example of correction processing by the correction unit 36 according to the present embodiment. When the second image is picked up by manually sliding in the left-right direction after taking the first image, the second image is shifted in the up-down direction with respect to the first image without being able to slide accurately in the left-right direction. There is. Further, when the first image and the second image are captured, the image may be tilted in the plane due to camera shake or the like.

補正部36は、右眼用画像および左眼用画像を比較して撮像位置が上下方向にずれた場合には、右眼用画像および左眼用画像を上下方向にずらす補正する。また、補正部36は、右眼用画像および左眼用画像が面内方向に傾いて撮像された場合には、右眼用画像および左眼用画像を面内において回転する方向に補正する。さらに、補正部36は、このような補正に限らず、その他の画像処理により補正をしてもよい。   The correction unit 36 compares the right-eye image and the left-eye image and corrects the right-eye image and the left-eye image to be shifted in the vertical direction when the imaging position is shifted in the vertical direction. In addition, when the right-eye image and the left-eye image are captured in the in-plane direction, the correction unit 36 corrects the right-eye image and the left-eye image in a direction that rotates in the plane. Furthermore, the correction unit 36 is not limited to such correction, and may perform correction by other image processing.

ここで、右眼用画像および左眼用画像の間に、補正処理によっては補正できない程度のずれが生じている場合がある。このような場合、補正部36は、立体視に適した画像を生成できない旨をユーザに警告する。これにより、補正部36は、ユーザに再度の撮影をさせることができる。   Here, there may be a difference between the right-eye image and the left-eye image that cannot be corrected by correction processing. In such a case, the correction unit 36 warns the user that an image suitable for stereoscopic viewing cannot be generated. Thereby, the correction | amendment part 36 can make a user image | photograph again.

また、このように補正できない程度のずれが生じている場合であっても、補正部36は、右眼用画像および左眼用画像のうちの一方のみを保存する処理をしてもよい。これにより、補正部36は、少なくとも2次元画像の記録をすることができる。この場合、補正部36は、一例として、先に撮像した画像(即ち、第1画像)を保存してもよいし、より高品質であると判定された画像を保存してもよい。   Further, even when such a shift that cannot be corrected occurs, the correction unit 36 may perform processing for storing only one of the right-eye image and the left-eye image. Thereby, the correction | amendment part 36 can record a two-dimensional image at least. In this case, as an example, the correction unit 36 may store an image captured first (that is, the first image), or may store an image determined to have higher quality.

図9は、画像シフト処理により生成される右眼用画像および左眼用画像の一例を示す。また、右眼用画像および左眼用画像の間に補正処理によっては補正できない程度のずれが生じている場合、補正部36は、右眼用画像および左眼用画像のうちの一方から、他方を生成する処理をしてもよい。   FIG. 9 shows an example of an image for the right eye and an image for the left eye generated by the image shift process. In addition, when there is a difference between the right-eye image and the left-eye image that cannot be corrected by the correction process, the correction unit 36 selects one of the right-eye image and the left-eye image from the other. You may perform the process which produces | generates.

例えば、補正部36は、図9に示されるように、左眼用画像から、左眼用画像を右方向に予め定められたシフト量分シフトさせて、右眼用画像を生成してもよい。また、補正部36は、右眼用画像から、右眼用画像を左方向に予め定められたシフト量分シフトさせて、左眼用画像を生成してもよい。この場合において、補正部36は、例えば、先に撮像した画像(即ち、第1画像)を元に他方を生成してもよいし、より高品質であると判定された画像を元に他方を生成してもよい。   For example, as illustrated in FIG. 9, the correction unit 36 may shift the left-eye image from the left-eye image in the right direction by a predetermined shift amount to generate the right-eye image. . Further, the correction unit 36 may generate the left-eye image by shifting the right-eye image in the left direction by a predetermined shift amount from the right-eye image. In this case, for example, the correction unit 36 may generate the other based on the previously captured image (i.e., the first image), or the other based on the image determined to be of higher quality. It may be generated.

これにより、補正部36は、右眼用画像または左眼用画像の何れか一方の撮影に失敗した場合であっても、少なくとも立体視が可能な画像ファイルを生成することができる。   Accordingly, the correction unit 36 can generate an image file that can be at least stereoscopically viewed even when shooting of either the right-eye image or the left-eye image fails.

図10は、本実施形態に係る撮像装置10の表示部30に表示される方向マーク60の一例を示す。表示部30は、第1画像を撮像してから第2画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マーク60を表示してもよい。   FIG. 10 shows an example of the direction mark 60 displayed on the display unit 30 of the imaging apparatus 10 according to the present embodiment. The display unit 30 may display a direction mark 60 that indicates a direction in which the imaging device should be moved from when the first image is captured until the second image is captured.

これにより、撮像装置10は、ユーザに対して当該撮像装置10を右方向にスライドさせればよいのか、左方向にスライドさせればよいのかを理解させることができる。特に、撮像装置10は、誤って移動させすぎてしまいスルー画像に主要被写体が含まれなくなった場合であっても、ユーザがどの方向に被写体を動かせばよいのかを知らせることができる。   Thereby, the imaging device 10 can make a user understand whether the imaging device 10 should just slide to the right direction, or should slide to the left direction. In particular, the imaging apparatus 10 can inform the user in which direction the subject should be moved even if the main subject is not included in the through image due to excessive movement.

また、表示部30は、予測画像を第1色の色フィルタにより画像変換して表示し、スルー画像を第1色とは補色関係にある第2色の色フィルタにより画像変換して表示してもよい。これにより、表示部30は、スルー画像が予測画像に一致したことに応じて、現実の色の被写体をユーザに見せることができる。   In addition, the display unit 30 displays the predicted image after image conversion using the first color filter, and displays the through image after image conversion using the second color filter that is complementary to the first color. Also good. Thereby, the display unit 30 can show the subject of the actual color to the user in response to the through image matching the predicted image.

図11は、縦撮り状態の撮像装置10の外観、および、第1画像および第2画像の撮像位置の一例を示す。撮像装置10は、方向センサ70を更に備えてもよい。方向センサ70は、当該撮像装置10が横撮り状態であるか、縦撮り状態であるかを検出する。さらに、方向センサ70は、縦撮り状態である場合には、右辺側が下に位置しているか、左辺側が下に位置しているかを検出する。   FIG. 11 shows an example of the appearance of the imaging device 10 in the vertical shooting state and the imaging positions of the first image and the second image. The imaging device 10 may further include a direction sensor 70. The direction sensor 70 detects whether the imaging device 10 is in a horizontal shooting state or a vertical shooting state. Furthermore, the direction sensor 70 detects whether the right side is positioned downward or the left side is positioned downward in the vertical shooting state.

そして、撮像部20は、横撮り状態、右辺側が下の縦撮り状態、または、左辺側が下の縦撮り状態の何れであるかに応じて、撮像した画像データの左右方向を切り換えて出力する。これにより、撮像装置10は、何れの状態であっても、立体画像を撮像することができる。   Then, the imaging unit 20 switches and outputs the captured image data in the left-right direction depending on whether in the horizontal shooting state, the vertical shooting state with the right side down, or the vertical shooting state with the left side down. Thereby, the imaging device 10 can capture a stereoscopic image in any state.

更に、決定部24は、横撮り状態であるか、縦撮り状態であるかによって、基線長を切り換える。より具体的には、決定部24は、横撮り状態の場合よりも、縦撮り状態の方の基線長を短くする。通常の場合、表示モニタは横長であるので、縦撮り状態で撮像された画像は縮小して表示される。従って、決定部24は、横撮り状態の基線長よりも、縮小率に応じた割合分、縦撮り状態の基線長を短くする。   Furthermore, the determination unit 24 switches the baseline length depending on whether the camera is in the horizontal shooting state or the vertical shooting state. More specifically, the determination unit 24 shortens the baseline length in the vertical shooting state than in the horizontal shooting state. In a normal case, the display monitor is horizontally long, and thus an image captured in the vertical shooting state is reduced and displayed. Accordingly, the determination unit 24 shortens the baseline length in the vertical shooting state by a proportion corresponding to the reduction ratio, rather than the baseline length in the horizontal shooting state.

また、予測画生成部28は、右辺側が下の縦撮り状態か、左辺側が下の縦撮り状態に応じて、予測画像を生成するための第1画像のシフト方向を切り替える。これにより、予測画生成部28は、右辺側が下の縦撮り状態か、または、左辺側が下の縦撮り状態かによらず、第1画像を右眼用画像または左眼用画像の何れか一方に固定して撮像させることができる。   Further, the predicted image generation unit 28 switches the shift direction of the first image for generating the predicted image according to the vertical shooting state where the right side is the lower side or the vertical shooting state where the left side is the lower side. Accordingly, the predicted image generation unit 28 selects the first image as either the right-eye image or the left-eye image regardless of whether the right-side side is the vertical shooting state on the lower side or the left-side side is the lower vertical shooting state. It is possible to capture images while being fixed to.

図12は、本実施形態に係る変形例の撮像装置10の外観を示す。本変形例に係る撮像装置10は、右側および左側の2個のレンズ部12(12−R,12−L)を有する。本変形例に係る撮像装置10は、右眼用画像および左眼用画像を同時に撮像できる。   FIG. 12 shows an appearance of an imaging apparatus 10 according to a modification according to the present embodiment. The imaging device 10 according to this modification includes two right and left lens units 12 (12-R, 12-L). The imaging device 10 according to this modification can simultaneously capture a right-eye image and a left-eye image.

更に、本変形例に係る撮像装置10は、片方のレンズ部12(例えばレンズ部12−L)が左右方向に移動可能となっている。移動可能な片方のレンズ部12は、決定部24により決定される2つのレンズ部12の間の距離を調整する。   Furthermore, in the imaging apparatus 10 according to this modification, one lens unit 12 (for example, the lens unit 12-L) can move in the left-right direction. One movable lens unit 12 adjusts the distance between the two lens units 12 determined by the determining unit 24.

そして、本変形例に係る撮像装置10は、基線長を調整した後に、右眼用画像および左眼用画像を同時に撮像する。これにより、本変形例に係る撮像装置10は、撮影距離および焦点距離に応じて適切な基線長で立体画像を撮像することができる。   Then, after adjusting the baseline length, the imaging apparatus 10 according to the present modification images the right eye image and the left eye image simultaneously. Thereby, the imaging device 10 according to the present modification can capture a stereoscopic image with an appropriate baseline length according to the shooting distance and the focal length.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

10 撮像装置、12 レンズ部、20 撮像部、22 テーブル記憶部、24 決定部、26 一時保存部、28 予測画生成部、30 表示部、32 一致検出部、34 シャッタ指示部、36 補正部、38 シフト部、40 出力部、60 方向マーク、70 方向センサ DESCRIPTION OF SYMBOLS 10 imaging device, 12 lens part, 20 imaging part, 22 table memory | storage part, 24 determination part, 26 temporary storage part, 28 prediction image generation part, 30 display part, 32 coincidence detection part, 34 shutter instruction | indication part, 36 correction | amendment part, 38 shift unit, 40 output unit, 60 direction mark, 70 direction sensor

Claims (18)

立体表示のための右眼用画像および左眼用画像を撮像する撮像装置であって、
主要被写体までの撮影距離および焦点距離に基づき、前記右眼用画像の撮像位置と前記左眼用画像の撮像位置との間の左右方向の距離である基線長を決定する決定部と、
前記決定部により決定された基線長分、撮像位置を左右方向にずらして前記右眼用画像および前記左眼用画像を撮像する撮像部と、
を備え、
前記決定部は、
前記撮影距離が大きいほど前記基線長を大きい値とし、前記焦点距離が大きいほど前記基線長を小さい値とし、
前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最小設定距離以上とする
撮像装置。
An imaging device that captures a right-eye image and a left-eye image for stereoscopic display,
A determination unit that determines a base line length that is a distance in the left-right direction between the imaging position of the right-eye image and the imaging position of the left-eye image, based on a shooting distance and a focal distance to the main subject;
An imaging unit that captures the right-eye image and the left-eye image by shifting the imaging position in the left-right direction by the baseline length determined by the determination unit;
With
The determination unit
The larger the shooting distance, the larger the baseline length, the larger the focal length, the smaller the baseline length,
An imaging apparatus that sets the baseline length to be equal to or greater than a predetermined minimum set distance regardless of the shooting distance and the focal distance.
前記決定部は、前記撮影距離が第1基準距離以下の場合において、前記焦点距離によらず前記基線長を前記最小設定距離とする
請求項1に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the determination unit sets the base line length as the minimum set distance regardless of the focal length when the shooting distance is equal to or less than a first reference distance.
前記決定部は、前記撮影距離および前記焦点距離によらず前記基線長を予め定められた最大設定距離以下とする
請求項1または2に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the determination unit sets the baseline length to be equal to or less than a predetermined maximum set distance regardless of the shooting distance and the focal distance.
前記決定部は、前記撮影距離が第2基準距離以上の場合において、前記焦点距離によらず前記基線長を予め定められた最大設定距離とする
請求項1から3の何れか1項に記載の撮像装置。
The determination unit according to any one of claims 1 to 3, wherein, when the shooting distance is equal to or greater than a second reference distance, the base line length is set to a predetermined maximum set distance regardless of the focal distance. Imaging device.
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上または予め定められたサイズの表示画面上で予め定められたピクセル数以上とする
請求項1から4の何れか1項に記載の撮像装置。
5. The determination unit according to claim 1, wherein, regardless of the shooting distance and the focal length, the base line length is equal to or greater than a predetermined number of pixels on an image sensor or a display screen having a predetermined size. The imaging apparatus according to item 1.
前記決定部は、前記撮影距離および前記焦点距離によらず、基線長を撮像素子上で左右方向の長さに対して予め定められた割合以上の長さに相当する値とする
請求項1から4の何れか1項に記載の撮像装置。
The determination unit sets the base line length to a value corresponding to a length greater than or equal to a predetermined ratio with respect to the length in the left-right direction on the image sensor regardless of the shooting distance and the focal length. 5. The imaging device according to any one of 4.
前記右眼用画像および前記左眼用画像を予め定められたピクセル数分左右方向に離間させるシフト部を更に備える
請求項1から6の何れか1項に記載の撮像装置。
The imaging apparatus according to any one of claims 1 to 6, further comprising a shift unit that separates the right-eye image and the left-eye image in the left-right direction by a predetermined number of pixels.
前記決定部は、前記撮影距離のそれぞれと前記焦点距離のそれぞれとの対応毎に予め定められた基線長の値が記述されたテーブルを参照して前記基線長を決定する
請求項1から7の何れか1項に記載の撮像装置。
The determination unit determines the baseline length with reference to a table in which a value of a baseline length determined in advance for each correspondence between each of the shooting distances and each of the focal lengths is described. The imaging device according to any one of the above.
前記決定部は、当該撮像装置の撮像モード毎に対応付けられた複数のテーブルのうち、設定された撮像モードに対応するテーブルを参照して前記基線長を決定する
請求項8に記載の撮像装置。
The imaging device according to claim 8, wherein the determination unit determines the baseline length with reference to a table corresponding to a set imaging mode among a plurality of tables associated with each imaging mode of the imaging device. .
前記撮像部は、
前記右眼用画像および前記左眼用画像のうちの一方である第1画像を撮像し、
前記第1画像の撮像位置から、当該撮像装置が前記基線長に対応する距離分左右方向に移動したことを検出したことに応じて、前記右眼用画像および前記左眼用画像のうちの他方である第2画像を撮像する
請求項1から9の何れか1項に記載の撮像装置。
The imaging unit
Capturing a first image that is one of the right-eye image and the left-eye image;
The other of the right-eye image and the left-eye image in response to detecting from the imaging position of the first image that the imaging device has moved in the left-right direction by a distance corresponding to the baseline length. The imaging device according to claim 1, wherein the second image is captured.
前記撮像部は、前記第1画像を前記基線長に対応するシフト量分左右方向にシフトして生成された第2画像の予測画像と、前記撮像部の撮像範囲のリアルタイムの画像を表すスルー画像とが一致したことに応じて前記第2画像を撮像する
請求項10に記載の撮像装置。
The imaging unit is a predicted image of a second image generated by shifting the first image in the horizontal direction by a shift amount corresponding to the baseline length, and a through image representing a real-time image of the imaging range of the imaging unit. The image pickup apparatus according to claim 10, wherein the second image is picked up in accordance with a match.
前記第1画像を撮像してから前記第2画像を撮像するまでの間において、前記スルー画像と前記予測画像とを合成して表示する表示部を更に備える
請求項11に記載の撮像装置。
The imaging apparatus according to claim 11, further comprising a display unit that synthesizes and displays the through image and the predicted image during a period from when the first image is captured to when the second image is captured.
前記表示部は、前記第1画像を撮像してから前記第2画像を撮像するまでの間において、当該撮像装置を移動させるべき方向を示す方向マークを表示する
請求項12に記載の撮像装置。
The imaging apparatus according to claim 12, wherein the display unit displays a direction mark indicating a direction in which the imaging apparatus should be moved from when the first image is captured until the second image is captured.
前記表示部は、前記予測画像を第1色の色フィルタにより画像変換して表示し、前記スルー画像を前記第1色とは補色関係にある第2色の色フィルタにより画像変換して表示する
請求項12または13に記載の撮像装置。
The display unit displays the predicted image after image conversion using a first color filter, and displays the through image after image conversion using a second color filter that is complementary to the first color. The imaging device according to claim 12 or 13.
前記決定部は、少なくとも2つの被写体を含む立体画像の撮像において、前記右眼用画像および前記左眼用画像を表示した場合における2つの被写体の視差角の差を、予め定められた範囲内とするように前記基線長を決定する
請求項1から14の何れか1項に記載の撮像装置。
In the imaging of a stereoscopic image including at least two subjects, the determination unit determines a difference in parallax angle between the two subjects when the right-eye image and the left-eye image are displayed within a predetermined range. The imaging device according to any one of claims 1 to 14, wherein the base line length is determined so as to.
前記決定部は、主要被写体までの撮影距離および焦点距離に基づき決定された基線長を、前記視差角の差を予め定められた範囲内とするように更に調整する
請求項15に記載の撮像装置。
The imaging device according to claim 15, wherein the determination unit further adjusts the baseline length determined based on the shooting distance and the focal length to the main subject so that the difference in the parallax angle is within a predetermined range. .
前記決定部は、表示面より手前側に表示される被写体の視差角と、前記表示面より奥側に表示される被写体の視差角との差を、予め定められた範囲内とするように前記基線長を決定する
請求項15または16に記載の撮像装置。
The determination unit is configured so that a difference between a parallax angle of a subject displayed on the front side of the display surface and a parallax angle of a subject displayed on the back side of the display surface is within a predetermined range. The imaging device according to claim 15 or 16, wherein a base line length is determined.
被写体を撮像する撮像装置に実行され、請求項1から17の何れか1項の撮像装置として機能させるためのプログラム。   A program that is executed by an imaging apparatus that captures an image of a subject and functions as the imaging apparatus according to any one of claims 1 to 17.
JP2011173882A 2011-08-09 2011-08-09 Imaging apparatus and program Expired - Fee Related JP5891645B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011173882A JP5891645B2 (en) 2011-08-09 2011-08-09 Imaging apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011173882A JP5891645B2 (en) 2011-08-09 2011-08-09 Imaging apparatus and program

Publications (2)

Publication Number Publication Date
JP2013038640A true JP2013038640A (en) 2013-02-21
JP5891645B2 JP5891645B2 (en) 2016-03-23

Family

ID=47887813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011173882A Expired - Fee Related JP5891645B2 (en) 2011-08-09 2011-08-09 Imaging apparatus and program

Country Status (1)

Country Link
JP (1) JP5891645B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505903A (en) * 2014-12-04 2017-02-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Imaging system and method
JP2020155979A (en) * 2019-03-20 2020-09-24 任天堂株式会社 Image display system, image display program, image display device, and image display method
JP2020155980A (en) * 2019-03-20 2020-09-24 任天堂株式会社 Image display system, image display program, image display device, and image display method
CN112731665A (en) * 2020-12-31 2021-04-30 中国人民解放军32181部队 Self-adaptive binocular stereoscopic vision low-light night vision head-mounted system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107601A (en) * 2001-10-01 2003-04-09 Canon Inc Device and method for photographing three-dimensional image
JP2005020559A (en) * 2003-06-27 2005-01-20 Univ Waseda Three-dimensional video presentation apparatus
JP2005297168A (en) * 2004-04-16 2005-10-27 Fujinon Corp Remote control robot
JP2011138093A (en) * 2009-12-01 2011-07-14 Minoru Inaba Stereoscopic imaging apparatus
WO2011086898A1 (en) * 2010-01-14 2011-07-21 パナソニック株式会社 3d image capturing device and control method therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107601A (en) * 2001-10-01 2003-04-09 Canon Inc Device and method for photographing three-dimensional image
JP2005020559A (en) * 2003-06-27 2005-01-20 Univ Waseda Three-dimensional video presentation apparatus
JP2005297168A (en) * 2004-04-16 2005-10-27 Fujinon Corp Remote control robot
JP2011138093A (en) * 2009-12-01 2011-07-14 Minoru Inaba Stereoscopic imaging apparatus
WO2011086898A1 (en) * 2010-01-14 2011-07-21 パナソニック株式会社 3d image capturing device and control method therefor

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505903A (en) * 2014-12-04 2017-02-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Imaging system and method
US10728514B2 (en) 2014-12-04 2020-07-28 SZ DJI Technology Co., Ltd. Imaging system and method
JP2020155979A (en) * 2019-03-20 2020-09-24 任天堂株式会社 Image display system, image display program, image display device, and image display method
JP2020155980A (en) * 2019-03-20 2020-09-24 任天堂株式会社 Image display system, image display program, image display device, and image display method
JP7301567B2 (en) 2019-03-20 2023-07-03 任天堂株式会社 Image display system, image display program, image display device, and image display method
JP7349808B2 (en) 2019-03-20 2023-09-25 任天堂株式会社 Image display system, image display program, image display device, and image display method
US11835737B2 (en) 2019-03-20 2023-12-05 Nintendo Co., Ltd. Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
CN112731665A (en) * 2020-12-31 2021-04-30 中国人民解放军32181部队 Self-adaptive binocular stereoscopic vision low-light night vision head-mounted system
CN112731665B (en) * 2020-12-31 2022-11-01 中国人民解放军32181部队 Self-adaptive binocular stereoscopic vision low-light night vision head-mounted system

Also Published As

Publication number Publication date
JP5891645B2 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP5214826B2 (en) Stereoscopic panorama image creation device, stereo panorama image creation method, stereo panorama image creation program, stereo panorama image playback device, stereo panorama image playback method, stereo panorama image playback program, and recording medium
JP5371845B2 (en) Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus
JP2010278878A (en) Stereoscopic image device and display image switching method thereof
JP5444452B2 (en) Stereo imaging device and stereo imaging method
JPWO2011108277A1 (en) Stereo imaging device and stereo imaging method
TW201351959A (en) Method of stereo 3D image synthesis and related camera
WO2011108276A1 (en) 3d imaging device and 3d imaging method
JP5550791B2 (en) Image processing apparatus, imaging apparatus, and parallax adjustment method
JP5640155B2 (en) Stereoscopic image pickup apparatus and in-focus state confirmation image display method
JP5891645B2 (en) Imaging apparatus and program
JP6155471B2 (en) Image generating apparatus, imaging apparatus, and image generating method
JP2013171058A (en) Stereoscopic image processing device, stereoscopic image pickup device, stereoscopic image display device
JP6016180B2 (en) Image processing method and image processing apparatus
US9591284B2 (en) Visually-assisted stereo acquisition from a single camera
JP5586788B2 (en) Image display device and image pickup device
JP2012227653A (en) Imaging apparatus and imaging method
JP5453552B2 (en) Imaging apparatus, method and program
JP5580486B2 (en) Image output apparatus, method and program
JP5351878B2 (en) Stereoscopic image display apparatus and method, and program
JP2012085252A (en) Image generation device, image generation method, program, and recording medium with program recorded thereon
TWI466535B (en) Three-dimensional imaging method using single-lens mage-capture apparatus, and three-dimensional image enhancement method and three-dimensional image enhancement apparatus based on first and second two-dimensional images for three-dimensional image displ
JP2013070153A (en) Imaging apparatus
JP5409481B2 (en) Compound eye photographing apparatus and program
JP2012220603A (en) Three-dimensional video signal photography device
KR20140000723A (en) 3d camera module

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160208

R150 Certificate of patent or registration of utility model

Ref document number: 5891645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees