JP5191864B2 - Three-dimensional display device, method and program - Google Patents
Three-dimensional display device, method and program Download PDFInfo
- Publication number
- JP5191864B2 JP5191864B2 JP2008283963A JP2008283963A JP5191864B2 JP 5191864 B2 JP5191864 B2 JP 5191864B2 JP 2008283963 A JP2008283963 A JP 2008283963A JP 2008283963 A JP2008283963 A JP 2008283963A JP 5191864 B2 JP5191864 B2 JP 5191864B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- dimensional
- dimensional display
- image groups
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
本発明は、画像を３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。 The present invention relates to a three-dimensional display device and method for three-dimensionally displaying an image, and a program for causing a computer to execute the three-dimensional display method.
複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより行うことができる。 It is known that stereoscopic viewing can be performed using parallax by combining a plurality of images and displaying them three-dimensionally. In such a stereoscopic view, a plurality of images are acquired by photographing the same subject from different positions using a plurality of cameras, and the plurality of images are three-dimensionally obtained using the parallax of the subjects included in the plurality of images. This can be done by displaying.
具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。 Specifically, in the case of a method for realizing stereoscopic vision by the naked eye balance method, a plurality of images can be arranged side by side to perform three-dimensional display. In addition, a plurality of images are overlapped with different colors such as red and blue, or a plurality of images are overlapped with different polarization directions, and a plurality of images are combined to perform three-dimensional display. Can do. In this case, stereoscopic viewing can be performed by using image separation glasses such as red-blue glasses and polarizing glasses to fuse the three-dimensionally displayed image with the auto-focus function of the eyes (an anaglyph method, a polarizing filter method). ).
また、画像分離メガネを使用しなくても、バリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。 Further, even if image separation glasses are not used, a plurality of images can be displayed on a three-dimensional display monitor capable of stereoscopic viewing and stereoscopically viewed as in the barrier method and the lenticular method. In this case, three-dimensional display is performed by cutting a plurality of images into strips in the vertical direction and arranging them alternately. In addition, a method of performing three-dimensional display by alternately displaying the left and right images while changing the light beam direction of the left and right images by using image separation glasses or attaching an optical element to the liquid crystal has been proposed. (Scan backlight method).
また、上述したような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用の３次元画像を生成し、生成した３次元画像を３次元表示モニタに３次元表示することができる。 In addition, a compound eye camera having a plurality of photographing units that performs photographing for performing the three-dimensional display as described above has been proposed. Such a compound eye camera is provided with a 3D display monitor, generates a 3D image for 3D display from images acquired by a plurality of imaging units, and displays the generated 3D image on the 3D display monitor. Can do.
ところで、複数の画像を表示する際に、各画像のサムネイル画像を生成し、サムネイル画像の一部が重なるように、立体感を持ってサムネイル画像の一覧を表示する手法が提案されている（特許文献１参照）。 By the way, when displaying a plurality of images, a method of generating a thumbnail image of each image and displaying a list of thumbnail images with a stereoscopic effect so that a part of the thumbnail images overlap has been proposed (patent). Reference 1).
一方、１回の撮影動作により、露出値を複数段階に変更して露出が異なる複数の画像を取得するブラケット撮影を行う場合がある。また、露出値を変更するのみならず、ズーム、フォーカス、ホワイトバランスおよびフラッシュ発光量等の撮影時における他の設定値を変更する各種ブラケット撮影が行われている。このようなブラケット撮影を行った場合、撮影時の設定値が異なる複数の画像を同時に一覧として表示することにより、撮影者は所望とする設定値により撮影を行った画像を選択することができる。
ところで、上述した複眼カメラを用いてブラケット撮影を行うことにより、撮影時の設定値が変更される毎に複数の画像が取得され、３次元画像が生成される。したがって、撮影時の設定値が異なる撮影毎に生成された３次元画像の一覧を表示することにより、撮影者は立体視を行いつつ、所望とする設定値により撮影を行った画像を選択することができる。 By the way, by performing bracket photographing using the compound eye camera described above, a plurality of images are acquired each time a setting value at the time of photographing is changed, and a three-dimensional image is generated. Therefore, by displaying a list of three-dimensional images generated for each shooting with different setting values at the time of shooting, the photographer can select an image shot with desired setting values while performing stereoscopic viewing. Can do.
しかしながら、３次元表示を行った場合、表示された画像が立体感を有するため、撮影時の設定値の相違に基づく画質の相違がわかりにくく、画像の比較が困難となるおそれがある。 However, when the three-dimensional display is performed, the displayed image has a three-dimensional effect, so that the difference in image quality based on the difference in setting values at the time of shooting is difficult to understand, and there is a possibility that the comparison of images becomes difficult.
本発明は上記事情に鑑みなされたものであり、３次元表示を行うための複数の画像をブラケット撮影により取得した場合に、画像を容易に比較できるようにすることを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to enable easy comparison of images when a plurality of images for performing three-dimensional display are acquired by bracket shooting.
本発明による３次元表示装置は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得する画像取得手段と、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得する３次元処理手段と、
前記複数の３次元画像の３次元表示を行う表示手段とを備えたことを特徴とするものである。
A three-dimensional display device according to the present invention includes an image acquisition unit that acquires a plurality of image groups each of which is acquired by bracket shooting and includes a plurality of images for performing three-dimensional display.
The parallax between the plurality of images included in each of the plurality of image groups is changed according to a difference in setting values at the time of bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. Three-dimensional processing means for acquiring a plurality of three-dimensional images for each photographing with different set values by performing three-dimensional processing on the three-dimensional processing;
A display means for performing a three-dimensional display of the plurality of three-dimensional images is provided.
「設定値」とは、ブラケット撮影時にずらされる値であり、例えば上述した露出値、ズーム、フォーカス、ホワイトバランスおよびフラッシュ発光量等の撮影時における各種設定値を用いることができる。 The “setting value” is a value shifted during bracket shooting, and various setting values during shooting such as the exposure value, zoom, focus, white balance, and flash emission amount described above can be used.
なお、本発明による３次元表示装置においては、前記表示手段を、前記複数の３次元画像の一覧の３次元表示を行う手段としてもよい。 In the three-dimensional display device according to the present invention, the display means may be a means for performing a three-dimensional display of the list of the plurality of three-dimensional images.
また、本発明による３次元表示装置においては、前記３次元処理手段を、前記ブラケット撮影がＡＥブラケット撮影である場合において、撮影時の露出設定値が大きいほど立体感が大きくなるように、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差を変更する手段としてもよい。 In the three-dimensional display device according to the present invention, when the bracket photographing is AE bracket photographing, the three-dimensional processing means is configured so that the stereoscopic effect increases as the exposure setting value at the time of photographing increases. It is good also as a means to change the parallax between the said some image contained in each of these image groups.
本発明による３次元表示方法は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得し、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得し、
前記複数の３次元画像の３次元表示を行うことを特徴とするものである。
The three-dimensional display method according to the present invention obtains a plurality of image groups each made up of a plurality of images obtained by bracket photography, each for performing three-dimensional display,
The parallax between the plurality of images included in each of the plurality of image groups is changed according to a difference in setting values at the time of bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. A plurality of three-dimensional images are acquired for each photographing with different setting values by performing three-dimensional processing on the
A three-dimensional display of the plurality of three-dimensional images is performed.
本発明による第１の画像処理装置は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得する画像取得手段と、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差を変更する処理手段とを備えたことを特徴とするものである。
The first image processing apparatus according to the present invention includes an image acquisition unit that acquires a plurality of image groups each of which is acquired by bracket shooting and each includes a plurality of images for three-dimensional display.
And processing means for changing parallax between the plurality of images included in each of the plurality of image groups in accordance with a difference in setting values during the bracket photographing.
本発明による第２の画像処理装置は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得する画像取得手段と、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間に設定すべき視差量を算出する処理手段と、
該視差量を前記複数の画像と関連づけて保存する保存手段とを備えたことを特徴とするものである。
The second image processing apparatus according to the present invention includes an image acquisition unit that acquires a plurality of image groups each of which is acquired by bracket shooting and includes a plurality of images for performing three-dimensional display.
Processing means for calculating a parallax amount to be set between the plurality of images included in each of the plurality of image groups according to a difference in setting values at the time of the bracket photographing;
A storage unit that stores the parallax amount in association with the plurality of images is provided.
「視差量を複数の画像と関連づけて保存する」とは、視差量および視差量を算出した複数の画像が管理上一体不可分の関係となることを意味する。具体的には視差量を表す情報および複数の画像を同一のフォルダに保存する、視差量を表す情報および複数の画像に共通のファイル名を付与する、視差量を表す情報および複数の画像が関連することを表す情報を保存する、並びに視差量を表す情報および複数の画像を１つのファイルに保存する等の手法により、視差量を表す情報および複数の画像を関連づけて保存することができる。 “Saving the amount of parallax associated with a plurality of images” means that the amount of parallax and the plurality of images for which the amount of parallax has been calculated are inseparably managed. Specifically, information indicating the amount of parallax and a plurality of images are stored in the same folder, information indicating the amount of parallax and information common to a plurality of images are given, and information indicating the amount of parallax and a plurality of images are related The information indicating the amount of parallax and the information indicating the amount of parallax and the plurality of images can be stored in association with each other by a method such as storing information indicating the amount of parallax and a plurality of images in one file.
本発明による第１の画像処理方法は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得し、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差を変更することを特徴とするものである。
A first image processing method according to the present invention acquires a plurality of image groups each made up of a plurality of images acquired by bracket shooting and each of which performs three-dimensional display,
The parallax between the plurality of images included in each of the plurality of image groups is changed according to a difference in setting values during the bracket photographing.
本発明による第２の画像処理方法は、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる、複数の画像群を取得し、
前記ブラケット撮影時における設定値の相違に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間に設定すべき視差量を算出し、
該視差量を前記複数の画像と関連づけて保存することを特徴とするものである。
The second image processing method according to the present invention acquires a plurality of image groups each made up of a plurality of images acquired by bracket shooting and each of which performs three-dimensional display.
In accordance with a difference in setting values at the time of bracket shooting, a parallax amount to be set between the plurality of images included in each of the plurality of image groups is calculated,
The parallax amount is stored in association with the plurality of images.
なお、本発明による３次元表示方法並びに本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。 The three-dimensional display method according to the present invention and the first and second image processing methods according to the present invention may be provided as a program for causing a computer to execute.
本発明によれば、ブラケット撮影により取得された、それぞれが３次元表示を行うための複数の画像からなる複数の画像群が取得され、ブラケット撮影時における設定値の相違に応じて、複数の画像群のそれぞれに含まれる複数の画像間の視差が変更されて、複数の画像群に含まれる複数の画像に対して３次元処理が行われる。そして、設定値が異なる撮影毎に複数の３次元画像が取得され、３次元画像が３次元表示される。このため、ブラケット撮影時の設定値が異なる３次元画像は、立体感が異なるように立体視されることとなる。したがって、３次元表示を行うための複数の画像をブラケット撮影により取得した場合に、設定値が異なる撮影毎の画像の比較を容易に行うことができる。 According to the present invention, a plurality of image groups each obtained by bracket shooting and each including a plurality of images for performing three-dimensional display are acquired, and a plurality of images are obtained in accordance with a difference in setting values during bracket shooting. The parallax between the plurality of images included in each of the groups is changed, and three-dimensional processing is performed on the plurality of images included in the plurality of image groups. A plurality of three-dimensional images are acquired for each photographing with different setting values, and the three-dimensional images are displayed in three dimensions. For this reason, three-dimensional images with different setting values at the time of bracket shooting are stereoscopically viewed so that the stereoscopic effect is different. Therefore, when a plurality of images for three-dimensional display are acquired by bracket shooting, it is possible to easily compare images for each shooting with different setting values.
とくに、複数の３次元画像を一覧表示することにより、設定値が異なる撮影毎の画像の比較をより容易に行うことができる。 In particular, by displaying a list of a plurality of three-dimensional images, it is possible to more easily compare images for each shooting with different setting values.
また、ブラケット撮影がＡＥブラケット撮影である場合において、撮影時の露出設定値が大きいほど、立体感が大きくなるように複数の画像群のそれぞれに含まれる複数の画像間の視差を変更することにより、明るい画像ほど大きな立体感となるように立体視されるため、ＡＥブラケット撮影により取得された画像間の明るさの相違を容易に認識することができる。 In addition, when bracket shooting is AE bracket shooting, the parallax between the plurality of images included in each of the plurality of image groups is changed so that the stereoscopic effect increases as the exposure setting value at the time of shooting increases. Since a brighter image is stereoscopically viewed so as to have a larger stereoscopic effect, a difference in brightness between images acquired by AE bracket shooting can be easily recognized.
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように本実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるものとする。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing an internal configuration of a compound eye camera to which a three-dimensional display device according to an embodiment of the present invention is applied. As shown in FIG. 1, the compound-eye camera 1 according to this embodiment includes two
図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。
FIG. 2 is a diagram illustrating the configuration of the photographing
フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。
The
ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。
The
絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
The
シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
The
ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
The
ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。
The
Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。
The A /
撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて露出値を決定し、露出値に基づいて絞り値とシャッタ速度とを決定して撮影部２１Ａ，２１Ｂに出力する。
The
また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。
In addition, the
ここで、撮影制御部２２は、ブラケット撮影の指示が複眼カメラ１に対して行われた場合、ＡＥ処理により決定した露出値を基準として、露出値をプラス側およびマイナス側にそれぞれずらし、露出値が異なる３回の撮影を行う。具体的には、ＡＥ処理により決定した露出値を基準となる０Ｅｖとして、＋０．３Ｅｖおよび−０．３Ｅｖの３つの露出値を用いて、露出値が異なる３回の撮影を行う。なお、本実施形態による複眼カメラは１回の撮影により第１および第２の画像Ｇ１，Ｇ２からなる画像群が取得される。このため、ブラケット撮影を行った場合、３回の撮影のそれぞれにおいて第１および第２の画像Ｇ１，Ｇ２からなる画像群が取得されることから、合計６枚の画像が取得されることとなる。
Here, when an instruction for bracket shooting is given to the compound eye camera 1, the
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
The
圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
The compression /
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
The
メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイルの書き込みと読み込みの制御を行う。
The
内部メモリ２７は、撮影部２１Ａ，２１Ｂの基線長および輻輳角、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。
The
表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。
The
また、表示制御部２８は、後述するようにブラケット撮影により取得された複数のサムネイル３次元画像の一覧をモニタ２０に表示する。
In addition, the
また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平行法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。
Further, the compound eye camera 1 according to the present embodiment includes a three-
なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。
The
また、３次元処理部３０は、ブラケット撮影が行われた場合、各撮影により取得された画像群に含まれる第１および第２の画像Ｇ１，Ｇ２の視差を、撮影時の露出値に応じて変更して３次元処理を行う。以下、視差の変更について説明する。なお、以降の説明において、−０．３Ｅｖ、０Ｅｖ、＋０．３Ｅｖの露出値により取得した第１および第２の画像の参照符号をそれぞれＧ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）とする。
In addition, when bracket shooting is performed, the three-
３次元処理部３０は、０Ｅｖの露出値により取得した第１および第２の画像Ｇ１（０），Ｇ２（０）に対しては、視差を変更することなく３次元処理を行う。−０．３Ｅｖの露出により取得した第１および第２の画像Ｇ１（−），Ｇ２（−）に対しては、視差が第１および第２の画像Ｇ１（０），Ｇ２（０）よりも小さくなるように加工した後に３次元処理を行う。＋０．３Ｅｖの露出により取得した第１および第２の画像Ｇ１（＋），Ｇ２（＋）に対しては、視差が第１および第２の画像Ｇ１（０），Ｇ２（０）よりも大きくなるように加工した後に３次元処理を行う。
The three-
図３は視差の変更結果を示す図である。なお、図３においては、視差を変更した後の第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）を重ねて示している。図３に示すように、視差を変更した後の第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）は、露出値が大きいほど視差が大きくなっている。 FIG. 3 is a diagram illustrating a parallax change result. In FIG. 3, the first and second images G1 (−), G2 (−), G1 (0), G2 (0), G1 (+), and G2 (+) after changing the parallax are shown. It is shown repeatedly. As shown in FIG. 3, the first and second images G1 (−), G2 (−), G1 (0), G2 (0), G1 (+), and G2 (+) after changing the parallax are The greater the exposure value, the greater the parallax.
なお、視差の変更は、第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（＋），Ｇ２（＋）をモーフィングにより加工することにより行う。また、３次元処理時に、第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（＋），Ｇ２（＋）の水平方向の位置をずらすことによっても、視差を変更することができる。 The parallax is changed by processing the first and second images G1 (−), G2 (−), G1 (+), and G2 (+) by morphing. In addition, the parallax can be changed by shifting the horizontal positions of the first and second images G1 (−), G2 (−), G1 (+), and G2 (+) during the three-dimensional processing. it can.
ＣＰＵ３３は、レリーズボタンおよび十字キー等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。
The
データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
The
次いで、本実施形態において行われる処理について説明する。図４は本実施形態においてブラケット撮影により取得された画像の一覧を３次元表示する際に行われる処理を示すフローチャートである。なお、ここではブラケット撮影が行われ、第１および第２の画像Ｇ１，Ｇ２からなる、露出値が異なる３つの画像群が取得されているものとする。ブラケット撮影により取得された画像の一覧を３次元表示する指示が入力部３４から行われることによりＣＰＵ３３が処理を開始し、３次元処理部３０が、ブラケット撮影を行った際の露出値に応じた視差を有するように、３つの画像群に含まれる第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）に３次元処理を行って、３次元画像を取得する（ステップＳＴ１）。そして、表示制御部２８が３つの３次元画像を縮小してサムネイル３次元画像を生成し（ステップＳＴ２）、サムネイル３次元画像の一覧をモニタ２０に表示し（ステップＳＴ３）、処理を終了する。
Next, processing performed in the present embodiment will be described. FIG. 4 is a flowchart showing processing performed when a list of images acquired by bracket shooting is displayed in a three-dimensional manner in the present embodiment. Here, it is assumed that bracket photographing is performed and three image groups including first and second images G1 and G2 and having different exposure values are acquired. An instruction for three-dimensionally displaying a list of images acquired by bracket shooting is given from the
図５はモニタ２０に表示されたサムネイル３次元画像の一覧をその立体感とともに示す図である。図５に示すようにモニタ２０には、第１および第２の画像Ｇ１（−），Ｇ２（−）から生成したサムネイル３次元画Ｔ１、第１および第２の画像Ｇ１（０），Ｇ２（０）から生成したサムネイル３次元画像Ｔ２および第１および第２の画像Ｇ１（＋），Ｇ２（＋）から生成したサムネイル３次元画像Ｔ３がそれぞれ表示されている。３次元画像生成時においては、第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）の視差は、Ｇ１（−），Ｇ２（−）＜Ｇ１（０），Ｇ２（０）＜Ｇ１（＋），Ｇ２（＋）となっているため、３次元画像Ｔ１，Ｔ２，Ｔ３の立体感は、図５に示すようにＴ１＜Ｔ２＜Ｔ３となっている。
FIG. 5 is a diagram showing a list of thumbnail three-dimensional images displayed on the
このように、本実施形態においては、ブラケット撮影時の露出値が異なる３次元画像は、露出値が大きく明るいものほど立体感が大きくなるように立体視されるため、ＡＥブラケット撮影により取得された画像間の明るさの相違を容易に認識することができる。 As described above, in the present embodiment, three-dimensional images having different exposure values at the time of bracket shooting are stereoscopically viewed so that the stereoscopic effect increases as the exposure value increases and is brighter, and thus are acquired by AE bracket shooting. Differences in brightness between images can be easily recognized.
なお、上記実施形態においては、露出値を３段階に変化させてＡＥブラケット撮影を行っているが、２段階に変化させるようにしてもよく、４段階以上に変化させるようにしてもよい。 In the above embodiment, the AE bracket photographing is performed by changing the exposure value in three stages, but it may be changed in two stages or may be changed in four stages or more.
また、上記実施形態においては、ＡＥブラケット撮影を行っているが、ズーム、フォーカス、ホワイトバランスおよびフラッシュ発光量等の露出値以外の他の設定値を変更する他のブラケット撮影を行う場合にも本発明を適用できる。この場合、設定値の大きさに応じて、視差量をどのように変更するかをあらかじめ設定しておくことにより、設定値の大きさに応じて立体感が異なるようにブラケット撮影により取得された画像のサムネイル３次元画像を３次元表示することができる。例えば、ズームブラケット撮影を行った場合には、ズーム倍率が大きいほど視差を大きくすればよく、フォーカスブラケット撮影を行った場合には、焦点位置が近いほど視差を大きくすればよい。また、ホワイトバランスブラケット撮影を行った場合には、色温度が高いほど視差を大きくすればよく、フラッシュ発光量を変更するブラケット撮影を行った場合には、フラッシュ発光量が大きいほど視差を大きくすればよい。 In the above embodiment, AE bracket shooting is performed. However, the present embodiment is also used when other bracket shooting is performed in which other set values other than the exposure values such as zoom, focus, white balance, and flash emission amount are changed. The invention can be applied. In this case, it is obtained by bracket shooting so that the stereoscopic effect varies depending on the size of the setting value by setting in advance how to change the amount of parallax according to the size of the setting value. A thumbnail 3D image of the image can be displayed in 3D. For example, when zoom bracket shooting is performed, the parallax may be increased as the zoom magnification is increased, and when focus bracket shooting is performed, the parallax may be increased as the focal position is closer. In addition, when performing white balance bracket shooting, the higher the color temperature, the larger the parallax is. When performing bracket shooting that changes the flash light output, the larger the flash light output, the greater the parallax. That's fine.
また、上記実施形態においては、生成した３次元画像のサムネイル画像の一覧をモニタ２０に表示しているが、縮小前の３次元画像を入力部３４からの指示により、順次切り替えてモニタ２０に表示するようにしてもよい。この場合、表示する３次元画像を切り替える毎に３次元画像の立体感が違って見えるため、ブラケット撮影時の設定値が異なる複数の画像の比較を容易に行うことができる。
In the above embodiment, the list of thumbnail images of the generated three-dimensional image is displayed on the
また、上記実施形態においては、３次元処理部３０において視差を変更した第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）をモニタ２０に３次元表示しているが、視差を変更した第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）を記録メディア２９に保存し、他の表示装置において視差を変更した第１および第２の画像Ｇ１（−），Ｇ２（−）、Ｇ１（０），Ｇ２（０）、Ｇ１（＋），Ｇ２（＋）の３次元表示を行うようにしてもよい。
In the above embodiment, the first and second images G1 (−), G2 (−), G1 (0), G2 (0), G1 (+), and the first and second images whose parallax is changed in the three-
また、上記実施形態においては、３次元処理部３０において、第１および第２の画像Ｇ１（−），Ｇ２（−）、第１および第２の画像Ｇ１（０），Ｇ２（０）、並びに第１および第２の画像Ｇ１（＋），Ｇ２（＋）のそれぞれに設定すべき視差量を算出し、算出した視差量の情報を、第１および第２の画像Ｇ１（−），Ｇ２（−）、第１および第２の画像Ｇ１（０），Ｇ２（０）、および第１および第２の画像Ｇ１（＋），Ｇ２（＋）のそれぞれと関連づけて記録メディア２９に保存するようにしてもよい。なお、この場合、３次元処理部３０が処理手段に、メディア制御部２６が保存手段に対応する。
In the above embodiment, in the three-
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の３次元処理部３０に対応する手段として機能させ、図４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
Although the apparatus according to the embodiment of the present invention has been described above, a program that causes a computer to function as means corresponding to the above-described three-
１ 複眼カメラ
２０ モニタ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
２８ 表示制御部
３０ ３次元処理部
DESCRIPTION OF SYMBOLS 1
Claims (8)
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得する３次元処理手段と、
前記複数の３次元画像の一覧の３次元表示を行う表示手段とを備えたことを特徴とする３次元表示装置。 Image acquisition means for acquiring a plurality of image groups, each of which is acquired by bracket shooting, each consisting of a plurality of images for three-dimensional display;
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. Three-dimensional processing means for acquiring a plurality of three-dimensional images for each photographing with different setting values by performing three-dimensional processing,
A three-dimensional display device comprising: display means for performing three-dimensional display of a list of the plurality of three-dimensional images.
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得する３次元処理手段と、
前記複数の３次元画像を順次切り替えて３次元表示する表示手段とを備えたことを特徴とする３次元表示装置。 Image acquisition means for acquiring a plurality of image groups, each of which is acquired by bracket shooting, each consisting of a plurality of images for three-dimensional display;
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. Three-dimensional processing means for acquiring a plurality of three-dimensional images for each photographing with different setting values by performing three-dimensional processing,
A three-dimensional display device comprising: display means for sequentially switching the plurality of three-dimensional images to display them in three dimensions.
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得し、
前記複数の３次元画像の一覧の３次元表示を行うことを特徴とする３次元表示方法。 Acquire a plurality of image groups each consisting of a plurality of images obtained by bracket shooting, each for performing three-dimensional display,
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. To obtain a plurality of three-dimensional images for each photographing with different setting values,
A three-dimensional display method comprising performing a three-dimensional display of a list of the plurality of three-dimensional images.
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得し、
前記複数の３次元画像を順次切り替えて３次元表示することを特徴とする３次元表示方法。 Acquire a plurality of image groups each consisting of a plurality of images obtained by bracket shooting, each for performing three-dimensional display,
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. To obtain a plurality of three-dimensional images for each photographing with different setting values,
A three-dimensional display method characterized in that the plurality of three-dimensional images are sequentially switched to perform three-dimensional display.
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得する手順と、
前記複数の３次元画像の一覧の３次元表示を行う手順とを有する３次元表示方法をコンピュータに実行させることを特徴とするプログラム。 A procedure for acquiring a plurality of image groups each made up of a plurality of images acquired by bracket shooting, each for performing three-dimensional display;
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. A procedure of acquiring a plurality of three-dimensional images for each photographing with different setting values by performing three-dimensional processing,
A program causing a computer to execute a three-dimensional display method including a procedure for performing a three-dimensional display of a list of the plurality of three-dimensional images.
前記ブラケット撮影時における設定値に応じて、前記複数の画像群のそれぞれに含まれる前記複数の画像間の視差量を変更して、前記複数の画像群のそれぞれに含まれる前記複数の画像に対して３次元処理を行うことにより、前記設定値が異なる撮影毎に複数の３次元画像を取得する手順と、
前記複数の３次元画像を順次切り替えて３次元表示する手順とを有する３次元表示方法をコンピュータに実行させることを特徴とするプログラム。 A procedure for acquiring a plurality of image groups each made up of a plurality of images acquired by bracket shooting, each for performing three-dimensional display;
The parallax amount between the plurality of images included in each of the plurality of image groups is changed according to a setting value at the time of the bracket shooting, and the plurality of images included in each of the plurality of image groups is changed. A procedure of acquiring a plurality of three-dimensional images for each photographing with different setting values by performing three-dimensional processing,
A program for causing a computer to execute a three-dimensional display method having a procedure for three-dimensional display by sequentially switching the plurality of three-dimensional images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008283963A JP5191864B2 (en) | 2008-11-05 | 2008-11-05 | Three-dimensional display device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008283963A JP5191864B2 (en) | 2008-11-05 | 2008-11-05 | Three-dimensional display device, method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010114549A JP2010114549A (en) | 2010-05-20 |
| JP2010114549A5 JP2010114549A5 (en) | 2011-09-15 |
| JP5191864B2 true JP5191864B2 (en) | 2013-05-08 |
Family
ID=42302785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008283963A Expired - Fee Related JP5191864B2 (en) | 2008-11-05 | 2008-11-05 | Three-dimensional display device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5191864B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110927961A (en) * | 2018-09-19 | 2020-03-27 | 天津大学青岛海洋技术研究院 | Sub-eye optimal arrangement method of compound eye system based on three-dimensional detection |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5459072B2 (en) * | 2010-05-26 | 2014-04-02 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5302285B2 (en) | 2010-10-28 | 2013-10-02 | シャープ株式会社 | Stereoscopic video output device, stereoscopic video output method, stereoscopic video output program, computer-readable recording medium, and stereoscopic video display device |
| WO2013183366A1 (en) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | Display control device, display control method, and computer program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1188912A (en) * | 1997-09-10 | 1999-03-30 | Canon Inc | Compound eye camera and display control method for the compound eye camera |
| JP3814514B2 (en) * | 2001-10-23 | 2006-08-30 | キヤノン株式会社 | Image display apparatus, image processing method, and program |
| JP3897792B2 (en) * | 2005-01-27 | 2007-03-28 | シャープ株式会社 | Mobile phone |
| JP4219354B2 (en) * | 2005-11-21 | 2009-02-04 | シャープ株式会社 | Mobile phone, communication method, receiving device, and receiving method |
| JP4799366B2 (en) * | 2006-10-27 | 2011-10-26 | 三洋電機株式会社 | Imaging apparatus and image reproduction apparatus |
| JP4748398B2 (en) * | 2007-06-15 | 2011-08-17 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and program |
| JP4914420B2 (en) * | 2008-10-27 | 2012-04-11 | 富士フイルム株式会社 | Imaging device, compound eye imaging device, and imaging control method |
-
2008
- 2008-11-05 JP JP2008283963A patent/JP5191864B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110927961A (en) * | 2018-09-19 | 2020-03-27 | 天津大学青岛海洋技术研究院 | Sub-eye optimal arrangement method of compound eye system based on three-dimensional detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010114549A (en) | 2010-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4625515B2 (en) | Three-dimensional imaging apparatus, method, and program | |
| JP5595499B2 (en) | Monocular stereoscopic imaging device | |
| US8130259B2 (en) | Three-dimensional display device and method as well as program | |
| JP5449550B2 (en) | Stereoscopic image display device, stereoscopic image display method, stereoscopic image display program, and recording medium | |
| JP2010068182A (en) | Three-dimensional imaging device, method, and program | |
| JP4895312B2 (en) | Three-dimensional display device, method and program | |
| US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
| WO2011121818A1 (en) | Compound-eye imaging device, and disparity adjustment method and program therefor | |
| JP2008294530A (en) | Imaging apparatus, image reproducing device, imaging method, image reproducing method, and program | |
| JP5191864B2 (en) | Three-dimensional display device, method and program | |
| JP5190882B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| WO2012043003A1 (en) | Three-dimensional image display device, and three-dimensional image display method | |
| JP2010102137A (en) | Three-dimensional photographing device, method and program | |
| JP5049231B2 (en) | Three-dimensional display device, method and program | |
| JP4847500B2 (en) | Three-dimensional display device, method and program | |
| JP2012124650A (en) | Imaging apparatus, and imaging method | |
| JP4925070B2 (en) | Three-dimensional imaging apparatus, method, and program | |
| WO2012001958A1 (en) | Image processing device, method and program | |
| JP2010268097A (en) | Three-dimensional display device and three-dimensional display method | |
| JP5165742B2 (en) | Three-dimensional imaging apparatus, method, and program | |
| JP4881470B2 (en) | Three-dimensional display device, method and program | |
| JP2011259405A (en) | Imaging device and imaging method | |
| JP2011223175A (en) | Imaging apparatus, image processing method thereof, program thereof, and imaging system using the imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD15 | Notification of revocation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7435 Effective date: 20110421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110801 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |