JP2012128251A - Imaging apparatus and program - Google Patents
Imaging apparatus and program Download PDFInfo
- Publication number
- JP2012128251A JP2012128251A JP2010280603A JP2010280603A JP2012128251A JP 2012128251 A JP2012128251 A JP 2012128251A JP 2010280603 A JP2010280603 A JP 2010280603A JP 2010280603 A JP2010280603 A JP 2010280603A JP 2012128251 A JP2012128251 A JP 2012128251A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- dimensional
- photographing
- diaphragm
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 157
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 230000005484 gravity Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、光学レンズから絞り部を通して撮像素子に結像される被写体像を撮影する撮像装置及びプログラムに関する。 The present invention relates to an imaging apparatus and a program for capturing a subject image formed on an imaging element from an optical lens through a diaphragm.
近年、左右の目の視差を利用した視差バリア方式によって画像を3D(3次元)表示させる技術としては、互いに少しずらした右目用の画像と左目用の画像をそれぞれ用意して、それら2つの画像を同時に表示させる際に、右目用の画像は右目で見えて左目では見えないようにし、左目用の画像は左目で見えて右目では見えないようにするために光の経路を遮断する視差バリアを適切な位置に配置することによって画像を立体的に見せるようにした技術が知られている。 In recent years, as a technique for displaying an image in 3D (three-dimensional) by a parallax barrier method using the parallax of the left and right eyes, a right-eye image and a left-eye image that are slightly shifted from each other are prepared, and the two images are prepared. In order to prevent the right eye image from being seen by the left eye and the left eye image from being seen by the left eye and from the right eye, a parallax barrier that blocks the light path is displayed. A technique is known in which an image is made to appear three-dimensionally by being arranged at an appropriate position.
一方、上述のような2眼式の3D画像(視差のある2つの被写体像)を撮影することができる3Dカメラ装置(撮像装置)の開発が進んでいる。すなわち、3次元画像用の視差のある2つの画像(右目用の画像と左目用の画像)を取得する方式として、光学レンズと撮像素子の間に挿入されていてその光軸の両側に離間してそれぞれ配置された2つの絞り(左目画像用の絞り、右目画像用の絞り)を用意し、時分割シャッタを使用してそれぞれの絞りを通して撮像素子に結像された2つの被写体像を取り込む方式が提案されている。そして、従来では、例えば、2次元撮影と3次元撮影とを切り替え可能とするために2次元撮影用の絞りと3次元撮影用の絞りとを切り替えるようにした技術(内視鏡装置)が提案されている(特許文献1参照)。また、2つの絞りを使用した3次元撮影用のカメラの応用技術(眼科撮影装置)が提案されている(特許文献2参照)。 On the other hand, development of a 3D camera device (imaging device) capable of capturing a binocular 3D image (two subject images with parallax) as described above is in progress. That is, as a method for acquiring two images with parallax for a three-dimensional image (right-eye image and left-eye image), they are inserted between the optical lens and the image sensor and separated from both sides of the optical axis. Two apertures (left-eye image aperture and right-eye image aperture) respectively prepared, and using a time-division shutter to capture two subject images formed on the image sensor through the respective apertures Has been proposed. Conventionally, for example, a technique (endoscope device) that switches between a two-dimensional imaging diaphragm and a three-dimensional imaging diaphragm to enable switching between two-dimensional imaging and three-dimensional imaging is proposed. (See Patent Document 1). In addition, an application technique (ophthalmic imaging apparatus) of a camera for three-dimensional imaging using two diaphragms has been proposed (see Patent Document 2).
しかしながら、上述したように2つの絞りを使用して視差のある2つの被写体像を3次元画像として撮影可能な技術にあっては、1つの光学系で視差のある2つの被写体像を取得できるというメリットはあるものの、視差方向の関係上、撮影時のカメラの姿勢が通常の横撮り(カメラを横に構えて撮影)する場合のみに限定されてしまい、一般的なカメラのような縦撮り(カメラを縦に構えて撮影)することができないという問題点があった。 However, as described above, in a technique that can capture two subject images with parallax as a three-dimensional image using two diaphragms, two subject images with parallax can be acquired with one optical system. Although there is a merit, due to the parallax direction, the camera posture at the time of shooting is limited only to normal horizontal shooting (shooting with the camera sideways), vertical shooting like a general camera ( There was a problem that the camera could not be taken vertically).
本発明の課題は、1つの光学系で視差のある2つの被写体像を3次元画像として撮影する場合に、装置の姿勢が横撮りか縦撮りかに関わらず3次元撮影を適切に実行できるようにすることである。 An object of the present invention is to appropriately execute three-dimensional imaging regardless of whether the posture of the apparatus is horizontal or vertical when two subject images with parallax are captured as a three-dimensional image with one optical system. Is to do.
上述した課題を解決するために請求項1記載の発明は、
光学レンズから絞り部を通して撮像素子に結像される被写体像を撮影する撮像装置であって、
当該撮像装置が重力方向に対して縦向きの場合に3次元撮影を行うための第1の3次元撮影手段と、
当該撮像装置が重力方向に対して横向きの場合に3次元撮影を行うための第2の3次元撮影手段と、
当該撮像装置の重力方向に対する向きを検出する検出手段と、
前記検出手段により検出された当該撮像装置の重力方向に対する向きに応じて、前記第1の3次元撮影手段或いは前記第2の3次元撮影手段に切り替えることにより3次元撮影を制御する撮影制御手段と、
を備えることを特徴とする。
In order to solve the above-described problem, the invention described in
An imaging apparatus that captures a subject image formed on an imaging element from an optical lens through a diaphragm,
A first three-dimensional imaging means for performing three-dimensional imaging when the imaging device is vertically oriented with respect to the direction of gravity;
Second 3D imaging means for performing 3D imaging when the imaging device is transverse to the direction of gravity;
Detection means for detecting the orientation of the imaging device with respect to the gravitational direction;
Photographing control means for controlling three-dimensional photographing by switching to the first three-dimensional photographing means or the second three-dimensional photographing means in accordance with the orientation of the imaging device detected by the detecting means with respect to the direction of gravity; ,
It is characterized by providing.
請求項1に従属する発明として、
前記絞り部は、前記光学レンズと前記撮像素子の間に挿入されていてその光軸の両側に離間してそれぞれ形成されている2つの孔を有し、
前記第1の3次元撮影手段及び第2の3次元撮影手段は、前記2つの孔を順次択一的に開放しながらその孔を通して前記撮像素子にそれぞれ結像された2つの被写体像を、視差を持った2つの被写体像として取得する構成であり、かつ、前記第1の3次元撮影手段と第2の3次元撮影手段とは、前記光軸を通る直線上に前記2つの孔が並んでいる状態での並びの向きが略90°それぞれ異なる、
ようにしたことを特徴とする、請求項2記載の発明であってもよい。
As an invention dependent on
The aperture section has two holes that are inserted between the optical lens and the image sensor and are formed separately on both sides of the optical axis,
The first three-dimensional photographing unit and the second three-dimensional photographing unit disparate two object images respectively formed on the image sensor through the two holes while sequentially opening the two holes. And the first three-dimensional photographing means and the second three-dimensional photographing means are arranged such that the two holes are arranged on a straight line passing through the optical axis. The orientation of the arrangement in the state where the
The invention according to
請求項2に従属する発明として、
前記2つの孔を有する絞り部を略90°回転駆動させることによりその絞り部を前記第1の3次元撮影手段用とするか前記第2の3次元撮影手段用とするかに切り替える切り替え手段を更に備える、
ようにしたことを特徴とする、請求項3記載の発明であってもよい。
As an invention dependent on
Switching means for switching the diaphragm portion to be used for the first three-dimensional photographing means or the second three-dimensional photographing means by rotating the diaphragm portion having the two holes by approximately 90 °. In addition,
The invention according to
請求項1〜請求項3のいずれかに従属する発明として、
2次元撮影を行うための2次元撮影手段と、
2次元撮影用の絞り部と3次元撮影用の絞り部を切り替えることにより2次元撮影と3次元撮影のいずれかを選択する選択手段と、
を更に備え、
前記撮影制御手段は、前記選択手段により2次元撮影が選択された場合に、前記2次元撮影手段による2次元撮影の制御を行い、3次元撮影が選択された場合に、前記第1の3次元撮影手段或いは第2の3次元撮影手段による3次元撮影の制御を行う、
ようにしたことを特徴とする、請求項4記載の発明であってもよい。
As an invention dependent on any one of
Two-dimensional imaging means for performing two-dimensional imaging;
A selection means for selecting either 2D imaging or 3D imaging by switching between a 2D imaging aperture unit and a 3D imaging aperture unit;
Further comprising
The photographing control means controls the two-dimensional photographing by the two-dimensional photographing means when two-dimensional photographing is selected by the selecting means, and when the three-dimensional photographing is selected, the first three-dimensional photographing is performed. Control of 3D imaging by the imaging means or the second 3D imaging means;
The invention according to
請求項1〜請求項4のいずれかに従属する発明として、
前記検出手段は、当該撮像装置が重力方向に対して縦向きの場合に、更に当該撮像装置が上下反転の関係にある正立状態か倒立状態かを検出し、
前記撮影制御手段は、前記検出手段により検出された正立状態か倒立状態かに応じて、前記第2の3次元撮影手段における3次元撮影を制御する、
ようにしたことを特徴とする、請求項5記載の発明であってもよい。
As an invention dependent on any one of
The detecting means detects whether the imaging device is in an upright or inverted state in which the imaging device is vertically inverted when the imaging device is vertically oriented with respect to the direction of gravity,
The photographing control means controls the three-dimensional photographing in the second three-dimensional photographing means in accordance with the upright state or the inverted state detected by the detecting means;
The invention according to
また、上述した課題を解決するために請求項6記載の発明は、
コンピュータに対して、
光学レンズから絞り部を通して撮像素子に結像される被写体像を撮影する撮像装置が重力方向に対して縦向きの場合に3次元撮影を行うための機能と、
当該撮像装置が重力方向に対して横向きの場合に3次元撮影を行うための機能と、
当該撮像装置の重力方向に対する向きを検出する機能と、
前記検出された当該撮像装置の重力方向に対する向きに応じて、前記縦向きの3次元撮影或いは前記横向の3次元撮影機能に切り替えることにより3次元撮影を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。
In order to solve the above-described problem, the invention described in
Against the computer,
A function for performing three-dimensional imaging when an imaging device that captures an image of a subject formed on an imaging element from an optical lens through a diaphragm unit is vertically oriented with respect to the direction of gravity;
A function for performing three-dimensional imaging when the imaging device is transverse to the direction of gravity;
A function of detecting the direction of the imaging device with respect to the direction of gravity;
A function of controlling the three-dimensional imaging by switching to the vertical three-dimensional imaging or the horizontal three-dimensional imaging function according to the detected orientation of the imaging device with respect to the gravity direction;
It is a program for realizing.
本発明によれば、1つの光学系で視差のある2つの被写体像を3次元画像として撮影する場合に、装置の姿勢が横撮りか縦撮りかに関わらず3次元撮影を適切に実行することができ、利便性に富んだものとなる。 According to the present invention, when two subject images with parallax are photographed as a three-dimensional image by one optical system, the three-dimensional photographing is appropriately executed regardless of whether the posture of the apparatus is horizontal photographing or vertical photographing. Can be made convenient.
以下、図1〜図7を参照して本発明の実施形態を説明する。
図1は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラ(撮像装置)は、静止画像のほかに動画像の撮影も可能なコンパクトカメラであり、このデジタルカメラ(以下、カメラと略称する)の全体(筺体全体)は、直方体を成している。そして、このカメラは、2次元撮影を行う撮影モードと3次元撮影を行う撮影モードとを切り替え可能なもので、制御部1を中核として動作する。ここで、本実施形態の3次元撮影は、左右の目の視差を利用して画像を3D撮影することを示している。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのカメラの全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing basic components of a digital camera applied as an imaging apparatus.
A digital camera (imaging device) is a compact camera capable of capturing a moving image in addition to a still image, and the entire digital camera (hereinafter, abbreviated as a camera) (the entire housing) forms a rectangular parallelepiped. . The camera can switch between a photographing mode for performing two-dimensional photographing and a photographing mode for performing three-dimensional photographing, and operates with the
記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、後述する図6及び図7に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部M1と、撮像済み画像を保存する画像記憶部M2のほか、このカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域を有する構成となっている。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。
The
表示部4は、例えば、高精細液晶ディスプレイを使用し、画像を高精細に表示するもので、撮像された画像(スルー画像:ライブビュー画像)を表示するファインダ画面(モニタ画面)として機能したり、保存済み画像を表示する再生画面として機能したりする。この表示部4の表面には、3D表示用の視差バリアを生成するための液晶の層が設けられている。操作部5は、図示省略したが、シャッタ操作、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などを行う押しボタン式の各種のキーを備えたもので、制御部1は、この操作部5からの入力操作信号に応じた処理として、例えば、撮影処理、撮影条件の設定、再生処理、データ入力処理などを行う。
The
撮像部6は、被写体を高精細に撮影可能なカメラ部を構成するもので、光学レンズ7、絞り部8、撮像素子9を有し、光学レンズ7から絞り部8を通して撮像素子9に結像される被写体像を撮影する。そして、撮像部6は、2次元画像の撮影と3次元画像の撮影を切り替え可能となっており、絞り部8は、光学レンズ7と結像面である撮像素子9の間に配置され、後述する2次元撮影用の絞りと3次元撮影用の絞りを有している。撮像素子9は、CCDやCMOSなどのエリアイメージセンサであり、例えば、全体が矩形(長方形)で、その有効画素数は、横6mm×縦4mm又は横24mm×縦16mmとなっている。
The
この撮像部6には、光学レンズ7、絞り部8、撮像素子9のほか、図示省略したが、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。この撮像部6と制御部1は、オートフォーカス処理(AF処理)、ズーム処理、露出調整処理(AE処理)を実行したり、撮像部6からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間処理を実行したり、画像処理として収差補正処理を行ったり、画像をJPEG形式などの画像形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。
The
向き検出部10は、カメラ(撮像装置)の重力方向に対する向きを検出するもので、例えば、3軸タイプの加速度センサ(3軸方向振動センサ)によって構成され、この加速度センサによって検出された互いに直交する3軸方向(X・Y・Z方向)の加速度成分に基づいて制御部1は、カメラの重力方向に対する向きとして、カメラの長手方向が重力方向に対して平行する上下方向(縦方向)となる縦長状態の縦向き姿勢で撮影を行う(縦撮り状態)であるのか、カメラの長手方向が重力方向に対して直交する左右方向(横方向)となる横長状態の横向き姿勢で撮影を行う(横撮り状態)であるのかを検出するようにしている。
The
更に、向き検出部10は、縦向き姿勢であれば、カメラを上下に反転した関係にある縦向き正立の状態で撮影を行うのか、縦向き倒立の状態で撮影を行うのかを検出するようにしている。なお、この正立状態、倒立状態については後述するものとする。制御部1は、3次元画像の撮影時に向き検出部10により検出された向きが縦向き姿勢か横向き姿勢かに応じて縦向き姿勢での3次元撮影(縦撮り)に切り替えたり、横向き姿勢での3次元撮影(横撮り)に切り替えたりするほか、縦向き姿勢の場合には、更に縦向き正立状態であるか縦向き倒立状態であるかに応じて、縦向き正立状態での3次元撮影(縦撮り正立)に切り替えたり、縦向き倒立状態での3次元撮影(縦撮り倒立)に切り替えたりするようにしている。
Furthermore, the
図2は、絞り部8を説明するための図である。
絞り部8は、2次元撮影用の絞り部81と3次元撮影用の絞り部82を有している。この2次元撮影用の絞り部81は、図示のように、円形の光学的遮蔽板(図中、黒塗り部分)に1つの開口部(孔)81aを有する構成であるのに対し、3次元撮影用の絞り部82は、図示のように、円形の光学的遮蔽板(図中、黒塗り部分)の中心を境にして配置した2つの開口部として第1の孔82aと第2の孔82bを有する構成となっている。この第1の孔82aと第2の孔82bは、光学レンズ7と撮像素子9との光軸(絞り部82の中心位置)を境としてその両側に所定間隔をあけて(離間して)配置されたもので、この光軸を通る直線上においてその光軸を中心とする対称の位置にそれぞれ配置されている。
FIG. 2 is a diagram for explaining the
The
そして、3次元撮影用の絞り部82において第1の孔82aと第2の孔82bの大きさは、それぞれ同一サイズとなっており、この第1の孔82a、第2の孔82bが並んでいる状態で3次元撮影用の絞り部82を90°回転させると、その並びの向きは、略90°それぞれ異なるようになる。すなわち、図中、左側に位置している3次元撮影用の絞り部82は、カメラを横向きにした姿勢で3次元撮影を行う横撮りの場合であり、右側に位置している3次元撮影用の絞り部82は、カメラを縦向きにした姿勢で3次元撮影を行う縦撮りの場合を示している。ここで、カメラが横向き姿勢から縦向き姿勢に変更されると、3次元撮影用の絞り部82は90°回転された状態となり、第1の孔82a、第2の孔82bが並んでいる向きは、略90°それぞれ異なるようになる。
The
図3は、カメラを重力方向に対して横向き姿勢にした状態において3次元撮影を行う場合を説明するための図で、撮像素子9側から3次元撮影用の絞り部82を見た図である。
この場合、図3(1)に示すように、3次元撮影用の絞り部82における第1の孔82a、第2の孔82bが横方向に並んでいる横並び状態において、第1の孔82aが左目用の絞りとなり、第2の孔82bが右目用の絞りとなる。この3次元撮影用の絞り部82を用いた3次元撮影は、その第1の孔82aと第2の孔82bを順次択一的に開放させながら行うようにしている。なお、図3において、第1の孔82a、第2の孔82bを白抜き又は塗り潰し(グレー)で表しているが、白抜き領域は、開状態にある孔の部分を示し、塗り潰し領域は閉状態にある孔の部分を示している。
FIG. 3 is a diagram for explaining a case where three-dimensional imaging is performed in a state where the camera is in a horizontal posture with respect to the direction of gravity, and is a diagram of the diaphragm unit 82 for three-dimensional imaging viewed from the image sensor 9 side. .
In this case, as shown in FIG. 3 (1), in the side-by-side state in which the
図3(2)は、カメラが横向き姿勢において、第1の孔82aと第2の孔82bを順次択一的に開放させながらその孔(絞り)を通して撮像素子9にそれぞれ結像された2つの被写体像を、視差を持った3次元画像(左目用画像と右目用画像)として取得する場合を説明するための図である。ここで、図中、左側は左目用画像を撮影する場合を示し、右側は右目用画像を撮影する場合を示している。この場合、横並びの状態にある第1の孔82a、第2の孔82bのうち、図中、左側に位置している第1の孔82aは、左目画像用の絞りとなり、右側に位置している第2の孔82bは、右目画像用の絞りとなる。ここで、左目用画像を撮影する場合に、第1の孔82a(左目画像用の絞り)は開状態となり、第2の孔82b(右目画像用の絞り)は閉状態となる。また、右目用画像を撮影する場合に、第1の孔82a(左目画像用の絞り)は閉状態となり、第2の孔82b(右目画像用の絞り)は開状態となる。このように本実施形態では3次元撮影を行う際に、左目画像、右目用画像の順で撮影を行うようにしている。
FIG. 3 (2) shows two images imaged on the image sensor 9 through the holes (apertures) while sequentially opening the
図4(1)〜(3)は、カメラの重力方向に対する向きと3次元撮影用の絞り部82との関係を示した図である。
図4(1)に示すように縦撮り姿勢用の絞り82を横撮り姿勢で見たものとすると、縦向き撮影には、図4(2)に示すように縦向き正立状態で撮影を行う場合と、図4(3)に示すように縦向き倒立状態で撮影を行う場合とに分かれる。すなわち、図4(2)は、図4(1)の状態でカメラを半時計回りに90°回転させた状態、つまり、縦向き正立状態で撮影を行う場合(縦撮り正立)を示している。
FIGS. 4A to 4C are diagrams showing the relationship between the orientation of the camera with respect to the direction of gravity and the diaphragm 82 for three-dimensional imaging.
As shown in FIG. 4 (1), when the vertical aperture 82 is viewed in the landscape orientation, the portrait orientation is taken in the portrait orientation as shown in FIG. 4 (2). It is divided into a case where the image is taken and a case where the image is taken in the vertically inverted state as shown in FIG. That is, FIG. 4B shows a state in which the camera is rotated 90 ° counterclockwise in the state of FIG. ing.
この縦向き正立の状態(縦撮り正立)において、図4(2)に示すように左側(シャッタボタンST側)には、第2の孔82bが位置し、その反対側の右側には第1の孔82aが位置することにより、第2の孔82bは、右目画像用の絞りとなり、第1の孔82aは、左目画像用の絞りとなる。また、図4(3)は、図4(1)の状態でカメラを時計回りに90°回転させた状態、つまり、縦向き倒立状状態で撮影を行う場合(縦撮り倒立)を示している。この場合、図4(3)に示すように右側(シャッタボタンST側)には、第2の孔82bが位置し、その反対側の左側には第1の孔82aが位置することにより、第2の孔82bは、左目画像用の絞りとなり、第1の孔82aは、右目画像用の絞りとなる。
In this vertically erect state (vertical shooting erect), the
図5は、カメラを重力方向に対して縦向き姿勢にした状態において3次元撮影(縦撮り正立)を行う場合を説明するための図である。
図4(2)に示したような縦向き正立の状態において、図4(2)は、光学レンズ7側から3次元撮影用の絞り部82を見た図であるのに対して、図5は、撮像素子9側から3次元撮影用の絞り部82を見た図であるために、図4(2)と図5において第1の孔82aと第2の孔82bとの左右関係は、それぞれ逆の関係となっている。
FIG. 5 is a diagram for explaining a case where three-dimensional imaging (vertical shooting upright) is performed in a state where the camera is in a vertical orientation with respect to the direction of gravity.
4 (2) is a view of the diaphragm portion 82 for three-dimensional imaging viewed from the
ここで、図5は、図4(2)に示したような縦向き正立の状態において、3次元撮影用の絞り部82における第1の孔82aと第2の孔82bとを順次択一的に開放させながら3次元撮影を行う場合(縦撮り正立)を示した図である。図中、左側は、左目用画像を撮影する場合で、第1の孔82a(左目画像用の絞り)は開状態となり、第2の孔82b(右目画像用の絞り)は閉状態となる。また、図中、右側は、右目用画像を撮影する場合で、第1の孔82a(左目画像用の絞り)は閉状態となり、第2の孔82b(右目画像用の絞り)は開状態となる。
また、図4(3)に示したような縦向き倒立の状態においては、図5における第1の孔82aと第2の孔82bの位置関係は左右逆となり、第2の孔82bが左目画像用の絞りとなり、第1の孔82aが右目画像用の絞りとなる。
Here, FIG. 5 sequentially selects the
Further, in the vertically inverted state as shown in FIG. 4 (3), the positional relationship between the
次に、本実施形態におけるカメラの動作概念を図6及び図7に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。 Next, the operation concept of the camera in the present embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. In other words, in addition to the recording medium, an operation unique to the present embodiment can be executed using a program / data supplied externally via a transmission medium.
図6及び図7は、カメラの全体動作のうち、本実施形態の特徴的な動作を示したフローチャートで、シャッタ操作に応じて実行開始される。この図6及び図7のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
先ず、制御部1は、シャッタボタンSTが半押しされると、現在設定されている撮影モードは2次元撮影を行う撮影モードであるか、3次元撮影を行う撮影モードであるかを調べる(図6のステップS1)。
6 and 7 are flowcharts showing the characteristic operation of the present embodiment in the entire operation of the camera, and the execution is started in response to the shutter operation. When exiting the flow of FIGS. 6 and 7, the process returns to the main flow (not shown) of the overall operation.
First, when the shutter button ST is half-pressed, the
いま、2次元撮影を行う撮影モードに設定されている場合には(ステップS1)、2次元撮影用の絞り部81を選択した後(ステップS2)、シャッタボタンSTの全押し操作待ち状態となる(ステップS3)。いま、シャッタボタンSTが全押し操作されると(ステップS3でYES)、撮像部6から設定撮影条件下で撮像された画像を取得してホワイトバランス調整などを行い(ステップS4)、所定の圧縮処理によって圧縮して、画像記憶部M2に記憶保存させる保存処理を行った後(ステップS5)、このフローから抜ける。
If the photographing mode for performing the two-dimensional photographing is set (step S1), the two-dimensional photographing diaphragm 81 is selected (step S2), and then the shutter button ST is fully depressed. (Step S3). If the shutter button ST is fully pressed (YES in step S3), an image captured under the set shooting conditions is acquired from the
また、3次元撮影を行う撮影モードに設定されている場合には(ステップS1)、向き検出部10の検出結果を参照し、カメラの姿勢は縦向き姿勢であるか横向き姿勢であるかを調べる(ステップS6)。いま、横向き姿勢であれば、3次元撮影用の絞り部82を横撮り用の絞りに切り替える(ステップS7)。この場合、図3に示すように、第1の孔82a、第2の孔82bのうち、第1の孔82aは、左側に位置して左目画像用の絞りとなり、第2の孔82bは、右側に位置して右目画像用の絞りとなる。この状態において、その絞りを初期状態にする(ステップS8)。すなわち、図3(2)の左側に示すように、第1の孔(左目画像用の絞り)82aを開状態にすると共に、第2の孔(右目画像用の絞り)82bを閉状態にする。その後、図7のフローに移り、シャッタボタンSTの全押し操作待ち状態となる(ステップS13)。
If the shooting mode for performing three-dimensional shooting is set (step S1), the detection result of the
いま、シャッタボタンSTが全押し操作されると(ステップS13でYES)、撮像部6から設定撮影条件下で撮像された左目用画像を取得してホワイトバランス調整などを行った後(ステップS14)、3次元撮影用の絞り部82の状態を切り替える(ステップS15)。すなわち、図3(2)の右側に示すように、第1の孔(左目画像用の絞り)82aを閉状態にすると共に、第2の孔(右目画像用の絞り)82bを開状態にする。そして、撮像部6から設定撮影条件下で撮像された右目用画像を取得してホワイトバランス調整などを行った後(ステップS16)、取得した左目用画像及び右目用画像を所定の圧縮処理によって圧縮し、3次元画像形式で画像記憶部M2に記憶保存させる保存処理を行う(ステップS17)。その後、このフローから抜ける。
Now, when the shutter button ST is fully pressed (YES in step S13), the image for the left eye imaged under the set imaging conditions is acquired from the
一方、向き検出部10の検出結果が縦向き姿勢であれば(図6のステップS6)、図7のフローに移り、横撮り用に設定されている3次元撮影用の絞り部82を略90°回転させることにより横撮り用から縦撮り用の絞り部に切り替える(ステップS9)。この場合、図4(2)に示すように、第1の孔82a、第2の孔82bのうち、第1の孔82aは、右側に位置して左目画像用の絞りになり、第2の孔82bは、左側に位置して右目画像用の絞りになる。この状態において、向き検出部10の検出結果を参照し、縦向き正立の状態であるかを調べ(ステップS10)、縦向き正立の状態であれば(ステップS10でYES)、3次元撮影用の絞り部82を初期状態にする(ステップS11)。
On the other hand, if the detection result of the
すなわち、図5(2)の左側に示すように、第1の孔(左目画像用の絞り)82aを開状態にすると共に、第2の孔(右目画像用の絞り)82bを閉状態にする。この状態において、シャッタボタンSTが全押し操作されると(ステップS13でYES)、撮像部6から設定撮影条件下で撮像された左目用画像を取得してホワイトバランス調整などを行った後(ステップS14)、3次元撮影用の絞り部82の状態を切り替える(ステップS15)。すなわち、図5(2)の右側に示すように、第1の孔(左目画像用の絞り)82aを閉状態にすると共に、第2の孔(右目画像用の絞り)82bを開状態にする。そして、撮像部6から設定撮影条件下で撮像された右目用画像を取得してホワイトバランス調整などを行った後(ステップS16)、取得した右目用画像及び左目用画像を所定の圧縮処理によって圧縮し、3次元画像形式で画像記憶部M2に記憶保存させる保存処理を行う(ステップS17)。その後、このフローから抜ける。
That is, as shown on the left side of FIG. 5 (2), the first hole (left-eye image diaphragm) 82a is opened and the second hole (right-eye image diaphragm) 82b is closed. . In this state, when the shutter button ST is fully pressed (YES in step S13), the image for the left eye imaged under the set imaging conditions is acquired from the
また、向き検出部10の検出結果が縦向き倒立状態であれば(ステップS10でNO)、図4(3)に示すように、第1の孔82a、第2の孔82bのうち、第1の孔82aは、右目画像用の絞りになり、第2の孔82bは、左目画像用の絞りになる。この状態において、3次元撮影用の絞り部82を初期状態にする(ステップS12)。すなわち、第2の孔(左目画像用の絞り)82bを開状態にすると共に、第1の孔(右目画像用の絞り)82aを閉状態にする。
If the detection result of the
その後、シャッタボタンSTが全押し操作されると(ステップS13でYES)、撮像部6から設定撮影条件下で撮像された左目用画像を取得してホワイトバランス調整などを行った後(ステップS14)、3次元撮影用の絞り部82の状態を切り替える(ステップS15)。すなわち、第2の孔(左目画像用の絞り)82bを閉状態にすると共に、第1の孔(右目画像用の絞り)82aを開状態にする。そして、撮像部6から設定撮影条件下で撮像された右目用画像を取得してホワイトバランス調整などを行った後(ステップS16)、取得した左目用画像及び右目用画像を所定の圧縮処理によって圧縮し、3次元画像形式で画像記憶部M2に記憶保存させる保存処理を行う(ステップS17)。その後、このフローから抜ける。
Thereafter, when the shutter button ST is fully pressed (YES in step S13), the left-eye image captured under the set photographing conditions is acquired from the
以上のように、本実施形態において制御部1は、3次元画像の撮影時に向き検出部10による検出結果に応じて縦向き姿勢での3次元撮影に切り替えたり、横向き姿勢での3次元撮影に切り替えたりするようにしたので、1つの光学系で視差のある2つの被写体像を3次元画像として撮影する場合に、装置の姿勢が横撮りか縦撮りかに関わらず3次元撮影を適切に実行することができ、利便性に富んだものとなる。
As described above, in the present embodiment, the
3次元撮影用の絞り部82は、光学レンズ7と撮像素子9との光軸の両側に離間して第1の孔82aと第2の孔82bを有し、この第1の孔82a、第2の孔82bを順次択一的に開放しながらその孔を通して撮像素子9にそれぞれ結像された2つの被写体像を、視差を持った2つの被写体像として取得する構成であり、かつ第1の孔82aと第2の孔82bが並んでいる状態において横撮り用の絞りと縦撮り用の絞りとでは、その並びの向きが略90°それぞれ異なるようになるようにしたので、横撮り用の絞りと縦撮り用の絞りが相違するだけで3次元画像を容易に得ることができる。
The diaphragm 82 for three-dimensional imaging has a
2つの孔(第1の孔82aと第2の孔82b)を有する3次元撮影用の絞り部82を略90°回転駆動させることによりその絞り部を横撮り用の絞りとするか縦撮り用の絞りとするかを切り替えるようにしたので、3次元撮影用の絞り部82を横撮り用の絞りと縦撮り用の絞りに兼用することができ、小型化とともに横撮り縦撮りを容易に切り替えることができる。
A three-dimensional imaging diaphragm 82 having two holes (a
2次元撮影用の絞り部81と3次元撮影用の絞り部82を切り替えることにより2次元撮影と3次元撮影のいずれかを選択するようにしたので、2次元撮影及び3次元撮影のいずれを容易に行うことができる。 Since either the 2D imaging or the 3D imaging is selected by switching between the 2D imaging aperture unit 81 and the 3D imaging aperture unit 82, either 2D imaging or 3D imaging is easy. Can be done.
カメラが重力方向に対して縦向きの場合に、カメラが上下反転の関係にある縦向き正立の状態か縦向き倒立の状態かに応じて、3次元の縦撮りを制御するようにしたので、縦向き正立か縦向き倒立かに関わらず3次元撮影を適切に実行することができる。 When the camera is vertically oriented with respect to the direction of gravity, 3D portrait shooting is controlled depending on whether the camera is upside down or vertically upside down, which is upside down. Therefore, it is possible to appropriately execute the three-dimensional imaging regardless of whether the vertical orientation is upright or the vertical orientation.
なお、上述した実施形態においては、3次元撮影用の絞り部82を横撮り用の絞りと縦撮り用の絞りに兼用するようにしたが、2次元撮影用の絞り部81のほかに、3次元撮影用として横撮り用の絞り部と縦撮り用の絞り部とを別々に設けるようにしてもよい。この場合、3つの絞り部を選択しながら2次元撮影、3次元撮影(縦撮り、横撮り)を行うようにすればよい。 In the above-described embodiment, the diaphragm 82 for three-dimensional imaging is used as both the diaphragm for horizontal shooting and the diaphragm for vertical shooting. For the three-dimensional imaging, a diaphragm for horizontal shooting and a diaphragm for vertical shooting may be provided separately. In this case, two-dimensional shooting and three-dimensional shooting (vertical shooting, horizontal shooting) may be performed while selecting three aperture portions.
また、上述した実施形態においては、絞り部8を円形の光学遮蔽板に開口部(孔)を持つ構成としたが、開口部(孔)の代わりに液晶等のデバイスを使用して点灯/非点灯により光学レンズ7からの光の遮蔽を行ってもよい。
In the above-described embodiment, the
また、上述した実施形態においては、撮像装置としてコンパクトカメラに適用した場合を示したが、カメラ機能付きの携帯電話機・PDA・音楽プレイヤーなどであってもよく、また、内視鏡装置、眼科撮影装置などに適用するようにしてもよい。 In the above-described embodiments, the case where the present invention is applied to a compact camera as an imaging device has been described. However, a mobile phone with a camera function, a PDA, a music player, or the like may be used. You may make it apply to an apparatus etc.
その他、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 In addition, the “apparatus” and “unit” shown in the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.
1 制御部
3 記憶部
4 表示部
5 操作部
6 撮像部
7 光学レンズ
8 絞り部
9 撮像素子
10 向き検出部
81 2次元撮影用の絞り部
82 3次元撮影用の絞り部
82a 第1の孔
82b 第2の孔
DESCRIPTION OF
Claims (6)
当該撮像装置が重力方向に対して縦向きの場合に3次元撮影を行うための第1の3次元撮影手段と、
当該撮像装置が重力方向に対して横向きの場合に3次元撮影を行うための第2の3次元撮影手段と、
当該撮像装置の重力方向に対する向きを検出する検出手段と、
前記検出手段により検出された当該撮像装置の重力方向に対する向きに応じて、前記第1の3次元撮影手段或いは前記第2の3次元撮影手段に切り替えることにより3次元撮影を制御する撮影制御手段と、
を備えることを特徴とする撮像装置。 An imaging apparatus that captures a subject image formed on an imaging element from an optical lens through a diaphragm,
A first three-dimensional imaging means for performing three-dimensional imaging when the imaging device is vertically oriented with respect to the direction of gravity;
Second 3D imaging means for performing 3D imaging when the imaging device is transverse to the direction of gravity;
Detection means for detecting the orientation of the imaging device with respect to the gravitational direction;
Photographing control means for controlling three-dimensional photographing by switching to the first three-dimensional photographing means or the second three-dimensional photographing means in accordance with the orientation of the imaging device detected by the detecting means with respect to the direction of gravity; ,
An imaging apparatus comprising:
前記第1の3次元撮影手段及び第2の3次元撮影手段は、前記2つの孔を順次択一的に開放しながらその孔を通して前記撮像素子にそれぞれ結像された2つの被写体像を、視差を持った2つの被写体像として取得する構成であり、かつ、前記第1の3次元撮影手段と第2の3次元撮影手段とは、前記光軸を通る直線上に前記2つの孔が並んでいる状態での並びの向きが略90°それぞれ異なる、
ようにしたことを特徴とする請求項1記載の撮像装置。 The aperture section has two holes that are inserted between the optical lens and the image sensor and are formed separately on both sides of the optical axis,
The first three-dimensional photographing unit and the second three-dimensional photographing unit disparate two object images respectively formed on the image sensor through the two holes while sequentially opening the two holes. And the first three-dimensional photographing means and the second three-dimensional photographing means are arranged such that the two holes are arranged on a straight line passing through the optical axis. The orientation of the arrangement in the state where the
The imaging apparatus according to claim 1, which is configured as described above.
ようにしたことを特徴とする請求項2記載の撮像装置。 Switching means for switching the diaphragm portion to be used for the first three-dimensional photographing means or the second three-dimensional photographing means by rotating the diaphragm portion having the two holes by approximately 90 °. In addition,
The imaging apparatus according to claim 2, which is configured as described above.
2次元撮影用の絞り部と3次元撮影用の絞り部を切り替えることにより2次元撮影と3次元撮影のいずれかを選択する選択手段と、
を更に備え、
前記撮影制御手段は、前記選択手段により2次元撮影が選択された場合に、前記2次元撮影手段による2次元撮影の制御を行い、3次元撮影が選択された場合に、前記第1の3次元撮影手段或いは第2の3次元撮影手段による3次元撮影の制御を行う、
ようにしたことを特徴とする請求項1〜請求項3のいずれかに記載の撮像装置。 Two-dimensional imaging means for performing two-dimensional imaging;
A selection means for selecting either 2D imaging or 3D imaging by switching between a 2D imaging aperture unit and a 3D imaging aperture unit;
Further comprising
The photographing control means controls the two-dimensional photographing by the two-dimensional photographing means when two-dimensional photographing is selected by the selecting means, and when the three-dimensional photographing is selected, the first three-dimensional photographing is performed. Control of 3D imaging by the imaging means or the second 3D imaging means;
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
前記撮影制御手段は、前記検出手段により検出された正立状態か倒立状態かに応じて、前記第2の3次元撮影手段における3次元撮影を制御する、
ようにしたことを特徴とする請求項1〜請求項4のいずれかに記載の撮像装置。 The detecting means detects whether the imaging device is in an upright or inverted state in which the imaging device is vertically inverted when the imaging device is vertically oriented with respect to the direction of gravity,
The photographing control means controls the three-dimensional photographing in the second three-dimensional photographing means in accordance with the upright state or the inverted state detected by the detecting means;
The imaging apparatus according to claim 1, wherein the imaging apparatus is configured as described above.
光学レンズから絞り部を通して撮像素子に結像される被写体像を撮影する撮像装置が重力方向に対して縦向きの場合に3次元撮影を行うための機能と、
当該撮像装置が重力方向に対して横向きの場合に3次元撮影を行うための機能と、
当該撮像装置の重力方向に対する向きを検出する機能と、
前記検出された当該撮像装置の重力方向に対する向きに応じて、前記縦向きの3次元撮影或いは前記横向きの3次元撮影に切り替えることにより3次元撮影を制御する機能と、
を実現させるためのプログラム。 Against the computer,
A function for performing three-dimensional imaging when an imaging device that captures an image of a subject formed on an imaging element from an optical lens through a diaphragm unit is vertically oriented with respect to the direction of gravity;
A function for performing three-dimensional imaging when the imaging device is transverse to the direction of gravity;
A function of detecting the direction of the imaging device with respect to the direction of gravity;
A function of controlling the three-dimensional imaging by switching to the vertical three-dimensional imaging or the horizontal three-dimensional imaging according to the detected orientation of the imaging device with respect to the gravity direction;
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010280603A JP5812244B2 (en) | 2010-12-16 | 2010-12-16 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010280603A JP5812244B2 (en) | 2010-12-16 | 2010-12-16 | Imaging apparatus, imaging method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012128251A true JP2012128251A (en) | 2012-07-05 |
JP2012128251A5 JP2012128251A5 (en) | 2014-01-23 |
JP5812244B2 JP5812244B2 (en) | 2015-11-11 |
Family
ID=46645325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010280603A Expired - Fee Related JP5812244B2 (en) | 2010-12-16 | 2010-12-16 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5812244B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015190717A1 (en) * | 2014-06-09 | 2015-12-17 | 엘지이노텍 주식회사 | Camera module and mobile terminal including same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0882766A (en) * | 1994-09-13 | 1996-03-26 | Olympus Optical Co Ltd | Stereoscopic endoscope |
WO1996037796A1 (en) * | 1995-05-24 | 1996-11-28 | Olympus Optical Co., Ltd. | Stereoscopic endoscope system and tv image pickup system for the endoscope |
JP2002034056A (en) * | 2000-07-18 | 2002-01-31 | Scalar Corp | Device and method for picking up stereoscopic image |
JP2010268443A (en) * | 2009-04-17 | 2010-11-25 | Sony Corp | Imaging device |
-
2010
- 2010-12-16 JP JP2010280603A patent/JP5812244B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0882766A (en) * | 1994-09-13 | 1996-03-26 | Olympus Optical Co Ltd | Stereoscopic endoscope |
WO1996037796A1 (en) * | 1995-05-24 | 1996-11-28 | Olympus Optical Co., Ltd. | Stereoscopic endoscope system and tv image pickup system for the endoscope |
JP2002034056A (en) * | 2000-07-18 | 2002-01-31 | Scalar Corp | Device and method for picking up stereoscopic image |
JP2010268443A (en) * | 2009-04-17 | 2010-11-25 | Sony Corp | Imaging device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015190717A1 (en) * | 2014-06-09 | 2015-12-17 | 엘지이노텍 주식회사 | Camera module and mobile terminal including same |
US10554949B2 (en) | 2014-06-09 | 2020-02-04 | Lg Innotek Co., Ltd. | Camera module and mobile terminal including same |
Also Published As
Publication number | Publication date |
---|---|
JP5812244B2 (en) | 2015-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5789793B2 (en) | Three-dimensional imaging device, lens control device, and program | |
JP5595499B2 (en) | Monocular stereoscopic imaging device | |
JP5706654B2 (en) | Imaging device, image display method and program | |
JP4914420B2 (en) | Imaging device, compound eye imaging device, and imaging control method | |
JP5371845B2 (en) | Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus | |
JP4771671B2 (en) | Imaging device and imaging display device | |
US9277201B2 (en) | Image processing device and method, and imaging device | |
US8743181B2 (en) | Image pickup apparatus | |
US20170278263A1 (en) | Image processing device, image processing method, and computer-readable recording medium | |
CN103329549B (en) | Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method | |
JP2012249168A (en) | Camera capable of displaying stereoscopic image | |
JP5812244B2 (en) | Imaging apparatus, imaging method, and program | |
JP4588439B2 (en) | Stereoscopic image photographing apparatus and method | |
JP2013085239A (en) | Imaging apparatus | |
JP2013175805A (en) | Display device and image pickup device | |
JP2012015820A (en) | Stereoscopic video display apparatus and stereoscopic vide display method | |
JP2005277606A (en) | Photographing apparatus | |
JP4573496B2 (en) | Information equipment | |
JP2006033395A (en) | Image pickup device and stereoscopic image pickup system | |
JP6257715B2 (en) | Display device and method of operating display device | |
JP2005037517A (en) | Stereoscopic camera | |
JP5992561B2 (en) | Photographing equipment and photographing method | |
JP2005266023A (en) | Equipment | |
JP2006058472A (en) | Digital camera and camera system | |
KR20150016871A (en) | Photographing apparatus, display apparatus, photographing method, and photographing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5812244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |