JP5967868B2 - 撮像装置およびレンズ装置 - Google Patents

撮像装置およびレンズ装置 Download PDF

Info

Publication number
JP5967868B2
JP5967868B2 JP2011107803A JP2011107803A JP5967868B2 JP 5967868 B2 JP5967868 B2 JP 5967868B2 JP 2011107803 A JP2011107803 A JP 2011107803A JP 2011107803 A JP2011107803 A JP 2011107803A JP 5967868 B2 JP5967868 B2 JP 5967868B2
Authority
JP
Japan
Prior art keywords
parallax
imaging
rotating
unit
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011107803A
Other languages
English (en)
Other versions
JP2012237915A (ja
JP2012237915A5 (ja
Inventor
智暁 井上
智暁 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011107803A priority Critical patent/JP5967868B2/ja
Publication of JP2012237915A publication Critical patent/JP2012237915A/ja
Publication of JP2012237915A5 publication Critical patent/JP2012237915A5/ja
Application granted granted Critical
Publication of JP5967868B2 publication Critical patent/JP5967868B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、縦の立体画像撮影が可能な撮像装置を提供する。
立体画像撮影の際には、同じ被写体に対して互いに離間した複数の場所からの画像、すなわち視差画像を撮像する必要がある。従来から、一つの撮像素子を備えた撮像装置により視差画像を時分割で取得する方法が知られている。しかしながら、このような撮像装置は、テレビモニタで映像を再生することを前提とするため、撮影画面の長手方向が水平方向となるような撮影、いわゆる横撮影にのみ対応している。この撮像装置を用いて、撮影画面の長手方向が鉛直方向となるように90度回転させて撮影する、いわゆる縦撮影を行うと、視差方向が鉛直方向(縦視差)となり、立体映像として再生できない。
特許文献1、2には、撮像素子を90度回転させることで縦の立体画像撮影を可能とした撮像装置が開示されている。
特開平10−224820号公報 特開2009−188931号公報
しかしながら、特許文献1、2に開示されている構成では、撮像素子に対する電気的接続のために、フレキシブルプリント基板などの柔軟性のあるケーブルが必要となる。このため、撮像素子の周囲構造が複雑化し、高コストとなる。また、撮像素子に対してノイズの影響が大きくなりやすい。
そこで本発明は、簡易な構成で縦の立体画像撮影が可能な撮像装置およびレンズ装置を提供する。
本発明の一側面としての撮像装置は、視差を生成する視差生成部を備え、異なる視点からの視差画像を結像させる結像光学系と、前記結像光学系の結像面に設けられた撮像素子と、前記撮像素子の面中心を中心として、前記撮像素子を回転させることなく前記視差生成部を回転させることにより前記異なる視点の視差方向を回転させる回転手段と、を有し、前記回転手段は、水平方向に対する撮像装置の姿勢によらず前記視差方向を該水平方向に保つように前記視差生成部を回転させる。また、本発明の他の側面としての撮像装置は、開口パターンを形成する電子式シャッタを備え、異なる視点からの視差画像を結像させる結像光学系と、前記結像光学系の結像面に設けられた撮像素子と、前記撮像素子の面中心を中心として、前記撮像素子を回転させることなく前記電子式シャッタの開口パターンを電気的に変更することにより前記異なる視点の視差方向を回転させる回転手段と、を有し、前記回転手段は、水平方向に対する撮像装置の姿勢によらず前記視差方向を該水平方向に保つように前記開口パターンを変更する。
本発明の他の側面としてのレンズ装置は、視差を生成させる視差生成部を備え、異なる視点からの視差画像を撮像素子に結像させる結像光学系と、前記異なる視点の視差方向を回転させるため、前記視差生成部を回転させる信号を受け取る端子と、前記信号に基づいて前記視差生成部を回転させる回転手段と、を有し、前記回転手段は、水平方向に対するレンズ装置の姿勢によらず前記視差方向を該水平方向に保つように前記視差生成部を回転させる。また、本発明の他の側面としてのレンズ装置は、開口パターンを形成する電子式シャッタを備え、異なる視点からの視差画像を撮像素子に結像させる結像光学系と、前記異なる視点の視差方向を回転させるため、前記電子式シャッタの開口パターンを電気的に変更させる信号を受け取る端子と、前記信号に基づいて前記電子式シャッタの開口パターンを電気的に変更する回転手段と、を有し、前記回転手段は、水平方向に対するレンズ装置の姿勢によらず前記視差方向を該水平方向に保つように前記開口パターンを変更する。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、簡易な構成で縦の立体画像撮影が可能な撮像装置およびレンズ装置を提供することができる。
実施例1における撮像装置の構成図である。 実施例1における撮像装置の模式的正面図である。 実施例1における撮像装置の動作を示すフローチャートである。 実施例2における撮像装置の構成図である。 実施例2における撮像装置の模式的斜視図である。 実施例3におけるシャッタの分割構成図である。 実施例2の立体撮像光学系の側面図
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
まず、本発明の実施例1における撮像装置について説明する。図1は、本実施例における撮像装置1(立体画像撮像装置)の構成図である。撮像装置1において、撮像光学系101は、異なる二つの視点(左眼、右眼)からの二つの被写体像(視差画像)を結像させる結像光学系である。二つの視点の間の距離、すなわち基線長は例えば65mm程度が好ましい。ただし本実施例はこれに限定されるものではなく、立体画像表示時の立体感の要求に応じて適宜変更される。
撮像光学系101は、左眼および右眼の視点に相当するそれぞれの光軸上に配置される左右二つのシャッタSL、SR(一対のシャッタ)、および、左右の光軸をそれぞれ内向きに偏向させる左右二つの反射ミラーML、MR(一対の反射部材)を有する。また撮像光学系101は、左右の光軸を重ね合わせる(合成する)ために配置される三角プリズムP(合成光学素子)、光量調整のための絞り101a、および、フォーカスレンズ101bなどの複数のレンズを有する。一対のシャッタSL、SRにより制限された光束は、一対の反射ミラーML、MRにより反射され、三角プリズムPにより合成される。図1中の破線で示されるように、シャッタSL、SR、反射ミラーML、MR、三角プリズムP、および、絞り101aは、本実施例における視差生成部300を構成する。
左右のシャッタSL、SRは交互に切り替えられ、左右の視差画像を時系列的に撮像素子102上に結像させる。撮像素子102は、撮像光学系101の結像面に設けられている。シャッタSL、SRは、機械的なシャッタを用いることができ、また液晶シャッタを用いてもよい。撮像素子102は、撮像光学系101によって撮像素子の102の面上に形成された光学像を電気信号に変換する(光電変換)。A/D変換器103は、撮像素子102から出力されるアナログ信号をデジタル信号に変換して画像処理部104に供給する。画像処理部104は、A/D変換器103からの各画像データに対して所定の画素補間処理や色変換処理等の画像処理を行う。また、画像処理部104においては、撮像した各画像データを用いて所定の演算処理が行われる。得られた演算結果は、システムコントローラ109に供給される。
状態検知部107は、絞り101aおよびフォーカスレンズ101bの現在の状態を検知して、システムコントローラ109に撮像光学系101の状態データを供給する。システムコントローラ109は、供給された演算結果と撮像光学系101の状態データに基づいて、撮像光学系制御部106を制御する。撮像光学系制御部106は、撮像光学系101の絞り101aおよびフォーカスレンズ101bを駆動して、オートフォーカス調整や自動露出調整等を実行する。縦横検知部110は、撮像装置1の水平度を検知し、その結果を視差方向制御部111(回転手段制御部)に供給する。視差方向制御部111は、撮像素子102の面中心を中心として視差生成部300を回転させることで視差方向を水平に保つように制御する。視差方向制御部111は、縦横検知部110からの水平度の情報に応じて回転駆動部112(回転手段)を制御する。回転駆動部112は、視差方向制御部111からの信号に基づいて、視差生成部300を回転させることにより異なる視点の視差方向を回転させる。
画像記録媒体108は、撮影した視差画像の静止画や動画を格納し、また、画像ファイルを構成する場合のファイルヘッダを格納する記録部である。表示部200は、例えば液晶表示素子およびレンチキュラーレンズで構成され、レンズ作用により裸眼で左眼および右眼に別々の視差画像を見せることを可能にする表示装置である。
図2は、本実施例における撮像装置1の模式的正面図であり、視差生成部300の構成要素が回転する様子を示している。図2(a)は撮像装置1の水平画角のほうが大きい状態であり、図2(b)は撮像装置1の鉛直画角のほうが大きい状態である。図2に示されるように、本実施例では視差生成部300を構成するシャッタSL、SR、合成プリズムP、絞り101a(以上、破線部)、および、反射ミラーML、MR(不図示)は、撮像装置1の本体に対して矢印方向に回転可能に構成されている。また、縦横検知部110により取得された撮像装置1の水平度の情報に基づいて、例えば図2(a)の状態又は図2(b)の状態のいずれかであるかを検知する。そして、それに応じて視差生成部300を撮像素子102の面中心を中心として回転させることで、視差方向を一定に(水平方向に)保つことができる。
次に、図3のフローチャートを参照して、本実施例の撮像装置1の視差方向を保つための動作について詳述する。まず、撮影者の操作により撮影信号が入力されると、システムコントローラ109はステップS11において、撮影者が望む撮像光学系101の状態に基づいて、撮像光学系制御部106を介して撮像光学系101を制御する。続いてステップS12において、システムコントローラ109は、縦横検知部110により水平方向に対する撮像装置1の姿勢(水平度)を検知する。具体的には、縦横検知部110は、円い空洞の中の球体の位置を検出して姿勢を検出する重力センサーやジャイロセンサー等を備えて構成される。
次にステップS13において、システムコントローラ109は、撮像光学系101の状態を検知する状態検知部107により検知された視差生成部300の回転位置および撮像装置1の水平度の情報に基づいて、撮像光学系101の視差方向を検出する。続いてステップS14において、システムコントローラ109は、状態検知部107で検出された視差方向が水平に保たれているか否かを判定する。視差方向が水平からずれている場合、ステップS15に進み、視差方向制御部111(回転駆動部112)により視差生成部300を回転駆動させることで視差方向が水平方向になるように制御する。視差方向を制御すると、再び撮像光学系101を制御する工程に戻り、上記工程(ステップS11〜S14)を繰り返す。
システムコントローラ109は、ステップS14において、視差方向が水平に保たれていると判定した場合、ステップS16に進み、撮影者は所望の状態に制御された撮像光学系101を介して左右の視差画像データを取得することができる。このときシステムコントローラ109は、撮像光学系101を介して結像される左右の視差画像を撮像素子102、A/D変換器103を通して画像処理部104に転送し、所定の演算処理を行って左右の視差画像データを取得する。続いてステップS17において、システムコントローラ109は、画像記録媒体108で上述の左右の視差画像データが立体画像データとして立体画像データファイルに記録する。以上により、撮像装置1の視差方向を保ちながら撮像する動作が完了する。
本実施例によれば、撮像装置の水平度に応じて、撮像装置の視差生成部(視点分離部)を回転させることで、撮像装置がいずれの状態である場合でも縦視差を生じることなく不快感の無い立体画像データを取得することができる。
次に、本発明の実施例2における撮像装置について説明する。図4は、本実施例における撮像装置1aの構成図である。本実施例の撮像装置1aは、撮像光学系(視差生成部)の構成が異なる点以外は、実施例1の撮像装置1と同様である。このため、実施例1と同一の部材についての説明は省略する。
本実施例の撮像光学系1001は視差生成部300aを備え、視差生成部300aは撮像光学系1001の瞳位置にシャッタ400を備えて構成されている。なお本実施例において、シャッタ400は液晶シャッタであるが、これに限定されるものではなく、例えば機械的なシャッタを用いてもよい。シャッタ400は、撮像光学系1001の光路の中心を境にして、左右の視点に対応する二領域に分かれており、液晶駆動部(不図示)により交互に開閉するように構成されている。すなわちシャッタ400は、実施例1における左右のシャッタSL、SRを撮像光学系1001の瞳位置に移動して構成されている。このため実施例1と同様に、左右二領域のシャッタを交互に切り替えることで、左右の視差画像を時系列的に撮像素子102上に結像させることができる。縦横検知部110は、撮像装置1aの水平度を取得し、視差方向制御部111により視差生成部300a(シャッタ400)を回転させることで視差方向を常に一定方向(水平方向)に保つように制御する。
図5は、本実施例における撮像装置1aの模式的斜視図であり、視差生成部300a(シャッタ400)が回転する様子を示している。図5(a)は撮像装置1aの水平画角のほうが大きい状態であり、図5(b)は撮像装置1aの鉛直画角のほうが大きい状態である。図5に示されるように、視差生成部300aを構成するシャッタ400は、撮像装置1aの本体に対して矢印方向に回転可能に構成されている。また、上述の縦横検知部110によって取得された撮像装置1aの水平度の情報に基づいて、システムコントローラ109は、例えば図5(a)の状態又は図5(b)の状態のいずれかであるかを検知する。システムコントローラ109は、それに対応させてシャッタ400を撮像素子102の面中心を中心として回転させることにより、視差方向を水平方向に保つことができる。
なお、本実施例における撮像装置1aの視差方向を水平方向に保つ動作については、実施例1と同様であるため説明を省略する。また、本実施例ではシャッタ400を機械的に回転させる機構を用いて回転制御を行っているが、これに限定されるものではない。例えば、シャッタ400を液晶シャッタ(電子式シャッタ)で構成し、シャッタ400の開口パターンを電気的に変更するように制御することもできる。この場合、電気的な制御によって機械的な回転制御と同様の効果を得られるように、水平度の情報に応じて開口パターンを回転方向に変形させる。
本実施例によれば、撮像装置の水平度に応じて、撮像装置の視差生成部(視点分離部)を回転させることで、撮像装置がいずれの状態である場合でも縦視差を生じることなく不快感の無い立体画像データを取得することができる。
次に、本発明の実施例3における撮像装置について説明する。本実施例では、実施例2と比較してシャッタ400の分割構成が異なり、その他の構成は実施例2と同様である。このため、シャッタ400の分割構成以外についての説明は省略する。
図6は、本実施例におけるシャッタ400の分割構成図である。実施例2のシャッタ400は、撮像光学系1001の光路の中心を境にして左右の視点に対応する二領域に分かれており、液晶駆動部(不図示)により交互に開閉するように構成されていた。一方、本実施例におけるシャッタ400aは、図6に示されるように、撮像光学系1001の光路の中心を境にして上下左右ABCDの四領域に分かれている。
図7は、シャッタ400の開口パターンの制御方法を示す図である。図7(a)は撮像装置1aが水平状態にある場合、図7(b)は縦撮影状態の場合、図7(c)は45度方向に傾いた状態をそれぞれ示している。撮像装置1aが水平画角の方が大きい水平状態である場合、シャッタ400は図7(a)に示されるように、A、C(白領域)とB、D(ドット領域)とを交互に開閉させる開口パターンとなる。また、撮像装置1aが鉛直画角の方が大きい縦撮影状態である場合、シャッタ400は図7(b)に示されるように、A、B(白領域)とC、D(ドット領域)とを交互に開閉させる開口パターンとなる。また、撮像装置が45度方向に傾いた状態である場合、シャッタ400は図7(c)に示されるように、A(白領域)とD(ドット領域)とを交互に開閉させる開口パターンとなる。
以上のとおり、上記各実施例によれば、撮像装置の水平度に応じて、撮像装置の視差生成部を回転させることで、撮像装置がいずれの状態である場合でも縦視差を生じることなく不快感の無い立体画像データを取得することができる。すなわち、通常の横長アスペクトを有する撮像素子を用いることで、立体画像撮影時にも横撮影と縦撮影が可能となり、画像のアスペクトを撮影者の望むとおりにすることが可能となる。また、正方形型の撮像素子を用いれば、上記構成により常に視差方向が保たれているため、画像の切り出しによって所望のアスペクト比を有する立体画像データを取得することもできる。したがって、上記各実施例によれば、簡易な構成で縦の立体画像撮影が可能な撮像装置を提供することが可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記各実施例は、撮像光学系を備えたレンズ装置が撮像装置本体に着脱可能に構成されている場合でも適用可能である。この場合、レンズ装置は、異なる視点の視差方向を回転させるため視差生成部を回転させる信号を受け取る端子(接点)と、この信号に基づいて視差生成部を回転させる回転手段とを備えて構成される。
また上記各実施例では、縦横検知部からの水平度の情報に応じて回転手段は回転手段制御部により制御されるが、これに限定されるものではない。回転手段制御部は、撮影者が手動で操作部を操作することにより、回転手段の回転位置を所定の位置に決定できるように構成してもよい。
1、1a 撮像装置
101、1001 撮像光学系
102 撮像素子
300、300a 視差生成部

Claims (8)

  1. 視差を生成する視差生成部を備え、異なる視点からの視差画像を結像させる結像光学系と、
    前記結像光学系の結像面に設けられた撮像素子と、
    前記撮像素子の面中心を中心として、前記撮像素子を回転させることなく前記視差生成部を回転させることにより前記異なる視点の視差方向を回転させる回転手段と、を有し、
    前記回転手段は、水平方向に対する撮像装置の姿勢によらず前記視差方向を該水平方向に保つように前記視差生成部を回転させることを特徴とする撮像装置。
  2. 前記視差生成部は、
    光束を制限する一対のシャッタと、
    前記一対のシャッタからの光束を反射する一対の反射部材と、
    前記一対の反射部材からの光束を合成する合成光学素子と、を有することを特徴とする請求項1に記載の撮像装置。
  3. 前記視差生成部は、電子式シャッタを有することを特徴とする請求項1に記載の撮像装置。
  4. 開口パターンを形成する電子式シャッタを備え、異なる視点からの視差画像を結像させる結像光学系と、
    前記結像光学系の結像面に設けられた撮像素子と、
    前記撮像素子の面中心を中心として、前記撮像素子を回転させることなく前記電子式シャッタの開口パターンを電気的に変更することにより前記異なる視点の視差方向を回転させる回転手段と、を有し、
    前記回転手段は、水平方向に対する撮像装置の姿勢によらず前記視差方向を該水平方向に保つように前記開口パターンを変更することを特徴とする撮像装置。
  5. 前記撮像装置の水平度を検知する縦横検知部と、
    前記縦横検知部からの前記水平度の情報に応じて前記回転手段を制御する回転手段制御部と、を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記回転手段の回転位置を決定するために手動で操作される操作部と、
    前記操作部からの情報に応じて前記回転手段を制御する回転手段制御部と、を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  7. 視差を生成させる視差生成部を備え、異なる視点からの視差画像を撮像素子に結像させる結像光学系と、
    前記異なる視点の視差方向を回転させるため、前記視差生成部を回転させる信号を受け取る端子と、
    前記信号に基づいて前記視差生成部を回転させる回転手段と、を有し、
    前記回転手段は、水平方向に対するレンズ装置の姿勢によらず前記視差方向を該水平方向に保つように前記視差生成部を回転させることを特徴とするレンズ装置。
  8. 開口パターンを形成する電子式シャッタを備え、異なる視点からの視差画像を撮像素子に結像させる結像光学系と、
    前記異なる視点の視差方向を回転させるため、前記電子式シャッタの開口パターンを電気的に変更させる信号を受け取る端子と、
    前記信号に基づいて前記電子式シャッタの開口パターンを電気的に変更する回転手段と、を有し、
    前記回転手段は、水平方向に対するレンズ装置の姿勢によらず前記視差方向を該水平方向に保つように前記開口パターンを変更することを特徴とするレンズ装置。
JP2011107803A 2011-05-13 2011-05-13 撮像装置およびレンズ装置 Expired - Fee Related JP5967868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011107803A JP5967868B2 (ja) 2011-05-13 2011-05-13 撮像装置およびレンズ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011107803A JP5967868B2 (ja) 2011-05-13 2011-05-13 撮像装置およびレンズ装置

Publications (3)

Publication Number Publication Date
JP2012237915A JP2012237915A (ja) 2012-12-06
JP2012237915A5 JP2012237915A5 (ja) 2014-06-19
JP5967868B2 true JP5967868B2 (ja) 2016-08-10

Family

ID=47460849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011107803A Expired - Fee Related JP5967868B2 (ja) 2011-05-13 2011-05-13 撮像装置およびレンズ装置

Country Status (1)

Country Link
JP (1) JP5967868B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224820A (ja) * 1997-02-07 1998-08-21 Canon Inc 複眼カメラ装置
JP2001318442A (ja) * 2000-05-10 2001-11-16 Canon Inc 立体映像撮影装置
JP2003050438A (ja) * 2001-08-06 2003-02-21 Sony Corp 立体画像撮像用カメラレンズアダプタ、および撮影装置
JP2009230028A (ja) * 2008-03-25 2009-10-08 Fujinon Corp 像回転用アダプタ
JP2009188931A (ja) * 2008-02-08 2009-08-20 Fujifilm Corp 複眼カメラ及び撮影方法

Also Published As

Publication number Publication date
JP2012237915A (ja) 2012-12-06

Similar Documents

Publication Publication Date Title
KR101339193B1 (ko) 카메라 플랫폼 시스템
JP5830662B2 (ja) 撮像装置
JP3788714B2 (ja) 撮像装置及びデジタルカメラ
JP2013045032A (ja) 多眼撮像装置
JP2002232913A (ja) 複眼カメラ及び立体視画像観察システム
JP2011048283A (ja) 撮影画像合成装置
JP2007324976A (ja) デジタルカメラ
JP2011048120A (ja) 二眼式デジタルカメラ
JP6444025B2 (ja) 光学機器
JP2012133185A (ja) 撮像装置
JP4609183B2 (ja) 撮像装置
JP5638791B2 (ja) 撮像装置
JP5724057B2 (ja) 撮像装置
JP4262758B2 (ja) 立体画像記録装置
JP2007333929A (ja) 映像表示システム
JP5967868B2 (ja) 撮像装置およびレンズ装置
JP4588439B2 (ja) 立体視画像撮影装置および方法
JPH08116555A (ja) 立体静止画撮像システム
JP4212485B2 (ja) 立体撮像が可能な電子カメラ
JP4759789B2 (ja) 画像処理システム
US9106899B2 (en) Image pickup apparatus
JP2010166229A (ja) 立体撮像装置
JP2011135374A (ja) 3次元デジタルカメラ
JP4212598B2 (ja) 立体撮像が可能な電子カメラ
JP2004194075A (ja) 撮影システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R151 Written notification of patent or utility model registration

Ref document number: 5967868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees