JP5956732B2 - 撮像システム - Google Patents
撮像システム Download PDFInfo
- Publication number
- JP5956732B2 JP5956732B2 JP2011191069A JP2011191069A JP5956732B2 JP 5956732 B2 JP5956732 B2 JP 5956732B2 JP 2011191069 A JP2011191069 A JP 2011191069A JP 2011191069 A JP2011191069 A JP 2011191069A JP 5956732 B2 JP5956732 B2 JP 5956732B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- photoelectric conversion
- parallax
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、主被写体を選択する被写体選択手段と、単位画素あたり複数の光電変換部を有する撮像素子と、前記主被写体であるか否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記複数の光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素については、第1の方向に視差をつけるように前記光電変換部の組み合わせを選択し、前記主被写体に対応する画素以外の画素については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、主被写体を選択する被写体選択手段と、前記主被写体であるか否かに応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記主被写体に対応する領域については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記撮像装置の組み合わせを選択し、前記主被写体に対応する領域以外の領域については、前記第1の方向に視差をつけるように、かつ、前記主被写体に対応する領域について選択される前記撮像装置の組み合わせよりも内側となるように、前記撮像装置の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、主被写体を選択する被写体選択手段と、前記主被写体であるか否かに応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記主被写体に対応する領域については、第1の方向に視差をつけるように前記撮像装置の組み合わせを選択し、前記主被写体に対応する領域以外の領域については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記撮像装置の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、被写体までの距離を検出する検出手段と、単位画素あたりに2つ以上の光電変換部を有する撮像素子と、前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する画素については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する画素については、前記第1の方向に視差をつけるように、かつ、前記所定の距離未満である被写体に対応する画素について選択された光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、被写体までの距離を検出する検出手段と、単位画素あたりに2つ以上の光電変換部を有する撮像素子と、前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する画素については、第1の方向に視差をつけるように前記光電変換部の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する画素については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、被写体までの距離を検出する検出手段と、前記被写体までの距離に応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する領域については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記撮像装置の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する領域については、第1の方向に視差をつけるように、かつ、前記所定の距離未満である被写体に対応する領域について選択された撮像装置の組み合わせよりも内側となるように、前記撮像装置の組み合わせを選択することを特徴とする。
また、本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、被写体までの距離を検出する検出手段と、前記被写体までの距離に応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、を有し、前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する領域については、第1の方向に視差をつけるように前記撮像装置の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する領域については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記撮像装置の組み合わせを選択することを特徴とする。
図1は、本発明の第1の実施形態に係る撮像装置の全体構成を示すブロック図である。図1において、撮像素子101は、CMOS型の撮像素子であり、不図示の撮影レンズで結像された画像を取り込む。AFE(Analog Front End)102は、撮像素子からの信号の増幅や黒レベルの調整(OBクランプ)などを行う信号処理回路である。AFE102は、タイミング発生回路110からOBクランプタイミングやOBクランプ目標レベルなどを受け取り、それに従って処理を行う。そして、処理を行ったアナログ信号をデジタル信号に変換する。DFE(Digital Front End)103は、AFE102で変換された各画素のデジタル信号を受けて画像信号の補正や画素の並び替え等のデジタル処理などを行っている。画像処理装置105は、現像処理を行って表示回路108に画像を表示する、制御回路106を介して記録媒体109に記録する、といった処理を行う。なお、制御回路106はその他、操作部107からの指示を受けて、タイミング発生回路110に命令を送るなどの制御も行う。また、記録媒体109にはコンパクトフラッシュ(登録商標)メモリなどがある。メモリ回路(記憶部)104は、画像処理装置105の現像段階での作業用メモリに使用される。また、撮像が続いて行われて現像が間に合わないときのバッファメモリとしても使用される。操作部107には、デジタルカメラを起動させるための電源スイッチ、及び測光処理、測距処理などの撮影準備動作開始やミラー、シャッターを駆動して撮像素子101から読み出した信号を処理して記録媒体109に書き込む一連の撮像動作の開始を指示するシャッタースイッチなどが含まれる。
次に、図2のような画素構造を持つ撮像素子101を利用した立体画像撮影の原理について説明する。図8及び図9は、撮像素子101を利用した立体画像撮影の原理を説明するための図である。図8の単位画素30は図3と同様に撮像素子101の1画素を表したものであり、4つの光電変換部301〜304からなる。また、視差803は、撮影レンズ804における光電変換部302の瞳重心801と光電変換部303の瞳重心802との距離である。図8に示すように、射出瞳801を通過した光束がマイクロレンズ(ML)及びカラーフィルタ(CF)を透過して光電変換部302に結像する。一方、射出瞳802を通過した光束がマイクロレンズ(ML)及びカラーフィルタ(CF)を透過して光電変換部303に結像する。得られた情報は光電変換部302と光電変換部303とでは視差803に相当するずれが生じる。なお、対象物が手前にあるほど、視差803は大きくなる。
本発明の第2の実施形態による撮像システムについて図面を参照して説明する。図15は、本発明の第2の実施形態に係る撮像システムの構成を示す図である。第2の実施形態は、複数の撮像装置1501〜1504からなる。撮像装置1501〜1504はそれぞれ、撮像素子を1つ有している。なお、この撮像素子は瞳分割していなくて良い。撮像装置1501〜1504がそれぞれ有する撮像素子で蓄積された電荷は画像処理装置1505で処理され、画像データは記録媒体1507にて保存される。また、この撮像システムは測距システム1508を備え、画面を複数の画素からなる所定のブロックに分割し、画面内のブロック毎の距離の検出が可能な機能を有する。
以下、第3の実施形態について説明する。図17に示す第3の実施形態の撮像システムの構成は、第1の実施形態を示す図1の撮像システムの構成とほとんど同じであり、測距システム111を有する点のみが異なる。また、第1の実施形態において図2〜図9を用いて説明した内容は、第3の実施形態においても同じである。
この第4の実施形態の撮像システムの構成は、図15に示した第2の実施形態の撮像システムの構成と同じであるので、その構成についての説明は省略し、動作についてのみ説明する。
第5の実施形態の撮像素子は、第3の実施形態と同じ構成であるので説明は省略する。第3の実施形態では、被写体の距離に応じて選択するPDを変えたが、本実施形態では、焦点が合っている被写体か否かで選択するPDを変える。撮影時に撮像装置のAF機能を使用すれば、どの被写体に焦点が合っているかがわかる。また、撮影者が焦点を合わせた被写体を入力しても良い。被写体に対し、焦点が合っているか否かの情報を、距離マップに持たせる。そして、焦点が合っている被写体の場合、内側のPDを選択する。なぜなら、焦点が合っている場合は全ての分割画素に同じ信号が入る。つまり、視差は生じない。ただし、より斜めに光が入射する外側のPDの方が入ってくる光が少ないため、外側のPDからの電荷を読み出した場合、内側のPDからの電荷を読み出して画像を取得するよりも暗い画像になる。そのため、焦点が合っている被写体は内側のPDを選択すると良い。
Claims (13)
- 撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
単位画素あたり複数の光電変換部を有する撮像素子と、
前記主被写体であるか否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択し、前記主被写体に対応する画素以外の画素については、前記第1の方向に視差をつけるように、かつ、前記主被写体に対応する画素について選択される前記光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする撮像システム。 - 撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
単位画素あたり複数の光電変換部を有する撮像素子と、
前記主被写体であるか否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素については、第1の方向に視差をつけるように前記光電変換部の組み合わせを選択し、前記主被写体に対応する画素以外の画素については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする撮像システム。 - 前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、2つ以上の前記光電変換部を有することを特徴とする請求項1または2に記載の撮像システム。
- 前記単位画素あたりの、電荷信号を読み出す前記光電変換部の数に応じて、前記光電変換部の出力信号にゲイン補正をかけることを特徴とする請求項1乃至3のいずれか1項に記載の撮像システム。
- 撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
前記主被写体であるか否かに応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、
選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記主被写体に対応する領域については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記撮像装置の組み合わせを選択し、前記主被写体に対応する領域以外の領域については、前記第1の方向に視差をつけるように、かつ、前記主被写体に対応する領域について選択される前記撮像装置の組み合わせよりも内側となるように、前記撮像装置の組み合わせを選択することを特徴とする撮像システム。 - 撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
前記主被写体であるか否かに応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、
選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記主被写体に対応する領域については、第1の方向に視差をつけるように前記撮像装置の組み合わせを選択し、前記主被写体に対応する領域以外の領域については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記撮像装置の組み合わせを選択することを特徴とする撮像システム。 - 撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
単位画素あたりに2つ以上の光電変換部を有する撮像素子と、
前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する画素については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する画素については、前記第1の方向に視差をつけるように、かつ、前記所定の距離未満である被写体に対応する画素について選択された光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする撮像システム。 - 撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
単位画素あたりに2つ以上の光電変換部を有する撮像素子と、
前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する画素については、第1の方向に視差をつけるように前記光電変換部の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する画素については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする撮像システム。 - 前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、2つ以上の前記光電変換部を有することを特徴とする請求項7または8に記載の撮像システム。
- 前記被写体までの距離の情報である距離情報を、前記撮像素子の画面を複数の領域に分割したブロックごとに記憶することを特徴とする請求項7乃至9のいずれか1項に記載の撮像システム。
- 前記被写体に合焦しているか否かを検出する焦点検出手段をさらに備えるとともに、前記光電変換部は視差をつける方向に1列に並んでおり、前記光電変換部選択手段は、前記焦点検出手段により合焦していると判定された被写体に対応する画素については、前記光電変換部のうちの内側に位置する前記光電変換部の組み合わせを選択することを特徴とする請求項7乃至10のいずれか1項に記載の撮像システム。
- 撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
前記被写体までの距離に応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、
選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する領域については、第1の方向に視差をつけるように、かつ、視差が最も大きくなるように前記撮像装置の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する領域については、第1の方向に視差をつけるように、かつ、前記所定の距離未満である被写体に対応する領域について選択された撮像装置の組み合わせよりも内側となるように、前記撮像装置の組み合わせを選択することを特徴とする撮像システム。 - 撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
前記被写体までの距離に応じて、前記複数の撮像装置から2つの撮像装置を選択する撮像装置選択手段と、
選択された前記2つの撮像装置からの信号をもとに視差を有する2つの画像信号を生成する生成手段と、
を有し、
前記複数の撮像装置は視差をつける方向に1列に並んでおり、前記撮像装置選択手段は、前記検出手段により検出された距離が所定の距離未満である被写体に対応する領域については、第1の方向に視差をつけるように前記撮像装置の組み合わせを選択し、前記検出手段により検出された距離が前記所定の距離以上である被写体に対応する領域については、前記第1の方向とは逆の第2の方向に視差をつけるように、前記撮像装置の組み合わせを選択することを特徴とする撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191069A JP5956732B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191069A JP5956732B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013055425A JP2013055425A (ja) | 2013-03-21 |
JP5956732B2 true JP5956732B2 (ja) | 2016-07-27 |
Family
ID=48132069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011191069A Expired - Fee Related JP5956732B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5956732B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6271929B2 (ja) * | 2013-09-25 | 2018-01-31 | キヤノン株式会社 | 撮像装置、撮像装置の信号読み出し方法及び信号処理方法 |
JP2019103023A (ja) * | 2017-12-05 | 2019-06-24 | キヤノン株式会社 | 立体視双眼鏡 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4603197B2 (ja) * | 2001-06-13 | 2010-12-22 | オリンパス株式会社 | カメラ |
JP4432462B2 (ja) * | 2003-11-07 | 2010-03-17 | ソニー株式会社 | 撮像装置及び方法、撮像システム |
JP2011146825A (ja) * | 2010-01-13 | 2011-07-28 | Panasonic Corp | ステレオ画像撮影装置およびその方法 |
-
2011
- 2011-09-01 JP JP2011191069A patent/JP5956732B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013055425A (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103493484B (zh) | 成像装置和成像方法 | |
CN102362487B (zh) | 立体成像设备 | |
CN101821657B (zh) | 摄像设备 | |
US9077976B2 (en) | Single-eye stereoscopic image capturing device | |
US8823778B2 (en) | Imaging device and imaging method | |
JP5269252B2 (ja) | 単眼立体撮像装置 | |
CN103098459B (zh) | 立体摄像装置及阴影校正方法 | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
JP2010056865A (ja) | 撮像装置 | |
JP5231771B2 (ja) | 立体画像撮影装置 | |
JP2009094724A (ja) | 撮像装置 | |
JP2008294530A (ja) | 撮像装置、画像再生装置、撮像方法、画像再生方法及びプログラム | |
CN102934024B (zh) | 摄像装置及摄像方法 | |
JP5627438B2 (ja) | 撮像装置、その制御方法、プログラム及び記憶媒体 | |
CN103797415A (zh) | 摄像设备及其控制方法 | |
CN103782234B (zh) | 立体图像捕捉设备和方法 | |
JP5956732B2 (ja) | 撮像システム | |
JP6053276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
WO2013005477A1 (ja) | 撮像装置、立体画像撮像方法及びプログラム | |
JP2014147062A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JP2015084518A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6433474B2 (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5956732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |