JP5909990B2 - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP5909990B2 JP5909990B2 JP2011233883A JP2011233883A JP5909990B2 JP 5909990 B2 JP5909990 B2 JP 5909990B2 JP 2011233883 A JP2011233883 A JP 2011233883A JP 2011233883 A JP2011233883 A JP 2011233883A JP 5909990 B2 JP5909990 B2 JP 5909990B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- book
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000005259 measurement Methods 0.000 claims description 47
- 238000012937 correction Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 238000005452 bending Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Facsimile Scanning Arrangements (AREA)
- Studio Devices (AREA)
Description
しかしながら、デジタルカメラで書籍を撮影する際には書籍の取り込み面を上面にして机上等にページを開いた状態にする必要があるが、その際、見開き部分(綴じ部)に湾曲を生じ、湾曲部に印刷された内容が見難くなるといった問題点があった。また、書籍を机等の上に見開き状態で置き、上方から撮影する場合、通常の被写体を撮影する際の撮影方向(縦横)の検出に使用されている加速度センサの情報では、デジタルカメラと書籍の撮影方向の関係を検出することができない。さらに、上面から書籍を読み取る装置として専用の装置(公的な図書館の業務用等に利用されるもの)があるが、大きな占有面積が必要となり、個人用には向いていない。
しかしながら、特許文献1に記載の構成では、綴じ部の湾曲を検出するための検出手段を書籍の側面に別途有しているため装置の大型化、高コスト化を招来する等の問題がある。
しかしながら、特許文献2に記載の構成では、前記撮像手段は支持台に固定される構成であり、ポータビリティに劣る、装置構成上の制約が生じる等の問題がある。また、前記形状測定部は投光手段により所定のパターン光を投影し、その投影位置から形状を検出するため、所定のパターン光を投影する装置を要し、装置の大型化、高コスト化を招来する等の問題がある。さらに、高解像に撮像すること等を要し、データ容量が大幅に増大するという問題がある。
また、上記課題を解決するために本発明に係る撮像方法は、撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、前記画像データを記録する記録工程と、前記被写体の距離を多点測距し測距データを取得する測距工程と、前記被写体として書籍を撮影する書籍撮影モードを設定する工程と、前記書籍撮影モードで得られた画像データを、前記測距工程により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備え、前記測距工程では、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする。
本発明では、前記超高速高精度AF技術等を利用し、ユーザが書籍を見開き状態で撮影する際に綴じ部が湾曲して見難くなる点をその距離画像(立体形状)を計測して補正(引き伸ばし処理)することで見易い画像に変換することができる。このとき、カメラの撮影モードに書籍撮影モードを設け、書籍撮影モードが選択された際に、これらの処理が行われるようにすることで、非書籍画像は通常どおり撮影できるようにすることが好ましい。
また本発明では、前記距離画像により、書籍の湾曲方向から書籍とカメラとの相対的な向きを検出し、書籍撮影モードで撮影した画像を表示する際には検出された相対的な向きに応じて、画像の表示向きを変えることができることが好ましい。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
図1に示すように、本実施形態に係るデジタルカメラ1の正面(前面)側には、撮影レンズ系2、測距手段としての測距装置3の前面側のレンズアレイ4等が配置されている。レンズアレイ4の表面には、所定の間隔で左右に配置した第1の測距用レンズ5aと、第2の測距用レンズ5bが一体に形成されている。撮像レンズ系2と第1、第2の測距用レンズ5a,5bの各光軸は平行である。
図2に示すように、このデジタルカメラ1は、複数のレンズ群を有する撮影レンズ系2、シャッタ機能を有する絞りユニット10、撮影レンズ系2を通して入射される被写体像が受光面上に結像する固体撮像素子としてのCCDイメージセンサ11、CCDイメージセンサ11の各画素から出力される撮像信号(電気信号)を取り込み、表示や記録が可能な画像データに変換処理する画像生成手段である信号処理部12、操作部(レリーズボタン7、撮影モード選択手段である撮影モード切換ボタン8(図1参照)等)13からの操作入力情報に基づき、ROM(不図示)に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う制御部14、信号処理部12で生成された撮影中の被写体の画像データを表示する、および、後述するメモリカード18より読み出した画像データを表示する表示手段である液晶モニタ(LCD)15、撮影レンズ系2のフォーカスレンズ群を駆動するフォーカスレンズ駆動部16、絞りユニット10を駆動する絞りユニット駆動部17、及び被写体までの距離を測距する外測式の前記測距装置3等を備えている。画像処理部12で生成された画像データは、記録手段(不図示)により着脱自在なメモリカード18に記録される。
なお、撮影モード切換ボタン8は被写体として書籍を撮影する書籍撮影モードが設定可能である。
図3、図4に示すように、測距装置3は、前面側(正面側、図3の上側)が開口した筐体20と、この筐体20の前面側に前記第1、第2の測距用レンズ5a,5bが一列(デジタルカメラ1の左右方向)に一体に形成された透明樹脂材からなる長方形状のレンズアレイ4と、レンズアレイ4と対向する筐体20内の背面側(図3の下側)に配置された薄板状の撮像素子基板21と、撮像素子基板21上に配置された平面状(二次元状)の測距用撮像素子22a,22bと、撮像素子基板21の背面に配置された回路基板24を備えている。
測距用撮像素子22a,22bの平面状の各受光面は同じサイズで、同一画素数を有している。また、測距用撮像素子22a,22bとの間には、所定の隙間が設けられている。
撮像素子基板21上の測距用撮像素子22a,22bは、半導体ウェハ上に周知の半導体プロセスによって一体に形成された撮像素子(本実施の形態ではCCDであるが、CMOS等の撮像素子であってもよい)であり、多数の受光素子(画素)が格子状に配列されている。
第1、第2の測距用レンズ5a,5bは、該第1、第2の測距用レンズ5a,5bに入射する被写体光が測距用撮像素子22a,22b表面に結像するような焦点距離を有している。
また、第1、第2の測距用レンズ5a,5bの各画角が、撮影レンズ系2の画角と略同じになるように構成されている。これにより、測距装置3は、CCDイメージセンサ11の全受光面(撮像領域)に対応した画面全体の測距を行うことができる。
図5に示すように、第1の測距用レンズ5aを通して得られた被写体像a1と第2の測距用レンズ5bを通して得られた被写体像a2は、被写体A上の同一点が視差△だけずれて測距用撮像素子22a,22b表面にそれぞれ結像し、複数の受光素子(画素)で受光されて電気信号に変換される。
そして、前記視差を△、第1、第2の測距用レンズ5a,5bの光軸間の距離(基線長)をD、第1、第2の測距用レンズ5a,5bと被写体A間の距離をL、第1、第2の測距用レンズ5a,5bの焦点距離をfとし、L≫fであるときは、下記の式(1)が成り立つ。
なお、第1、第2の測距用レンズ5a,5bの光軸間の距離(基線長)Dが短すぎると、視差△が小さくなって被写体までの距離Lを精度よく算出できなくなる。
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第1の実施の形態について説明する。
図6(a)は綴じ部が湾曲した形状となる書籍を示す図であり、図6(b)は図6(a)に示す書籍の距離画像データを示す斜視図であり、図6(c)は図6(a)に示す書籍の距離画像データを示すグラフである。
したがって、歪補正に必要な測距データは書籍の外周のエッジに囲まれた領域であるため、書籍の領域を背景画像とのコントラストから検出し、得られた測距データから、書籍の領域の測距データ(書籍の外周のエッジに囲まれた領域の測距データ)を抽出する。そして、抽出した測距データ(書籍の見開き中心までの距離)を用いて後述する書籍の領域の湾曲歪を補正する。
先ず、前記測距用撮像素子により画素列毎に画像の奥行き方向の距離を求める。ここで、被写体が書籍の場合であって且つ撮像部に対して正対して載置してあったとすると、本来撮像入力画像中のそれぞれの列の画素、即ち図6(a)に示す縦方向に並んだ画素は同じ奥行き距離を持つはずである。しかしながらノイズ等の影響により、画素毎に奥行き距離にバラつきが検出される場合があり、その場合は画素間の平均値を求める。平均値を求める場合は、被写体上の点のみを使う必要があるため、画像の中心付近の画素を用いたり、高さが一定値以上の部分の画素を用いたりする。このようにして求めた画像のY軸(X0)に相当する被写体上の各点の奥行き距離をD0、i番目の列に相当する被写体上の各点の奥行き距離をDiとすると、以下の式(2)に従ってi番目の画素列の、j番目の画素行の画素位置Pij1を列方向に移動させ、Pij2として再配置する処理を行う。
先ず、これら点における隣接する点間の距離L01〜L23を求める。そして、再配置すべき画素の再配置後の位置を、画像の中心線X0からの距離として、縮尺を合わせて順次足し合せていくことで決定する。例えば、Pi3は、(L01+L12+L23)・f/Fの位置に再配置される(伸長前の画素位置である黒丸から、伸長後の画素位置である灰色丸に移動する)。ここで、fは該当する光学系の焦点距離、Fはその光学中心から画像の中心点に相当する被写体上の点迄の奥行き距離である。
換言すると、制御手段により書籍撮影モードが選択されて得られた画像データを、測距手段により取得した測距データに基づいて湾曲歪を補正することで、歪が補正された画像が得られる。
また、画像データのフォーマットとしてExif(Exchangeable Image File Format)を使用し、前記書籍の歪補正に必要な測距データを埋め込んで記録するようにしても良い。撮像装置にて書籍を撮影する際に取得した距離データを画像データに埋め込んで記録することで、画像データと距離データが分離して、補正できなくなるような問題が生じないようになる。
湾曲歪の補正後の画像データを記録することで、測距データを保存する必要がなくなる。また、湾曲歪の補正後の画像データが記録されているため、画像データを表示する際には湾曲歪の補正後の画像しか表示されないものの、表示のたびに毎回制御手段により湾曲歪の補正を行うことを要しないため処理が少なくてすむ。
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第2の実施の形態について説明する。
第2の実施の形態は、上記第1の実施の形態で取得された画像を撮像装置に設けられたLCD等の画像表示手段により表示する際の表示方法に関する。図12に処理フローを示す。
撮像装置において画像表示モードが選択されることをスタートとし、表示画像が書籍撮影モードで撮影されたデータである場合(S2−1)、対応する測距データを抽出し(S2−2)、上記第1の実施の形態で説明した書籍の湾曲歪み補正処理に基づいた補正を行い(S2−3)、補正画像を表示(S2−4)する。
本実施の形態によれば、書籍撮影モードで撮影された書籍画像を再生する際に、湾曲歪が補正された歪の少ない画像を自動的に表示できるようになる。
湾曲歪の補正を指示できるようにすることで、歪補正が必要な画像に対してのみ補正処理を実行できるようになる。
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第3の実施の形態について説明する。
第3の実施の形態は、書籍の湾曲形状検出結果から書籍と撮像装置の相対位置関係を判定手段により判定し、書籍の撮影画像データを表示する際、書籍の向き(相対位置関係の判定)に応じて自動的に正しい向きで表示されるようにする回転設定する処理を行う。
書籍と撮像装置との方向を自動的に検出できるようにすることで、書籍を撮影した画像を再生する際に、正しい向き(書籍を読む向き)にて再生できるようになる。
この処理について図9及び図10を参照しながらより詳細に説明する。
書籍撮影モードでは測距用撮像素子により距離画像を取得し、書籍の歪み補正に必要な測距データを取得できる。測距データにおいて画像の縦方向の変化量と横方向の変化量を演算し、変化量が大きい方向を書籍の湾曲方向として認識する(図9(a)、(b)に太線で図示)。前記変化量としては、測距データの変動量(最大−最小)、標準偏差等、変化量を定量的に比較できる統計量とし、縦方向と横方向の大きさを比較する。
また、カレンダーなどは綴じ部を中心に上下にページをめくるので自動的な回転をON/OFFする設定があることが好ましい。
2 撮影レンズ系
3 測距装置
4 レンズアレイ
5a 第1の測距レンズ
5b 第2の測距レンズ
7 レリーズボタン
8 撮影モード切替ダイヤル
11 CCDイメージセンサ
12 信号処理部
13 操作部
14 制御部
15 LCD
16 フォーカスレンズ駆動部
17 絞りユニット駆動部
18 メモリカード
20 筐体
21 撮像素子基盤
22a 測距用撮像素子
22b 測距用撮像素子
24 回路基板
25 測距用演算部
A 被写体
Δ 視差
L 測距用レンズと被写体間の距離
f 焦点距離
D 光軸間の距離(基線長)
Claims (9)
- 撮像素子と、
該撮像素子に被写体の像を結像させる撮影レンズ系と、
前記撮像素子の信号から画像データを生成する画像生成手段と、
前記画像データを記録する記録手段と、
前記被写体の距離を多点測距し測距データを取得する測距手段と、
前記被写体として書籍を撮影する書籍撮影モードと、
前記書籍撮影モードで得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備え、
前記測距手段は、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする撮像装置。 - 前記画像データを表示する表示手段をさらに備え、
前記記録手段は、前記撮像素子の信号から生成された前記画像データと、前記測距手段により取得された測距データと、を対応させて記録し、
前記書籍撮影モードで得られた画像データを表示する際には、前記制御手段が前記画像データおよび前記測距データを読み出して湾曲歪を補正し、前記表示手段が当該湾曲歪を補正後の画像データを表示することを特徴とする請求項1に記載の撮像装置。 - 前記制御手段に前記画像データの湾曲歪の補正の実行を指示する画像補正指示手段をさらに備え、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示された場合は、前記制御手段が前記画像データの湾曲歪の補正をし、前記表示手段が当該湾曲歪を補正後の画像データを表示し、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示されていない場合は、前記制御手段が前記画像データの湾曲歪の補正をせずに、前記表示手段が前記画像データを表示することを特徴とする請求項2に記載の撮像装置。 - 前記記録手段は、前記制御手段が前記測距手段により取得した測距データに基づいて湾曲歪を補正した画像データを記録することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記書籍の外周のエッジ部に囲まれた領域において前記書籍の見開き中心までの距離に基づいて湾曲歪の補正を実行することを特徴とする請求項1乃至4のいずれかに記載の撮像装置。
- 前記制御手段は、前記書籍の見開き中心までの距離と、前記書籍の印刷情報に基づいて湾曲歪の補正を実行することを特徴とする請求項1乃至4のいずれかに記載の撮像装置。
- 前記記録手段により記録された画像データを表示する表示手段と、当該撮像装置と前記書籍の相対位置関係を判定する判定手段と、をさらに備え、
前記画像データは、前記判定手段の判定に基づき表示方向を自動的に回転設定されて表示されることを特徴とする請求項1に記載の撮像装置。 - 前記測距手段は、前記撮影レンズ系と異なる光学系を有する測距センサにより測距していること、前記撮像素子上の被写体像による山登り方式により測距していること、および、前記撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距していること、の何れかの測距方法を用いることを特徴とする請求項1に記載の撮像装置。
- 撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、
前記画像データを記録する記録工程と、
前記被写体の距離を多点測距し測距データを取得する測距工程と、
前記被写体として書籍を撮影する書籍撮影モードを設定する工程と、
前記書籍撮影モードで得られた画像データを、前記測距工程により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備え、
前記測距工程では、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233883A JP5909990B2 (ja) | 2011-10-25 | 2011-10-25 | 撮像装置および撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233883A JP5909990B2 (ja) | 2011-10-25 | 2011-10-25 | 撮像装置および撮像方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013093704A JP2013093704A (ja) | 2013-05-16 |
JP2013093704A5 JP2013093704A5 (ja) | 2014-09-18 |
JP5909990B2 true JP5909990B2 (ja) | 2016-04-27 |
Family
ID=48616509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011233883A Active JP5909990B2 (ja) | 2011-10-25 | 2011-10-25 | 撮像装置および撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5909990B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6217378B2 (ja) * | 2013-12-20 | 2017-10-25 | カシオ計算機株式会社 | 頁画像補正装置、頁画像補正方法及びプログラム |
JP6521481B2 (ja) * | 2015-03-19 | 2019-05-29 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
JP6746892B2 (ja) | 2015-09-30 | 2020-08-26 | ヤマハ株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2017057694A1 (ja) | 2015-09-30 | 2017-04-06 | ヤマハ株式会社 | 楽譜画像解析装置 |
JP6728615B2 (ja) | 2015-09-30 | 2020-07-22 | ヤマハ株式会社 | 画像補正装置、画像補正方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1028206A (ja) * | 1996-07-10 | 1998-01-27 | Minolta Co Ltd | 画像読取り装置 |
JP2001189847A (ja) * | 2000-01-04 | 2001-07-10 | Minolta Co Ltd | 画像傾き補正装置、画像傾き補正方法および画像傾き補正プログラムを記録した記録媒体 |
JP2002077578A (ja) * | 2000-08-30 | 2002-03-15 | Minolta Co Ltd | 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4222238B2 (ja) * | 2004-03-19 | 2009-02-12 | カシオ計算機株式会社 | 撮影装置及び撮影制御方法 |
JP2008286527A (ja) * | 2007-05-15 | 2008-11-27 | Panasonic Corp | 複眼測距装置 |
JP5006250B2 (ja) * | 2008-04-30 | 2012-08-22 | 株式会社リコー | 画像補正装置、画像補正方法、画像補正プログラム及び記録媒体 |
-
2011
- 2011-10-25 JP JP2011233883A patent/JP5909990B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013093704A (ja) | 2013-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4012710B2 (ja) | 画像入力装置 | |
CN1901625B (zh) | 捕捉图像作为数字数据的电子摄像装置 | |
TWI518436B (zh) | 影像擷取裝置及影像處理方法 | |
US8233073B2 (en) | Image capturing device with improved image quality | |
JP5397751B2 (ja) | カメラおよび画像補正方法 | |
CN103024265B (zh) | 摄像装置和摄像装置的摄像方法 | |
CN101836150B (zh) | 摄像设备 | |
JP5909990B2 (ja) | 撮像装置および撮像方法 | |
JP4732303B2 (ja) | 撮像装置 | |
JP2009111813A (ja) | プロジェクタ、プロジェクタにおける画像データ取得方法及び撮像装置 | |
JP2013219525A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2003015218A (ja) | 投影型表示装置 | |
JP2012019292A (ja) | 3dカメラモジュールの撮像検査装置およびその撮像検査方法、3dカメラモジュールの撮像検査制御プログラム、3dカメラモジュールの撮像補正方法、3dカメラモジュールの撮像補正制御プログラム、可読記録媒体、3dカメラモジュール、電子情報機器 | |
JP6098784B2 (ja) | 画像処理装置及びプログラム | |
JP2010130181A (ja) | 画像取得装置 | |
JP5363872B2 (ja) | 画像補正装置及びそのプログラム | |
JP3493886B2 (ja) | デジタルカメラ | |
JP4390779B2 (ja) | 画像入力装置 | |
JP2014116789A (ja) | 撮影装置、その制御方法及びプログラム | |
JP2005340872A (ja) | 画像入力装置 | |
JP5953325B2 (ja) | Ccdカメラ装置 | |
JP7271316B2 (ja) | 撮像装置及びその制御方法 | |
JP7463133B2 (ja) | 面積計測装置、面積計測方法、及びプログラム | |
JP5444970B2 (ja) | 撮像装置 | |
WO2022113582A1 (ja) | キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160314 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5909990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |