JP6304619B2 - 像振れ補正システム、プログラム及び方法 - Google Patents
像振れ補正システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP6304619B2 JP6304619B2 JP2013269351A JP2013269351A JP6304619B2 JP 6304619 B2 JP6304619 B2 JP 6304619B2 JP 2013269351 A JP2013269351 A JP 2013269351A JP 2013269351 A JP2013269351 A JP 2013269351A JP 6304619 B2 JP6304619 B2 JP 6304619B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- correction
- feature points
- image
- correction process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000006641 stabilisation Effects 0.000 title claims description 3
- 238000011105 stabilization Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims description 167
- 230000008569 process Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 34
- 230000009471 action Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1に、本実施形態に係る像振れ補正システムである、ゴルフスイング分析システム100を示す。ゴルフスイング分析システム100は、ゴルフスイングを動画として撮影し、これを画像処理することでゴルファーの動作を分析するためのシステムであり、撮影された動画から手振れに代表される像振れを補正する機能を有している。ゴルフスイング分析システム100は、主として、携帯電話1と、携帯電話1からインターネット6を介して接続可能なサーバ2とから構成される。携帯電話1には、カメラ10が搭載されている。ユーザは、このカメラ10を用いてゴルフスイングを動画として撮影し、サーバ2は、これを携帯電話1から受け取り、分析する。なお、ここでいうユーザとは、ゴルフスイングの分析結果を必要とするゴルファーやインストラクター等の総称である。以下、携帯電話1及びサーバ2のハードウェア構成について説明した後、これらの動作について説明する。
本実施形態における携帯電話1は、カメラ機能付きのスマートフォンであり、ゴルフスイングの分析用のプログラム1Aがインストールされている。このプログラム1Aは、サーバ2と通信しながら、携帯電話1に後述する動作を実行させるためのアプリケーションソフトウェアであり、インターネット6を介してダウンロード可能である。
サーバ2は、ゴルフスイングの分析用のプログラム2Aがインストールされたアプリケーションサーバである。このプログラム2Aは、携帯電話1と通信しながら、サーバ2に後述する動作を実行させるためのアプリケーションソフトウェアであり、CD−ROM等のコンピュータで読み取り可能な記録媒体20からインストール可能である。
以下、図2を参照しつつ、携帯電話1及びサーバ2によるゴルフスイング分析処理について説明する。
まず、ユーザは、ゴルフ練習場等においてゴルフスイングを改善したいと考えたときに、携帯電話1上でこれを支援するためのプログラム1Aを起動する(ステップS1)。これを受けて、携帯電話1の撮影案内部14Aは、表示部11上に、図3に示すような撮影画面W1を表示させる(ステップS2)。撮影画面W1内には、カメラ10が捉えるスルー画像が表示されるとともに、このスルー画像に重ねて2つの案内枠W2,W3が表示される。中央の案内枠W2は、ゴルファー70の握るゴルフクラブ7のグリップ71を捉えるべき領域を示す枠でありであり、右下の案内枠W3は、ゴルフクラブ7のヘッド72を捉えるべき領域を示す枠である。従って、ユーザは、これらの案内枠W2,W3を参考にすることで、カメラ10の撮像範囲内においてゴルファー70を捉えるべき凡その位置やアングルを容易に理解することができる。なお、これらの案内枠W2,W3は、カメラ10を縦長に持った上で、カメラ10の撮像範囲内の所定の位置(本実施形態では、中央付近)でゴルファー70を捉えるように案内するような位置に表示される。また、撮影画面W1上には、案内枠W2,W3に加え、これらの意味するところを示す情報、例えば、「中央の枠内にプレイヤーの手元を写し、右下の枠内にゴルフクラブのヘッドを写してください。」と言ったメッセージが表示されてもよい。
以下、図4を参照しつつ、像振れ補正処理について説明する。なお、詳細は後述するとおりであるが、まず大まかに説明すると、像振れ補正処理では、動画のフレーム内で、分析の対象となるゴルファー70及びゴルフクラブ7が存在しない背景領域が設定され(ステップS21〜S26)、この背景領域に対して1回目の補正ルーチンが実行される(ステップS27)。なお、背景領域を設定するのは、カメラ10の動きによる像振れを正確に評価するために、ゴルファー70及びゴルフクラブ7の動きの影響を受けない領域を設定するためである。そして、その後、1回目の補正ルーチンの実行後の動画においても像振れが依然として大きいと考えられる場合には(ステップS28)、2回目の補正ルーチンが実行される(ステップS29)。以下では、携帯電話1から送られてきた動画に含まれる複数のフレームを、F1,F2,・・・,Fn(nは、フレームの枚数)と表す。
なお、cは、0<c≦1以下の定数であり、Yhandは、手元75のY座標、Yclubは、ヘッド72のY座標であり、Hは、エッジ画像の縦の画素数である。なお、Y軸は、エッジ画像の縦軸として定義される(上端においてY=0であり、下向きが正である)。また、X軸は、エッジ画像の横軸として定義される(左端においてX=0であり、右向きが正である)。また、X及びY方向のどちらにおいても、隣接画素間の距離は1である。なお、X軸及びY軸の定義は、エッジ画像だけでなく、フレームFi等のその他の画像にも共通する定義である。
X方向の範囲=Xhand−50〜Xhand+50
Y方向の範囲=100〜Yhand
とする矩形領域とすることができる。なお、Xhandは、手元75のX座標である。
X方向の範囲=0〜Xhand
Y方向の範囲=Yhand−100〜Yhand
とする矩形領域とすることができる。
X方向の範囲=Xwaist−3〜Xhand+70
Y方向の範囲=Yhead−3〜Yhand+1.7(Yclub−Yhand)
とする矩形領域とすることができる。なお、Xwaistは、腰のX座標であり、Yheadは、頭のY座標である。
以下、上述のステップS27に係る1回目の補正ルーチンの詳細について説明する。
まず、第1補正部24Bは、最初のフレームF1の背景領域E1上で特徴点を検出する(ステップS31)。本実施形態では、Harrisのコーナー検出法が利用されるが、他のアルゴリズムを採用することもできる。具体的には、本実施形態では、背景領域E1内の各画素について、RGBの成分毎のHarrisオペレータの値が検出され、これらの値の加算値が閾値B1と比較される。そして、この閾値B1よりも大きい加算値を有する画素が、特徴点として検出される。ただし、ここでは、背景領域E1内に互いに一定以上近接した特徴点が存在する場合には、それらの特徴点のうち、以上の加算値が最大のもの以外を特徴点として認識しないようにすることが好ましい。
以下、上述のステップS29に係る2回目の補正ルーチンの詳細について説明する。この2回目の補正ルーチンは、上述したとおり、1回目の補正ルーチンだけではフレームF1,F2,・・・,Fn間の像振れが十分に解消されなかった場合に、1回目の補正ルーチンによる中間生成物であるフレームK1,K2,・・・,Kn間に残っている像振れをさらに除去するための処理である。また、図4に示すように、この2回目の補正ルーチンは、1回目の補正ルーチンが強制終了してしまったため、フレームF1,F2,・・・,Fnに対し像振れ補正が施されていない場合にも実行される。しかしながら、以下では、簡単のため、このような場合をも含めて、2回目の補正ルーチンの対象となるフレームを、フレームK1,K2,・・・,Knと呼ぶことにする。また、1回目の補正ルーチンと2回目の補正ルーチンとは、像振れ補正のための主要なアルゴリズムは同じであるため、以下では、1回目の補正ルーチンとの差異を中心として、2回目の補正ルーチンについて説明する。
本発明によれば、スポーツのプレイヤーの動作を撮影した動画に含まれる複数のフレームF1,F2,・・・,Fn内において、プレイヤーの存在しない背景領域87が設定される。背景領域87を設定するのは、カメラ10の動きによる像振れを正確に評価するために、プレイヤーの動きの影響を受けない領域を設定するためである。そして、この背景領域87に注目して、複数のフレームF1,F2,・・・,Fn間の位置のズレを補正する補正処理が実行される。その後、依然として補正処理後の複数のフレーム間の位置のズレが大きい場合には、すなわち、像振れが大き過ぎたために、1回目の補正処理で十分に像振れを解消できなかった場合には、2回目の補正処理が実行される。従って、必要とされる場合にのみ、処理負荷が増加することとなる。その結果、スポーツのプレイヤーの動作を撮影した動画の像振れを精度良く補正しつつも、処理負荷を合理的に抑えることができる。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
上記実施形態では、ゴルフスイングの撮影、及び画像サイズの縮小が携帯電話1側で実行され、像振れ補正、及びゴルフスイングの分析がサーバ2側で実行されるようになっていた。しかしながら、携帯電話1側で撮影から像振れ補正までが実行されるようにしてもよいし、さらにサーバ2を省略し、携帯電話1側で撮影から分析処理までが実行されるようにしてもよい。あるいは、撮影のみを携帯電話1で行った後、縮小前の動画を携帯電話1からサーバ2に送信し、サーバ2側で画像サイズの縮小を行ってもよい。ただし、通信負荷を下げる観点からは、画像サイズの縮小後の動画を送信することが好ましい。このように上述した様々な処理を実行する主体は、携帯電話1とサーバ2とに適宜振り分けることができる。
システム100のハードウェア構成は、上記したものに限られない。例えば、携帯電話のようなインターネット通信機能を有するカメラ以外のカメラで撮影し、これをパーソナルコンピュータ(以下、PC)に取り込んで、PCからサーバ2に送信するようにしてもよい。また、PCにサーバ2と同様のプログラムをインストールしておき、PCで分析するようにしてもよい。
携帯電話1やサーバ2の処理能力が十分に高い場合等には、ステップS4における上下領域の切り取り処理及び/又は圧縮の処理は、適宜、省略可能である。
ステップS28において、フレームK1,K2,・・・,Kn間の位置のズレを評価する方法は、上述したものに限られない。例えば、全ての差分画像J1,J2,・・・,Jn-1の全ての画素の画素値の絶対値を加算した値が、所定値以上であるか否かを判定することにより、フレームK1,K2,・・・,Knが全体として十分に像振れ補正されているか否かを判断してもよい。
上記実施形態では、背景領域87を自動検出するために仮のアドレスフレームと仮のインパクトフレームを用いたが、トップやフィニッシュのフレーム等、アドレス及びインパクト以外のフレームを用いて背景領域87を検出するようにしてもよい。また、背景領域87を自動検出するために、仮のアドレスフレーム等から検出される特徴点は、ゴルファーの頭部や腰に限らず、例えば、足や肩であってもよい。
上記実施形態では、ステップS48の後、ステップS49を経てステップS46に戻ることとしたが、ステップS48の後、ステップ49を省略し、ステップS43に進むようにしてもよい。これにより、特徴点の追跡関係が全てのフレームK1,K2,・・・,Knを通して途絶えることがなくなり、フレームK1,K2,・・・,Kn全体での像ブレ補正の精度が向上する。
1A,2A プログラム(像振れ補正プログラム)
14B サイズ調整部
24A 背景設定部
24B 第1補正部
24C 判定部
24D 第2補正部
87 背景領域
Claims (9)
- スポーツのプレイヤーの動作を撮影した動画の像振れを補正するための像振れ補正システムであって、
前記動画に含まれる複数の第1フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第1フレーム間の位置のズレを補正する第1補正処理を実行する第1補正部と、
前記第1補正処理後の複数の第1フレームである複数の第2フレーム間の位置のズレが所定の閾値よりも大きいか否かを判定する判定部と、
前記複数の第2フレーム間の位置のズレが前記所定の閾値よりも大きいと判定された場合には、前記複数の第2フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第2フレーム間の位置のズレを補正する第2補正処理を実行する第2補正部と
を備え、
前記第2補正部は、前記第2補正処理の実行時において、前記第1補正処理及び前記第2補正処理で使用されるパラメータであって、互いに対応するものとして検出される前記特徴点間の距離の上限閾値を表すパラメータを、前記第1補正処理の実行時よりも当該上限閾値が大きくなるように設定する、
像振れ補正システム。 - 前記判定部は、前記複数の第2フレーム間の差分が前記所定の閾値よりも大きい否かを判定する、
請求項1に記載の像振れ補正システム。 - 前記第2補正部は、前記第2補正処理において、前記第2フレーム上に前記特徴点が所定の個数以上検出されない場合には、前記特徴点を検出するための閾値を下げる、
請求項1又は2に記載の像振れ補正システム。 - 前記第1補正処理の前に、前記プレイヤーの存在しない背景領域を設定する背景設定部
をさらに備え、
前記第1補正部及び前記第2補正部は、前記背景領域における前記複数の第1フレーム上の前記特徴点及び前記背景領域における前記複数の第2フレームの前記特徴点の座標に基づいて、前記第1補正処理及び前記第2補正処理を実行し、
前記判定部は、前記複数の第2フレーム間の前記背景領域における位置のズレが前記所定の閾値よりも大きいか否かを判定する、
請求項1から3のいずれかに記載の像振れ補正システム。 - 前記背景設定部は、前記プレイヤーの身体の形状的特徴に基づいて前記プレイヤーを捉えたマスク領域を検出した後、前記背景領域を検出する、
請求項4に記載の像振れ補正システム。 - 前記第1補正処理の前に、前記複数の第1フレームの画像サイズを縮小するサイズ調整部
をさらに備える、
請求項1から5のいずれかに記載の像振れ補正システム。 - 前記サイズ調整部は、前記複数の第1フレームの長手方向の端部の領域を切り取ることにより、前記画像サイズを縮小する、
請求項6に記載の像振れ補正システム。 - スポーツのプレイヤーの動作を撮影した動画の像振れを補正するための像振れ補正プログラムであって、
前記動画に含まれる複数の第1フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第1フレーム間の位置のズレを補正する第1補正処理を実行するステップと、
前記第1補正処理後の複数の第1フレームである複数の第2フレーム間の位置のズレが所定の閾値よりも大きいか否かを判定するステップと、
前記複数の第2フレーム間の位置のズレが前記所定の閾値よりも大きいと判定された場合には、前記複数の第2フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第2フレーム間の位置のズレを補正する第2補正処理を実行するステップと
をコンピュータに実行させ、
前記第2補正処理では、前記第1補正処理及び前記第2補正処理で使用されるパラメータであって、互いに対応するものとして検出される前記特徴点間の距離の上限閾値を表すパラメータが、前記第1補正処理の実行時よりも当該上限閾値が大きくなるように設定される、
像振れ補正プログラム。 - スポーツのプレイヤーの動作を撮影した動画の像振れを補正するための像振れ補正方法であって、
前記動画に含まれる複数の第1フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第1フレーム間の位置のズレを補正する第1補正処理を実行するステップと、
前記第1補正処理後の複数の第1フレームである複数の第2フレーム間の位置のズレが所定の閾値よりも大きいか否かを判定するステップと、
前記複数の第2フレーム間の位置のズレが前記所定の閾値よりも大きいと判定された場合には、前記複数の第2フレーム上において互いに対応する特徴点を検出し、当該対応する特徴点の座標に基づいて、前記複数の第2フレーム間の位置のズレを補正する第2補正処理を実行するステップと
を備え、
前記第2補正処理では、前記第1補正処理及び前記第2補正処理で使用されるパラメータであって、互いに対応するものとして検出される前記特徴点間の距離の上限閾値を表すパラメータが、前記第1補正処理の実行時よりも当該上限閾値が大きくなるように設定される、像振れ補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013269351A JP6304619B2 (ja) | 2013-12-26 | 2013-12-26 | 像振れ補正システム、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013269351A JP6304619B2 (ja) | 2013-12-26 | 2013-12-26 | 像振れ補正システム、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015126373A JP2015126373A (ja) | 2015-07-06 |
JP6304619B2 true JP6304619B2 (ja) | 2018-04-04 |
Family
ID=53536797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013269351A Active JP6304619B2 (ja) | 2013-12-26 | 2013-12-26 | 像振れ補正システム、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6304619B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019013215A1 (ja) * | 2017-07-12 | 2019-01-17 | シャープ株式会社 | 補正装置、撮像装置、補正装置の制御方法、および制御プログラム |
CN110363748B (zh) * | 2019-06-19 | 2023-07-21 | 平安科技(深圳)有限公司 | 关键点的抖动处理方法、装置、介质及电子设备 |
CN113627306B (zh) * | 2021-08-03 | 2023-04-07 | 展讯通信(上海)有限公司 | 关键点处理方法及装置、可读存储介质、终端 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4306457B2 (ja) * | 2004-01-08 | 2009-08-05 | 株式会社デンソーウェーブ | 光学情報読取装置 |
JP2006235785A (ja) * | 2005-02-23 | 2006-09-07 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP4595733B2 (ja) * | 2005-08-02 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置 |
JP4763415B2 (ja) * | 2005-10-19 | 2011-08-31 | 日東光学株式会社 | 画像処理装置 |
JP4919028B2 (ja) * | 2006-03-03 | 2012-04-18 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
JP5297325B2 (ja) * | 2009-10-02 | 2013-09-25 | ダンロップスポーツ株式会社 | ゴルフスイング撮影時の手ぶれ補正方法 |
JP5976315B2 (ja) * | 2011-12-28 | 2016-08-23 | 株式会社ザクティ | 撮像装置 |
-
2013
- 2013-12-26 JP JP2013269351A patent/JP6304619B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015126373A (ja) | 2015-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4653235B2 (ja) | フレーム選択を用いるパノラマ画像の構成 | |
KR102277048B1 (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
JP4755490B2 (ja) | ブレ補正方法および撮像装置 | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
KR20180102639A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
JP7067023B2 (ja) | 情報処理装置、背景更新方法および背景更新プログラム | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
US8644555B2 (en) | Device and method for detecting movement of object | |
US20120249593A1 (en) | Image processing apparatus, image processing method, and recording medium capable of identifying subject motion | |
TWI571828B (zh) | 光學導航方法以及相關裝置 | |
CN112352261A (zh) | 工程机械用的物体检测装置以及物体检测方法 | |
WO2016031573A1 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP6304619B2 (ja) | 像振れ補正システム、プログラム及び方法 | |
EP1968308A1 (en) | Image processing method, image processing program, image processing device, and imaging device | |
JP2003288588A (ja) | 画像処理装置及び画像処理方法 | |
US20120162386A1 (en) | Apparatus and method for correcting error in stereoscopic image | |
JP4482933B2 (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
JP4328259B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
WO2015198478A1 (ja) | 画像歪み補正装置、情報処理装置および画像歪み補正方法 | |
JP6771521B2 (ja) | ゴルフスイングの分析システム、プログラム及び方法 | |
JP6441570B2 (ja) | ゴルフスイングの分析システム、プログラム及び方法 | |
JP2021118522A (ja) | 画像処理装置、画像処理方法、監視システム | |
JP2021056899A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018031803A (ja) | プロジェクタ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6304619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |