JP5866383B2 - 画像における焦点誤差推定 - Google Patents
画像における焦点誤差推定 Download PDFInfo
- Publication number
- JP5866383B2 JP5866383B2 JP2013555638A JP2013555638A JP5866383B2 JP 5866383 B2 JP5866383 B2 JP 5866383B2 JP 2013555638 A JP2013555638 A JP 2013555638A JP 2013555638 A JP2013555638 A JP 2013555638A JP 5866383 B2 JP5866383 B2 JP 5866383B2
- Authority
- JP
- Japan
- Prior art keywords
- defocus
- filter response
- levels
- image
- focus error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本出願は、すべての目的でその全体が参照により明示的に本明細書に組み込まれる、2011年2月25日に出願された、「Defocus Estimation in Individual Natural Images」と題する、同時係属中の米国仮出願第61/446566号の非仮特許出願である。
米国政府は、米国国立衛生研究所助成金番号2 R01EY11747の条項に従って、本発明に一定の権利を有することができる。
ΔD=Dfocus−Dtarget (EQ1)
すなわち、本明細書で説明する技術は、自然画像若しくはコンピュータ生成画像(又は他の任意のクラスの画像)などの画像の各局所領域における、デフォーカスとも呼ばれる焦点誤差(ΔD)を推定する。
psf(x,λ;a(z),W(z,λ,ΔD)) (EQ2)
ここで、a(z)は、開口の形状、大きさ、及び透過率を指定し、W(z,λ,ΔD)は、波面収差関数であり、波面収差関数は、開口面内の位置zと、光の波長λと、デフォーカスレベルΔDと、レンズ系によって導入される他の収差とに依存する。デフォーカスレベルは、画像が焦点ずれを起こしている場合、それが何ジオプトリかを示す。開口関数は、レンズ系の光学的品質に対する回折の影響を決定する。波面収差関数は、回折に起因しない画像品質の悪化を決定する。完璧なレンズ系(すなわち、回折及びデフォーカスによってのみ制限されるレンズ系)は、ターゲット物体上の点から発した光を収束球波面に変換する。波面収差関数は、瞳開口内の各点において、実際の収束波面が完璧な球波面からどれだけ異なるかを記述する。
rc(x)=[Ic(x)*psfc(x,ΔD)]sampc(x)+ηc(x) (EQ3A)
ここで、式EQ3Aによるrc(x)の近似は、センサクラスcのセンサ応答を与え、各画像チャネルは、各ピクセルにおける波長分布とセンサ波長感度とのドット積を取ることによって取得され、ηcは、センサクラスcのノイズ関数を表す。この計算から得られるセンサ応答は、「カラーチャネル」センサ応答と呼ばれる。
p(R|ΔDj)=gauss(R;μj,Σj) (EQ6)
ここで、μj及びΣjは、原フィルタ応答のサンプル平均及び共分散行列に設定される。フィルタ応答分布の他のパラメータ記述が、より良い性能を提供することがある。デフォーカスレベルの事前確率が等しい場合、事前確率は、EQ5から消去される。しかし、多くの事例では、異なるデフォーカスレベルの事前確率は、焦点距離を考慮した場合は特に、等しくない。例えば、レンズが光学的無限遠に焦点を結ぶ場合、デフォーカスが正となる(すなわち、ターゲットが光学的無限遠の向こうに存在する)確率はゼロである。この情報は、推定値の精度を高めるために使用することができる。
Claims (15)
- 焦点誤差処理のための方法であって、
オブジェクトの画像データを光学系のセンサアレイ上で受け取るステップと、
前記光学系の1又は2以上のデフォーカスフィルタからなる1組の中の各デフォーカスフィルタ別に、前記受け取った画像データのパッチに対するデフォーカスフィルタのフィルタ応答値を計算するステップであって、前記1組のデフォーカスフィルタの前記計算されたフィルタ応答値が、前記受け取った画像データのフィルタ応答ベクトルを生成する、ステップと、
前記受け取った画像データの前記フィルタ応答ベクトルから、所定の1組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々についての確率を計算するステップと、
前記複数のデフォーカスレベルについての前記計算された確率に基づいて、前記受け取った画像データから焦点誤差の推定値を決定するステップと
を含む方法。 - 複数のデフォーカスレベルの各々についての確率を計算するステップが、所定の1組のデフォーカスレベルの範囲内にある各デフォーカスレベルについての確率を決定するために、前記所定の1組のデフォーカスレベルに対応する、デフォーカスレベルを有する画像パッチを含む画像のトレーニングセットのパラメトリック関数を使用するステップを含む、請求項1に記載の方法。
- 焦点誤差の推定値を決定するステップが、所定の1組のデフォーカスレベルから、デフォーカスレベルに関連付けられたトレーニングフィルタ応答ベクトルに最も近似するデフォーカスレベルを選択するステップを含む、請求項1又は2に記載の方法。
- 1又は2以上のデフォーカスフィルタからなる1組の中の各デフォーカスフィルタ別に、フィルタ応答値を計算するステップが、
受け取った画像データのパッチのフーリエ変換を計算するステップと、
前記受け取った画像データの前記フーリエ変換から、動径方向に平均化されたパワースペクトルを算出するステップと、
各フィルタの応答値を生成するために、前記動径方向に平均化されたパワースペクトルと各デフォーカスフィルタとのドット積を計算するステップと
を含み、
フィルタの応答値からなる1組が、フィルタ応答ベクトルを構成する、
請求項1〜3のいずれかに記載の方法。 - 焦点誤差の決定された推定値を補償し、焦点が合った画像をセンサアレイにおいて取得するために、光学系を調整するステップ
をさらに含む、請求項1〜4のいずれかに記載の方法。 - 光学系が、デジタルカメラを含む、請求項1〜5のいずれかに記載の方法。
- 光学系が、デジタル顕微鏡を含む、請求項1〜5のいずれかに記載の方法。
- 光学系が、デジタル望遠鏡を含む、請求項1〜5のいずれかに記載の方法。
- 光学系が、デジタルビデオカメラを含む、請求項1〜5のいずれかに記載の方法。
- 光学系が、受け取った画像データに応答して制御されるデバイスを含む、請求項1〜9のいずれかに記載の方法。
- 光学系と、
前記光学系を介して見えるオブジェクトの画像データを受け取るセンサアレイと、
プロセッサと
を備える焦点誤差処理のためのシステムであって、
前記プロセッサが、
前記光学系の1又は2以上のデフォーカスフィルタの各々別に、フィルタ応答値が前記受け取った画像データのフィルタ応答ベクトルを含むように、前記受け取った画像データのパッチに対するデフォーカスフィルタのフィルタ応答値を計算し、
前記受け取った画像データの前記フィルタ応答ベクトルから、所定の1組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々についての確率を計算し、さらに、
前記複数のデフォーカスレベルについての前記計算された確率に基づいて、前記受け取った画像データにおける焦点誤差の推定値を決定する
ように構成された
システム。 - 光学系を介して受け取った画像における焦点誤差を推定するための方法であって、
画像のトレーニングセットからの1組の画像パッチに対するフィルタ応答を、所定の1組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の1組のデフォーカスフィルタの中の1又は2以上のデフォーカスフィルタの各々別に算出するステップと、
画像の前記トレーニングセットからの前記1組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得するステップと、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定するステップと
を含む方法。 - 焦点誤差を推定するための、コンピュータ可読記憶媒体内に具現化されるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、前記媒体上に記録されたプログラミング命令を含み、コンピュータプロセッサによって実行されたときに、前記プログラミング命令が、
画像のトレーニングセットからの1組の画像パッチに対するフィルタ応答を、所定の1組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の1組のデフォーカスフィルタの中の1又は2以上のデフォーカスフィルタの各々別に算出し、
画像の前記トレーニングセットからの前記1組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得し、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定する
ための方法を提供する、コンピュータプログラム製品。 - 画像における焦点誤差を推定するためのコンピュータプログラムを記憶するためのメモリユニットと、
前記メモリユニットに接続されたプロセッサであって、前記コンピュータプログラムの実行に応答して、
画像のトレーニングセットからの1組の画像パッチに対するフィルタ応答を、所定の1組のデフォーカスレベルの中の複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の1組のデフォーカスフィルタの中の1又は2以上のデフォーカスフィルタの各々別に算出し、
画像の前記トレーニングセットからの前記1組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得し、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定する
ための回路を含むプロセッサと
を備えるシステム。 - 光学系のセンサアレイにおいて受け取った画像における焦点誤差を決定する方法であって、
シミュレーションにおいてデフォーカスされ、センサアレイ上で受け取った、1組のトレーニング画像パッチに対するフィルタ応答を、ある範囲のデフォーカスレベルの中の複数のデフォーカスレベルの各々別に、前記1組のトレーニング画像パッチの中の各画像パッチ別に、また複数のフィルタ別に、前記光学系を表現する点拡がり関数を使用して算出するステップと、
前記センサアレイ上の前記1組のトレーニング画像パッチの各々を、前記センサアレイを表現する波長感度関数及び空間サンプリング関数を使用してサンプリングするステップと、
前記センサアレイ内のセンサのあるクラスについて、前記センサアレイから応答を取得するステップと、
前記複数のデフォーカスレベルの各々別に、前記センサアレイからのセンサ応答から1組のデフォーカスフィルタを生成するステップと、
前記1組のトレーニング画像パッチ内の同じデフォーカスレベルを有するすべての画像パッチについてのフィルタ応答ベクトルの分布を取得することによって、各フィルタ応答ベクトルの確率尤度を決定するステップと、
トレーニングセット内の各デフォーカスレベルに対応するフィルタ応答分布を、パラメトリック多次元関数を用いて特徴付けるステップと、
前記トレーニングセット内のデフォーカスレベルの間にあるデフォーカスレベルのために条件付き尤度分布を補間するステップと、
未知の焦点誤差を有する任意の画像パッチについての焦点誤差の推定値を、
前記任意のパッチに応答して前記フィルタ応答ベクトルを算出し、
指定された範囲内にある各デフォーカスレベルの確率を算出し、
確率分布から焦点誤差の推定値を導出すること
によって導出するステップと
を含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161446566P | 2011-02-25 | 2011-02-25 | |
US61/446,566 | 2011-02-25 | ||
PCT/US2012/026817 WO2012161829A2 (en) | 2011-02-25 | 2012-02-27 | Focus error estimation in images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014511508A JP2014511508A (ja) | 2014-05-15 |
JP2014511508A5 JP2014511508A5 (ja) | 2015-04-16 |
JP5866383B2 true JP5866383B2 (ja) | 2016-02-17 |
Family
ID=47217946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013555638A Expired - Fee Related JP5866383B2 (ja) | 2011-02-25 | 2012-02-27 | 画像における焦点誤差推定 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8917346B2 (ja) |
EP (1) | EP2678999A4 (ja) |
JP (1) | JP5866383B2 (ja) |
KR (1) | KR101824936B1 (ja) |
CN (1) | CN103503433B (ja) |
CA (1) | CA2827236C (ja) |
MX (1) | MX2013009389A (ja) |
WO (1) | WO2012161829A2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6000773B2 (ja) * | 2012-09-13 | 2016-10-05 | キヤノン株式会社 | 収差推定方法、プログラムおよび撮像装置 |
US9897792B2 (en) * | 2012-11-30 | 2018-02-20 | L&T Technology Services Limited | Method and system for extended depth of field calculation for microscopic images |
US9214011B2 (en) | 2014-05-05 | 2015-12-15 | Sony Corporation | Camera defocus direction estimation |
US9516302B1 (en) * | 2014-11-14 | 2016-12-06 | Amazon Techologies, Inc. | Automated focusing of a camera module in production |
FR3030971A1 (fr) | 2014-12-17 | 2016-06-24 | Stmicroelectronics (Grenoble 2) Sas | Procede d'estimation de flou independant du contenu de la scene et utilisation dans un systeme de mise au point automatique |
JP6485116B2 (ja) * | 2015-02-27 | 2019-03-20 | 富士通株式会社 | 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム |
GB201512278D0 (en) * | 2015-07-14 | 2015-08-19 | Apical Ltd | Hybrid neural network |
KR102523643B1 (ko) | 2015-10-26 | 2023-04-20 | 삼성전자주식회사 | 이미지 신호 프로세서의 작동 방법과 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템의 작동 방법 |
US9930243B2 (en) | 2016-05-02 | 2018-03-27 | Mitutoyo Corporation | Variable focal length imaging system |
US9736355B1 (en) * | 2016-05-03 | 2017-08-15 | Mitutoyo Corporation | Phase difference calibration in a variable focal length lens system |
EP3484371B1 (en) * | 2016-07-14 | 2023-10-18 | Insightec, Ltd. | Precedent-based ultrasound focusing |
EP3503530A4 (en) * | 2016-08-16 | 2019-08-21 | Sony Semiconductor Solutions Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE CAPTURE DEVICE |
KR101948674B1 (ko) | 2016-10-20 | 2019-02-18 | (주)하이모 | 포터블 스캐너 및 그 스캐닝 방법 |
US20220087813A1 (en) * | 2019-01-31 | 2022-03-24 | The Trustees Of The University Of Pennsylvania | Anti-pulfrich monovision ophthalmic correction |
CN112213728A (zh) * | 2019-07-11 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种超声测距方法、装置、计算机可读存储介质及机器人 |
CN112417703B (zh) * | 2020-12-03 | 2023-01-03 | 中国人民解放军国防科技大学 | 一种大规模符号的自适应标绘方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677565B1 (en) * | 1998-08-18 | 2004-01-13 | Veeco Tucson Inc. | High speed autofocus and tilt for an optical imaging system |
JP2001103358A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 色収差補正装置 |
JP2002116372A (ja) * | 2000-10-10 | 2002-04-19 | Ricoh Co Ltd | 自動合焦装置、その合焦方法、およびその方法をコンピュータで実行するためのプログラムが格納されているコンピュータが読み取り可能な記録媒体 |
JP2006216865A (ja) * | 2005-02-04 | 2006-08-17 | Canon Inc | 判別方法及び装置、露光装置、並びにデバイス製造方法 |
JP4437228B2 (ja) * | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
JP2008046484A (ja) * | 2006-08-18 | 2008-02-28 | Olympus Corp | 自動焦点検出装置及び自動焦点検出方法 |
JP4882999B2 (ja) * | 2007-12-21 | 2012-02-22 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
WO2009145931A1 (en) * | 2008-05-27 | 2009-12-03 | Nikon Corporation | Device and method for estimating defocus blur size in an image |
WO2010008802A1 (en) * | 2008-06-23 | 2010-01-21 | Nikon Corporation | Device and method for detecting whether an image is blurred |
US8218061B2 (en) * | 2008-09-04 | 2012-07-10 | Csr Technology Inc. | Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus |
US8374389B2 (en) * | 2009-02-06 | 2013-02-12 | Robert Bosch Gmbh | Iris deblurring method based on global and local iris image statistics |
US8368964B2 (en) * | 2009-08-06 | 2013-02-05 | Xerox Corporation | Method for estimation of image defocus and defocus restoration |
US8373789B2 (en) * | 2010-02-18 | 2013-02-12 | Ju Jin | Auto focus system and auto focus method |
US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
-
2012
- 2012-02-27 CA CA2827236A patent/CA2827236C/en not_active Expired - Fee Related
- 2012-02-27 CN CN201280008944.2A patent/CN103503433B/zh not_active Expired - Fee Related
- 2012-02-27 MX MX2013009389A patent/MX2013009389A/es active IP Right Grant
- 2012-02-27 WO PCT/US2012/026817 patent/WO2012161829A2/en active Application Filing
- 2012-02-27 JP JP2013555638A patent/JP5866383B2/ja not_active Expired - Fee Related
- 2012-02-27 KR KR1020137021503A patent/KR101824936B1/ko active IP Right Grant
- 2012-02-27 EP EP12788758.6A patent/EP2678999A4/en not_active Ceased
-
2013
- 2013-08-13 US US13/965,758 patent/US8917346B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130329122A1 (en) | 2013-12-12 |
EP2678999A2 (en) | 2014-01-01 |
US8917346B2 (en) | 2014-12-23 |
JP2014511508A (ja) | 2014-05-15 |
MX2013009389A (es) | 2014-03-27 |
CA2827236A1 (en) | 2012-11-29 |
WO2012161829A3 (en) | 2013-02-28 |
KR101824936B1 (ko) | 2018-02-02 |
CN103503433B (zh) | 2017-01-18 |
WO2012161829A2 (en) | 2012-11-29 |
KR20140057190A (ko) | 2014-05-12 |
EP2678999A4 (en) | 2015-12-16 |
CA2827236C (en) | 2020-07-14 |
CN103503433A (zh) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5866383B2 (ja) | 画像における焦点誤差推定 | |
US10547786B2 (en) | Image processing for turbulence compensation | |
US8432479B2 (en) | Range measurement using a zoom camera | |
JP5869883B2 (ja) | 画像処理装置 | |
JP5173665B2 (ja) | 画像撮影装置およびその距離演算方法と合焦画像取得方法 | |
US8305485B2 (en) | Digital camera with coded aperture rangefinder | |
JP2010213274A (ja) | 拡張された被写界深度の監視用撮像システム | |
US11347133B2 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
JP2014153890A5 (ja) | ||
JP2012519919A (ja) | 拡張被写界深度を有する正確な画像化方法および装置 | |
TWI687661B (zh) | 用於確定場景相關電磁場的複振幅的方法及裝置 | |
JP2007503605A (ja) | 画像処理のための画像プロセッサ及び方法 | |
WO2019104670A1 (zh) | 深度值确定方法和装置 | |
Burge et al. | Optimal defocus estimates from individual images for autofocusing a digital camera | |
US10264164B2 (en) | System and method of correcting imaging errors for a telescope by referencing a field of view of the telescope | |
Xu et al. | Robust passive autofocus system for mobile phone camera applications | |
US10838165B2 (en) | Plenoptic zoom with optimised range | |
Simpkins et al. | Mapping measurable quantities of point-spread function observations to Seidel aberration coefficients |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150225 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150624 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5866383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |