JP2013040791A - 画像処理装置および画像処理方法、プログラム - Google Patents
画像処理装置および画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2013040791A JP2013040791A JP2011176117A JP2011176117A JP2013040791A JP 2013040791 A JP2013040791 A JP 2013040791A JP 2011176117 A JP2011176117 A JP 2011176117A JP 2011176117 A JP2011176117 A JP 2011176117A JP 2013040791 A JP2013040791 A JP 2013040791A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- distance
- focused
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】本発明に係る画像処理装置は、合焦位置が異なる複数の光学系を有する多眼方式の撮像装置によって撮像された複数の画像を取得する画像取得部(401)と、撮像装置によって撮像された複数の画像それぞれについて合焦画像となる領域を選択する合焦画像選択部(404)と、合焦画像選択部で選択された複数の合焦画像を使用して距離を算出する距離算出部(405)と、を備えたことを特徴とする。
【選択図】図4
Description
図1は、複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。100は撮像装置の筐体を示す。筐体100は、カラー画像を取得する9個の撮像部101〜109及び撮影ボタン110を備える。9個の撮像部は、正方格子状に均等に配置されている。ユーザが撮影ボタン110を押下すると、撮像部101〜109が備えるセンサ(撮像素子)によって、受光した被写体の光情報をA/D変換して、複数のカラー画像(デジタルデータ)を同時に取得することができる。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。
図4は、画像処理部212の内部構成を示したブロック図である。
図6は、合焦画像選択部404の内部構成を示したブロック図である。
図7のフローチャートのステップ703で行われる重複領域の算出処理の詳細について説明する。図9は、重複領域算出処理の流れを示すフローチャートである。
図14は、図7のステップ705におけるコントラスト算出処理の流れを示すフローチャートである。
図15は、図7のステップ706における合焦画像選択処理の流れを示すフローチャートである。
図17は、距離算出部405の内部構成を示したブロック図である。
図19は、図18のフローチャートのステップ1803における対応点探索処理の流れを示すフローチャートである。
図20は、図19のフローチャートのステップ1904における特徴点の対応探索処理の流れを示すフローチャートである。
Ei(i,j,mm)={nn,ci_min}
Ej(i,j,mm)={nn,cj_min}
で構成される配列に保持する。Ei(i,j,mm)は、基準画像mmの画素位置(i,j)における、参照画像nnの縦方向における対応画素の位置ci_minを表す。同様に、Ej(i,j,mm)は、基準画像mmの画素位置(i,j)における、参照画像nnの横方向における対応画素の位置cj_minを表す。
図22は、図18のフローチャートのステップ1804における距離算出処理の流れを示すフローチャートである。
実施形態1では、距離算出時に使用される対応点探索の処理は、距離算出に使用される基準画像において特徴点が存在する画素位置に対してのみ参照画像との対応点の探索を行っていた。次に、基準画像から特徴点を得ることなく参照画像との対応点の探索を行う態様について、実施形態2として説明する。なお、実施形態1と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
図25は、図24のフローチャートのステップ2404におけるブロックマッチング処理の流れを示すフローチャートである。
Ei(bi,bj,mm)={nn,ci_min}
Ej(bi,bj,mm)={nn,cj_min}
で構成される配列に保持する。Ei(bi,bj,mm)は、基準画像mmのブロック位置(bi,bj)における、参照画像nnにおける縦方向の対応画素の位置ci_minを表す。同様に、Ej(bi,bj,mm)は、基準画像mmの画素位置(i,j)における、参照画像nnにおける横方向の対応画素の位置cj_minを表す。
実施形態1乃2では、予めフォーカス位置が規定された複数の撮像部によって取得された撮影画像に基づき、距離画像を生成していた。次に、撮影対象の被写体の距離に応じて各撮像部のフォーカス位置を制御して距離画像を生成する態様について、実施形態3として説明する。なお、実施形態1或いは実施形態2と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
図27は、撮影対象の被写体の距離に応じて各撮像部のフォーカス位置を制御するための撮像部制御部208に関する内部構成を示したブロック図である。
実施形態1から実施形態3では、各撮像部がレンズとセンサを個々に具備する撮像装置であった。次に、撮像装置のセンサが一体化されて1個に集約される態様について、実施形態4として説明する。なお、実施形態1から実施形態3と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
Claims (10)
- 合焦位置が異なる複数の光学系を有する多眼方式の撮像装置によって撮像された複数の画像を取得する画像取得部と、
前記撮像装置によって撮像された複数の画像それぞれについて合焦画像となる領域を選択する合焦画像選択部と、
前記合焦画像選択部で選択された複数の合焦画像を使用して距離を算出する距離算出部と、
を備えたことを特徴とする画像処理装置。 - 予め規定された距離算出範囲に基づいての光学系の合焦位置が決定される撮像部制御部を備える多眼方式の撮像装置によって撮像された複数の画像を取得する画像取得部と、
前記撮像装置によって撮像された複数の画像それぞれについて合焦画像となる領域を選択する合焦画像選択部と、
前記合焦画像選択部で選択された複数の合焦画像を使用して距離を算出する距離算出部と、
を備えたことを特徴とする画像処理装置。 - 前記複数の画像それぞれについて、複数の画像領域に分割する領域分割部をさらに備え、
前記合焦画像選択部は、前記合焦画像となる領域を、前記複数の画像領域から選択する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記画像選択部は、前記複数の画像に対して定量的な評価を行うことにより、複数の前記合焦画像を選択することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記距離算出部は、前記複数の画像領域ごとに距離を算出することを特徴とする請求項3または請求項4に記載の画像処理装置。
- 前記距離算出部は、前記複数の画像領域について算出された距離を合成する距離合成部を備えることを特徴とする請求項5に記載の画像処理装置。
- 前記距離算出部は、前記合焦画像選択部で選択された複数の前記合焦画像の間の対応点を求めることによって距離を算出することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 合焦位置が異なる複数の光学系を有する多眼方式の撮像装置によって撮像された複数の画像を取得する画像取得工程と、
前記撮像装置によって撮像された複数の画像それぞれについて、合焦画像となる領域を選択する合焦画像選択工程と、
前記合焦画像選択工程で選択された複数の合焦画像を使用して距離を算出する距離算出工程と、
を備えたことを特徴とする画像処理方法。 - 予め規定された距離算出範囲に基づいての光学系の合焦位置が決定される撮像部制御部を備える多眼方式の撮像装置によって撮像された複数の画像を取得する画像取得工程と、
前記撮像装置によって撮像された複数の画像それぞれについて、合焦画像となる領域を選択する合焦画像選択工程と、
前記合焦画像選択工程で選択された複数の合焦画像を使用して距離を算出する距離算出工程と、
を備えたことを特徴とする画像処理方法。 - コンピュータに請求項8又は9に記載の画像処理方法を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176117A JP5762211B2 (ja) | 2011-08-11 | 2011-08-11 | 画像処理装置および画像処理方法、プログラム |
US13/567,198 US9076214B2 (en) | 2011-08-11 | 2012-08-06 | Image acquisition apparatus and image processing apparatus using selected in-focus image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176117A JP5762211B2 (ja) | 2011-08-11 | 2011-08-11 | 画像処理装置および画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013040791A true JP2013040791A (ja) | 2013-02-28 |
JP2013040791A5 JP2013040791A5 (ja) | 2014-03-13 |
JP5762211B2 JP5762211B2 (ja) | 2015-08-12 |
Family
ID=47677298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011176117A Active JP5762211B2 (ja) | 2011-08-11 | 2011-08-11 | 画像処理装置および画像処理方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9076214B2 (ja) |
JP (1) | JP5762211B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130582A (ja) * | 2014-01-07 | 2015-07-16 | 日本電信電話株式会社 | 映像提供装置 |
JPWO2021171586A1 (ja) * | 2020-02-28 | 2021-09-02 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5917054B2 (ja) | 2011-09-12 | 2016-05-11 | キヤノン株式会社 | 撮像装置、画像データ処理方法、およびプログラム |
JP5882789B2 (ja) | 2012-03-01 | 2016-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6071422B2 (ja) * | 2012-10-29 | 2017-02-01 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
US9894269B2 (en) | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
JP6156724B2 (ja) * | 2013-03-14 | 2017-07-05 | 株式会社リコー | ステレオカメラ |
CN104394310B (zh) * | 2013-09-23 | 2017-11-17 | 贵阳朗玛信息技术股份有限公司 | 一种照片获取、查看方法及装置 |
US9804392B2 (en) | 2014-11-20 | 2017-10-31 | Atheer, Inc. | Method and apparatus for delivering and controlling multi-feed data |
CN105940674B (zh) * | 2014-12-31 | 2018-07-27 | 深圳市大疆创新科技有限公司 | 用于调整具有微镜头阵列的成像***的基线的***和方法 |
TWI610250B (zh) * | 2015-06-02 | 2018-01-01 | 鈺立微電子股份有限公司 | 監測系統及其操作方法 |
US9703175B2 (en) * | 2015-07-02 | 2017-07-11 | Qualcomm Incorporated | Systems and methods for autofocus trigger |
TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
EP3316212A1 (en) * | 2016-10-28 | 2018-05-02 | Thomson Licensing | Method for deblurring a video, corresponding device and computer program product |
CN108965686B (zh) * | 2017-05-17 | 2021-11-02 | 中兴通讯股份有限公司 | 拍照的方法及装置 |
JP6833772B2 (ja) * | 2018-08-22 | 2021-02-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
CN111238374B (zh) * | 2020-03-16 | 2021-03-12 | 天目爱视(北京)科技有限公司 | 一种基于坐标测量的三维模型构建及测量方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032354A (ja) * | 1998-07-09 | 2000-01-28 | Sony Corp | 撮像装置 |
JP2000236434A (ja) * | 1999-02-12 | 2000-08-29 | Fuji Xerox Co Ltd | 画像形成装置 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP2007158825A (ja) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
JP2009210520A (ja) * | 2008-03-06 | 2009-09-17 | Sharp Corp | 距離測定装置および距離測定方法 |
JP2011117787A (ja) * | 2009-12-02 | 2011-06-16 | Ricoh Co Ltd | 距離画像入力装置と車外監視装置 |
JP2011149931A (ja) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | 距離画像取得装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI74556C (fi) * | 1986-04-11 | 1988-02-08 | Valtion Teknillinen | Foerfarande foer tredimensionell oevervakning av ett maolutrymme. |
US5793900A (en) * | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
US6674461B1 (en) * | 1998-07-07 | 2004-01-06 | Matthew H. Klapman | Extended view morphing |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
WO2002065761A2 (en) * | 2001-02-12 | 2002-08-22 | Carnegie Mellon University | System and method for stabilizing rotational images |
US7027083B2 (en) * | 2001-02-12 | 2006-04-11 | Carnegie Mellon University | System and method for servoing on a moving fixation point within a dynamic scene |
US20030052971A1 (en) * | 2001-09-17 | 2003-03-20 | Philips Electronics North America Corp. | Intelligent quad display through cooperative distributed vision |
US20030076413A1 (en) * | 2001-10-23 | 2003-04-24 | Takeo Kanade | System and method for obtaining video of multiple moving fixation points within a dynamic scene |
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
US20040240052A1 (en) * | 2003-06-02 | 2004-12-02 | Pentax Corporation | Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device |
JP4699995B2 (ja) * | 2004-12-16 | 2011-06-15 | パナソニック株式会社 | 複眼撮像装置及び撮像方法 |
US7567293B2 (en) * | 2006-06-07 | 2009-07-28 | Onlive, Inc. | System and method for performing motion capture by strobing a fluorescent lamp |
JP2008196891A (ja) | 2007-02-09 | 2008-08-28 | Mitsubishi Precision Co Ltd | 多眼カメラ |
JP4931668B2 (ja) * | 2007-03-29 | 2012-05-16 | 富士フイルム株式会社 | 複眼撮像装置 |
JP2009216600A (ja) | 2008-03-11 | 2009-09-24 | Funai Electric Co Ltd | 距離測定装置 |
JP5776173B2 (ja) * | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
JP5843454B2 (ja) * | 2011-03-15 | 2016-01-13 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5917054B2 (ja) * | 2011-09-12 | 2016-05-11 | キヤノン株式会社 | 撮像装置、画像データ処理方法、およびプログラム |
-
2011
- 2011-08-11 JP JP2011176117A patent/JP5762211B2/ja active Active
-
2012
- 2012-08-06 US US13/567,198 patent/US9076214B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032354A (ja) * | 1998-07-09 | 2000-01-28 | Sony Corp | 撮像装置 |
JP2000236434A (ja) * | 1999-02-12 | 2000-08-29 | Fuji Xerox Co Ltd | 画像形成装置 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP2007158825A (ja) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
JP2009210520A (ja) * | 2008-03-06 | 2009-09-17 | Sharp Corp | 距離測定装置および距離測定方法 |
JP2011117787A (ja) * | 2009-12-02 | 2011-06-16 | Ricoh Co Ltd | 距離画像入力装置と車外監視装置 |
JP2011149931A (ja) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | 距離画像取得装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130582A (ja) * | 2014-01-07 | 2015-07-16 | 日本電信電話株式会社 | 映像提供装置 |
JPWO2021171586A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
JP7355213B2 (ja) | 2020-02-28 | 2023-10-03 | 日本電気株式会社 | 画像取得装置、画像取得方法および画像処理装置 |
US12010422B2 (en) | 2020-02-28 | 2024-06-11 | Nec Corporation | Image acquiring device, image acquiring method, and image processing device |
Also Published As
Publication number | Publication date |
---|---|
US20130038723A1 (en) | 2013-02-14 |
JP5762211B2 (ja) | 2015-08-12 |
US9076214B2 (en) | 2015-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5762211B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
US9208396B2 (en) | Image processing method and device, and program | |
JP5843454B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2011029905A (ja) | 撮像装置、方法およびプログラム | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10148870B2 (en) | Image capturing apparatus | |
JP2006067521A (ja) | 画像処理装置と方法、および画像撮像装置と方法 | |
JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2011191568A (ja) | 撮像装置、表示方法、および、プログラム | |
JP6234401B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
JP7132501B2 (ja) | 測距カメラ | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
KR101857977B1 (ko) | 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 | |
JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112866554B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP2014116789A (ja) | 撮影装置、その制御方法及びプログラム | |
JP5863280B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2011182325A (ja) | 撮像装置 | |
JP6292785B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5762211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |