JP5742210B2 - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents
撮像装置、画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP5742210B2 JP5742210B2 JP2010286200A JP2010286200A JP5742210B2 JP 5742210 B2 JP5742210 B2 JP 5742210B2 JP 2010286200 A JP2010286200 A JP 2010286200A JP 2010286200 A JP2010286200 A JP 2010286200A JP 5742210 B2 JP5742210 B2 JP 5742210B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- omnidirectional
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 396
- 238000012545 processing Methods 0.000 title claims description 103
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000003287 optical effect Effects 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/053—Detail-in-context presentations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
Description
1.第1の実施の形態(表示制御:撮像動作時または再生時に全方位画像(環状画像)および変換画像(矩形画像)を同時に表示する例)
2.第2の実施の形態(表示制御:画像処理装置を用いて全方位画像および変換画像を同時に表示する例)
[撮像装置の外観構成例]
図1および図2は、本発明の第1の実施の形態における撮像装置100の外観構成例を示す図である。
図3および図4は、本発明の第1の実施の形態における撮像装置100およびアダプタ200の外観構成例を示す図である。図3および図4では、図1および図2に示す撮像装置100にアダプタ200が装着されている場合における外観構成を示す。
図5は、本発明の第1の実施の形態におけるアダプタ200に備えられる全方位撮像光学系210を示す断面図である。図5では、二回反射タイプの全方位撮像光学系210を例にして示す。
図6は、本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。また、図6には、撮像装置100の内部構成とともに、撮像装置100に装着されるアダプタ200を示す。
図7は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。なお、図6に示す機能構成と同一の部分については、同一の符号を付してこれらの説明の一部を省略する。
図8は、本発明の第1の実施の形態における撮像装置100による撮像対象となる撮像範囲と、撮像装置100により生成される撮像画像との関係を簡略化して示す図である。
図9および図10は、本発明の第1の実施の形態における撮像装置100を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。
図11は、本発明の第1の実施の形態における画像処理部171による変換処理の対象となる全方位画像(環状画像)と、その変換後のパノラマ画像との関係を示す図である。図11(a)には、撮像部110により生成された全方位画像450を示し、図11(b)には、全方位画像450が変換されて生成されるパノラマ画像460を示す。
rj=(r−r01)×(yj/H1) … 式2
θj=2πr×(xj/W1) … 式3
図12は、本発明の第1の実施の形態における画像処理部171による変換処理の対象となるパノラマ画像と、これに対応する変換画像との関係を示す図である。
図14は、本発明の第1の実施の形態における入出力パネル151に表示される全方位画像および変換画像の表示例を示す図である。図14では、図12および図13に示す全方位画像480および変換画像475を表示する例を示す。
図15は、本発明の第1の実施の形態における入出力パネル151に表示される変換画像を切り替える際における切替例を示す図である。図15では、図14に示すように、全方位画像480および変換画像475がスルー画像として表示されている場合に、ユーザ操作に基づいて変換画像475乃至478の何れかに表示を切り替える例を示す。
以上では、撮像動作中において、全方位画像および変換画像を同時に表示する例を示した。この全方位画像の撮像動作により記録された全方位画像コンテンツについては、その再生時においても同様に、全方位画像および変換画像を同時または順次表示することができる。なお、全方位画像および変換画像を同時に順次表示する例については、図14および図15と略同様であるため、ここでの説明を省略する。図16では、変換画像を順次表示する表示例を示す。
次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
本発明の第1の実施の形態では、全方位画像の撮像動作中に、全方位画像およびその変換画像をスルー画像として表示する例を示した。また、その撮像動作により記録された全方位画像およびその変換画像を撮像装置により再生する例を示した。ここで、その撮像動作により記録された全方位画像ファイル(全方位画像コンテンツ)については、他の装置(画像処理装置)を用いて再生が行われることも想定される。この場合についても、全方位画像およびその変換画像を表示させることが可能である。そこで、本発明の第2の実施の形態では、画像処理装置により全方位画像およびその変換画像を表示させる例を示す。
図18は、本発明の第2の実施の形態における画像処理装置800の機能構成例を示すブロック図である。画像処理装置800は、例えば、各放送局からの放送波を受信して各種画像を表示するテレビジョン受像機(例えば、録画機能を備えるテレビジョン受像機)により実現される。
図19は、本発明の第2の実施の形態における表示部870に表示される全方位画像および変換画像の表示例を示す図である。
101 上端部
110 撮像部
111 撮像光学系
112 撮像素子
113 TG
114、115 光学部品駆動部
130 ホールセンサ
131 アダプタ装着検出部
140 操作受付部
141 電源スイッチ
142 シャッターボタン
143 操作ボタン群
144 上下左右ボタン
145 録画ボタン
150 表示部
151 入出力パネル
161 フラッシュROM
162 DRAM
171 画像処理部
172 撮像モード設定部
173 制御部
174 記録制御部
175 表示制御部
180 メモリカード
185 記録媒体
200 アダプタ
201 磁石
210 全方位撮像光学系
220 カバー
230 取付部
240 ミラー
800 画像処理装置
810 制御部
820 操作受付部
830 コンテンツ記憶部
840 取得部
850 画像処理部
860 表示制御部
870 表示部
Claims (10)
- 撮像時における撮像位置を基準とする全方位の被写体を撮像して光軸方向の被写体と表示部における表示面に対向する被写体とを含むとともに前記全方位の被写体を含む画像が環状に配置されている環状画像を生成する撮像部と、
前記光軸方向の被写体が切断されないように前記生成された環状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理部と、
前記変換された画像である変換画像と前記生成された環状画像とを同時に前記表示部に表示させる表示制御部と
を具備する撮像装置。 - 前記撮像部は、前記全方位の被写体を撮像するための全方位撮像光学系を備えるアダプタが装着された状態で前記環状画像を生成する請求項1記載の撮像装置。
- 前記撮像装置は、前記表示部を備え、
前記光軸方向は、前記表示面の垂直方向と略一致する
請求項1記載の撮像装置。 - 前記画像処理部は、前記光軸方向の被写体と前記表示面に対向する被写体とのそれぞれが前記変換画像における中央位置となるように、前記生成された環状画像の円周方向を4分割して当該分割された4つの領域を前記対象領域として特定する請求項1記載の撮像装置。
- 前記表示制御部は、前記変換画像と前記生成された環状画像とを当該環状画像の撮像動作時に前記表示部に表示させる請求項1記載の撮像装置。
- 前記表示部における表示状態を切り替える切替操作を受け付ける操作受付部をさらに具備し、
前記画像処理部は、前記生成された環状画像の円周方向を複数に分割して当該分割された複数の領域を前記対象領域として特定して前記変換画像を複数生成し、
前記表示制御部は、前記切替操作が受け付けられた場合には当該切替操作に応じて前記表示部に表示されている変換画像を他の変換画像に切り替える
請求項1記載の撮像装置。 - 前記画像処理部は、前記生成された環状画像の円周方向における前記光軸方向に対応する位置が前記略矩形状の画像における特定位置となるように前記略扇形状の対象領域を特定する請求項1記載の撮像装置。
- 撮像時の撮像位置を基準とする全方位の被写体を撮像して生成された前記撮像位置における撮像装置の光軸方向の被写体と前記撮像装置の表示部における表示面に対向する被写体とを含むとともに前記全方位の被写体を含む画像が環状に配置されている環状画像について、前記光軸方向の被写体が切断されないように前記環状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換して表示対象画像とする画像処理部を具備する画像処理装置。
- 撮像時の撮像位置を基準とする全方位の被写体を撮像して生成された前記撮像位置における撮像装置の光軸方向の被写体と前記撮像装置の表示部における表示面に対向する被写体とを含むとともに前記全方位の被写体を含む画像が環状に配置されている環状画像について、前記光軸方向の被写体が切断されないように前記環状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理手順と、
前記変換された画像と前記生成された環状画像とを同時に前記表示部に表示させる表示制御手順と
を具備する画像処理方法。 - 撮像時の撮像位置を基準とする全方位の被写体を撮像して生成された前記撮像位置における撮像装置の光軸方向の被写体と前記撮像装置の表示部における表示面に対向する被写体とを含むとともに前記全方位の被写体を含む画像が環状に配置されている環状画像について、前記光軸方向の被写体が切断されないように前記環状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理手順と、
前記変換された画像と前記生成された環状画像とを同時に前記表示部に表示させる表示制御手順と
をコンピュータに実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010286200A JP5742210B2 (ja) | 2010-12-22 | 2010-12-22 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
EP11192797A EP2469470A1 (en) | 2010-12-22 | 2011-12-09 | Imaging apparatus, image processing apparatus, image processing method, and program |
US13/324,016 US8897621B2 (en) | 2010-12-22 | 2011-12-13 | Imaging apparatus, image processing apparatus, image processing method, and program |
CN201110418913.1A CN102572240B (zh) | 2010-12-22 | 2011-12-15 | 成像设备、图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010286200A JP5742210B2 (ja) | 2010-12-22 | 2010-12-22 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012134834A JP2012134834A (ja) | 2012-07-12 |
JP2012134834A5 JP2012134834A5 (ja) | 2014-01-30 |
JP5742210B2 true JP5742210B2 (ja) | 2015-07-01 |
Family
ID=45440148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010286200A Active JP5742210B2 (ja) | 2010-12-22 | 2010-12-22 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8897621B2 (ja) |
EP (1) | EP2469470A1 (ja) |
JP (1) | JP5742210B2 (ja) |
CN (1) | CN102572240B (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5872415B2 (ja) * | 2012-08-08 | 2016-03-01 | 株式会社Nttドコモ | 表示端末、操作受付方法及びプログラム |
KR20140030668A (ko) * | 2012-09-03 | 2014-03-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
JP2014112302A (ja) * | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
JP6271917B2 (ja) * | 2013-09-06 | 2018-01-31 | キヤノン株式会社 | 画像記録装置及び撮像装置 |
JP2015082289A (ja) | 2013-10-24 | 2015-04-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR102257621B1 (ko) * | 2014-05-19 | 2021-05-28 | 엘지전자 주식회사 | 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법 |
US9883101B1 (en) * | 2014-07-23 | 2018-01-30 | Hoyos Integrity Corporation | Providing a real-time via a wireless communication channel associated with a panoramic video capture device |
JP6497965B2 (ja) * | 2015-02-23 | 2019-04-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10043237B2 (en) | 2015-08-12 | 2018-08-07 | Gopro, Inc. | Equatorial stitching of hemispherical images in a spherical image capture system |
KR20170086808A (ko) * | 2016-01-19 | 2017-07-27 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
KR20170124811A (ko) * | 2016-05-03 | 2017-11-13 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
KR102474745B1 (ko) * | 2016-06-02 | 2022-12-05 | 한화테크윈 주식회사 | 모니터링 장치 및 모니터링 시스템 |
KR20180014923A (ko) * | 2016-08-02 | 2018-02-12 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR20180015921A (ko) * | 2016-08-04 | 2018-02-14 | 엘지전자 주식회사 | 디스플레이 장치 |
US20180075576A1 (en) | 2016-09-09 | 2018-03-15 | Mediatek Inc. | Packing projected omnidirectional videos |
CN106934763B (zh) * | 2017-04-17 | 2023-08-22 | 北京灵起科技有限公司 | 全景摄像机、行车记录仪、图像处理方法和装置 |
US10521468B2 (en) * | 2017-06-13 | 2019-12-31 | Adobe Inc. | Animated seek preview for panoramic videos |
JP7000050B2 (ja) * | 2017-06-29 | 2022-01-19 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
JP7210188B2 (ja) * | 2017-08-31 | 2023-01-23 | キヤノン株式会社 | 情報処理システム、制御装置及び情報処理方法 |
EP3487161B1 (en) * | 2017-11-15 | 2019-10-30 | Axis AB | Splitting of a wide angle view |
JP7085865B2 (ja) * | 2018-03-09 | 2022-06-17 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10917565B1 (en) | 2019-03-08 | 2021-02-09 | Gopro, Inc. | Image capture device with a spherical capture mode and a non-spherical capture mode |
CN111489400B (zh) * | 2020-06-28 | 2020-10-02 | 武汉精立电子技术有限公司 | 一种基于旋转载台的线扫ccd相机图像校正方法及介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3086204B2 (ja) * | 1997-12-13 | 2000-09-11 | 株式会社アコウル | 全方位撮影装置 |
JP3865516B2 (ja) * | 1998-10-23 | 2007-01-10 | ソニー株式会社 | 全方位撮像装置 |
JP2000261705A (ja) * | 1999-03-05 | 2000-09-22 | Tamura Electric Works Ltd | 撮影装置 |
JP2001008232A (ja) * | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
CA2363775C (en) * | 2001-11-26 | 2010-09-14 | Vr Interactive International, Inc. | A symmetric, high vertical field of view 360 degree reflector using cubic transformations and method |
JP3377995B1 (ja) * | 2001-11-29 | 2003-02-17 | 株式会社立山アールアンドディ | パノラマ撮像レンズ |
JP4010444B2 (ja) * | 2002-02-28 | 2007-11-21 | シャープ株式会社 | 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム |
JP3862603B2 (ja) * | 2002-05-14 | 2006-12-27 | キヤノン株式会社 | パラメータ処理装置及びパラメータ処理方法及び全方位画像撮像装置及び全方位画像撮像装置の制御方法及びプログラム及び記憶媒体 |
US20100002070A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance |
JP2005176301A (ja) * | 2003-11-11 | 2005-06-30 | Canon Inc | 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム |
JP4352980B2 (ja) * | 2004-04-23 | 2009-10-28 | オムロン株式会社 | 拡大表示装置及び拡大画像制御装置 |
JP2007043225A (ja) * | 2005-07-29 | 2007-02-15 | Univ Of Electro-Communications | 撮像画像処理装置及び撮像画像処理方法 |
JP2007206137A (ja) * | 2006-01-31 | 2007-08-16 | Marumi Koki Kk | 携帯電話用カメラにおける交換レンズ並びにフィルターのマウント装置 |
WO2008066742A1 (en) * | 2006-11-22 | 2008-06-05 | Geng Z Jason | Wide field-of-view reflector and method of designing and making same |
JP2008135978A (ja) * | 2006-11-28 | 2008-06-12 | Opt Kk | 監視カメラ装置、監視システム、および携帯具 |
JP2010286200A (ja) | 2009-06-12 | 2010-12-24 | Mitsubishi Heavy Ind Ltd | 太陽熱集光器 |
US9110365B2 (en) * | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
-
2010
- 2010-12-22 JP JP2010286200A patent/JP5742210B2/ja active Active
-
2011
- 2011-12-09 EP EP11192797A patent/EP2469470A1/en not_active Withdrawn
- 2011-12-13 US US13/324,016 patent/US8897621B2/en not_active Expired - Fee Related
- 2011-12-15 CN CN201110418913.1A patent/CN102572240B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102572240A (zh) | 2012-07-11 |
US20120162357A1 (en) | 2012-06-28 |
EP2469470A1 (en) | 2012-06-27 |
JP2012134834A (ja) | 2012-07-12 |
CN102572240B (zh) | 2017-08-11 |
US8897621B2 (en) | 2014-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5742210B2 (ja) | 撮像装置、画像処理装置、画像処理方法およびプログラム | |
JP5625887B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP5593695B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5287706B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
CN109417598B (zh) | 摄像装置、显示装置和摄像显示*** | |
US20080080846A1 (en) | Selecting autofocus area in an image | |
US20120044400A1 (en) | Image pickup apparatus | |
JP6302564B2 (ja) | 動画編集装置、動画編集方法及び動画編集プログラム | |
KR20140079740A (ko) | 촬상 장치, 촬상 방법 및 프로그램을 기록한 기록 매체 | |
EP3460674A1 (en) | Appartus, method and program for displaying thumbnails of fisheye images | |
WO2020195073A1 (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
JP5668466B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
WO2020195198A1 (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
JP6704301B2 (ja) | 撮像装置、及び撮像表示システム | |
JP4339370B2 (ja) | カメラ、撮像装置、レンズ鏡筒及びカメラ本体 | |
JP7101285B2 (ja) | 表示装置 | |
JP2010130590A (ja) | 撮像装置及び撮像方法 | |
JP2020197599A (ja) | 撮像装置及びその制御方法 | |
JP2005295056A (ja) | カメラ、撮像装置、レンズ鏡筒及びカメラ本体 | |
JP2009171632A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150420 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5742210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |