JP2009098317A - オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 - Google Patents
オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 Download PDFInfo
- Publication number
- JP2009098317A JP2009098317A JP2007268537A JP2007268537A JP2009098317A JP 2009098317 A JP2009098317 A JP 2009098317A JP 2007268537 A JP2007268537 A JP 2007268537A JP 2007268537 A JP2007268537 A JP 2007268537A JP 2009098317 A JP2009098317 A JP 2009098317A
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- autofocus
- target area
- autofocus target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 91
- 230000007423 decrease Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 abstract description 25
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000008859 change Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 38
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100054301 Arabidopsis thaliana ABCA3 gene Proteins 0.000 description 1
- 101100084018 Arabidopsis thaliana PAP25 gene Proteins 0.000 description 1
- 101100348113 Mus musculus Neurod6 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
【解決手段】顔検出部130は、顔検出を行って人物の顔の像が含まれる顔領域を特定する。AF対象領域決定部131は、顔領域の中からAF対象領域を決定する。このとき、AF対象領域決定部131は、顔領域に対するAF対象領域の面積比率を変更可能である。AF評価値算出部132、制御部133及びレンズ駆動部134は、AF対象領域決定部131により決定されたAF対象領域に対応する撮影画像データのコントラストに基づいて、撮影光学系10による被写体像の結像位置を調節する。
【選択図】図1
Description
図1は、本実施の形態にかかる撮像装置1の主要構成を示すブロック図である。以下では、図1に含まれる各構成要素について順に説明する。図1において、撮影光学系10は、後述する撮像素子110の撮像面に被写体像を結像させるため光学レンズ群である。撮影光学系10は、合焦用レンズ101を含む。合焦用レンズ101は、後述するレンズ駆動部134の駆動力によって、撮影光学系10と撮像素子110を結ぶ光軸方向に移動可能である。
上述した発明の実施の形態1では、顔領域の面積が閾値ATHを上回るか否かによって、顔領域の縁部分を除いた中央部分をAF対象領域に設定するか、顔領域の全体をAF対象領域に設定するかを切り替える構成について説明した。しかしながら、発明の実施の形態1は、顔領域に対するAF対象領域の面積比率を顔領域の大きさに応じて変更する撮像装置の具体例の1つにすぎない。本実施の形態にかかる撮像装置は、顔領域に対するAF対象領域の面積比率を顔領域の大きさに応じて変更する他の例を示すものである。
上述した発明の実施の形態では、撮影光学系10に含まれる合焦用レンズ101を移動させることによって、被写体像の結像位置を調節する例を示した。しかしながら、被写体像の結像位置の調節は、撮像素子110を移動させることにより行ってもよい。
10 撮影光学系
101 合焦用レンズ
11 撮像部
110 撮像素子
111 アナログ信号処理部
112 A/D変換部
12 画像処理部
13 合焦処理部
130 顔検出部
131 オートフォーカス対象領域決定部
132 オートフォーカス評価値算出部
133 制御部
134 レンズ駆動部
230 CPU(Central Processing Unit)
231 メモリ
232 ディスプレイ・インタフェース
233 ディスプレイ・デバイス
Claims (17)
- 撮影光学系によって結像される被写体像を撮影することで生成される撮影画像データに基づいて、前記被写体像内において前記被写体の顔が含まれる顔領域を特定する顔検出手段と、
前記顔領域の中からオートフォーカス対象領域を決定するとともに、前記オートフォーカス対象領域の前記顔領域に対する面積比率を変更することが可能なオートフォーカス対象領域決定手段と、
前記撮影画像データ中の前記オートフォーカス対象領域に対応する領域のコントラストに基づいて、前記被写体像の結像状態を判定する合焦状態判定手段と、
を備えるオートフォーカス制御回路。 - 前記オートフォーカス対象領域決定手段は、前記顔領域の大きさに基づいて前記面積比率を変更する、請求項1に記載のオートフォーカス制御回路。
- 前記オートフォーカス対象領域決定手段は、前記顔領域が小さくなるにつれて前記面積比率が大きくなるように、前記オートフォーカス対象領域を決定する、請求項1又は2に記載のオートフォーカス制御回路。
- 前記オートフォーカス対象領域決定手段は、前記顔領域の大きさが予め定められた大きさを超える場合に、前記顔領域の縁部分を除いた内側部分を前記オートフォーカス対象領域とし、前記顔領域の大きさが予め定められた大きさを下回る場合に、前記顔領域全体をオートフォーカス対象領域とする、請求項1乃至3のいずれか1項に記載のオートフォーカス制御回路。
- 前記オートフォーカス対象領域決定手段は、前記顔領域を前記面積比率に応じて縮小させた領域を前記オートフォーカス対象領域とする、請求項1乃至4のいずれか1項に記載のオートフォーカス制御回路。
- 前記オートフォーカス対象領域決定手段は、前記オートフォーカス対象領域の形状を前記顔領域の相似形とする、請求項5に記載のオートフォーカス制御回路。
- 前記顔領域は矩形領域であって、
前記オートフォーカス対象領域決定手段は、前記顔領域の中から前記オートフォーカス対象領域を決定する際に、前記顔領域の四隅付近を前記オートフォーカス対象領域から優先的に除外する、請求項1乃至4のいずれか1項に記載のオートフォーカス制御回路。 - 撮影光学系によって結像される被写体像を撮影して撮影画像データを生成する撮像手段を有する撮像装置におけるオートフォーカス制御方法であって、
前記撮影画像データに基づいて、前記被写体像内において前記被写体の顔が含まれる顔領域を特定し、
前記顔領域の中から選択されるオートフォーカス対象領域の前記顔領域に対する面積比率を変化させ、前記顔領域の中から前記オートフォーカス対象領域を決定し、
前記オートフォーカス対象領域に対応する前記撮影画像データのコントラストに基づいて、前記被写体像の結像位置を調節するオートフォーカス制御方法。 - 前記面積比率を前記顔領域の大きさに応じて変化させる、請求項8に記載のオートフォーカス制御方法。
- 前記顔領域が小さくなるにつれて、前記顔領域に対する前記オートフォーカス対象領域の面積比率が大きくなるように、前記オートフォーカス対象領域を決定する、請求項8又は9に記載のオートフォーカス制御方法。
- 前記顔領域の大きさが予め定められた大きさを超える場合に、前記顔領域の縁部分を除いた内側部分を前記オートフォーカス対象領域とし、前記顔領域の大きさが予め定められた大きさを下回る場合に、前記顔領域全体をオートフォーカス対象領域とする、請求項8乃至10のいずれか1項に記載のオートフォーカス制御方法。
- 前記顔領域を前記面積比率に応じて縮小させた領域を前記オートフォーカス対象領域とする、請求項8乃至11のいずれか1項に記載のオートフォーカス制御方法。
- 前記オートフォーカス対象領域の形状を前記顔領域の相似形とする、請求項12に記載のオートフォーカス制御方法。
- 撮影光学系と、
前記撮影光学系によって結像される被写体像を撮影して撮影画像データを生成する撮像手段と、
前記撮影画像データに基づいて、前記被写体像内において前記被写体の顔が含まれる顔領域を特定する顔検出手段と、
前記顔領域の中からオートフォーカス対象領域を決定するとともに、前記オートフォーカス対象領域の前記顔領域に対する面積比率を変更することが可能なオートフォーカス対象領域決定手段と、
前記オートフォーカス対象領域に対応する前記撮影画像データのコントラストに基づいて、前記被写体像の結像位置を調節するオートフォーカス手段と、
を備える撮像装置。 - 前記オートフォーカス対象領域決定手段は、前記顔領域の大きさに基づいて前記面積比率を変更する、請求項14に記載の撮像装置。
- 前記オートフォーカス対象領域決定手段は、前記顔領域が小さくなるにつれて前記面積比率が大きくなるように、前記オートフォーカス対象領域を決定する、請求項14又は15に記載の撮像装置。
- 前記オートフォーカス対象領域決定手段は、前記顔領域の大きさが予め定められた大きさを超える場合に、前記顔領域の縁部分を除いた内側部分を前記オートフォーカス対象領域とし、前記顔領域の大きさが予め定められた大きさを下回る場合に、前記顔領域全体をオートフォーカス対象領域とする、請求項14乃至16のいずれか1項に記載の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007268537A JP4917509B2 (ja) | 2007-10-16 | 2007-10-16 | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 |
US12/285,298 US20090095880A1 (en) | 2007-10-16 | 2008-10-01 | Autofocus control circuit, autofocus control method and image pickup apparatus |
KR1020080101294A KR101008864B1 (ko) | 2007-10-16 | 2008-10-15 | 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007268537A JP4917509B2 (ja) | 2007-10-16 | 2007-10-16 | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009098317A true JP2009098317A (ja) | 2009-05-07 |
JP4917509B2 JP4917509B2 (ja) | 2012-04-18 |
Family
ID=40533264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007268537A Expired - Fee Related JP4917509B2 (ja) | 2007-10-16 | 2007-10-16 | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20090095880A1 (ja) |
JP (1) | JP4917509B2 (ja) |
KR (1) | KR101008864B1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010282107A (ja) * | 2009-06-08 | 2010-12-16 | Canon Inc | 撮像装置及びその制御方法 |
JP2010286595A (ja) * | 2009-06-10 | 2010-12-24 | Nikon Corp | 焦点検出装置、撮像装置及び画像認識装置 |
JP2011039460A (ja) * | 2009-08-18 | 2011-02-24 | Canon Inc | 自動合焦装置 |
JP2012058464A (ja) * | 2010-09-08 | 2012-03-22 | Pentax Ricoh Imaging Co Ltd | 撮像システムおよび画素信号読出し方法 |
JP2012133016A (ja) * | 2010-12-20 | 2012-07-12 | Canon Inc | 自動合焦装置、その制御方法及びプログラム |
JP2012247682A (ja) * | 2011-05-30 | 2012-12-13 | Nikon Corp | 撮像装置 |
JP2013040995A (ja) * | 2011-08-11 | 2013-02-28 | Nikon Corp | 撮像装置 |
JP2013143755A (ja) * | 2012-01-12 | 2013-07-22 | Xacti Corp | 電子カメラ |
US9131145B2 (en) | 2012-08-10 | 2015-09-08 | Canon Kabushiki Kaisha | Image pickup apparatus and control method therefor |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101594298B1 (ko) * | 2009-11-17 | 2016-02-16 | 삼성전자주식회사 | 디지털 영상 처리기에서 포커스 조정 장치 및 방법 |
KR101634249B1 (ko) * | 2010-03-15 | 2016-06-28 | 삼성전자주식회사 | 자동 초점 조절 장치 및 방법 |
US8294810B2 (en) * | 2010-07-09 | 2012-10-23 | Altek Corporation | Assisting focusing method for face block |
KR101099671B1 (ko) * | 2011-08-12 | 2011-12-29 | 에이치디씨 주식회사 | 오토포커스 시스템의 제어방법 |
TWI508001B (zh) * | 2013-10-30 | 2015-11-11 | Wistron Corp | 路人偵測方法、裝置與電腦程式產品 |
US9363499B2 (en) * | 2013-11-15 | 2016-06-07 | Htc Corporation | Method, electronic device and medium for adjusting depth values |
KR101604651B1 (ko) * | 2015-07-01 | 2016-03-18 | 렉스젠(주) | 영상 감시 장치 및 그 방법 |
KR102460838B1 (ko) | 2015-08-28 | 2022-10-28 | 삼성전자주식회사 | 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치 |
CN107395957B (zh) * | 2017-06-30 | 2019-12-10 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
CN107360366B (zh) * | 2017-06-30 | 2020-05-12 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
WO2024124431A1 (en) * | 2022-12-14 | 2024-06-20 | Intel Corporation | Methods and apparatus for autofocus for image capture systems |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215403A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 撮像装置および焦点の自動検出方法 |
JP2004317699A (ja) * | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
JP2006227080A (ja) * | 2005-02-15 | 2006-08-31 | Nikon Corp | 電子カメラ |
JP2007249000A (ja) * | 2006-03-17 | 2007-09-27 | Casio Comput Co Ltd | 撮像装置、撮像方法および撮像プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
JP4747003B2 (ja) * | 2005-06-22 | 2011-08-10 | 富士フイルム株式会社 | 自動合焦制御装置およびその制御方法 |
-
2007
- 2007-10-16 JP JP2007268537A patent/JP4917509B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-01 US US12/285,298 patent/US20090095880A1/en not_active Abandoned
- 2008-10-15 KR KR1020080101294A patent/KR101008864B1/ko not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215403A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 撮像装置および焦点の自動検出方法 |
JP2004317699A (ja) * | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
JP2006227080A (ja) * | 2005-02-15 | 2006-08-31 | Nikon Corp | 電子カメラ |
JP2007249000A (ja) * | 2006-03-17 | 2007-09-27 | Casio Comput Co Ltd | 撮像装置、撮像方法および撮像プログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010282107A (ja) * | 2009-06-08 | 2010-12-16 | Canon Inc | 撮像装置及びその制御方法 |
JP2010286595A (ja) * | 2009-06-10 | 2010-12-24 | Nikon Corp | 焦点検出装置、撮像装置及び画像認識装置 |
JP2011039460A (ja) * | 2009-08-18 | 2011-02-24 | Canon Inc | 自動合焦装置 |
US8947580B2 (en) | 2009-08-18 | 2015-02-03 | Canon Kabushiki Kaisha | Auto focusing apparatus and control method |
JP2012058464A (ja) * | 2010-09-08 | 2012-03-22 | Pentax Ricoh Imaging Co Ltd | 撮像システムおよび画素信号読出し方法 |
US9025032B2 (en) | 2010-09-08 | 2015-05-05 | Pentax Ricoh Imaging Company, Ltd. | Imaging system and pixel signal readout method |
JP2012133016A (ja) * | 2010-12-20 | 2012-07-12 | Canon Inc | 自動合焦装置、その制御方法及びプログラム |
JP2012247682A (ja) * | 2011-05-30 | 2012-12-13 | Nikon Corp | 撮像装置 |
JP2013040995A (ja) * | 2011-08-11 | 2013-02-28 | Nikon Corp | 撮像装置 |
JP2013143755A (ja) * | 2012-01-12 | 2013-07-22 | Xacti Corp | 電子カメラ |
US9131145B2 (en) | 2012-08-10 | 2015-09-08 | Canon Kabushiki Kaisha | Image pickup apparatus and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR20090038828A (ko) | 2009-04-21 |
JP4917509B2 (ja) | 2012-04-18 |
US20090095880A1 (en) | 2009-04-16 |
KR101008864B1 (ko) | 2011-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4917509B2 (ja) | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 | |
JP4986175B2 (ja) | 撮像装置及びプログラム | |
US8879802B2 (en) | Image processing apparatus and image processing method | |
US9635280B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5446076B2 (ja) | デジタルカメラ | |
US10395348B2 (en) | Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus | |
CN107850753B (zh) | 检测设备、检测方法、检测程序和成像设备 | |
JP2014013368A (ja) | 撮像装置及びその制御方法 | |
US20210158537A1 (en) | Object tracking apparatus and control method thereof | |
US10594938B2 (en) | Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus | |
US20190191100A1 (en) | Imaging apparatus, control apparatus, and storage medium | |
US11190704B2 (en) | Imaging apparatus and control method for performing live view display of a tracked object | |
US20200177814A1 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP2017011451A (ja) | 検出装置、検出方法及びプログラム | |
JP5564961B2 (ja) | 撮像装置 | |
US11727716B2 (en) | Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection | |
US11258943B2 (en) | Imaging apparatus and method for controlling the same | |
JP2010134309A (ja) | オートフォーカス装置、オートフォーカス方法及び撮像装置 | |
US9955128B2 (en) | Imaging apparatus and method for controlling the same | |
JP5315019B2 (ja) | オートフォーカス装置、オートフォーカス方法及び撮像装置 | |
JP2010014883A (ja) | カメラ | |
JP4810440B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5761387B2 (ja) | 撮像装置及びプログラム | |
US20220078323A1 (en) | Apparatus, method, and storage medium | |
JP2011253099A (ja) | 焦点検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |