JP6432290B2 - 撮像装置、撮像制御方法、及びプログラム - Google Patents
撮像装置、撮像制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6432290B2 JP6432290B2 JP2014227287A JP2014227287A JP6432290B2 JP 6432290 B2 JP6432290 B2 JP 6432290B2 JP 2014227287 A JP2014227287 A JP 2014227287A JP 2014227287 A JP2014227287 A JP 2014227287A JP 6432290 B2 JP6432290 B2 JP 6432290B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- face
- motion
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 295
- 238000000034 method Methods 0.000 title claims description 211
- 238000001514 detection method Methods 0.000 claims description 490
- 230000033001 locomotion Effects 0.000 claims description 289
- 230000008569 process Effects 0.000 claims description 188
- 230000008859 change Effects 0.000 claims description 105
- 238000012545 processing Methods 0.000 claims description 88
- 230000009471 action Effects 0.000 claims description 16
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Description
撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する動作検出手段と、
前記撮像手段により撮像される画像から人の顔を検出する処理を実行する顔検出手段と、
前記動作検出手段により所定の動作が検出された後の、前記顔検出手段により検出された、人の顔の撮像画像に対する面積の変化、又は、複数の人の顔の数の変化を検出する処理を実行する状態検出手段と、
前記状態検出手段による、前記人の顔の撮像画像に対する面積の変化、又は、前記複数の人の顔の数の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を、継続するか否かを制御する制御手段と、
を備えることを特徴としている。
図1に示すように、本実施形態の撮像装置100は、中央制御部1と、メモリ2と、撮像部3と、撮像制御部4と、画像データ生成部5と、記憶部6と、画像記録部7と、表示部8と、操作入力部9とを備えている。
また、中央制御部1、メモリ2、撮像部3、撮像制御部4、画像データ生成部5、記憶部6、画像記録部7及び表示部8は、バスライン10を介して接続されている。
なお、表示パネル8aは、例えば、装置本体部100Aに対して光軸X方向に略直交する垂直方向の軸周りに略180°回動自在に軸支されていても良く、この場合も、表示パネル8aをレンズ部3aの露出面と同じ側とした状態では、所謂、自分撮りを行うことができる。
電子撮像部3bは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサから構成され、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
補助光源(補助光発光手段)3cは、例えば、LED(Light Emitting Diode)ライトから構成され、撮影時に補助光を発光する。この補助光を発光することにより暗所でも、電子撮像部3bに入力される光量を確保するとともにフォーカスを合わせやすくしている。
なお、図示は省略するが、撮像部3は、レンズ部3aを通過する光の量を調整する絞りを備えていても良い。
撮像制御部4は、図示は省略するが、タイミング発生器、ドライバなどを備えている。撮像制御部4は、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、所定周期毎に光学像を電子撮像部3bにより二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部5に出力させる。また、撮像制御部4は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス調整処理)等の被写体を撮像する際の条件の調整制御を行う。
なお、撮像制御部4の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、状態判定部4aは、撮像部3により撮像されて表示部8に表示される被写体の画像を当該被写体自身に視認させることが可能な所定の状態(所謂、自分撮りの状態)であるか否かを判定する。
具体的には、状態判定部4aは、撮像部3による被写体の撮像の際に、撮像部3の撮像方向(レンズ部3aの露出方向)と表示パネル8aの表示方向が略等しくなっている状態であるか否かを判定する。例えば、状態判定部4aは、装置本体部100Aに対して表示パネル8aが略180°回動したことを機械的に検出するスイッチ(図示略)の検出信号や、表示パネル8aの重力方向に対する傾きを検出するセンサ(例えば、加速度センサ等;図示略)の検出信号の入力に基づいて、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっているか否かを判定する。
そして、状態判定部4aは、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっていると判定した場合に、撮像部3により撮像されて表示部8に表示される被写体の画像を当該被写体自身に視認させることが可能な所定の状態であると特定する。
具体的には、算出部4bは、ライブビュー画像Lの各画素の輝度値を算出する。そして、算出部4bは、算出された各画素の輝度値を平均した値を、ライブビュー画像Lの輝度値として算出する。なお、ライブビュー画像Lの輝度値の算出方法は、上記の方法に限らない。例えば、算出部4bは、ライブビュー画像Lの各画素の輝度値のうち最大の値を、ライブビュー画像Lの輝度値として算出するようにしても良い。
具体的には、検出部4cは、逐次表示されるライブビュー画像L内の検出領域T(図9(a)〜(d)参照)の画素値の変動に基づいて画像の変化を検出することにより、検出対象(例えば、被写体の動作)を検出するモーション検出処理を行う。
なお、検出領域Tにはモーションシャッタを開始するための開始指標MがOSD(On Screen Display)表示される。
また、判別部4dは、検出部4cにより被写体の動作が検出された際の検出態様に応じて、その被写体の動作が、撮像部3により撮像される画像の撮影処理動作の実行を指示する動作(モーション種類「0」;第1の動作)、検出部4cによる検出の終了を指示する動作(モーション種類「1」;第1の動作)、撮像部3のズーム調整、フォーカス調整、絞り調整、若しくはホワイトバランス調整のうちの少なくとも何れかを指示する動作(モーション種類「2」;第2の動作)のうちの何れに該当するかを判別する。
具体的には、例えば、検出領域Tにおいて上→下の動作(被写体となる人の手の動き)が検出された場合、判別部4dは、撮像部3により撮像される画像の撮影処理動作の実行を指示する動作(モーション種類「0」;第1の動作)が検出されたと判別する。また、検出領域Tにおいて下→上の動作(被写体となる人の手の動き)が検出された場合、判別部4dは、検出部4cによる検出の終了を指示する動作(モーション種類「1」;第1の動作)が検出されたと判別する。また、検出領域Tにおいて左→右、又は、右→左の動作(被写体となる人の手の動き)が検出された場合、判別部4dは、撮像部3のズーム調整、フォーカス調整、絞り調整、若しくはホワイトバランス調整のうちの少なくとも何れかを指示する動作(モーション種類「2」;第2の動作)が検出されたと判別する。
具体的には、図3(c)のモーション種類テーブル6cに定義されているモーション種類「0」、すなわち撮像部3により撮像される画像の撮影処理動作の実行を指示する動作が検出されたと判別部4dにより判別された場合、撮影処理部4eは、撮像部3により撮像される画像の撮影処理動作を実行する処理を行う。また、図3(c)のモーション種類テーブル6cに定義されているモーション種類「1」、すなわち検出部4cによる検出の終了を指示する動作が検出されたと判別部4dにより判別された場合、撮影処理部4eは、検出部4cによる検出を終了する処理を行う。また、図3(c)のモーション種類テーブル6cに定義されているモーション種類「2」、すなわち撮像部3のズーム調整、フォーカス調整、絞り調整、若しくはホワイトバランス調整のうちの少なくとも何れかを指示する動作が検出されたと判別部4dにより判別された場合、撮影処理部4eは、これらの調整処理を行う。
具体的には、撮像制御部4は、算出部4bにより算出された輝度値が所定値未満の場合、検出部4cにより被写体の動作(検出対象)を検出する処理が実行されている間は撮像部3により撮像されるライブビュー画像Lの画質を変化させることにより撮像部3の撮像状態を第1の状態に変化させ、判別部4dにより第1の動作(撮像部3により撮像される画像の撮影処理動作の実行を指示する動作(モーション種類「0」)、又は、検出部4cによる検出の終了を指示する動作(モーション種類「1」))が検出されたと判別された場合に、指示された処理を行った後、当該撮像状態を変化させる前の状態(第2の状態)に戻す制御を行う一方、第2の動作(撮像部3のズーム調整、フォーカス調整、絞り調整、若しくはホワイトバランス調整のうちの少なくとも何れかを指示する動作(モーション種類「2」))が検出されたと判別された場合に、指示された処理を行った後、当該撮像状態の第1の状態に変化させた状態を継続する制御を継続して行う。
ここで、「第1の状態」とは、被写体にフォーカスを合わせることが可能な状態をいう。
具体的には、算出部4bにより算出された輝度値がL2(所定値)未満、L1以上の場合(L2>L1)、撮像制御部4は、図3(d)に示す検出補助種類テーブル6dから電子撮像部3bのISO感度を上げる方法を選択し、当該方法によりライブビュー画像L(図9(a)参照)の輝度値を上げ、同図(c)に示すようにライブビュー画像Lの画質を変化させるようにしている。
一方、算出部4bにより算出された輝度値がL1未満の場合、撮像制御部4は、図3(d)に示す検出補助種類テーブル6dから補助光源3cを発光させる方法を選択し、当該方法によりライブビュー画像L(図9(a)の輝度値を上げ、同図(b)に示すようにライブビュー画像Lの画質を変化させるようにしている。
本実施形態において、顔検出部4fは、逐次表示されるライブビュー画像Lから不特定の人の顔が含まれる顔領域を検出する顔検出処理を行う。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、顔検出部4fによってライブビュー画像Lから複数の人の顔が検出された場合、顔認証部4gは、当該複数の人の顔の各画像データを顔画像データファイルに登録されている特定の人の顔に係る認証用特徴情報と照合し、ライブビュー画像Lに特定の人の顔が含まれているか否かを判定する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された後の、撮像部3により撮像されるライブビュー画像Lの状態として、当該撮像部3により撮像されるライブビュー画像Lの変化を検出する処理を実行する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された際に顔検出部4fにより検出されている人の顔の面積(初期面積)を算出し、当該面積に係る情報をメモリ2に記憶する。そして、状態検出部4hは、その後も顔検出部4fにより人の顔が検出される毎に当該人の顔の面積を算出し、当該面積が初期面積から所定の割合で増大したか否かを判定する。
そして、顔検出部4fにより検出された人の顔の面積が初期面積から所定の割合で増大したと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続せず停止する。一方、顔検出部4fにより検出された人の顔の面積が初期面積から所定の割合で増大していないと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された際に顔検出部4fにより人の顔が検出された後、顔検出部4fにより人の顔が検出されなくなった場合、顔検出部4fにより人の顔が継続して検出されない非検出時間を計測し、当該非検出時間が所定時間を超過したか否かを判定する。
そして、非検出時間が所定時間を超過したと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続せず停止する。一方、非検出時間が所定時間を超過していないと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された際に顔検出部4fにより検出されている人の顔の数(初期値)を算出し、当該人の顔の数に係る情報をメモリ2に記憶する。そして、状態検出部4hは、その後も顔検出部4fにより人の顔が検出される毎に当該人の顔の数を算出し、当該人の顔の数が初期値から所定の割合で減少したか否かを判定する。
そして、顔検出部4fにより検出された人の顔の数が初期値から所定の割合で減少したと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続せず停止する。一方、顔検出部4fにより検出された人の顔の数が初期値から所定の割合で減少していないと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された際に顔認証部4gにより認証されている特定の人の顔の面積(初期面積)を算出し、当該面積に係る情報をメモリ2に記憶する。そして、状態検出部4hは、その後も顔認証部4gにより特定の人の顔が認証される毎に当該特定の人の顔の面積を算出し、当該面積が初期面積から所定の割合で増大したか否かを判定する。
そして、顔認証部4gにより認証された特定の人の顔の面積が初期面積から所定の割合で増大したと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続せず停止する。一方、顔認証部4gにより認証された特定の人の顔の面積が初期面積から所定の割合で増大していないと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続する。
具体的には、状態検出部4hは、検出部4cにより被写体の所定の動作が検出された際に顔認証部4gにより特定の人の顔が認証された後、顔認証部4gにより特定の人の顔が認証されなくなった場合、顔認証部4gにより特定の人の顔が継続して検出されない非認証時間を計測し、当該非認証時間が所定時間を超過したか否かを判定する。
そして、非認証時間が所定時間を超過したと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続せず停止する。一方、非認証時間が所定時間を超過していないと判定された場合、撮像制御部(制御手段)4は、検出部4cによる被写体の所定の動作を検出(モーション検出)する処理を継続する。
また、画像データ生成部5は、生成した画像データをバッファメモリとして使用されるメモリ2や画像記録部7に転送する。
本実施形態では、画像記録部7は、例えば、撮影処理部4eによる撮影を実行する処理がなされた際に撮像された画像の画像データ等を記録する。
なお、表示パネル8aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
具体的には、操作入力部9は、例えば、シャッタボタン、動作モードや機能等の選択指示に係る上下左右のカーソルボタン、決定ボタン等を具備する操作部(図示略)を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部9は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部9から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像等)を各部に実行させる。
なお、操作入力部9は、表示部8の表示パネル8aと一体となって設けられたタッチパネル(図示略)を有して構成されていても良い。
次に、本実施形態の撮像装置100によるモーションシャッタモード処理について図4を参照して説明する。
図4は、モーションシャッタモード処理に係る動作の一例を示すフローチャートである。
一方、ステップS1において、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっていると判定された場合(ステップS1;YES)、表示制御部8bは、撮像部3により撮像されて画像データ生成部5により生成される画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像Lを表示パネル8aに表示させる(ステップS2)。
ステップS4において、輝度値が所定値(L2)未満である(モーション検出補助処理が必要な状態である)と判定された場合(ステップS4;YES)、撮像制御部4は、撮像状態フラグ「1」(図3(a)参照)を設定する(ステップS5)。次いで、撮像制御部4は、モーション検出補助処理を実行し(ステップS6)、ステップS7へ移行する。なお、モーション検出補助処理(ステップS6、ステップS16)の詳細については後述する。
一方、ステップS4において、輝度値が所定値(L2)未満でない(モーション検出補助処理が必要な状態ではない)と判定された場合(ステップS4;NO)、ステップS5及びステップS6をスキップして、ステップS7へ移行する。
ステップS8において、判別部4dにより、モーション(被写体の動作)が検出されていないと判別された場合(ステップS8;NO)、ステップS7へ戻り、検出部4cによる検出を継続する。
一方、ステップS8において、判別部4dにより、モーション(被写体の動作)が検出されたと判別された場合(ステップS8;YES)、判別部4dは、このときのモーション(被写体の動作)の種類がモーション種類「2」であるか否か(モーションに応じた処理を行った後、モーション検出を継続する第2の動作であるか否か)を判別する(ステップS9)。
一方、ステップS9において、判別部4dにより、モーション(被写体の動作)の種類がモーション種類「2」でない、すなわちモーション種類「0」又は「1」である(モーション検出を停止する)と判別された場合(ステップS9;YES)、撮像制御部4は、撮像状態フラグ「1」が設定されているか否か(モーション検出補助処理が必要な状態であるためモーション検出補助処理が行われているか否か)を判定する(ステップS11)。
一方、ステップS11において、撮像状態フラグ「1」が設定されていない、すなわち撮像状態フラグ「0」が設定されている(モーション検出補助処理が必要な状態でないためモーション検出補助処理が行われていない)と判定された場合(ステップS11;NO)、ステップS12をスキップし、ステップS13へ移行する。
ステップS14において、判別部4dにより、モーション(被写体の動作)の種類がモーション種類「1」でない、すなわちモーション種類「0」である(検出部4cによる検出の終了を指示する動作でない)と判別された場合(ステップS14;NO)、撮像制御部4は、撮像状態フラグ「1」が設定されているか否か(モーション検出補助処理が必要な状態であるか否か)を判定する(ステップS15)。
一方、ステップS15において、撮像状態フラグ「1」が設定されていない、すなわち撮像状態フラグ「0」が設定されている(モーション検出補助処理が必要な状態でない)と判定された場合(ステップS15;NO)、ステップS16をスキップし、ステップS17へ移行する。
ステップS18において、撮像状態フラグ「1」が設定されていない(検出部4cによる検出を停止する状態に変化していない)と判定された場合(ステップS18;NO)、ステップS7へ戻り、検出部4cによる検出を継続する。
一方、ステップS18において、撮像状態フラグ「1」が設定されている(検出部4cによる検出を停止する状態に変化した)と判定された場合(ステップS18;YES)、撮像制御部4は、モーション検出補助処理を解除し(ステップS19)、モーションシャッタモードを解除し(ステップS20)、モーションシャッタモード処理を終了する。
次に、モーション検出補助処理について、図5を参照して詳細に説明する。
図5は、モーション検出補助処理に係る動作の一例を示すフローチャートである。
具体的には、算出部4bにより算出された輝度値がL2(所定値)未満、L1以上の場合、撮像制御部4は、図3(d)に示す検出補助種類テーブル6dから電子撮像部3bのISO感度を上げる方法を特定する。
一方、算出部4bにより算出された輝度値がL1未満の場合、撮像制御部4は、同図に示す検出補助種類テーブル6dから補助光源3cを発光させる方法を特定する。
次に、変化検出処理について、図6を参照して詳細に説明する。
図6は、変化検出処理に係る動作の一例を示すフローチャートである。
そして、ステップS52において、人の顔を検出していないと判定された場合(ステップS52;NO)、変化検出処理を終了して、モーションシャッタモード処理に戻る。
一方、ステップS52において、人の顔を検出したと判定された場合(ステップS52;YES)、状態検出部4hは、顔検出部4fにより検出された人の顔の数が複数であるか否かを判定する(ステップS53)。
一方、ステップS53において、顔検出部4fにより検出された人の顔の数が複数であると判定された場合(ステップS53;YES)、顔認証部4gは、顔検出部4fにより検出された複数の人の顔から顔画像データファイルに予め登録されている特定の人の顔を認証する顔認証処理を実行する(ステップS56)。
一方、ステップS57において、顔画像データファイルに予め登録されている特定の人の顔が認証されたと判定された場合(ステップS57;YES)、状態検出部4hは、顔認証部4gにより認証された特定の人の顔を変化検出の対象として特定し(ステップS59)、特定顔変化検出処理を実行し(ステップS60)、変化検出処理を終了して、モーションシャッタモード処理に戻る。
次に、特定顔変化検出処理について、図7を参照して詳細に説明する。
図7は、特定顔変化検出処理に係る動作の一例を示すフローチャートである。
次いで、状態検出部4hは、算出された面積を初期面積として、メモリ2に記憶する(ステップS72)。
そして、ステップS75において、状態検出部4hは、ステップS55の特定顔変化検出処理の場合、顔検出部4fにより人の顔を検出したか否かを判定する(ステップS75)。また、状態検出部4hは、ステップS60の特定顔変化検出処理の場合、顔認証部4gにより特定の人の顔を認証したか否かを判定する(ステップS75)。
ステップS77において、算出された面積が初期面積から所定の割合で増加したと判定された場合(ステップS77;YES)、状態検出部4hは、モーション検出を停止する変化状態フラグ「1」(図3(b)参照)を設定し(ステップS78)、特定顔変化検出処理を終了して、モーションシャッタモード処理に戻る。
一方、ステップS77において、算出された面積が初期面積から所定の割合で増加していないと判定された場合(ステップS77;NO)、ステップS81へ移行する。
そして、状態検出部4hは、非検出時間又は非認証時間が所定値を超過したか否か判定する(ステップS80)。
一方、ステップS80において、非検出時間又は非認証時間が所定値を超過していないと判定された場合(ステップS80;NO)、ステップS81へ移行する。
そして、ステップS82において、モーション(被写体の動作)を検出したと判定された場合(ステップS82;YES)、図4に示すモーションシャッタモード処理のステップS9へ移行する。
一方、ステップS82において、モーション(被写体の動作)を検出していないと判定された場合(ステップS82;NO)、状態検出部4hは、自動的に撮像装置100の電源を切るAPO(Auto Power Off)時間が経過したか否かを判定する(ステップS83)。
一方、ステップS83において、APO時間が経過したと判定された場合(ステップS83;YES)、APO処理を実行し(ステップS84)、モーションシャッタモード処理を終了する。
次に、不特定顔変化検出処理について、図8を参照して詳細に説明する。
図8は、不特定顔変化検出処理に係る動作の一例を示すフローチャートである。
次いで、状態検出部4hは、時間の計測を開始する(ステップS92)。
ステップS93において、人の顔が検出されたと判定された場合(ステップS93;YES)、状態検出部4hは、検出された人の顔の数を特定し(ステップS94)、当該人の顔の数が初期値から所定の割合で減少したか否かを判定する(ステップS95)。
一方、ステップS95において、当該人の顔の数が初期値から所定の割合で減少していないと判定された場合(ステップS95;NO)、検出部4cは、図4のステップS7と同様にモーション検出処理を実行する(ステップS97)。
一方、ステップS98において、モーション(被写体の動作)を検出していないと判定された場合(ステップS98;NO)、状態検出部4hは、自動的に撮像装置100の電源を切るAPO(Auto Power Off)時間が経過したか否かを判定する(ステップS99)。
一方、ステップS99において、APO時間が経過したと判定された場合(ステップS99;YES)、APO処理を実行し(ステップS100)、モーションシャッタモード処理を終了する。
従って、検出部4cにより検出対象(被写体の動作)を検出している間のみ、撮像部3の撮像状態を第1の状態に変化させる制御を行うので、検出部4cによる検出対象(被写体の動作)の検出精度の低下を抑制することができるとともに、モーションシャッタによる本撮影時には、実際の撮像状態を維持することができる。
つまり、コントラストが低くなる暗所において、撮像部3により撮像されるライブビュー画像Lの画質を変化させることにより撮像部3の撮像状態を第1の状態に変化させる制御を行うので、検出部4cによる検出対象の検出精度の低下を好適に抑制することができる。
従って、撮影環境に適した方法で撮像部3により撮像されるライブビュー画像Lの輝度値を上げることができるので、撮像部3の撮像状態をより適切に第1の状態に変化させることができる。
従って、撮像部3の撮像状態を第1の状態に変化させる制御には、検出部4cとは別の手段(例えば、電子撮像部3b、補助光源3c)を使用するので、従来のモーション検出技術を踏襲することができる。
従って、判別部4dにより判別される被写体の動作に応じて、撮像部3の撮像状態を第2の状態に変化させたり、当該撮像状態を第1の状態に変化させたりする制御を継続して行うことができるので、モーションシャッタの使い勝手を向上させることができる。
従って、判別部4dにより判別される被写体の動作に応じて、上述の各種処理を行うことができるので、モーションシャッタの使い勝手をより一層向上させることができる。
従って、状態検出部4hによる検出結果から、検出部4cによる検出(モーション検出)の継続をユーザが望んでいるか否かを推測し、当該モーション検出の継続をユーザが望んでいると判断した場合は、当該モーション検出を継続させる一方で、当該モーション検出の継続をユーザが望んでいないと判断した場合は、当該モーション検出を停止させることができる。
これにより、モーション検出を継続又は停止させるための特別な操作を必要としなくなるので、当該操作に伴うユーザの動作が検出部4cにより検出されてしまうことを防止することができ、意図しないモーション検出による誤操作を減らすことができる。
従って、例えば、撮像装置100に対して所定の操作を行うため、ユーザが当該装置に近づいた際、顔検出部4fにより人(ユーザ)の顔が検出された場合は、モーション検出の継続をユーザが望んでいないと判断し、当該モーション検出を停止させることができるようになる。
従って、顔検出部4fにより人の顔が継続して検出されない非検出時間が所定時間を超過した場合は、モーション検出の継続をユーザが望んでいないと判断し、当該モーション検出を停止させることができるようになる。
従って、顔検出部4fにより検出された人の顔の数が初期値から所定の割合で減少したと判定された場合は、モーション検出の継続をユーザが望んでいないと判断し、当該モーション検出を停止させることができるようになる。
従って、例えば、撮像装置100に対して所定の操作を行うため、特定の人(ユーザ)が当該装置に近づいた際、顔認証部4gにより当該特定の人の顔が検出された場合は、モーション検出の継続をユーザが望んでいないと判断し、当該モーション検出を停止させることができるようになる。
従って、顔認証部4gにより特定の人の顔が継続して認証されない非認証時間が所定時間を超過した場合は、モーション検出の継続をユーザが望んでいないと判断し、当該モーション検出を停止させることができるようになる。
次に、本発明の実施形態の変形例について説明する。上記の実施形態と同様の構成については同じ符号を付して説明を省略する。
変形例の撮像装置200では、モーション検出補助処理(ステップS6、ステップS16)において、撮像部3により撮像されるライブビュー画像Lの輝度成分或いは色成分を変化させ、ライブビュー画像Lの画質を変化させることにより、撮像状態を変化させるようにしている。
具体的には、被写体となる人の手(肌色の輝度成分或いは色成分)を検出部4cによって検出しやすくなるように、撮像制御部4は、ライブビュー画像Lの輝度成分或いは色成分を変化させるようにしている。
ライブビュー画像Lの輝度成分或いは色成分を変化させる方法としては、コントラスト調整、レベル補正、ガンマ補正等が挙げられる。
図9(e)に示すように、図9(a)に示すライブビュー画像Lのピクセル分布図では、ヒストグラムの山が中間調の左方(シャドウ側)に集まっている。このため、図9(a)に示すライブビュー画像Lは、画像全体が暗くコントラストが低い状態となっている。
一方、図9(f)に示すように、ピクセル分布図の幅を広げるようにレベル補正を行うことにより、ライブビュー画像Lは、図9(d)に示すように、画像全体が明るくなるとともに、コントラストが高くなる。これにより、検出部4cによるモーション検出を好適に行うことができるようになる。
例えば、上記実施形態にあっては、モーション検出補助処理は、補助光源3cを発光させる方法と、電子撮像部3bのISO感度を上げる方法の2種類としたが、当該モーション検出補助処理は1種類だけでも良く、算出部4bにより算出された輝度値が所定値未満である場合にこの1種類のモーション検出補助処理を行う。
また、モーション検出補助処理は3種類以上でも良く、かかる場合、算出部4bにより算出された輝度値に応じて、当該モーション検出補助処理を異ならせるようにする。
すなわち、プログラムを記憶するプログラムメモリ(図示略)に、動作検出処理ルーチン、状態検出処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、動作検出処理ルーチンにより中央制御部1のCPUを、撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する手段として機能させるようにしても良い。また、状態検出処理ルーチンにより中央制御部1のCPUを、動作検出処理ルーチンにより所定の動作が検出された後の、撮像手段により撮像される画像の状態を検出する処理を実行する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、状態検出処理ルーチンによる検出結果に応じて、動作検出処理ルーチンによる被写体の所定の動作を検出する処理を、継続するか否かを制御する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する動作検出手段と、
前記動作検出手段により所定の動作が検出された後の、前記撮像手段により撮像される画像の状態を検出する処理を実行する状態検出手段と、
前記状態検出手段による検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を、継続するか否かを制御する制御手段と、
を備えることを特徴とする撮像装置。
<請求項2>
前記状態検出手段は、
前記動作検出手段により所定の動作が検出された後の、前記撮像手段により撮像される画像の状態として、当該撮像手段により撮像される画像の変化を検出する処理を実行することを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記撮像手段により撮像される画像から人の顔を検出する処理を実行する顔検出手段を、更に備え、
前記状態検出手段は、
前記顔検出手段により検出された人の顔の撮像画像に対する変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記人の顔の撮像画像に対する変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記状態検出手段は、
前記顔検出手段により検出された人の顔の撮像画像に対する面積の変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記人の顔の撮像画像に対する面積の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項3に記載の撮像装置。
<請求項5>
前記制御手段は、
前記状態検出手段により、前記人の顔の撮像画像に対する面積が、前記動作検出手段により所定の動作が検出された際の当該人の顔の面積から所定の割合で増大したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項4に記載の撮像装置。
<請求項6>
前記状態検出手段は、
前記顔検出手段により前記人の顔が継続して検出されない非検出時間を計測する処理を実行し、
前記制御手段は、
前記非検出時間に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項3に記載の撮像装置。
<請求項7>
前記制御手段は、
前記状態検出手段によって、前記非検出時間が所定時間を超過したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項6に記載の撮像装置。
<請求項8>
前記状態検出手段は、
前記顔検出手段によって、前記撮像手段により撮像される画像から複数の人の顔が検出された場合、当該複数の人の顔の撮像画像に対する変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記複数の人の顔の撮像画像に対する変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項3に記載の撮像装置。
<請求項9>
前記状態検出手段は、
前記顔検出手段により検出された複数の人の顔の数の変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記複数の人の顔の数の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項8に記載の撮像装置。
<請求項10>
前記制御手段は、
前記状態検出手段により前記複数の人の顔の数が所定の割合で減少したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項9に記載の撮像装置。
<請求項11>
前記顔検出手段によって、前記撮像手段により撮像される画像から複数の人の顔が検出された場合、当該複数の人の顔から予め登録されている特定の人の顔を認証する処理を実行する顔認証手段を、更に備え、
前記状態検出手段は、
前記顔認証手段により特定の人の顔が認証された場合、当該特定の人の顔の撮像画像に対する変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記特定の人の顔の撮像画像に対する変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項3に記載の撮像装置。
<請求項12>
前記状態検出手段は、
前記顔認証手段により認証された特定の人の顔の撮像画像に対する面積の変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記特定の人の顔の撮像画像に対する面積の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項11に記載の撮像装置。
<請求項13>
前記制御手段は、
前記状態検出手段により、前記特定の人の顔の撮像画像に対する面積が、前記動作検出手段により所定の動作が検出された際の当該特定の人の顔の面積から所定の割合で増大したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項12に記載の撮像装置。
<請求項14>
前記状態検出手段は、
前記顔認証手段により前記特定の人の顔が継続して認証されない非認証時間を計測する処理を実行し、
前記制御手段は、
前記非認証時間に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項11に記載の撮像装置。
<請求項15>
前記制御手段は、
前記状態検出手段によって、前記非認証時間が所定時間を超過したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項14に記載の撮像装置。
<請求項16>
前記所定の動作は、撮影の実行を指示する動作であって、
前記動作検出手段により前記所定の動作が検出された際に、撮影を実行する処理を行う撮影処理手段を、更に備えることを特徴とする請求項1〜15の何れか一項に記載の撮像装置。
<請求項17>
撮像手段により撮像される画像から被写体の所定の動作を検出する処理と、
所定の動作が検出された後の、前記撮像手段により撮像される画像の状態を検出する処理と、
前記撮像手段により撮像される画像の状態の検出結果に応じて、前記被写体の所定の動作の検出を継続するか否かを制御する処理と、
を含むことを特徴とする撮像制御方法。
<請求項18>
コンピュータに、
撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する動作検出機能、
前記動作検出機能により所定の動作が検出された後の、前記撮像手段により撮像される画像の状態を検出する処理を実行する状態検出機能、
前記状態検出機能による検出結果に応じて、前記動作検出機能による前記被写体の所定の動作を検出する処理を継続するか否かを制御する制御機能、
を実現させることを特徴とするプログラム。
1 中央制御部
3 撮像部
3c 補助光源
4 撮像制御部
4a 状態判定部
4b 算出部
4c 検出部
4d 判別部
4e 撮影処理部
4f 顔検出部
4g 顔認証部
4h 状態検出部
6 記憶部
6a 撮像状態フラグ設定テーブル
6b 変化状態フラグ設定テーブル
6c モーション種類テーブル
6d 検出補助種類テーブル
8 表示部
8a 表示パネル
8b 表示制御部
M 開始指標
T 検出領域
Claims (14)
- 撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する動作検出手段と、
前記撮像手段により撮像される画像から人の顔を検出する処理を実行する顔検出手段と、
前記動作検出手段により所定の動作が検出された後の、前記顔検出手段により検出された、人の顔の撮像画像に対する面積の変化、又は、複数の人の顔の数の変化を検出する処理を実行する状態検出手段と、
前記状態検出手段による、前記人の顔の撮像画像に対する面積の変化、又は、前記複数の人の顔の数の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を、継続するか否かを制御する制御手段と、
を備えることを特徴とする撮像装置。 - 前記制御手段は、
前記状態検出手段により、前記人の顔の撮像画像に対する面積が、前記動作検出手段により所定の動作が検出された際の当該人の顔の面積から所定の割合で増大したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項1に記載の撮像装置。 - 前記状態検出手段は、
前記顔検出手段により前記人の顔が継続して検出されない非検出時間を計測する処理を実行し、
前記制御手段は、
前記非検出時間に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項1又は2に記載の撮像装置。 - 前記制御手段は、
前記状態検出手段によって、前記非検出時間が所定時間を超過したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項3に記載の撮像装置。 - 前記制御手段は、
前記状態検出手段により前記複数の人の顔の数が所定の割合で減少したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項1〜4の何れか一項に記載の撮像装置。 - 前記顔検出手段によって、前記撮像手段により撮像される画像から複数の人の顔が検出された場合、当該複数の人の顔から予め登録されている特定の人の顔を認証する処理を実行する顔認証手段を、更に備え、
前記状態検出手段は、
前記顔認証手段により特定の人の顔が認証された場合、当該特定の人の顔の撮像画像に対する変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記特定の人の顔の撮像画像に対する変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。 - 前記状態検出手段は、
前記顔認証手段により認証された特定の人の顔の撮像画像に対する面積の変化を検出する処理を実行し、
前記制御手段は、
前記状態検出手段による前記特定の人の顔の撮像画像に対する面積の変化の検出結果に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項6に記載の撮像装置。 - 前記制御手段は、
前記状態検出手段により、前記特定の人の顔の撮像画像に対する面積が、前記動作検出手段により所定の動作が検出された際の当該特定の人の顔の面積から所定の割合で増大したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項7に記載の撮像装置。 - 前記状態検出手段は、
前記顔認証手段により前記特定の人の顔が継続して認証されない非認証時間を計測する処理を実行し、
前記制御手段は、
前記非認証時間に応じて、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続するか否かを制御することを特徴とする請求項8に記載の撮像装置。 - 前記制御手段は、
前記状態検出手段によって、前記非認証時間が所定時間を超過したと判別された場合、前記動作検出手段による前記被写体の所定の動作を検出する処理を継続せず停止することを特徴とする請求項9に記載の撮像装置。 - 前記所定の動作は、撮影の実行を指示する動作であって、
前記動作検出手段により前記所定の動作が検出された際に、撮影を実行する処理を行う撮影処理手段を、更に備えることを特徴とする請求項1〜10の何れか一項に記載の撮像装置。 - 表示手段により表示される被写体の画像を当該被写体自身に視認させることが可能な所定の状態であるか否かを判定する状態判定手段を、更に備え、
前記動作検出手段は、
前記状態判定手段により所定の状態であると判定された場合に、前記撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行することを特徴とする請求項1〜11の何れか一項に記載の撮像装置。 - 撮像手段により撮像される画像から被写体の所定の動作を検出する処理と、
前記撮像手段により撮像される画像から人の顔を検出する処理と、
所定の動作が検出された後の、前記撮像手段により撮像される画像から検出された、人の顔の撮像画像に対する面積、又は、複数の人の顔の数の変化を検出する処理と、
前記撮像手段により撮像される画像から検出された、前記人の顔の撮像画像に対する面積の変化、又は、前記複数の人の顔の数の変化の検出結果に応じて、前記被写体の所定の動作の検出を継続するか否かを制御する処理と、
を含むことを特徴とする撮像制御方法。 - コンピュータに、
撮像手段により撮像される画像から被写体の所定の動作を検出する処理を実行する動作検出機能、
前記撮像手段により撮像される画像から人の顔を検出する処理を実行する顔検出機能、
前記動作検出機能により所定の動作が検出された後の、前記撮像手段により撮像される画像の状態前記顔検出機能により検出された、人の顔の撮像画像に対する面積の変化、又は、複数の人の顔の数の変化を検出する処理を実行する状態検出機能、
前記状態検出機能による、前記人の顔の撮像画像に対する面積の変化、又は、前記複数の人の顔の数の変化の検出結果に応じて、前記動作検出機能による前記被写体の所定の動作を検出する処理を継続するか否かを制御する制御機能、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014227287A JP6432290B2 (ja) | 2014-11-07 | 2014-11-07 | 撮像装置、撮像制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014227287A JP6432290B2 (ja) | 2014-11-07 | 2014-11-07 | 撮像装置、撮像制御方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016092685A JP2016092685A (ja) | 2016-05-23 |
JP2016092685A5 JP2016092685A5 (ja) | 2017-12-07 |
JP6432290B2 true JP6432290B2 (ja) | 2018-12-05 |
Family
ID=56019925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014227287A Expired - Fee Related JP6432290B2 (ja) | 2014-11-07 | 2014-11-07 | 撮像装置、撮像制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6432290B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5298887B2 (ja) * | 2009-01-29 | 2013-09-25 | 株式会社ニコン | デジタルカメラ |
JP2013197663A (ja) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | 撮像装置 |
JP2013214882A (ja) * | 2012-04-02 | 2013-10-17 | Nikon Corp | 撮像装置 |
JP2012198564A (ja) * | 2012-06-08 | 2012-10-18 | Casio Comput Co Ltd | デジタルカメラ、及びそのセルフタイマー制御方法、セルフタイマー制御プログラム |
-
2014
- 2014-11-07 JP JP2014227287A patent/JP6432290B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016092685A (ja) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6024728B2 (ja) | 検出装置、検出方法及びプログラム | |
CN101325658B (zh) | 成像设备和成像方法 | |
WO2017050125A1 (zh) | 拍摄角度提示方法和装置、终端和计算机存储介质 | |
US9092659B2 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP6124700B2 (ja) | 撮像装置、その制御方法、プログラム、記憶媒体 | |
CN107087103B (zh) | 摄像装置、摄像方法以及计算机可读存储介质 | |
JP5030022B2 (ja) | 撮像装置及びそのプログラム | |
US8446510B2 (en) | Method and apparatus for improving face image in digital image processor | |
JP5880135B2 (ja) | 検出装置、検出方法及びプログラム | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP6693071B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
KR102497526B1 (ko) | 검출 장치, 검출 제어 방법 및 컴퓨터 프로그램 | |
US10489895B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6432290B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP6432289B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP2020115679A (ja) | 物体検出装置、検出制御方法及びプログラム | |
JP2010166132A (ja) | 撮像装置、動作制御方法及びプログラム | |
JP6492483B2 (ja) | 検出装置、検出方法及びプログラム | |
JP6443156B2 (ja) | 検出装置、検出制御方法、及びプログラム | |
JP5963440B2 (ja) | 撮像装置及びその制御方法 | |
JP6322964B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP6601062B2 (ja) | 撮像制御装置、撮像制御方法及びプログラム | |
JP6724527B2 (ja) | 撮影装置、撮影制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171030 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6432290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |