JP5217843B2 - Composition selection apparatus, composition selection method and program - Google Patents
Composition selection apparatus, composition selection method and program Download PDFInfo
- Publication number
- JP5217843B2 JP5217843B2 JP2008246619A JP2008246619A JP5217843B2 JP 5217843 B2 JP5217843 B2 JP 5217843B2 JP 2008246619 A JP2008246619 A JP 2008246619A JP 2008246619 A JP2008246619 A JP 2008246619A JP 5217843 B2 JP5217843 B2 JP 5217843B2
- Authority
- JP
- Japan
- Prior art keywords
- composition
- subject
- image
- shooting
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、撮影画像の記録に関し、構図を選択する構図選択装置、構図選択方法及びプログラムに関する。 The present invention relates to recording of a captured image, and relates to a composition selection device , a composition selection method, and a program for selecting a composition.
従来より、被写体を撮像するときにユーザに対して撮影構図を提示する技術としては、下記の特許文献1に記載された電子カメラが知られている。
Conventionally, as a technique for presenting a photographing composition to a user when photographing a subject, an electronic camera described in
この電子カメラは、以前に行った定点撮影時の撮影画像を構図化処理して構図画像とする。そして、電子カメラは、今回の定点撮影時にファインダ画像と構図画像とを重畳表示して位置合わせを行うと共に、前回の撮影画像の撮影条件を今回の撮影条件として設定して、定点撮影を行っている。このような電子カメラは、前回の撮影終了後に元画像の撮影条件と対応させて構図画像を保存し、今回の撮影時に構図を再生表示している。更に、この電子カメラは、前回の撮影画像のうちから構図とする画像を選択し、当該撮影画像を構図化してスルー画像に重畳表示できるとしている。
しかしながら、上述した技術では、撮影構図の選択をユーザの手動によって行っていたので、構図選択のための操作がユーザにとって煩雑となるものであった。 However, in the above-described technique, since the shooting composition is selected manually by the user, an operation for selecting the composition is complicated for the user.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができるようにすることを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and an object thereof is to make it easier to select a composition suitable for recording when a captured image is recorded.
請求項1記載の発明は、予め複数の構図を記録した構図記録手段と、撮影画像を取得する画像取得手段と、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、当該被写体検出手段により検出された注目被写体の第1の撮影状態と、この第1の撮影状態とは異なる第2の撮影状態を判断する状態判断手段と、前記状態判断手段によって判断された前記注目被写体の前記第1の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択手段と、前記第1の構図選択手段により表示された所定数の構図から、前記第2の撮影状態に基づいて特定の構図を選択する第2の構図選択手段とを備えることを特徴とする構図選択装置を提供するものである。 According to the first aspect of the present invention, a composition recording unit that records a plurality of compositions in advance, an image acquisition unit that acquires a captured image, and a target subject included in the captured image acquired by the image acquisition unit are detected. A subject detection unit; a state determination unit that determines a first shooting state of the subject of interest detected by the subject detection unit; and a second shooting state different from the first shooting state ; and the state determination unit First composition selecting means for selecting a predetermined number of compositions from a plurality of compositions recorded in the composition recording means based on the determined first shooting state of the subject of interest, and the first composition intended to provide a predetermined number of the composition displayed by the selection means, the composition selection device, characterized in that it comprises a second composition selection means for selecting a particular composition based on the second imaging condition That.
請求項4記載の発明は、予め複数の構図を記録した構図選択装置の構図選択方法において、撮影画像を取得する画像取得工程と、前記取得された撮影画像に含まれている注目被写体を検出する被写体検出工程と、前記検出された注目被写体の第1の撮影状態を判断する第1の状態判断工程と、前記判断された前記注目被写体の第1の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択工程と、前記検出された注目被写体の前記第1の撮影状態とは異なる第2の撮影状態を判断する第2の状態判断工程と、前記選択された所定数の構図から、前記第2の撮影状態に基づいて特定の構図を選択する第2の構図選択工程とを備えることを特徴とする構図選択方法を提供するものである。 According to a fourth aspect of the present invention, in a composition selection method of a composition selection device in which a plurality of compositions are recorded in advance, an image acquisition step of acquiring a captured image and a target object included in the acquired captured image are detected. Based on the subject detection step, the first state determination step of determining the first shooting state of the detected subject of interest, and the composition recording means based on the determined first shooting state of the subject of interest. A first composition selection step of selecting a predetermined number of compositions from the plurality of recorded compositions, and a second determination of a second shooting state different from the first shooting state of the detected subject of interest. Provided is a composition selection method comprising: a state determination step; and a second composition selection step of selecting a specific composition from the selected predetermined number of compositions based on the second shooting state. Is.
請求項5記載の発明は、コンピュータを、予め複数の構図を記録した構図記録手段と、撮影画像を取得する画像取得手段と、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段と、前記状態判断手段によって判断された前記注目被写体の第1の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択手段と、前記第1の構図選択手段により表示された所定数の構図から、前記状態判断手段によって判断された前記第1の撮影状態とは異なる第2の撮影状態に基づいて特定の構図を選択する第2の構図選択手段として機能させることを特徴とするプログラムを提供するものである。 According to a fifth aspect of the present invention, there is provided a computer comprising a composition recording unit that records a plurality of compositions in advance, an image acquisition unit that acquires a captured image, and a subject of interest included in the captured image acquired by the image acquisition unit. Based on the subject detection unit for detecting the state, the state determination unit for determining the shooting state of the target subject detected by the subject detection unit, and the first shooting state of the target subject determined by the state determination unit, A first composition selection means for selecting a predetermined number of compositions from a plurality of compositions recorded in the composition recording means, and a predetermined number of compositions displayed by the first composition selection means, by the state determination means. A professional functioning device that functions as second composition selection means for selecting a specific composition based on a second photographing state different from the determined first photographing state. It is intended to provide the ram.
本発明によれば、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。 According to the present invention, when recording a captured image, it is possible to more easily select a composition suitable for recording.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[撮像装置1の構成]
まず、図1を用いて、本発明の実施の形態として示す撮像装置1の機能的な構成について説明する。この撮像装置1は、撮影時にライブビュー画像を表示させている時に、注目被写体を含む画像全体における撮影構図を選択する構図選択機能を備えたものである。したがって、以下に説明する構図選択装置としての機能は、必ずしも撮像装置1に搭載されている実施の形態に限定されず、例えばパーソナルコンピュータに構図選択装置としての機能を実現させることもできる。
[Configuration of Imaging Device 1]
First, the functional configuration of the
図1に示すように、撮像装置1は、撮像光学系11と、撮像部12と、撮像処理部13と、メモリーカード部14と、制御部15と、キー入力部16と、不揮発記録部17と、揮発記録部18と、撮影構図パターン記録部172と、画像圧縮部20と、メイン表示処理部21と、メイン表示部22とを備える。
As shown in FIG. 1, the
撮像光学系11は、主として、モータ、レンズユニット、等からなる。このレンズユニットは、外光を入射するための複数のレンズ群からなる。レンズユニットは、所定範囲の撮像領域の外光をCMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子に結像するための光学系である。ここでは撮像素子はCMOSとするが、CCDであっても構わない。レンズユニットは、図示しないシャッターユニット、絞りユニットを備えている。これらシャッターユニット、絞りユニットは、モータの駆動により合焦位置や絞り位置が移動される。このレンズユニットは、制御部15の制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズも備えている。
The imaging
撮像部12は、前述したCMOSなどの撮像素子を含む。CMOSは、例えばRGBの原色系のカラーフィルタを形成している。CMOSは、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。CMOSは、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
The
撮像部12は、制御部15による制御に従って動作するコントローラと、A/D変換処理回路等を含む。この撮像部12におけるコントローラ、後述する制御部15の制御に従って、撮像光学系11におけるレンズユニット及びCMOSの動作を制御する。A/D変換処理回路は、サンプルホールド回路、A/D変換器を含む。A/D変換処理回路は、CMOSから出力された光電変換出力に所望の処理を施す。具体的には、CMOSからの光電変換出力に対して、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整する。その後、サンプルホールド回路によってサンプルホールドし、A/D変換器によってデジタル撮影画像データに変換し、撮像処理部13に出力する。
The
撮像処理部13は、撮像部12から供給された撮影画像データに対して所定の画像処理を施す。この撮像処理部13は、RGBデータとして供給された撮影画像データの変換処理、画素補間処理、γ補正処理、及びマトリックス演算を行う。この撮像処理部13によって所定の画像処理が施された撮影画像データは、揮発記録部18に供給される。
The
この撮影画像データは、ライブビュー画像として用いられることもあれば、記録用画像として用いられることもある。ここでは、ライブビュー画像として用いるときは、画像サイズをメイン表示部22と同じサイズとするものとし、記録用画像として用いるときは、使用者の所望のサイズとするものとする。
The captured image data may be used as a live view image or may be used as a recording image. Here, when used as a live view image, the image size is set to the same size as that of the
メモリーカード部14は、撮像装置1に備えられたメモリーカードの記録再生機構を含む。このメモリーカード部14は、制御部15の制御に従って、当該撮像装置1によって撮像された撮影画像データをメモリーカードに記録する。また、メモリーカード部14は、制御部15の制御に従って、メモリーカードに記録された撮影画像データを再生して出力する。
The
不揮発記録部17は、撮影構図パターン記録部172を含む。撮影構図パターン記録部172は、複数の撮影構図パターンを記録する構図記録手段として機能する。この撮影構図パターンは、画像全体における被写体の配置を示す。撮影構図パターンは、撮影画像内に含まれる注目被写体の位置、サイズ、分類に応じて、それぞれ異なったものとなる。撮影構図パターン記録部172は、複数の撮影構図パターンをテーブル化した、構図パターンテーブルとして記録している。この撮影構図パターン記録部172に記録された撮影構図パターンは、制御部15の制御に従って選択される。
The
また、撮影構図パターン記録部172には、撮影構図を決定するために用いられる検索インデックステーブルが記録されている。この検索インデックステーブルは、インデックス番号と、構図の検索インデックス(撮影構図名)と、注目被写体群とが対応付けられている。そして、構図パターンテーブルは、インデックス番号に対応して複数の撮影構図パターンが登録されている。詳細は後述するが、制御部15は、ライブビュー画像に含まれる注目被写体を認識し、当該注目被写体から検索インデックス名及びインデックス番号を特定することによって、構図パターンテーブルからユーザに提示する撮影構図を選択できる。
In addition, the shooting composition
なお、この撮像装置1は、撮影構図パターン記録部172に撮影構図パターンを示す構図パターンデータを記録しているが、この実施形態に限られず、構図パターンデータを通信回線を介してダウンロードして、後述するように複数の撮影構図パターンのうち何れかの撮影構図パターンを決定しても良い。
The
制御部15は、当該撮像装置1を統括して制御する。制御部15は、不揮発記録部17中のプログラム記録部171に記録されたプログラムに従って動作することによって、当該撮像装置1に必要な各種の制御を行う。
The
特に、制御部15は、プログラム記録部171に記録されたプログラムに従った処理を行う。この撮影構図画像を選択するためのプログラムに従って処理を実行することにより、制御部15は、撮影画像に含まれている注目被写体を検出する被写体検出処理、当該検出された注目被写体の撮影状態を判断する状態判断処理、注目被写体の撮影状態に基づいて撮影構図パターン記録部172に記録された複数の撮影構図パターンのうち注目被写体を含む画像全体における撮影構図パターンを選択する構図選択処理を行う。なお、このような制御部15による撮影構図選択処理の詳細については後述する。
In particular, the
そして、制御部15は、選択された撮影構図パターンをメイン表示部22に表示させる。これにより、撮像装置1は、現在撮影しようとしている状況における注目被写体にとって好ましい撮影構図パターンを、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像に重畳させて提示することができる。
Then, the
キー入力部16は、当該撮像装置1のユーザによって操作される。このキー入力部16は、シャッター釦16a、メニュー釦16b、十字キーなどの移動釦16c、決定釦16dなどを含むキー群である。このキー入力部16は、制御部15に接続されており、各釦の操作内容を示す操作信号が制御部15によって読み込まれる。
The key input unit 16 is operated by the user of the
画像圧縮部20は、制御部15の制御に応じて、揮発記録部18に格納された撮影画像データに対してJPEG(Joint Photograph coding Experts Group)規格に従ったADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)処理を行って、データ圧縮をする。
Under the control of the
メイン表示処理部21は、揮発記録部18に格納された撮影画像データを定期的に読み出し、これらのデータを元にビデオ信号を発生してメイン表示部22に出力する。また、メイン表示処理部21は、制御部15から撮影構図パターンが選択された場合に、当該撮影構図パターンを表す撮影構図画像が供給される。そして、メイン表示処理部21は、現在において撮像装置1が取得しているリアルタイムのライブビュー画像に、撮影構図画像を重畳させた表示データをメイン表示部22に供給する。
The main
メイン表示部22は、図示しないが、撮像装置1の筐体の背面側に設けられている。メイン表示部22は、撮影モード時にはモニタ表示部(電子ファインダ)として機能する。この撮影モード時において、メイン表示部22は、メイン表示処理部21からのビデオ信号に基づいた表示を行う。これにより、撮像装置1は、その時点でメイン表示処理部21から取り込んでいるライブビュー画像をリアルタイムに表示する。また、メイン表示部22は、ライブビュー画像に、撮影構図画像を重畳させた表示データが供給された時には、ライブビュー画像と共に撮影構図画像を表示する。
Although not shown, the
このように、メイン表示部22に、その時点での撮影画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像の表示状態で、撮像装置1は、撮像可能な状態となる。そして、撮影を行いたいタイミングで、キー入力部16のうちの一つであるシャッター釦16aが操作されると、制御部15に対してトリガ信号が発生される。制御部15は、このトリガ信号に応じて、その時点で撮像光学系11のから取り込んでいる1画面分の撮影画像データをデータメモリ18に格納させる。
As described above, the
[撮像装置1の全体処理]
このように構成された撮像装置1は、当該撮像装置1がユーザに把持されて被写体を撮像する操作が行われる時に、図2及び図3に示す処理を行うことによって、撮影構図選択処理を含む処理を実行する。
[Overall Processing of Imaging Device 1]
The
撮像装置1は、先ずステップS1にて、制御部15によって、現在の撮影モードの設定状態を読み出す。次のステップS2において、制御部15は、メニュー釦16bが操作されたことによるメニュー画面の表示指示命令が発生したか否かを判定する。メニュー画面の表示指示命令が発生していない場合には、ステップS4に処理を進める。メニュー画面の表示指示命令が発生した場合には、ステップS3にて、メニュー画面を表示させ、当該メニュー画面に応じてキー入力部16が操作されたことに対する動作を行うメニュー処理を行って、ステップS4に処理を進める。このメニュー処理としては、例えば撮像装置1自体の撮影モードの変更、画像処理の設定変更、フラッシュ動作の設定変更などが挙げられる。
In step S <b> 1, the
次のステップS4において、撮像装置1は、ライブビュー画像の撮影処理を行う。この撮影処理は、撮像光学系11及び撮像部12によって撮像したRGBデータを撮像処理部13が取り込み、所定の画像処理を施した撮影画像データを揮発記録部18に格納する。そして、制御部15は、揮発記録部18に格納された撮影画像データを所定期間ごとにメイン表示処理部21によって取り込ませ、メイン表示部22に表示させる。これにより、撮像装置1が撮像しているリアルタイムのライブビュー画像をメイン表示部22に表示させることができる。
In the next step S4, the
次のステップS5において、制御部15は、ライブビュー画像に重畳させて表示する案内情報を設定する。この案内情報は、現在のライブビュー画像にて好ましい撮影構図で撮像を行わせる時に、ユーザに提示する情報である。なお、この案内情報の設定処理については、後述するものとする。
In the next step S5, the
次のステップS6において、制御部15は、ステップS5にて設定された案内情報をライブビュー画像に重畳して表示させる。これにより、ユーザは、現状のライブビュー画像を撮像するために、案内情報を見ながら、撮像装置1が選択した撮影構図に従って撮像を行うことができる。
In the next step S6, the
次のステップS7において、制御部15は、シャッター釦16aが半押し操作されたことを示す半押しフラグがオンとなっているか否かを判定する。この半押しフラグは、シャッター釦16aが半押し操作された状態において、制御部15によってオンとされる。半押しフラグがオンとなっている場合にはステップS11に処理を進め、半押しフラグがオンとなっていない場合にはステップS8に処理を進める。
In the next step S7, the
ステップS8において、制御部15は、シャッター釦16aが半押し操作されたトリガ信号を検出したか否かを判定する。トリガ信号を検出していない場合には、ステップS11に処理を進める。そしてステップS11において、制御部15は、通常撮影モードが終了している場合には処理を終了し、そうでない場合にはステップS2に処理を戻す。
In step S <b> 8, the
一方、トリガ信号を検出した場合には、ステップS9に処理を進める。制御部15は、ステップS9において半押しフラグをオン状態にし、ステップS10において基本撮影条件の設定処理を行う。この基本撮影条件の設定処理は、例えば通常撮影モードにて設定されているフォーカス状態、フラッシュ状態、画像処理についての設定処理を行う。ステップS10の後には、ステップS11に処理を進める。
On the other hand, if a trigger signal is detected, the process proceeds to step S9. The
ステップS12において、制御部15は、シャッター釦16aが操作されていることによるトリガ信号を監視し、半押し状態が維持されているか否かを判定する。半押し状態が維持されている場合にはステップS14に処理を進める。半押し状態が維持されていない場合にはステップS13において、半押しフラグをオフとしてステップS14に処理を進める。
In step S12, the
ステップS14において、制御部15は、シャッター釦16aからのトリガ信号によって全押し状態にまで操作されたか否かを判定する。全押しを検出した場合にはステップS15に処理を進め、全押しを検出していない場合にはステップS11に処理を進める。
In step S14, the
ステップS15において、撮像光学系11、撮像部12及び撮像処理部13によって、記録用画像の撮影処理を行う。この記録用画像の撮影処理は、撮像処理部13によって所定の画像処理が施された撮影画像データに対して、画像圧縮部20によって所定のデータ圧縮処理を施す。そして、ステップS16において、メモリーカード部14は、画像圧縮部20によって圧縮された記録用の撮影画像をメモリーカードに記録する。
In step S15, the imaging
次のステップS17において、制御部15は、ステップS16にてメモリーカードに記録した撮影画像を、メイン表示部22に確認のために表示させるようにメイン表示処理部21を制御して、処理をステップS11に戻す。
In the next step S17, the
[案内情報の設定処理]
つぎに、上述したような全体処理を行う撮像装置1において、ステップS5における案内情報の設定処理について、図3のフローチャート、図4乃至図13のテーブルデータ、図14,図15のライブビュー画像の一例を参照して説明する。この図3の案内情報の設定処理は、所定の間隔で定期的に実行される。
[Guidance information setting process]
Next, in the
先ずステップS21において、制御部15は、ユーザに対する撮影構図画像の提示時であるか否かを判定する。このとき、制御部15は、揮発記録部18に格納された撮影画像データにおける絵柄の時系列的な変化を監視し、所定以上の大きな絵柄の変化があったと判定した場合に、撮影構図画像提示時であると判定する。撮影構図画像提示時である場合にはステップS22に処理を進め、撮影構図画像提示時ではない場合には、ステップS33に処理を進める。
First, in step S <b> 21, the
ステップS33において、制御部15は、後述する撮影構図画像の優先順位に相当する評価値Hが設定されているか否かを判定する。評価値Hが設定されていない場合にはステップS22に処理を進め、評価値Hが既に設定されていると判定した場合にはステップS34に処理を進める。
In step S <b> 33, the
ステップS33において評価値Hが既に設定されている状況においては、メイン表示部22には、ライブビュー画像に撮影構図画像が重畳されている表示状態である。この表示状態でのステップS34において、制御部15は、移動釦16cが操作されたことによる操作信号に応じて、評価値Hを変更する。評価値Hが変更されて、現在表示させている撮影構図パターンとは異なる撮影構図パターンの評価値Hが「1」とされると、当該評価値Hが「1」となった撮影構図画像をライブビュー画像に重畳させる。これにより、後述するように、注目被写体の撮影状態によって決定された撮影構図を、ユーザの釦操作によって変更して、ユーザが好む撮影構図に変更することができる。そして、ステップS35以降に処理を進めて撮影構図画像を表示させる(ステップS35,ステップS36)。なお、ステップS35,ステップS36の処理については後述する。
In a situation where the evaluation value H has already been set in step S33, the
ステップS22において、制御部15は、ライブビュー画像(撮影画像データ)を揮発記録部18から取得する。
In step S <b> 22, the
ステップS23において、制御部15は、パターンマッチングテーブルを用いて、注目被写体を指定する。このとき、制御部15は、ステップS22にて取得したライブビュー画像と、不揮発記録部17又は他のメモリに予め記録させたパターンマッチングテーブルとを比較する。このパターンマッチングテーブルは、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む注目被写体となるべくもののパターン画像がテーブル化されてなる。そして、何れかのパターン画像とライブビュー画像内の被写体画像とが略合致した場合に、当該パターン画像の注目被写体がライブビュー画像内に含まれていることを判定できる。このようなパターンマッチング処理によって、制御部15は、ライブビュー画像に含まれている注目被写体を指定する。制御部15は、指定した注目被写体の画像データを、後述する注目被写体の各種情報と対応付けられる検出被写体テーブルに書き込む。この検出被写体テーブルは、例えば図4のように、注目被写体番号(1,2,3,・・・)に対応した分類情報、位置情報、面積情報が格納可能に構成されて、揮発記録部18に格納される。
In step S23, the
なお、この注目被写体の指定処理は、ライブビュー画像に含まれる注目被写体を手動で指定できるようにしても良い。例えば、制御部15は、キー入力部16の移動釦16c及び決定釦16dに対して操作が行われて、ライブビュー画像内の位置が指定された操作信号を入力した時に、当該ライブビュー画像内の位置を含む被写体とパターン画像とをマッチング処理する。そして、制御部15は、マッチング処理の結果得られた被写体を注目被写体とすることができる。
Note that this target subject designation processing may be such that the target subject included in the live view image can be manually designated. For example, when the
次に制御部15は、ステップS24〜ステップS26にて注目被写体の撮影状態を判断する。
Next, the
ステップS24において、ステップS23にて指定された注目被写体の画像内面積を取得し、ステップS25において、ステップS23にて指定された注目被写体の画像内位置を取得し、ステップS26において、ステップS23にて指定された注目被写体の分類を取得する。なお、ステップS24〜ステップS26の処理順序は問わない。制御部15は、ステップS24にて取得した注目被写体の画像内面積情報、ステップS25にて取得した注目被写体の画像内位置情報、ステップS26にて取得した注目被写体の分類情報を、ステップS23にて作成した検出被写体テーブルに格納する。このような検出被写体テーブルに格納された注目被写体の撮影状態は、画像内位置及びサイズと、分類とによって判断されて、構図パターンデータを決定するための情報となる。
In step S24, the area within the image of the subject of interest designated in step S23 is acquired. In step S25, the position of the subject of interest designated in step S23 is obtained. In step S26, in step S23. Get the classification of the specified subject of interest. In addition, the processing order of step S24-step S26 is not ask | required. In step S23, the
ここで、ステップS24における注目被写体の画像内面積を取得する処理は、ライブビュー画像の面積に対して注目被写体が占める割合であっても良い。また、ステップS25における注目被写体の位置を取得する処理は、注目被写体の中心位置でも良いが、その他に注目被写体の端部位置であっても良い。 Here, the process of obtaining the image area of the subject of interest in step S24 may be the ratio of the subject of interest to the area of the live view image. Further, the process of acquiring the position of the subject of interest in step S25 may be the center position of the subject of interest, or may be the end position of the subject of interest.
ステップS26にて注目被写体の分類は、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む分類群のうちの少なくとも2つからなるものとする。この注目被写体の分類は、ステップS23にて検出被写体とマッチングしたパターン画像の種類に応じて決定される。 In step S26, the target subject is classified into at least two of a classification group including sky, sea, green space, tree, grass, person, face, building, vehicle, and road. The classification of the subject of interest is determined according to the type of pattern image matched with the detected subject in step S23.
また、制御部15は、注目被写体が人物である場合には、当該注目被写体の分類を、人物の顔の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも2つからなる分類詳細データを取得する。ここで、制御部15は、人物についての分類情報を取得する時には、ステップS23にて検出被写体テーブルに格納した注目被写体の画像データに対して既存の解析処理を施すことにより、各種の分類情報を取得する。
In addition, when the subject of interest is a person, the
このようなステップS22〜ステップS26の処理を行うことにより、例えば図14(a)に示すようなライブビュー画像に対して、図5に示すような検出被写体テーブルを作成することができる。 By performing the processing in steps S22 to S26, for example, a detected subject table as shown in FIG. 5 can be created for a live view image as shown in FIG.
次のステップS27において、制御部15は、ライブビュー画像内の全ての注目被写体を検出したか否かを判定する。このとき、制御部15は、ライブビュー画像に含まれる全ての領域に注目被写体が割り当てられているか否かを判定する。全ての注目被写体を検出していない場合にはステップS23に処理を戻し、全ての注目被写体を検出したと判定した場合には、ステップS28に処理を進める。このように、撮像装置1は、ステップS23からステップS27の処理を繰り返して複数の注目被写体を検出すると共に、複数の注目被写体の撮影状態を判断する。そして、ステップS28以降においては、複数の注目被写体の状態に基づいて撮影構図を選択する処理に移行する。
In the next step S27, the
ステップS28において、制御部15は、撮影構図パターン記録部172に記録された検索インデックステーブルを用いて、撮影構図のインデックス番号を取得する。この検索インデックステーブルは、例えば図6に示すようにインデックス番号と検索インデックスと注目被写体の分類情報とで構成されている。そして、制御部15は、検出被写体テーブルに登録されている分類情報を参照して、どのインデックス番号に該当するかを判断する。例えば図5に示す検出被写体テーブルを参照した場合には、図6におけるインデックス番号の「1」、「2」が取得される。
In step S <b> 28, the
次のステップS29において、制御部15は、ステップS28にて取得したインデックス番号と、撮影構図パターン記録部172に記録された構図パターンテーブルとに基づいて、構図パターンテーブルに格納された構図パターンデータを取得する。このとき、制御部15は、ステップS28にて例えば図6に示すインデックス番号「1」、「2」が取得されている場合、図7に示す構図パターンテーブルを参照して、インデックス番号「1」、「2」に対応付けられた構図パターンデータを取得することができる。
In the next step S29, the
ここで、構図パターンテーブルには、インデックス番号に対応付けられて評価値H、構図パターン名、構図パターンデータが対応付けられている。評価値Hは、撮影構図を使用する優先順位を示す。この評価値Hは、予め設計者により設定されている。この評価値Hの値が小さいほど優先順位が高いことを示す。 Here, in the composition pattern table, the evaluation value H, the composition pattern name, and the composition pattern data are associated with the index number. The evaluation value H indicates the priority order in which the shooting composition is used. This evaluation value H is set in advance by the designer. A smaller evaluation value H indicates a higher priority.
そして、制御部15は、図7に示す構図パターンテーブルから構図パターンデータを取得した場合には、図8に示すような構図パターン登録テーブルを作成して、揮発記録部18に記録する。この図8に示す構図パターン登録テーブルには、図9に示すように、図7の構図パターンテーブルから取得したインデックス番号、評価値H、構図パターン名、構図パターンデータが登録されることとなる。
Then, when acquiring the composition pattern data from the composition pattern table shown in FIG. 7, the
次のステップS30において、制御部15は、ステップS22〜S26にて取得した各情報に対して、検出被写体テーブルに登録されている分類詳細データに合致するものがあるか否かを判定する。合致する分類詳細データが登録されていない場合にはステップS31に処理を進め、分類詳細データが登録されている場合にはステップS32に処理を進める。
In the next step S30, the
ステップS31において、制御部15は、評価値Hを「1」に設定して、ステップS35に処理を進める。
In step S31, the
また、ステップS32において、制御部15は、注目被写体の撮影状態を表す分類詳細データに基づいて、当該分類詳細データで表された注目被写体の撮影状態から最もふさわしい構図パターンデータの評価値Hを設定する。このステップS32の処理を具体的に説明する。
In step S32, the
ステップS23にて注目被写体として青空を検出した場合、ステップS26にて、制御部15は、図10に示すような分類詳細データテーブルに対して、図11に示すように分類詳細データを格納する。ここで、分類詳細データは、位置、面積、色を表す状態情報である。ステップS23にて注目被写体として人物を検出した場合、ステップS26にて、制御部15は、図12に示すような分類詳細データテーブルに対して、図13に示すように分類詳細データを格納する。ここで、分類詳細データは、人物の性別、年齢層、表情、顔の向き、眼の開閉状態、目線を表す状態情報である。そして、制御部15は、分類詳細データに基づく注目被写体の撮影状態から、ステップS29にて取得された構図パターンデータに対応した評価値Hを設定する。
When the blue sky is detected as the subject of interest in step S23, in step S26, the
例えば、注目被写体として青空が検出されていた場合には、ステップS28及びステップS29の処理により、図14(a)〜(c)のような3つの構図パターンデータ100が取得される。この構図パターンデータ100は、木101、空102、緑地103からなるものである。図14(a)に示す構図パターンデータは評価値Hが「1」であり、図14(b)に示す構図パターンデータは評価値Hが「2」であり、図14(c)に示す構図パターンデータは評価値Hが「3」である。そして、制御部15は、図11に示す分類詳細データに基づいて、画像内上部に面積が20%で存在する青空であるという撮影状態と判断した場合には、検出被写体テーブルに登録されている分類詳細データに基づいて、評価値Hを「2」に設定する。その結果、図14(a)〜(c)に示す構図パターンデータとして図14(b)が選択されるようにする。
For example, when a blue sky is detected as the subject of interest, three
また、注目被写体として人の顔が検出されていた場合には、ステップS28及びステップS29の処理により、図15(a)〜(c)のような構図パターンデータ100が取得される。この構図パターンデータ100は、人物の顔110を含むものである。図15(a)に示す構図パターンデータは評価値Hが「1」であり、図15(b)に示す構図パターンデータは評価値Hが「2」であり、図15(c)に示す構図パターンデータは評価値Hが「3」である。そして、制御部15は、図13に示す分類詳細データに基づいて、目線が左上であるという撮影状態と判断した場合には、検出被写体テーブルに登録されている分類詳細データに基づいて、評価値Hを「1」に設定する。その結果、図15(a)〜(c)に示す構図パターンデータとして図15(a)が選択されるようにする。
Further, when a human face is detected as the subject of interest,
次のステップS35において、制御部15は、撮影構図画像をライブビュー画像に重畳させるための詳細設定を示す重畳詳細データを決定する。この重畳詳細データは、撮影画像の撮像条件や、メイン表示部22に評価値H等を表示させる各種のインジゲータなどである。このとき、制御部15は、撮影構図画像を表示させる設定情報を読み出す。この撮影構図画像を表示させる設定情報としては、撮影構図画像の色、線の太さなどが挙げられる。
In the next step S35, the
次のステップS36において、制御部15は、ステップS35にて設定した重畳詳細データと評価値Hとに基づいて、ライブビュー画像に重畳させる構図を表す画像である構図パターンデータを設定する。このとき、制御部15は、評価値Hに対応した構図パターンデータを、撮影構図パターン記録部172より読み出す。そして、制御部15は、読み出した構図パターンデータをメイン表示処理部21に出力する。メイン表示処理部21は、構図パターンデータが制御部15から供給されると、当該揮発記録部18に記録されているライブビュー画像に撮影構図画像を重畳させて、メイン表示部22に表示させる。
In the next step S36, the
このように撮像装置1は、注目被写体の撮影状態を表す分類詳細データを参照して、複数の構図パターンデータのうちで、注目被写体の撮影状態に基づいて最も妥当性の高いと推定される構図パターンデータを優先的に選択して表示させることができる。
As described above, the
なお、撮像装置1は、撮影構図をライブビュー画像に重畳して表示させると共に、図示しないスピーカ部を駆動して音声によって撮影構図を指示しても良い。このとき撮像装置1は、注目被写体と撮影構図画像との差異を演算し、当該差異を小さくするために、例えば「カメラを右(又は左、上、下)へ向けてください」、「ズームイン(又はズームアウト)してください」との音声を出力する。
Note that the
また、ステップS36における撮影構図パターンを決定する処理は、撮影構図パターン記録部172に記録された複数の撮影構図パターンのうちから一部(所定数)の撮影構図パターンを選択し、当該選択された一部の撮影構図パターンから何れかの撮影構図パターンを決定しても良い。例えば、制御部15は、撮影画像全体に対する注目被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスといった状態に基づいて、所定数の撮影構図を絞り込む。このように所定数の構図を絞り込んで、その後に何れかの撮影構図を選択させることによって、ユーザの意図に沿った撮影構図を選択させることができる。
In step S36, the shooting composition pattern is determined by selecting a part (predetermined number) of shooting composition patterns from the plurality of shooting composition patterns recorded in the shooting composition
例えば、制御部15によって、絞り込んだ撮影構図をメイン表示部22に表示させる。このとき、制御部15は、撮影構図をうちの一つ又はサムネイル画像として複数の撮影構図を表示する。撮影構図を一つずつ表示させる場合、制御部15は、撮影画像に、撮影構図の輪郭を重畳させて表示させても良い。
For example, the
次に、制御部15によって、メイン表示部22に表示させた撮影構図のうちで何れかの撮影構図を決定する。このとき制御部15は、キー入力部16に対するユーザの選択操作によって一つの撮影構図が選択されたことに応じて、実際に案内を行う撮影構図に決定する。また、制御部15は、キー入力部16の操作にはよらずに、自動的に一つの撮影構図を決定しても良い。この自動的に一つの撮影構図を選択する場合、制御部15は、上述したような評価値Hを用いて構図パターンデータを選択できる。また、制御部15は、自動的に又は手動で一つの撮影構図を選択した場合であっても、手動によるキー入力部16の操作に従って、他の撮影構図に変更することもできる。
Next, one of the photographic compositions displayed on the
以上詳細に説明したように、本発明を適用した撮像装置1によれば、ライブビュー画像に含まれている注目被写体の状態に基づいて、複数の撮影構図パターンのうち当該注目被写体を含む画像全体における撮影構図を選択するので、撮影画像用の構図の選択をより簡単に行うことができる。
As described above in detail, according to the
また、この撮像装置1によれば、複数の注目被写体の状態を認識し、複数の注目被写体の各状態に基づいて撮影構図を選択することができる。すなわち、各注目被写体の分類詳細データを用いて、一つの構図パターンデータを選択することができ、選択する撮影構図の妥当性を向上させることができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Further, according to the
更に、この撮像装置1によれば、注目被写体の状態を、当該注目被写体の画像内位置及びサイズといった分類詳細データと、分類とに基づいて判断して、撮影構図を決定することができるので、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
更にまた、この撮像装置1によれば、注目被写体の分類を、空、海、緑地、木、草、人物、顔、建物、車両、道路を含む分類群のうちの少なくとも2つからなるものとすることが好ましく、これにより最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
更にまた、この撮像装置1によれば、注目被写体の分類を、人物の性別、年齢層、表情、顔の向き、眼の開閉状態のうちの少なくとも2つからなるものとすることが好ましく、これにより、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
更にまた、この撮像装置1によれば、注目被写体のサイズを、撮影画像の面積に対する注目被写体の面積の割合に基づいて判断することが好ましく、これにより、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
更にまた、この撮像装置1によれば、ライブビュー画像に、選択された撮影構図を表す画像を重畳させて表示するので、撮影構図に従って撮像を行うことができる。
Furthermore, according to the
更にまた、この撮像装置1によれば、撮影構図パターン記録部172に記録された複数の撮影構図パターンのうちから一部の撮影構図を選択し、当該選択された一部の撮影構図から何れかの撮影構図を決定する。これにより、多数の撮影構図パターンを用意しておくと正確に好ましい撮影構図を選択することが困難となるが、段階的に撮影構図を選択して、最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
更にまた、この撮像装置1によれば、多数の撮影構図パターンから選択した一部の撮影構図パターンをメイン表示部22に表示させ、ユーザの選択操作に従って何れかの撮影構図を決定するので、より妥当性の高い撮影構図を選択することができる。
Furthermore, according to the
更にまた、この撮像装置1によれば、撮影構図パターンを決定した後に、ユーザの選択操作に従って他の撮影構図に変更することができるので、より最適な撮影構図を選択することができる。
Furthermore, according to the
更にまた、この撮像装置1によれば、多数の撮影構図パターンから選択した一部の撮影構図から、自動的に何れかの撮影構図を決定するので、より最適な撮影構図を選択することができる。また、ユーザが撮影構図を選択する手間を省くことができ、撮影構図の選択がより簡単となる。
Furthermore, according to the
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
すなわち、上述した撮像装置1は、ユーザの音声などを認識して撮影構図の選択をしても良い。これにより、ユーザの意志を反映した妥当性の高い撮影構図を選択することができる。
That is, the
また、撮像装置1は、温度を検出するサーミスタを備えて、当該温度に基づいて最適な撮影構図を選択しても良い。これにより、撮影構図を選択ミスを少なくすることができる。更に、撮像装置1は、現在の時刻を検出して、当該時刻に基づいて最適な撮影構図を選択しても良い。これにより、撮影構図を選択ミスを少なくすることができる。更にまた、この撮像装置1は、当該撮像装置1の位置を検出する位置検出装置を備え、当該現在位置に応じて撮影構図を選択してもよく、これにより、撮影構図を選択ミスを少なくすることができる。更にまた、この撮像装置1は、当該撮像装置1の姿勢を検出する姿勢検出装置を備え、当該姿勢に応じて撮影構図を選択してもよく、これにより、撮影構図を選択ミスを少なくすることができる。
Further, the
1 撮像装置
11 撮像光学系
12 撮像部
13 撮像処理部
14 メモリカード部
15 制御部
16 キー入力部
16a シャッター釦
16b メニュー釦
16c 移動釦
16d 決定釦
17 プログラムメモリ
18 データメモリ
19 撮影構図パターン記録部
20 画像圧縮部
21 メイン表示処理部
22 メイン表示部
100 構図パターンデータ
DESCRIPTION OF
Claims (5)
撮影画像を取得する画像取得手段と、
当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、
当該被写体検出手段により検出された注目被写体の第1の撮影状態と、この第1の撮影状態とは異なる第2の撮影状態を判断する状態判断手段と、
前記状態判断手段によって判断された前記注目被写体の前記第1の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択手段と、
前記第1の構図選択手段により表示された所定数の構図から、前記第2の撮影状態に基づいて特定の構図を選択する第2の構図選択手段と
を備えることを特徴とする構図選択装置。 Composition recording means for recording a plurality of compositions in advance;
Image acquisition means for acquiring a captured image;
Subject detection means for detecting a subject of interest included in the captured image acquired by the image acquisition means;
State determination means for determining a first shooting state of the subject of interest detected by the subject detection means and a second shooting state different from the first shooting state ;
First composition selection means for selecting a predetermined number of compositions from a plurality of compositions recorded in the composition recording means based on the first shooting state of the subject of interest determined by the state determination means;
2. A composition selection device comprising: a second composition selection unit that selects a specific composition from a predetermined number of compositions displayed by the first composition selection unit based on the second shooting state .
撮影画像を取得する画像取得工程と、 An image acquisition process for acquiring a captured image;
前記取得された撮影画像に含まれている注目被写体を検出する被写体検出工程と、 A subject detection step of detecting a subject of interest included in the acquired captured image;
前記検出された注目被写体の第1の撮影状態を判断する第1の状態判断工程と、 A first state determination step of determining a first shooting state of the detected subject of interest;
前記判断された前記注目被写体の第1の撮影状態に基づいて、構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択工程と、 A first composition selection step of selecting a predetermined number of compositions from a plurality of compositions recorded in the composition recording means based on the determined first shooting state of the subject of interest;
前記検出された注目被写体の前記第1の撮影状態とは異なる第2の撮影状態を判断する第2の状態判断工程と、 A second state determination step of determining a second shooting state different from the first shooting state of the detected subject of interest;
前記選択された所定数の構図から、前記第2の撮影状態に基づいて特定の構図を選択する第2の構図選択工程と A second composition selection step of selecting a specific composition from the selected predetermined number of compositions based on the second shooting state;
を備えることを特徴とする構図選択方法。 A composition selection method comprising the steps of:
予め複数の構図を記録した構図記録手段と、 Composition recording means for recording a plurality of compositions in advance;
撮影画像を取得する画像取得手段と、 Image acquisition means for acquiring a captured image;
当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、 Subject detection means for detecting a subject of interest included in the captured image acquired by the image acquisition means;
当該被写体検出手段により検出された注目被写体の撮影状態を判断する状態判断手段と、 State determination means for determining the shooting state of the subject of interest detected by the subject detection means;
前記状態判断手段によって判断された前記注目被写体の第1の撮影状態に基づいて、前記構図記録手段に記録された複数の構図から、所定数の構図を選択する第1の構図選択手段と、 First composition selection means for selecting a predetermined number of compositions from a plurality of compositions recorded in the composition recording means based on the first shooting state of the subject of interest determined by the state determination means;
前記第1の構図選択手段により表示された所定数の構図から、前記状態判断手段によって判断された前記第1の撮影状態とは異なる第2の撮影状態に基づいて特定の構図を選択する第2の構図選択手段 A second composition is selected from a predetermined number of compositions displayed by the first composition selection means based on a second photographing state different from the first photographing state determined by the state determination means. Composition selection means
として機能させることを特徴とするプログラム。 A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008246619A JP5217843B2 (en) | 2008-09-25 | 2008-09-25 | Composition selection apparatus, composition selection method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008246619A JP5217843B2 (en) | 2008-09-25 | 2008-09-25 | Composition selection apparatus, composition selection method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010081246A JP2010081246A (en) | 2010-04-08 |
JP2010081246A5 JP2010081246A5 (en) | 2011-11-04 |
JP5217843B2 true JP5217843B2 (en) | 2013-06-19 |
Family
ID=42211201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008246619A Expired - Fee Related JP5217843B2 (en) | 2008-09-25 | 2008-09-25 | Composition selection apparatus, composition selection method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5217843B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5257157B2 (en) * | 2009-03-11 | 2013-08-07 | ソニー株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM |
KR102159803B1 (en) * | 2018-10-11 | 2020-09-24 | 강산 | Apparatus and program for guiding composition of picture |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203863A (en) * | 2004-12-24 | 2006-08-03 | Fuji Photo Film Co Ltd | Imaging system and imaging method |
JP5164327B2 (en) * | 2005-12-26 | 2013-03-21 | カシオ計算機株式会社 | Imaging apparatus and program |
JP4493632B2 (en) * | 2006-08-10 | 2010-06-30 | 富士フイルム株式会社 | Trimming apparatus and method, and program |
-
2008
- 2008-09-25 JP JP2008246619A patent/JP5217843B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010081246A (en) | 2010-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056061B2 (en) | Imaging device | |
JP4457358B2 (en) | Display method of face detection frame, display method of character information, and imaging apparatus | |
JP4761146B2 (en) | Imaging apparatus and program thereof | |
JP4645685B2 (en) | Camera, camera control program, and photographing method | |
US8570422B2 (en) | Apparatus, method, and recording medium containing program for photographing | |
JP4787180B2 (en) | Imaging apparatus and imaging method | |
JP4577252B2 (en) | Camera, best shot shooting method, program | |
US8830374B2 (en) | Image capture device with first and second detecting sections for detecting features | |
JP5293206B2 (en) | Image search apparatus, image search method and program | |
JP2013013050A (en) | Imaging apparatus and display method using imaging apparatus | |
US20070237513A1 (en) | Photographing method and photographing apparatus | |
JP2011182252A (en) | Imaging device, and image imaging method | |
JP4957263B2 (en) | Imaging apparatus, imaging method, and program thereof | |
JP4621992B2 (en) | Imaging apparatus and imaging method | |
WO2017086065A1 (en) | Image-capturing device and method of controlling same | |
WO2016194646A1 (en) | Imaging auxiliary device, and imaging device | |
JP5206422B2 (en) | Composition selection device and program | |
JP4842919B2 (en) | Display device, photographing device, and display method | |
JP2008288797A (en) | Imaging apparatus | |
KR101613617B1 (en) | Apparatus and method for digital picturing image | |
JP5569361B2 (en) | Imaging apparatus and white balance control method | |
JP5217843B2 (en) | Composition selection apparatus, composition selection method and program | |
JP2010252374A (en) | Camera, art of shooting great photographs, and programs | |
JP2010103672A (en) | Imaging device | |
JP4877186B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5217843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |