JP4769693B2 - Imaging apparatus, method, and program - Google Patents
Imaging apparatus, method, and program Download PDFInfo
- Publication number
- JP4769693B2 JP4769693B2 JP2006311619A JP2006311619A JP4769693B2 JP 4769693 B2 JP4769693 B2 JP 4769693B2 JP 2006311619 A JP2006311619 A JP 2006311619A JP 2006311619 A JP2006311619 A JP 2006311619A JP 4769693 B2 JP4769693 B2 JP 4769693B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- shooting
- imaging
- entire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は撮像装置、方法、およびプログラムに係り、特に動的に撮像素子の駆動範囲を変更して撮影することが可能であり、複数の画像の中から所望の人物を含む画像を検索する撮像装置、方法、およびプログラムに関する。 The present invention relates to an imaging apparatus, method, and program, and in particular, imaging capable of dynamically changing an imaging element drive range and capturing an image including a desired person from a plurality of images. The present invention relates to an apparatus, a method, and a program.
複数の画像データの中から人物の顔画像を含む画像データを検索し、検索されて表示された画像データの中から顔画像データを抽出して基準顔画像データとし、その基準顔画像データを含む画像データを検索する技術が提案されている。
しかしながら上記のシステムにおいては、基準顔画像データを含む画像データを検索する際、検索するたびに検索対象の画像データから顔検出を行っており、処理が煩雑であるという欠点があった。 However, in the above system, when searching for image data including reference face image data, face detection is performed from the image data to be searched every time the search is performed, and there is a disadvantage that the processing is complicated.
本発明はこのような事情に鑑みてなされたもので、検索対象の複数の画像から、指定された人物の顔を含む画像を検索する際の処理を簡単にでき、容易に検索することができる撮像装置を提供する。 The present invention has been made in view of such circumstances, and can easily and easily perform processing when searching for an image including a face of a designated person from a plurality of images to be searched. An imaging device is provided.
前記目的を達成するために本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を画像データに変換する撮像手段と、前記画像データの中から人物の顔領域を検出する顔検出手段と、撮像素子の駆動範囲を動的に変更する撮像駆動変更手段と、撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出手段によって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更手段を用いて顔画像として撮影する撮影手段と、前記撮影手段により撮影された全体画像と顔画像を関連付けて記憶する記憶手段と、前記記憶手段によって記憶された全体画像を再生表示する再生表示手段と、前期再生表示手段によって再生表示された全体画像の中から任意の顔を指定する顔指定手段と、前記顔指定手段によって指定された顔と同一人物の顔画像を、前記記憶手段によって記憶された顔画像の中から抽出する顔画像抽出手段と、を備え、前記顔画像抽出手段によって抽出された顔画像と関連付けられた全体画像を前記再生表示手段により再生表示することを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging unit that converts a subject image received through an imaging lens into image data, and a face detection unit that detects a human face area from the image data. And an imaging drive changing means for dynamically changing the drive range of the imaging device, and a subject image including the face area detected by the face detection means while taking the entire subject image as a whole image based on a shooting instruction. Photographing means for photographing a part of the image as a face image using the imaging drive changing means, storage means for storing the whole image photographed by the photographing means and the face image in association with each other, and the whole image stored by the storage means Reproduction display means for reproducing and displaying, face designation means for designating an arbitrary face from the whole image reproduced and displayed by the previous period reproduction display means, and the face designation means A face image extracting means for extracting a face image of the same person as the designated face from the face images stored by the storage means, and is associated with the face image extracted by the face image extracting means The entire image is reproduced and displayed by the reproduction display means.
これにより、指定された顔と同一人物を含む全体画像を検索する際に、全体画像から顔検出を行う必要がなく、顔画像の中から同一人物の抽出を行えばよいため、検索の際の処理を簡単にでき、容易に検索することができる。 As a result, when searching for an entire image including the same person as the designated face, it is not necessary to detect the face from the entire image, and the same person can be extracted from the face image. Processing can be simplified and search can be easily performed.
撮影感度と焦点と露出とホワイトバランスを含む撮影パラメータを調整する撮影パラメータ調整手段を備え、前記撮影パラメータ調整手段は、前記撮影手段によって撮影される顔画像が、被写体の環境条件に依存せずに基準となる画質となるように各パラメータを自動的に調整してもよい。 A shooting parameter adjusting unit that adjusts shooting parameters including shooting sensitivity, focus, exposure, and white balance, and the shooting parameter adjusting unit is configured so that the face image shot by the shooting unit does not depend on environmental conditions of a subject; Each parameter may be automatically adjusted so as to obtain a reference image quality.
これにより、検索の基準及び対象となる顔画像が撮影時の環境条件に寄らずに一定の画質で記憶されるため、検索の際の処理を簡単にでき、容易に検索することができる。 As a result, the search criteria and the target face image are stored with a constant image quality regardless of the environmental conditions at the time of shooting, so that the search process can be simplified and can be easily searched.
撮影した画像の回転とサイズ変更を行う画像加工手段を備え、前記画像加工手段は、前記記憶手段によって記憶される顔画像が、基準となる傾きと大きさになるように自動的に画像を加工してもよい。 Image processing means for rotating and changing the size of the photographed image is provided, and the image processing means automatically processes the face image stored in the storage means so that the inclination and size become a reference. May be.
これにより、検索の基準及び対象となる顔画像が撮影時の環境条件に寄らずに一定の傾きと大きさで記憶されるため、検索の際の処理を簡単にでき、容易に検索することができる。 As a result, the search criteria and the target face image are stored with a certain inclination and size without depending on the environmental conditions at the time of shooting, so the processing at the time of the search can be simplified and can be easily searched. it can.
撮影前に予め前記顔指定手段により指定された顔と、撮影時に前記顔検出手段により検出された顔領域の顔とが、同一人物であるかどうかを判定する顔判定手段を備え、前記顔判定手段が同一人物であると判断した場合は、前記撮影パラメータ調整手段は、その顔領域に対して最適な撮影パラメータを設定してもよい。 Face determination means for determining whether a face designated in advance by the face designation means before photographing and a face in the face area detected by the face detection means at the time of photographing are the same person; When it is determined that the means are the same person, the photographing parameter adjusting means may set an optimum photographing parameter for the face area.
これにより、撮影したい人物に対して最適な撮影パラメータを、自動的に得ることができる。 As a result, it is possible to automatically obtain optimum shooting parameters for a person who wants to shoot.
前記目的を達成するために本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を画像データに変換する撮像ステップと、前記画像データの中から人物の顔領域を検出する顔検出ステップと、撮像素子の駆動範囲を動的に変更する撮像駆動変更ステップと、撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出ステップによって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更ステップを用いて顔画像として撮影する撮影ステップと、前記撮影ステップにより撮影された全体画像と顔画像を関連付けて記憶する記憶ステップと、前記記憶ステップによって記憶された全体画像を再生表示する再生表示ステップと、前期再生表示ステップによって再生表示された全体画像の中から任意の顔を指定する顔指定ステップと、前記顔指定ステップによって指定された顔と同一人物の顔画像を、前記記憶ステップによって記憶された顔画像の中から抽出する顔画像抽出ステップと、を備え、前記顔画像抽出ステップによって抽出された顔画像と関連付けられた全体画像を前記再生表示ステップにより再生表示することを特徴とする。 In order to achieve the above object, an imaging method according to the present invention includes an imaging step for converting a subject image received through an imaging lens into image data, and a face detection step for detecting a human face area from the image data. An imaging drive change step for dynamically changing the drive range of the imaging device, and an entire subject image as a whole image based on a shooting instruction, and a subject image including the face area detected by the face detection step A step of photographing a part of the image as a face image using the imaging drive changing step, a storage step of storing the whole image photographed by the photographing step in association with the face image, and the whole image stored by the storage step A playback display step for playback and display, and an arbitrary face from the entire image played and displayed by the previous playback display step A face designation step for designating, and a face image extraction step for extracting a face image of the same person as the face designated by the face designation step from the face images stored by the storage step, The whole image associated with the face image extracted in the extraction step is reproduced and displayed in the reproduction display step.
前記目的を達成するために本発明に係る撮像方法をコンピュータに実行させるプログラムは、撮像レンズを介して受光した被写体像を画像データに変換する撮像ステップと、前記画像データの中から人物の顔領域を検出する顔検出ステップと、撮像素子の駆動範囲を動的に変更する撮像駆動変更ステップと、撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出ステップによって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更ステップを用いて顔画像として撮影する撮影ステップと、前記撮影ステップにより撮影された全体画像と顔画像を関連付けて記憶する記憶ステップと、前記記憶ステップによって記憶された全体画像を再生表示する再生表示ステップと、前期再生表示ステップによって再生表示された全体画像の中から任意の顔を指定する顔指定ステップと、前記顔指定ステップによって指定された顔と同一人物の顔画像を、前記記憶ステップによって記憶された顔画像の中から抽出する顔画像抽出ステップと、を備え、前記顔画像抽出ステップによって抽出された顔画像と関連付けられた全体画像を前記再生表示ステップにより再生表示することを特徴とする。 In order to achieve the above object, a program for causing a computer to execute an imaging method according to the present invention includes: an imaging step of converting a subject image received through an imaging lens into image data; and a human face area from the image data A face detection step for detecting the image, an imaging drive change step for dynamically changing the drive range of the image sensor, and the entire subject image is captured as a whole image based on a shooting instruction, and detected by the face detection step. A shooting step of shooting a part of a subject image including a face area as a face image using the shooting drive changing step, a storing step of storing the whole image shot by the shooting step and the face image in association with each other, and the storing step; The playback display step for playing back and displaying the entire image stored by the A face designating step for designating an arbitrary face from the displayed whole image, and a face image of the same person as the face designated by the face designating step are extracted from the face images stored by the storing step. A face image extraction step, wherein the whole image associated with the face image extracted by the face image extraction step is reproduced and displayed by the reproduction display step.
本発明によれば、指定された顔と同一人物を含む全体画像を検索する際に、全体画像から顔検出を行う必要がなく、顔画像の中から同一人物の抽出を行えばよく、また顔画像が撮影時の環境条件に寄らずに一定の画質、向き、大きさで記憶されているため、検索の際の処理を簡単にでき、容易に検索することができる。 According to the present invention, when searching for an entire image including the same person as the designated face, it is not necessary to detect the face from the entire image, and the same person can be extracted from the face image. Since the image is stored with a constant image quality, orientation, and size regardless of the environmental conditions at the time of shooting, the processing during the search can be simplified and can be easily performed.
以下、添付図面に従って本発明に係る撮像装置の第１の実施の形態について説明する。 Hereinafter, a first embodiment of an imaging apparatus according to the present invention will be described with reference to the accompanying drawings.
図１（ａ）は本発明に係る撮像装置（デジタルカメラ）１を正面から見た図であり、同図１（ｂ）デジタルカメラ１を背面から見た図である。 FIG. 1A is a view of an imaging apparatus (digital camera) 1 according to the present invention as seen from the front, and FIG. 1B is a view of the digital camera 1 as seen from the back.
このデジタルカメラ１は、静止画の撮影、動画の撮影及び撮影した画像を再生する機能を備えており、前面には、レリーズＳＷ２、ファインダー３、及び撮像レンズ４が、背面にはファインダー３の他、撮影モード切替ＳＷ５、ズームＳＷ６、十字キー７、メニュー／ＯＫボタン８、及び画像表示装置９が設けられている。
The digital camera 1 has a function of capturing a still image, capturing a moving image, and playing back the captured image. A release SW 2, a viewfinder 3, and an imaging lens 4 are provided on the front surface, and the viewfinder 3 is provided on the rear surface. A photographing mode switching SW5, a zoom SW6, a cross key 7, a menu / OK button 8, and an
撮影モード切替ＳＷ５は、ＳＷの位置を変更することにより、オート撮影モード、マニュアル撮影モード、人物モード、風景モード及び夜景モード等の選択が可能なシーンポジション、動画撮像モード、及び画像再生モードのうちのいずれかを設定できるようになっている。 The shooting mode switch SW5 includes a scene position, a moving image shooting mode, and an image reproduction mode that can be selected from an auto shooting mode, a manual shooting mode, a portrait mode, a landscape mode, and a night view mode by changing the SW position. Any one of can be set.
また、レリーズＳＷ２は、半押し時にＯＮしてフォーカスロック、測光等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。 The release SW 2 includes a switch S 1 that is turned on when half-pressed to perform shooting preparation such as focus lock and photometry, and a switch S 2 that is turned on when fully pressed to capture an image.
画像表示装置９は、動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）やカメラに装填されたメモリカードから読み出した再生画像等を表示することができる。
The
また画像表示装置９は、ホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をメニュー／ＯＫボタン８の操作に応じて表示させ、十字キー７、及びメニュー／ＯＫボタン８の操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。更に、画像表示装置９は、後述するように顔領域のフレーム表示等も行う。
The
図２は図１に示したデジタルカメラ１の内部構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the internal configuration of the digital camera 1 shown in FIG.
デジタルカメラ１は、前述したレリーズＳＷ２、撮影モード切替ＳＷ５、ズームＳＷ６、十字キー７、及びメニュー／ＯＫボタン８を含む操作部１４、画像表示装置９の他、ＣＭＯＳセンサー１１、アナログ・フロントエンド回路１２、信号処理ＬＳＩ２１、記録メディア１３、から構成され、信号処理ＬＳＩ２１は、ＣＰＵ２２、ＲＡＭ２３、デジタル信号処理回路２４、表示系回路２５、メディア制御回路２６、Ａ／Ｄ変換器２７から構成されている。
The digital camera 1 includes a release sensor SW2, a shooting mode switch SW5, a zoom switch SW6, a cross key 7, and an
信号処理ＬＳＩ２１は、操作部１４からの入力の処理、アナログ・フロントエンド回路１２からの信号処理、画像表示装置９への表示出力、記録メディア１３へのデータ記録等の、図示しないＲＯＭに格納された制御プログラムに従った処理を実行する。
The
撮影スタンバイ状態では、ＣＰＵ２２は、画像表示装置９に動画（スルー画）を表示させる。ユーザ（撮影者）は、画像表示装置９に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
In the photographing standby state, the
上記撮影スタンバイ状態時にレリーズＳＷ２が押されると、Ａ／Ｄ変換器２７はこのスイッチ操作をデジタル信号に変換し、ＣＰＵ２２に入力する。これに伴いＣＰＵ２２はフォーカス制御、測光、露出制御を行い、ＣＭＯＳセンサー１１の受光面上に被写体像を結像させる。ＣＭＯＳセンサー１１は、受光面に結像された被写体像に対し、その光量に応じた電荷を蓄積し、増幅して電圧信号に変換する。
When the release SW 2 is pressed in the photographing standby state, the A /
ＣＭＯＳセンサー１１から出力された電圧信号は、アナログ・フロントエンド回路１２内で相関二重サンプリングや増幅等のアナログ処理が施された後Ａ／Ｄ変換され、各画素ごとのデジタルのＲ、Ｇ、Ｂ信号に変換される。これらのＲ、Ｇ、Ｂ信号は、一旦信号処理ＬＳＩ２１のＲＡＭ２３に格納される。
The voltage signal output from the
デジタル信号処理回路２４は、上記ＲＡＭ２３に格納されたＲ、Ｇ、Ｂの生データを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成し、更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し、そのＹＣ信号を再びＲＡＭ２３に格納する。
The digital
上記のようにしてＲＡＭ２３に格納されたＹＣ信号は、所定のフォーマットに圧縮されたのち、メディア制御回路２６を介してデジタルカメラ１に着脱自在な記録メディア１３に記録される。
The YC signal stored in the
また、画像表示装置９にスルー画が表示されている状態で、メニュー／ＯＫボタン８が押されると、画像表示装置９にメニュー画面が表示される。このメニュー画面が表示されている状態で、十字キー７を操作して撮影条件や画像サイズ等の所望の項目を選択したり、再度、メニュー／ＯＫボタン８を押すことで、選択項目の確定や処理の実行を指示することができる。
When the menu / OK button 8 is pressed while the through image is displayed on the
一方、撮影モード切替ＳＷ５を操作して再生モードが選択されると、記録メディア１３に記録されている最終コマの画像ファイルがメディア制御回路２６を介して読み出される。この読み出された画像ファイルの圧縮データは、デジタル信号処理回路２４により非圧縮のＹＣ信号に伸張される。伸張されたＹＣ信号は、表示系回路２５によって画像表示装置９に出力される。これにより、画像表示装置９には記録メディア１３に記録されている最終コマの画像が表示される。
On the other hand, when the reproduction mode is selected by operating the photographing mode switching SW 5, the image file of the last frame recorded on the
その後、順コマ送りスイッチ（十字キー７の右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キー７の左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録メディア１３から読み出され、上記と同様にして画像が画像表示装置９に再生される。
Thereafter, when the forward frame advance switch (right key of the cross key 7) is pressed, the frame is advanced in the forward direction, and when the reverse frame advance switch (left key of the cross key 7) is pressed, the frame is advanced in the reverse direction. . Then, the frame-positioned image file at the frame position is read from the
次に、本発明に係る第１の実施の形態のデジタルカメラの撮影動作について、図３〜図７を用いて説明する。 Next, the photographing operation of the digital camera according to the first embodiment of the present invention will be described with reference to FIGS.
図３は本発明に係る第１の実施の形態のデジタルカメラの撮影時の動作を示すフローチャートである。 FIG. 3 is a flowchart showing an operation at the time of photographing of the digital camera according to the first embodiment of the present invention.
前述したように、撮影スタンバイ状態でレリーズＳＷ２を半押しする（ステップＳ３１）とフォーカスロック及び測光を行うが、このとき同時に被写体中の人物の顔を検出する（ステップＳ３２）。顔検出については、肌色領域を特定し、被写体との距離と画面に占める割合から大きさを推定して顔と判定する方法が取られ、デジタル信号処理回路２４の信号をＣＰＵ２２が解析することにより行われる。
As described above, when release switch SW2 is half-pressed in the shooting standby state (step S31), focus lock and photometry are performed. At this time, the face of a person in the subject is detected (step S32). For face detection, a skin color region is specified, a size is estimated from the distance from the subject and the ratio of the image to the screen, and the face is determined to be a face, and the
顔が検出されると、スルー画を表示している画像表示装置９において、検出された顔についてフレーム表示を行う。図４は、画像表示装置９において検出された顔についてフレーム表示を行っていることを示す図である。
When a face is detected, the
その後レリーズＳＷ２が全押しされる（ステップＳ３３）と、全体画像の撮影を行う（ステップＳ３４）。図５（ａ）は撮影された全体画像を示す図である。 Thereafter, when the release SW2 is fully pressed (step S33), the entire image is taken (step S34). FIG. 5A is a diagram showing the entire image taken.
全体画像の撮影が完了すると、顔検出の結果について判定を行う（ステップＳ３５）。顔が検出されなかった場合は、撮影した全体画像を記録メディア制御回路２６を介して記録メディア１３に記録して終了するが、顔が検出された場合は、検出した顔領域に対してさらなる撮影を行う。
When the entire image has been shot, the face detection result is determined (step S35). If no face is detected, the entire captured image is recorded on the
ＣＭＯＳセンサー１１は、Ｘ方向（横方向）、Ｙ方向（縦方向）に対してアドレス指定可能なシフトレジスタを有し、マトリクス状に配置されたＣＭＯＳセンサー１１に対して、アドレス指定された部分のみを取り込み領域とした部分読み出しが可能となっている。即ち、撮像素子の駆動範囲を動的に変更することが可能であり、これにより検出された顔領域を含む被写体像の一部分のみを撮影することが可能である。
The
まず、検出した顔領域を含む全体画像の一部分に対して撮像素子の駆動範囲を動的に変更し、撮像画角を調整する（ステップＳ３６）。即ち、検出された顔領域を含む全体画像の一部分に対してＣＭＯＳセンサー１１のＸ方向、Ｙ方向のアドレス選択を行う。図５（ｂ）は、Ｘ方向、Ｙ方向のアドレス選択された部分を示した図である。
First, the drive range of the image sensor is dynamically changed for a part of the entire image including the detected face area, and the image capture angle of view is adjusted (step S36). That is, address selection in the X and Y directions of the
次に、選択したアドレス部分に対してＣＭＯＳセンサー１１の出力を読み出し、フォーカスロックを行うと同時に、露出、ホワイトバランスの測定を行う。
Next, the output of the
このデジタルカメラ１は、顔画像が撮影環境条件に依存せずに常に同様な画質になるように、露出値及びホワイトバランス値の基準値を持っており、この基準値に対して測定した露出値、ホワイトバランス値が一致するかどうかの判定を行う（ステップＳ３７）。露出値が一致しなかった場合は、ＩＳＯ感度の設定変更を含む露出値の変更を行い、ホワイトバランス値が一致しなかった場合は、ホワイトバランスの補正値を変更する（ステップＳ３８）。露出値及びホワイトバランス値が基準値と一致したら、顔画像の撮影を行う（ステップＳ３９）。 The digital camera 1 has exposure value and white balance value reference values so that the face image always has the same image quality without depending on the shooting environment conditions, and the exposure value measured with respect to the reference value. Then, it is determined whether or not the white balance values match (step S37). If the exposure values do not match, the exposure value is changed including the ISO sensitivity setting change. If the white balance values do not match, the white balance correction value is changed (step S38). When the exposure value and the white balance value match the reference value, a face image is taken (step S39).
この顔画像の撮影においては、前述したように動的に撮像素子の駆動範囲を変更することにより選択されたアドレス部分のみＣＭＯＳセンサー１１の出力を読み出しているので、撮影を高速に行うことができる。
In photographing the face image, as described above, the output of the
図５（ｃ）は撮影された顔画像を示す図である。 FIG. 5C shows a photographed face image.
全体画像内の全ての顔領域について撮影が行われたかを判定し、撮影未済の顔領域がある場合は、同様に顔領域の撮影を行う（ステップＳ４０）。図５（ｄ）は２人目の顔領域を含む部分がアドレス選択されたことを示す図であり、図５（ｅ）は撮影された２人目の顔画像である。また、図５（ｆ）は３人目の顔領域を含む部分がアドレス選択されたことを示す図であり、図５（ｇ）は撮影された３人目の顔画像である。 It is determined whether all the face areas in the entire image have been shot. If there is a face area that has not been shot, the face area is shot similarly (step S40). FIG. 5D is a diagram showing that a part including the face area of the second person is selected, and FIG. 5E is a photographed face image of the second person. FIG. 5 (f) is a diagram showing that an address is selected for a portion including the third person's face area, and FIG. 5 (g) is a photographed third person's face image.
このように全体画像に複数の顔領域が存在する場合でも、動的に撮像素子の駆動範囲を変更することにより、高速に連写を行うことができる。 Thus, even when a plurality of face regions exist in the entire image, continuous shooting can be performed at high speed by dynamically changing the drive range of the image sensor.
全ての顔画像の撮影が完了したら、顔画像の加工工程に移る。 When all face images have been photographed, the process proceeds to a face image processing step.
まず１人目の顔画像から、顔画像に対する顔の角度（傾き）を調べる（ステップＳ４１）。このデジタルカメラ１は、後述する同一人物の判定が行いやすいように、顔の傾きを水平にして状態で顔画像として保存している。顔画像に対する顔の傾きの検出は、顔の輪郭や両目の位置を推定することにより行い、デジタル信号処理回路２４の信号をＣＰＵ２２が解析することにより行われる。もし顔が傾いている場合は、顔画像を回転させ、顔の傾きを水平にする（ステップＳ４２）。
First, the face angle (tilt) with respect to the face image is examined from the face image of the first person (step S41). The digital camera 1 stores a face image with the face tilted in a horizontal state so that the same person described later can be easily determined. Detection of the inclination of the face with respect to the face image is performed by estimating the face contour and the positions of both eyes, and the
次に、顔画像のサイズを一定にする。このデジタルカメラ１は、後述する同一人物の判定が行いやすいように、常に顔が同じサイズの状態で顔画像として保存しており、撮影した顔画像と基準の画像サイズの比較を行う（ステップＳ４３、ステップＳ４４）。基準サイズより大きい場合はサイズを縮小し（ステップＳ４５）、基準サイズより小さい場合はサイズを拡大する（ステップＳ４６）。 Next, the face image size is made constant. The digital camera 1 always saves the face as a face image with the same size so that the same person described later can be easily determined, and compares the captured face image with a reference image size (step S43). Step S44). If it is larger than the reference size, the size is reduced (step S45), and if it is smaller than the reference size, the size is enlarged (step S46).
図７（ａ）は、１人目の顔画像が基準サイズより大きいと判断し、サイズを縮小したことを示す図である。 FIG. 7A is a diagram illustrating that the face image of the first person is determined to be larger than the reference size and the size is reduced.
全ての顔画像について処理が終了したかどうかの判定を行い（ステップＳ４７）、終了していない場合は、別の顔画像の処理を行う（ステップＳ４１に戻る）。ここでは、２人目の顔画像の加工処理に移る。図６は、顔画像に対して顔が傾いていることが検出されたので、顔が水平になるように画像を回転させたことを示す図である。また図７（ｂ）は、２人目の顔画像のサイズが基準サイズより小さいと判断し、サイズを拡大したことを示す図である。 It is determined whether or not processing has been completed for all face images (step S47). If not, processing of another face image is performed (return to step S41). Here, the processing moves to the processing of the face image of the second person. FIG. 6 is a diagram illustrating that the image is rotated so that the face is horizontal because it is detected that the face is tilted with respect to the face image. FIG. 7B is a diagram showing that the size of the face image of the second person is determined to be smaller than the reference size and is enlarged.
２人目の顔画像について処理が終了したら、３人目の顔画像について処理を行う。 When the process for the second face image is completed, the process is performed for the third face image.
図７（ｃ）は、３人目の顔画像のサイズが基準サイズより小さいと判断し、サイズを拡大したことを示す図である。 FIG. 7C is a diagram illustrating that the size of the third person's face image is determined to be smaller than the reference size and is enlarged.
このように全ての顔画像についての処理が終了すると、メディア制御回路２６を介して記録メディア１３に画像が保存される（ステップＳ４８）。ここで、最初に撮影した全体画像と、全体画像撮影後に撮影された顔画像は、関連付けされて保存される。図８は、記録メディア１３内のデータ領域のイメージ図である。図８に示すように、全体画像と全体画像内に写っている３人の顔画像が関連付けされて保存される。
When the processing for all the face images is completed as described above, the image is stored in the
次に、本発明に係る第１の実施の形態のデジタルカメラの画像再生動作について、図９〜図１１を用いて説明する。 Next, the image reproduction operation of the digital camera according to the first embodiment of the present invention will be described with reference to FIGS.
図９は本発明に係る第１の実施の形態のデジタルカメラの画像再生時の動作を示すフローチャートである。 FIG. 9 is a flowchart showing an operation at the time of image reproduction of the digital camera according to the first embodiment of the present invention.
前述したように、撮影モード切替ＳＷ５を操作して再生モードが選択されると、記録メディア１３に記録されている最終コマの画像が表示され、十字キー７を操作することにより、表示する画像を切り替えることができる（ステップＳ８１）。所望の全体画像を表示させた状態で、メニュー／ＯＫボタン８を押すと、表示させている全体画像が選択され、選択された全体画像内の顔選択画面になる（ステップＳ８２）。図１０は、画像再生時の画像表示装置９の表示を示した図であり、図１０（ａ）は、メニュー／ＯＫボタン８を押して顔選択画面へ移行した状態を示した図である。この状態では、左側の人物の顔がフレーム表示されている。
As described above, when the playback mode is selected by operating the shooting mode switch SW5, the image of the last frame recorded on the
図１０（ａ）の状態から十字キー７を操作すると、別の人物の顔にフレームを移動させることができる（ステップＳ８３）。図１０（ｂ）は図１０（ａ）の状態から十字キー７の右キーを一度押した状態を示す図であり、中心の人物の顔がフレーム表示されている。 When the cross key 7 is operated from the state of FIG. 10A, the frame can be moved to the face of another person (step S83). FIG. 10B is a diagram showing a state where the right key of the cross key 7 is pressed once from the state of FIG. 10A, and the face of the central person is displayed in a frame.
また図１０（ｃ）は図１０（ｂ）の状態からさらに十字キー７の右キーを一度押した状態を示す図であり、右側の人物の顔がフレーム表示されている。ここで十字キー７の左キーを一度押すと図１０（ｂ）の状態に戻る。 FIG. 10C is a diagram showing a state where the right key of the cross key 7 is pressed once from the state of FIG. 10B, and the face of the right person is displayed in a frame. Here, when the left key of the cross key 7 is pressed once, the state shown in FIG.
例えば左側の人物の顔がフレーム表示された図１０（ａ）の状態でメニュー／ＯＫボタン８を押すと、左側の人物の顔が選択される（ステップＳ８４）。顔が選択されると、ＣＰＵ２２は、記録メディア１３に保存されている顔画像データの中から、選択された顔と同一人物の顔画像を抽出する（ステップＳ８５）。同一人物の判定は、２つの顔画像の類似度を求めること等により行う。記録メディア１３に保存されている顔画像の中から、選択された顔と同一人物の画像を検出した場合（ステップＳ８６）は、検出された顔画像に関連付けされた全体画像を画像表示装置９に表示する（ステップＳ８７）。同一人物の顔画像が複数検出された場合は、全ての全体画像を表示する。
For example, when the menu / OK button 8 is pressed in the state shown in FIG. 10A in which the face of the left person is displayed in a frame, the face of the left person is selected (step S84). When a face is selected, the
図１１は、選択された顔と同一人物の顔画像と関連付けされた全体画像が画像表示装置９に表示されている様子を示した図である。
FIG. 11 is a diagram illustrating a state in which the entire image associated with the face image of the same person as the selected face is displayed on the
ここでは図１１（ａ）と図１１（ｂ）の２枚の全体画像が検出されており、交互に表示されている。 Here, two whole images of FIG. 11A and FIG. 11B are detected and displayed alternately.
このときの画像の表示の切り替えは、時間で区切ってもよいし、ユーザによるボタン操作でもよいし、または同時にサムネイル表示してもよい。 The switching of the image display at this time may be divided by time, may be a button operation by the user, or may be displayed as a thumbnail at the same time.
本発明に係る撮像装置の第２の実施の形態について説明する。 A second embodiment of the imaging apparatus according to the present invention will be described.
第２の実施の形態では、撮影前に予め設定した人物を、撮影時にスルー画内で検索し、同一人物を検出した場合にその人物に対してＡＥ・ＡＦ動作を行って撮影する。 In the second embodiment, a person set in advance before shooting is searched in the through image at the time of shooting, and when the same person is detected, the person is shot by performing AE / AF operation.
図１２は、本発明に係る撮像装置の第２の実施の形態の撮影動作を示すフローチャートである。 FIG. 12 is a flowchart showing the photographing operation of the second embodiment of the imaging apparatus according to the present invention.
まず撮影前に、すでに撮影され、記録メディア１３に記録されている全体画像の中から、指定したい人物を含んでいる全体画像を選択する（ステップＳ１１１）。前述したように、撮影モード切替ＳＷ５を操作して再生モードが選択されると、記録メディア１３に記録されている最終コマの画像が表示され、十字キー７を操作することにより、表示する画像を切り替えることができる。ここでメニュー／ＯＫボタン８を操作することにより、所望の全体画像を決定することができる。
First, before photographing, an entire image including a person to be designated is selected from the entire images already photographed and recorded on the recording medium 13 (step S111). As described above, when the playback mode is selected by operating the shooting mode switch SW5, the image of the last frame recorded on the
次に、選択した全体画像に写っている顔の中から、所望の顔を選択する（ステップＳ１１２）。顔選択は、図１０で示した第１の実施の形態での顔選択と同様に、十字キー７を操作して顔のフレーム表示を移動させ、所望の顔がフレーム表示されたところでメニュー／ＯＫボタン８で決定する。ここでは、図１０（ａ）の顔を選択したとする。顔が選択されると、選択された顔データがＲＡＭ２３に展開される（ステップＳ１１３）。 Next, a desired face is selected from the faces shown in the selected entire image (step S112). As with the face selection in the first embodiment shown in FIG. 10, the face selection is performed by operating the cross key 7 to move the face frame display, and when the desired face is displayed in the frame, the menu / OK is displayed. Use button 8 to confirm. Here, it is assumed that the face of FIG. When a face is selected, the selected face data is expanded in the RAM 23 (step S113).
次に、撮影モード切替ＳＷ５を操作して、撮影モードに移行する（ステップＳ１１４）。前述したように、撮影スタンバイ状態でレリーズＳＷ２を半押しする（ステップＳ１１５）とフォーカスロック及び測光を行うが、このとき同時に被写体中の人物の顔を検出する（ステップＳ１１６）。ここで、顔検出された被写体中の顔と、撮影前に選択された顔との相関比較を行い、同一人物の検出を行う（ステップＳ１１７）。即ち、ＣＰＵ２２がデジタル信号処理回路２４の信号を解析し、肌色領域を特定して被写体との距離と画面に占める割合から大きさを推定して顔検出を行い、ＲＡＭ２４に展開されている選択顔画像との相関比較をおこない、同一人物であるかどうかの判定を行う。
Next, the shooting mode switching SW5 is operated to shift to the shooting mode (step S114). As described above, when release SW2 is half-pressed in the shooting standby state (step S115), focus lock and photometry are performed. At this time, the face of a person in the subject is detected (step S116). Here, a correlation between the face in the subject whose face is detected and the face selected before photographing is compared to detect the same person (step S117). That is, the
選択された顔と同一人物がいなかった場合は、通常のフォーカスロック及び測光を行う（ステップＳ１１９）。 If there is no person who is the same as the selected face, normal focus lock and photometry are performed (step S119).
選択された顔と同一人物が見つかった場合は、その検出された人物の顔をフレーム表示すると同時に、その人物の顔に合わせたフォーカスロック及び測光を行う（ステップＳ１１８）。図１３は、選択した顔と同一人物を検出してフレーム表示したときの画像表示装置９の表示を示す図である。
If the same person as the selected face is found, the face of the detected person is displayed in a frame, and at the same time, focus lock and photometry are performed according to the face of the person (step S118). FIG. 13 is a diagram showing the display of the
その後レリーズＳＷ２が全押しされる（ステップＳ１２０）と、全体画像の撮影が行われる（ステップＳ１２１）。このように、撮影したい人物に対して最適な撮影パラメータを、自動的に得ることができる。 Thereafter, when the release SW2 is fully pressed (step S120), the entire image is taken (step S121). In this way, it is possible to automatically obtain optimum shooting parameters for a person who wants to take a picture.
１…撮像装置（デジタルカメラ）、５…撮影モード切替ＳＷ、７…十字キー、８…メニュー／ＯＫボタン、９…画像表示装置、１１…ＣＭＯＳセンサー、１３…記録メディア、２１…信号処理ＬＳＩ、２２…ＣＰＵ、２３…ＲＡＭ、２４…デジタル信号処理回路、２５…表示系回路、２６…メディア制御回路 DESCRIPTION OF SYMBOLS 1 ... Imaging device (digital camera), 5 ... Shooting mode switch SW, 7 ... Cross key, 8 ... Menu / OK button, 9 ... Image display device, 11 ... CMOS sensor, 13 ... Recording medium, 21 ... Signal processing LSI, 22 ... CPU, 23 ... RAM, 24 ... digital signal processing circuit, 25 ... display system circuit, 26 ... media control circuit
Claims (6)
前記画像データの中から人物の顔領域を検出する顔検出手段と、
撮像素子の駆動範囲を動的に変更する撮像駆動変更手段と、
撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出手段によって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更手段を用いて顔画像として撮影する撮影手段と、
前記撮影手段により撮影された全体画像と顔画像を関連付けて記憶する記憶手段と、
前記記憶手段によって記憶された全体画像を再生表示する再生表示手段と、
前期再生表示手段によって再生表示された全体画像の中から任意の顔を指定する顔指定手段と、
前記顔指定手段によって指定された顔と同一人物の顔画像を、前記記憶手段によって記憶された顔画像の中から抽出する顔画像抽出手段と、を備え、
前記顔画像抽出手段によって抽出された顔画像と関連付けられた全体画像を前記再生表示手段により再生表示することを特徴とする撮像装置。 Imaging means for converting a subject image received through the imaging lens into image data;
Face detection means for detecting a human face area from the image data;
Imaging drive change means for dynamically changing the drive range of the image sensor;
Shooting means for shooting the entire subject image as a whole image based on a shooting instruction, and shooting a part of the subject image including the face area detected by the face detection means as a face image using the imaging drive changing means; ,
Storage means for storing the entire image photographed by the photographing means and the face image in association with each other;
Reproduction display means for reproducing and displaying the entire image stored by the storage means;
Face designation means for designating an arbitrary face from the whole image reproduced and displayed by the previous period reproduction display means;
A face image extracting means for extracting a face image of the same person as the face specified by the face specifying means from the face image stored by the storage means,
An image pickup apparatus, wherein the whole image associated with the face image extracted by the face image extraction means is reproduced and displayed by the reproduction display means.
前記撮影パラメータ調整手段は、前記撮影手段によって撮影される顔画像が、被写体の環境条件に依存せずに基準となる画質となるように各パラメータを自動的に調整することを特徴とする請求項１に記載の撮像装置。 It has shooting parameter adjustment means to adjust shooting parameters including shooting sensitivity, focus, exposure and white balance,
The image capturing parameter adjusting unit automatically adjusts each parameter so that a face image captured by the image capturing unit has a reference image quality without depending on an environmental condition of a subject. The imaging apparatus according to 1.
前記画像加工手段は、前記記憶手段によって記憶される顔画像が、基準となる傾きと大きさになるように自動的に画像を加工することを特徴とする請求項１に記載の撮像装置。 Image processing means to rotate and resize the captured image,
The imaging apparatus according to claim 1, wherein the image processing unit automatically processes the image so that the face image stored by the storage unit has a reference inclination and size.
前記顔判定手段が同一人物であると判断した場合は、前記撮影パラメータ調整手段は、その顔領域に対して最適な撮影パラメータを設定することを特徴とする請求項１に記載の撮像装置。 A face determination unit that determines whether a face designated by the face designating unit in advance before shooting and a face in the face area detected by the face detection unit at the time of shooting are the same person;
The imaging apparatus according to claim 1, wherein when the face determination unit determines that they are the same person, the shooting parameter adjustment unit sets an optimal shooting parameter for the face area.
前記画像データの中から人物の顔領域を検出する顔検出ステップと、
撮像素子の駆動範囲を動的に変更する撮像駆動変更ステップと、
撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出ステップによって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更ステップを用いて顔画像として撮影する撮影ステップと、
前記撮影ステップにより撮影された全体画像と顔画像を関連付けて記憶する記憶ステップと、
前記記憶ステップによって記憶された全体画像を再生表示する再生表示ステップと、
前期再生表示ステップによって再生表示された全体画像の中から任意の顔を指定する顔指定ステップと、
前記顔指定ステップによって指定された顔と同一人物の顔画像を、前記記憶ステップによって記憶された顔画像の中から抽出する顔画像抽出ステップと、を備え、
前記顔画像抽出ステップによって抽出された顔画像と関連付けられた全体画像を前記再生表示ステップにより再生表示することを特徴とする撮像方法。 An imaging step of converting a subject image received through the imaging lens into image data;
A face detection step of detecting a human face area from the image data;
An imaging drive change step for dynamically changing the drive range of the image sensor;
A shooting step of shooting the entire subject image as a whole image based on a shooting instruction, and shooting a part of the subject image including the face area detected by the face detection step as a face image using the imaging drive change step; ,
A storage step of storing the entire image captured by the imaging step and the face image in association with each other;
A reproduction display step of reproducing and displaying the entire image stored in the storage step;
A face designation step for designating an arbitrary face from the whole image reproduced and displayed in the previous period reproduction display step;
A face image extracting step of extracting a face image of the same person as the face specified in the face specifying step from the face image stored in the storing step;
An imaging method comprising: reproducing and displaying an entire image associated with a face image extracted in the face image extraction step in the reproduction display step.
前記画像データの中から人物の顔領域を検出する顔検出ステップと、
撮像素子の駆動範囲を動的に変更する撮像駆動変更ステップと、
撮影指示に基づき、被写体像の全体を全体画像として撮影するとともに、前記顔検出ステップによって検出された顔領域を含む被写体像の一部分を前記撮像駆動変更ステップを用いて顔画像として撮影する撮影ステップと、
前記撮影ステップにより撮影された全体画像と顔画像を関連付けて記憶する記憶ステップと、
前記記憶ステップによって記憶された全体画像を再生表示する再生表示ステップと、
前期再生表示ステップによって再生表示された全体画像の中から任意の顔を指定する顔指定ステップと、
前記顔指定ステップによって指定された顔と同一人物の顔画像を、前記記憶ステップによって記憶された顔画像の中から抽出する顔画像抽出ステップと、を備え、
前記顔画像抽出ステップによって抽出された顔画像と関連付けられた全体画像を前記再生表示ステップにより再生表示することを特徴とする撮像方法をコンピュータに実行させるプログラム。 An imaging step of converting a subject image received through the imaging lens into image data;
A face detection step of detecting a human face area from the image data;
An imaging drive change step for dynamically changing the drive range of the image sensor;
A shooting step of shooting the entire subject image as a whole image based on a shooting instruction, and shooting a part of the subject image including the face area detected by the face detection step as a face image using the imaging drive change step; ,
A storage step of storing the entire image captured by the imaging step and the face image in association with each other;
A reproduction display step of reproducing and displaying the entire image stored in the storage step;
A face designating step for designating an arbitrary face from the whole image reproduced and displayed in the previous playback display step;
A face image extracting step of extracting a face image of the same person as the face specified in the face specifying step from the face image stored in the storing step;
A program for causing a computer to execute an imaging method, wherein an entire image associated with a face image extracted in the face image extraction step is reproduced and displayed in the reproduction display step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006311619A JP4769693B2 (en) | 2006-11-17 | 2006-11-17 | Imaging apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006311619A JP4769693B2 (en) | 2006-11-17 | 2006-11-17 | Imaging apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008129703A JP2008129703A (en) | 2008-06-05 |
| JP4769693B2 true JP4769693B2 (en) | 2011-09-07 |
Family
ID=39555474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006311619A Expired - Fee Related JP4769693B2 (en) | 2006-11-17 | 2006-11-17 | Imaging apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4769693B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5185803B2 (en) * | 2008-12-26 | 2013-04-17 | 富士フイルム株式会社 | Specific target image discrimination system |
| JP6887542B1 (en) * | 2020-02-28 | 2021-06-16 | Dmg森精機株式会社 | Machine Tools |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002207741A (en) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | Image data retrieval device, image data retrieval method, image data retrieval program, and computer-readable storage medium with image data retrieval program stored therein |
| JP4039847B2 (en) * | 2001-11-12 | 2008-01-30 | オリンパス株式会社 | Image processing apparatus and program |
| JP4746295B2 (en) * | 2003-08-25 | 2011-08-10 | 富士フイルム株式会社 | Digital camera and photographing method |
| EP1669890A4 (en) * | 2003-09-26 | 2007-04-04 | Nikon Corp | Electronic image accumulation method, electronic image accumulation device, and electronic image accumulation system |
| JP2006203421A (en) * | 2005-01-19 | 2006-08-03 | Matsushita Electric Ind Co Ltd | Method of processing image, solid state imaging device and camera |
| JP4315148B2 (en) * | 2005-11-25 | 2009-08-19 | 株式会社ニコン | Electronic camera |
-
2006
- 2006-11-17 JP JP2006311619A patent/JP4769693B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008129703A (en) | 2008-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4518131B2 (en) | Imaging method and apparatus | |
| JP4746295B2 (en) | Digital camera and photographing method | |
| JP4395619B2 (en) | Imaging apparatus, imaging condition setting method, and program | |
| US9185370B2 (en) | Camera and camera control method | |
| JP4730667B2 (en) | Automatic regeneration method and apparatus | |
| JP4668956B2 (en) | Image processing apparatus and method, and program | |
| JP2009010814A (en) | Image processing device and method, and program, and imaging apparatus and method, and program | |
| US20110254951A1 (en) | Photographing apparatus | |
| JP2008099192A (en) | Imaging apparatus, and program thereof | |
| JP2005175684A (en) | Digital camera, and image acquisition method for digital camera | |
| JP2011044064A (en) | Image processing device and image processing program | |
| JP2007142565A (en) | Imaging apparatus and method thereof | |
| JP4697549B2 (en) | Image capturing apparatus and face detection method thereof | |
| JP2003209727A (en) | Digital camera | |
| JP2006067452A (en) | Video recording apparatus, and electronic camera | |
| JP5245636B2 (en) | Electronics | |
| JP4842919B2 (en) | Display device, photographing device, and display method | |
| JP2008085671A (en) | Apparatus and method for displaying image | |
| JP2009033223A (en) | Imaging apparatus | |
| JP2010141609A (en) | Imaging apparatus | |
| JP2009157242A (en) | Imaging apparatus | |
| JP4769693B2 (en) | Imaging apparatus, method, and program | |
| JP2008054031A (en) | Digital camera and display control method | |
| JP4553134B2 (en) | Image generating apparatus and program thereof | |
| JP4948014B2 (en) | Electronic camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4769693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |