JP2005117532A - Digital camera - Google Patents
Digital camera Download PDFInfo
- Publication number
- JP2005117532A JP2005117532A JP2003351779A JP2003351779A JP2005117532A JP 2005117532 A JP2005117532 A JP 2005117532A JP 2003351779 A JP2003351779 A JP 2003351779A JP 2003351779 A JP2003351779 A JP 2003351779A JP 2005117532 A JP2005117532 A JP 2005117532A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image data
- digital camera
- extraction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 107
- 238000000605 extraction Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 7
- 230000002123 temporal effect Effects 0.000 abstract 3
- 238000000034 method Methods 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、人物の特徴点を識別し、その識別結果に応じて合焦や露出動作をするデジタルカメラに関する。 The present invention relates to a digital camera that identifies feature points of a person and performs focusing or exposure according to the identification result.
従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平9−251534号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平10−232934号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。 2. Description of the Related Art Conventionally, many techniques for identifying a person from image data have been known, including a system that authenticates a person by registering a fingerprint or iris feature point in advance and collating it with the feature point. Japanese Patent Application Laid-Open No. 9-251534 describes in detail how to identify eyes as a person by extracting eyes, nose, mouth, etc., registering them as feature points, and comparing them with feature points extracted from the input image. Japanese Patent Laid-Open No. 10-232934 discloses a method for increasing the accuracy of a dictionary image when registering feature points extracted in this way. Examples of applying these technologies to cameras are given below.
特開2001−201779号公報には予めカメラの使用者を参照情報として登録しておき、カメラ使用者がカメラを自分の顔に向けて撮影することで入力した識別情報と一致した場合にのみカメラ動作を可能とするカメラが開示されている。特開2001−309225号公報には顔認識アルゴリズムにより認識された顔の座標、寸法、目の位置、頭のポーズ等のデータが画像メモリに画像データとともに記録されるカメラが開示されている。特開2001−326841号公報には予め正規の使用者を識別するための識別情報(顔、指紋、掌紋)を記憶しておく画像撮像装置(デジタルカメラ)が開示されている。特開2002−232761号公報には撮影した画像に予め読み込んでおいた被写体の識別情報を関連付けて記録する画像記録装置が開示されている。特開2002−333652号公報には予め記憶された容貌情報と撮影顔情報を比較し記録信号を発生する撮影装置が開示されている。この容貌情報は優先度とともに記録される。 Japanese Patent Application Laid-Open No. 2001-201779 registers a camera user as reference information in advance, and only when the camera user matches the identification information input by photographing the camera toward his / her face. A camera that enables operation is disclosed. Japanese Patent Application Laid-Open No. 2001-309225 discloses a camera in which data such as face coordinates, dimensions, eye positions, head poses, and the like recognized by a face recognition algorithm are recorded together with image data in an image memory. Japanese Patent Application Laid-Open No. 2001-326841 discloses an image pickup apparatus (digital camera) that stores identification information (face, fingerprint, palm print) for identifying a regular user in advance. Japanese Patent Laid-Open No. 2002-232761 discloses an image recording apparatus that records in association with identification information of a subject that has been read in advance on a captured image. Japanese Patent Application Laid-Open No. 2002-333651 discloses a photographing apparatus that generates a recording signal by comparing preliminarily stored appearance information and photographing face information. This appearance information is recorded together with the priority.
上述した被写体を識別するという技術をカメラに応用するという発明は、従来から大規模なコンピュータシステムで行われていた技術を単にカメラ単独でも行えるようにしたというものであって、実際にカメラで被写体の識別技術を使用して撮影を行おうとすると従来にないカメラとしての動作シーケンスが必要となってくる。 The invention of applying the above-described technology for identifying a subject to a camera is that the technology conventionally performed in a large-scale computer system can be performed simply by a camera alone. If an attempt is made to shoot using this identification technology, an unprecedented camera operation sequence is required.
本発明においては上述した新たな動作シーケンスを取り入れることによりこれまでの被写体識別機能を持ったカメラにおいては達成されていなかった、従来からのカメラの動作に近い使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。 In the present invention, by incorporating the above-described new operation sequence, a digital camera having a subject identification function that is easy to use and is similar to the operation of a conventional camera, which has not been achieved in a conventional camera having a subject identification function. The purpose is to provide a camera.
上記問題点の解決のために、請求項1の発明は、被写体像を撮影する撮像手段と、第1の時間間隔で撮像手段から出力された画像データを記憶する第1記憶手段と、前記第1記憶手段に記憶された前記画像データを前記第1の時間間隔で読み出して表示する表示手段と、前記第1記憶手段に記憶された前記画像データを第2の時間間隔で読み出して記録する第2記憶手段と、前記第2記憶手段に記録された前記画像データに基づいて前記被写体の特徴部位を抽出する抽出手段とを備えたことを特徴としている。すなわち、画像表示用に撮像手段から出力される画像データを一旦第2の記憶手段に記憶して、この記憶した画像データを使用して特徴部位を抽出しているので、抽出に当たっては第1の記憶手段の更新の影響を受けることがない。 In order to solve the above problems, the invention of claim 1 is directed to an imaging unit that captures a subject image, a first storage unit that stores image data output from the imaging unit at a first time interval, and the first storage unit. Display means for reading and displaying the image data stored in the first storage means at the first time interval; and reading and recording the image data stored in the first storage means at the second time interval. 2 storage means and extraction means for extracting a characteristic part of the subject based on the image data recorded in the second storage means. That is, the image data output from the image pickup means for image display is temporarily stored in the second storage means, and the feature portion is extracted using the stored image data. It is not affected by the update of the storage means.
請求項2の発明は、更に、前記第1記憶手段に前記撮像手段から出力される画像データを記憶する際に、前記表示手段の表示画素数によって決定される所定の画素数となるように前記画像データを間引いて記録するよう指示する指示手段を備えたことを特徴としている。すなわち、第1の記憶手段に記憶される画像データは表示手段の画素数に対応した少ない数の画像データのみ記憶しているのでこの画像データに対する処理は迅速に行われる。請求項3の発明は、更に、前記第2記憶手段に前記第1記憶手段から読み出した画像データを記憶する際に、前記第1記憶手段に記憶されている画像データのうち所定の範囲のみ前記第2記憶手段に記憶するように指示する指示手段を備えたことを特徴としている。これにより抽出する範囲が更に限定されるので抽出動作も迅速に行うことができる。請求項4の発明は、前記第1の時間間隔と前記第2の時間間隔とは等しいことを特徴とし、請求項5の発明は、前記第1の時間間隔は前記第2の時間間隔より短いことを特徴としている。 According to a second aspect of the present invention, when the image data output from the imaging unit is stored in the first storage unit, the predetermined number of pixels determined by the number of display pixels of the display unit is set. An instruction means for instructing to thin out and record the image data is provided. That is, since the image data stored in the first storage means stores only a small number of image data corresponding to the number of pixels of the display means, the processing on the image data is performed quickly. According to a third aspect of the present invention, when the image data read from the first storage unit is stored in the second storage unit, only a predetermined range of the image data stored in the first storage unit is stored. An instruction means for instructing to store in the second storage means is provided. As a result, the extraction range is further limited, so that the extraction operation can be performed quickly. The invention of claim 4 is characterized in that the first time interval and the second time interval are equal, and the invention of claim 5 is characterized in that the first time interval is shorter than the second time interval. It is characterized by that.
請求項6の発明は、更に、被写体撮影時の露出演算を行う露出演算手段を備え、前記露出演算手段は前記抽出手段により抽出された特徴部位に対応する被写体に対して露出演算を行うことを特徴としている。請求項7の発明は、前記露出演算手段は、前記抽出手段による抽出動作の終了後に前記撮像素子から出力される画像データに基づいて前記被写体に対する露出演算を行うことを特徴としている。 The invention of claim 6 further comprises exposure calculation means for performing exposure calculation at the time of subject photographing, wherein the exposure calculation means performs exposure calculation for the subject corresponding to the characteristic part extracted by the extraction means. It is a feature. The invention according to claim 7 is characterized in that the exposure calculation means performs an exposure calculation on the subject based on image data output from the image sensor after the extraction operation by the extraction means is completed.
請求項8の発明は、更に、撮影する画面における色条件を検出する検出手段を備え、前記検出手段は前記抽出手段による抽出動作の終了後に前記撮影画面における色条件を検出することを特徴としている。請求項9の発明は、前記検出手段は、前記抽出手段による抽出動作終了後に前記撮像素子から出力される画像データに基づいて前記撮影画面における色条件を検出することを特徴としている。 The invention of claim 8 further includes a detecting means for detecting a color condition on the screen to be photographed, wherein the detecting means detects the color condition on the photographing screen after the extraction operation by the extracting means is completed. . The invention according to claim 9 is characterized in that the detecting means detects a color condition in the photographing screen based on image data output from the image sensor after the extraction operation by the extracting means is completed.
請求項10の発明は、更に、被写体までの距離を演算する距離演算手段を備え、前記距離演算手段は前記抽出手段により抽出された特徴部位に対応する被写体までの距離を演算することを特徴としている。請求項11の発明は、前記距離演算手段は、前記抽出手段による抽出動作の終了後に前記撮像素子から出力される画像データに基づいて前記特徴部位に対応する被写体までの距離を演算することを特徴としている。 The invention of claim 10 further comprises distance calculating means for calculating the distance to the subject, wherein the distance calculating means calculates the distance to the subject corresponding to the characteristic part extracted by the extracting means. Yes. The invention according to claim 11 is characterized in that the distance calculating means calculates a distance to a subject corresponding to the characteristic part based on image data output from the image sensor after the extraction operation by the extracting means is completed. It is said.
請求項12の発明は、被写体画像を撮影する撮像手段と、前記撮像手段から所定の時間間隔で出力される画像データから前記被写体の特徴部位を抽出する抽出手段と、被写体までの距離を演算する演算手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記距離演算手段に前記被写体までの距離を演算するよう指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して距離演算をしているので確実に距離を演算することができる。請求項13の発明は、前記指示手段は前記距離演算手段に対して前記所定時間間隔内に複数回前記被写体までの距離を演算するよう指示する事を特徴とし、請求項14の発明は、更に、前記被写体を撮影する際の露出演算を行う露出演算手段を備え、前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記露出演算手段に前記被写体に対する露出演算をするように指示することを特徴とし、請求項15の発明は、更に、撮影する画面における色条件を検出する検出を備え、前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記検出手段に前記撮影画面における色条件を検出するように指示することを特徴としている。 According to a twelfth aspect of the present invention, an imaging unit that captures a subject image, an extraction unit that extracts a characteristic part of the subject from image data output from the imaging unit at predetermined time intervals, and a distance to the subject are calculated. A distance to the subject is calculated by the distance calculation means after the extraction of the characteristic part of the subject by the extraction means is performed on the image data output from the imaging device in accordance with the operation of the photographer and the photographer And instructing means for instructing to do so. That is, if the photographer performs an operation for starting the extraction of the characteristic part, the extraction operation is performed immediately, and the distance is calculated for the subject extracted after the extraction is completed, so that the distance can be calculated reliably. . The invention of claim 13 is characterized in that the instruction means instructs the distance calculation means to calculate the distance to the subject a plurality of times within the predetermined time interval, and the invention of claim 14 further comprises And an exposure calculation means for performing an exposure calculation when photographing the subject, wherein the instruction means performs an exposure calculation on the subject to the exposure calculation means after the distance calculation means finishes calculating the distance to the subject. The invention of claim 15 further comprises detection for detecting a color condition on a screen to be photographed, and the indicating means is configured to detect the distance after the distance calculating means finishes calculating the distance to the subject. The detection means is instructed to detect a color condition on the photographing screen.
請求項16の発明は、所定の時間間隔で被写体の特徴部位を抽出する抽出手段と、被写体撮影時の露出演算を行う露出演算手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記露出演算手段に前記被写体に対して露出演算をするように指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して露出演算をしているので確実に露出演算することができる。 According to the sixteenth aspect of the present invention, there is provided an extraction unit that extracts a characteristic part of a subject at a predetermined time interval, an exposure calculation unit that performs an exposure calculation at the time of shooting the subject, and an output from the image sensor in response to an operation of the photographer The image processing apparatus includes an instruction unit that instructs the exposure calculation unit to perform an exposure calculation on the subject after the extraction unit extracts the characteristic part of the subject by the extraction unit. That is, if the photographer performs an operation for starting the extraction of the characteristic part, the extraction operation is performed immediately, and the exposure calculation is performed on the extracted subject after the extraction is completed, so that the exposure calculation can be performed reliably.
請求項17の発明は、所定の時間間隔で被写体の特徴部位を抽出する抽出手段と、撮影する画面における色条件を検出する検出手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段の抽出終了後に前記手段に前記撮影画面における色条件を検出するように指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して色条件の検出をしているので確実に色条件の検出をすることができる。 The invention according to claim 17 is characterized in that the extraction means for extracting the characteristic part of the subject at predetermined time intervals, the detection means for detecting the color condition in the screen to be photographed, and the image sensor output according to the operation of the photographer An instruction unit is provided for instructing the image data to detect a color condition on the photographing screen after the extraction of the extraction unit is completed. In other words, if the photographer performs an operation for starting the extraction of the characteristic part, the extraction operation is performed immediately, and the color condition is detected for the extracted subject after the extraction is completed. can do.
以下、図面を参照して本発明の実施の形態を説明する。図1は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。撮影レンズ101はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカスレンズから構成されている。これらのレンズはドライバ113により駆動される。ここでドライバ113はズームレンズのズーム駆動機構及びその駆動回路と、フォーカスレンズのフォーカス駆動機構及びその駆動回路とを備えていて、それぞれCPU112により制御される。撮影レンズ101は撮像素子103の撮像面上に被写体像を結像する。撮像素子103は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、CCD型やMOS型の固体撮像素子が用いられる。撮像素子103は信号取り出しのタイミングをコントロールするドライバ115により駆動される。撮影レンズ101と撮像素子103との間には絞り102が設けられている。絞り102は、絞り機構とその駆動回路を備えたドライバ114により駆動される。固体撮像素子103からの撮像信号はアナログ信号処理回路104に入力され、アナログ信号処理回路104において相関二重サンプリング処理(CDS)等の処理が行われる。アナログ信号処理回路104で処理された撮像信号は、A/D変換器135によりアナログ信号からデジタル信号に変換される。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating the main functions of the digital camera of the present invention. The photographic lens 101 includes a zoom lens for continuously changing the focal length and a focus lens for adjusting the focus. These lenses are driven by a driver 113. Here, the driver 113 includes a zoom driving mechanism and its driving circuit for the zoom lens, and a focus driving mechanism and its driving circuit for the focus lens, which are controlled by the CPU 112, respectively. The photographing lens 101 forms a subject image on the imaging surface of the image sensor 103. The image sensor 103 is a photoelectric conversion image sensor that outputs an electrical signal corresponding to the light intensity of the subject image formed on the image pickup surface, and a CCD type or MOS type solid state image sensor is used. The image sensor 103 is driven by a driver 115 that controls the timing of signal extraction. A diaphragm 102 is provided between the photographing lens 101 and the image sensor 103. The diaphragm 102 is driven by a driver 114 equipped with a diaphragm mechanism and its drive circuit. The imaging signal from the solid-state imaging device 103 is input to the analog signal processing circuit 104, and processing such as correlated double sampling processing (CDS) is performed in the analog signal processing circuit 104. The imaging signal processed by the analog signal processing circuit 104 is converted from an analog signal to a digital signal by the A / D converter 135.
A/D変換された信号はデジタル信号処理回路106において輪郭強調、ガンマ補正、ホワイトバランス補正などの種々の画像処理が施される。バッファメモリ105は撮像素子103で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、A/D変換された信号は一旦このバッファメモリ105に記憶される。デジタル信号処理回路106ではバッファメモリ105に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ105に記憶される。CPU112はデジタル信号処理回路106およびドライバ113〜115等と接続され、カメラが動作する際のシーケンス制御を行う。CPU112のAE演算部1121では撮像素子からの画像信号に基づいて露出演算を行い、AWB演算部1122ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部1123では所定のアルゴリズムに則って画像データの中から被写体の形状、位置、サイズ等の特徴点を記憶部1127に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器121によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部1125に記憶する。ここで、図7を用いてこの距離演算方法を説明する。図7は抽出した眼幅を基に人物までの距離を演算する場合を示している。Aは一般成人の実際の眼幅の平均値、aは抽出された撮像素子上に結像した眼幅、Lは撮像レンズから人物までの距離、fはレンズの焦点距離である。この図から次の比例式が容易に導かれる。 The A / D converted signal is subjected to various image processing such as edge enhancement, gamma correction, and white balance correction in the digital signal processing circuit 106. The buffer memory 105 is a frame memory that can store data for a plurality of frames imaged by the image sensor 103, and the A / D converted signal is temporarily stored in the buffer memory 105. The digital signal processing circuit 106 reads the data stored in the buffer memory 105 and performs each process described above, and the processed data is stored in the buffer memory 105 again. The CPU 112 is connected to the digital signal processing circuit 106 and drivers 113 to 115 and performs sequence control when the camera operates. An AE calculation unit 1121 of the CPU 112 performs an exposure calculation based on an image signal from the image sensor, and an AWB calculation unit 1122 performs a calculation for setting a white balance parameter. The feature point extraction calculation unit 1123 stores the feature points such as the shape, position, and size of the subject from the image data in the storage unit 1127 according to a predetermined algorithm, and detects the detected size of the face, eye width, and the like at that time. The approximate distance to each person extracted from the focal length of the zoom lens detected by the detector 121 is also calculated and stored in the storage unit 1125 together with the extraction date and time. Here, the distance calculation method will be described with reference to FIG. FIG. 7 shows a case where the distance to the person is calculated based on the extracted eye width. A is the average value of the actual eye width of a general adult, a is the eye width imaged on the extracted image sensor, L is the distance from the imaging lens to the person, and f is the focal length of the lens. From this figure, the following proportional expression can be easily derived.
A/L=a/f
ここから、人物までの距離Lは、L=(A/a)・fとなる。記憶部1125にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録することができる。
A / L = a / f
From here, the distance L to the person is L = (A / a) · f. The storage unit 1125 temporarily stores the feature points extracted in this way and the distance to the feature point calculated based on the feature points. From the stored feature points, the user can select and register the feature points that the user wants to keep.
本実施例におけるデジタルカメラのAF方式はコントラスト法を採用している。このコントラスト方式AFについてここで説明する。この方式において、撮像素子103上の像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストが最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、AF演算部1124は不図示のBPF(バンドパスフィルタ)により撮像信号の高周波成分を抽出し、この絶対値を積分した値を焦点評価値としてこの焦点評価値に基づいてAF演算を行う。CPU112はAF演算部1124の演算結果を用いて撮影レンズ101のフォーカスレンズ位置を調整し、合焦動作を行わせる。 The AF method of the digital camera in this embodiment employs a contrast method. This contrast AF will be described here. In this method, there is a correlation between the degree of blurring of the image on the image sensor 103 and the contrast, and focusing is performed using the fact that the contrast of the image is maximized when there is a focus. The magnitude of the contrast can be evaluated by the magnitude of the high-frequency component of the imaging signal. That is, the AF calculation unit 1124 extracts a high-frequency component of the imaging signal by a BPF (bandpass filter) (not shown), and performs AF calculation based on the focus evaluation value using a value obtained by integrating the absolute value as a focus evaluation value. The CPU 112 adjusts the focus lens position of the photographing lens 101 using the calculation result of the AF calculation unit 1124, and performs a focusing operation.
CPU112に接続された操作部材116には、カメラの電源をオンオフする電源スイッチ1161、レリーズ釦に連動してオンオフする半押しスイッチ1162及び全押しスイッチ1163、モニタ109に表示されるカメラを撮影する際の各種メニュー内容を選択するための設定釦1164、再生画像等を更新するアップダウン(U/D)釦1165等が設けられている。設定釦1164では抽出した特徴点に対して名称を付けるためにU/D釦1165を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。U/D釦1165はそれ以外に、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動したりするためにも使用される。 The operation member 116 connected to the CPU 112 includes a power switch 1161 for turning on / off the camera, a half-press switch 1162 and a full-press switch 1163 that are turned on / off in conjunction with the release button, and a camera displayed on the monitor 109. A setting button 1164 for selecting various menu contents, an up / down (U / D) button 1165 for updating a reproduced image, and the like are provided. The setting button 1164 can select and set alphabets, hiragana, katakana, simple kanji, etc. in combination with the U / D button 1165 in order to name the extracted feature points. In addition, the U / D button 1165 is used to select a desired person from a plurality of extracted persons, or to manually drive the zoom lens to the telephoto or wide side during photographing.
被写体輝度が低い場合にはストロボ117を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。記憶部1125には前述した特徴点情報以外にAF演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路106で各種処理が施された画像データは、一旦バッファメモリ105に記憶された後に、記録・再生信号処理回路110を介してメモリカード等の外部記憶媒体111に記録される。画像データを記憶媒体111に記録する際には、一般的に所定の圧縮形式、例えば、JPEG方式でデータ圧縮が行われる。記録・再生信号処理回路110では、画像データを外部記憶媒体111に記録する際のデータ圧縮及び外部記憶媒体111から再生した圧縮された画像データの伸長処理を行う。 When the subject brightness is low, the flash 117 is caused to emit light. This strobe is a pre-flash that emits auxiliary light in advance before shooting to prevent red-eye to prevent or reduce the redness of the person's eyes when using the strobe and to measure subject brightness in advance at low brightness It also has functions. In addition to the feature point information described above, the storage unit 1125 also stores the peak value of the evaluation value detected from the AF calculation result, the corresponding lens position, and the like. The image data that has been subjected to various processes by the digital signal processing circuit 106 is temporarily stored in the buffer memory 105 and then recorded on an external storage medium 111 such as a memory card via the recording / reproducing signal processing circuit 110. When recording image data in the storage medium 111, data compression is generally performed in a predetermined compression format, for example, the JPEG method. The recording / reproduction signal processing circuit 110 performs data compression when image data is recorded on the external storage medium 111 and decompression processing of the compressed image data reproduced from the external storage medium 111.
モニタ109は撮像された被写体画像を表示したり撮影や再生させる際の各種の設定メニューを表示したりするための液晶(LCD)表示装置である。ここでは記憶媒体111に記録されている画像データを再生表示する際にも用いられる。モニタ109に画像を表示する場合には、バッファメモリ105の一部であるVRAM107に記憶された画像データを読み出し、D/A変換器108によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ109に画像を表示する。 The monitor 109 is a liquid crystal (LCD) display device for displaying a captured subject image and displaying various setting menus for shooting and reproduction. Here, it is also used when image data recorded in the storage medium 111 is reproduced and displayed. When displaying an image on the monitor 109, the image data stored in the VRAM 107 which is a part of the buffer memory 105 is read out, and the digital image data is converted into an analog video signal by the D / A converter 108. Then, an image is displayed on the monitor 109 using the analog video signal.
ここで、特徴点を抽出する際のバッファメモリ105とVRAM107との関係について説明する。モニタ109で表示用の画像データを再生する場合には撮像素子からは静止画用の画像データから表示用の画像データに間引いたデータが一定の周期(例えば30フレーム/秒)で連続して出力される。この画像データに所定の処理を施し、モニタ109の縦横画素数に対応した画素数となるように更にデータを間引いてVRAM107に連続して記録する。このVRAM107のデータはD/A変換器108を通してモニタ109に表示画像として再生される。このVRAM107の画像データは特徴点を抽出するためのデータとしても使用する。特徴点を抽出する場合には、まずVRAM107の画像データをバッファメモリ105に所定のタイミングで再度記録する。ここでバッファメモリ105にはVRAM107に記録されているデータのうち中心部の所定の範囲(たとえば縦、横ともに80%)のみ記録する。図6にこの画面内での範囲の一例を示す。図6において、表示画面内の3名の人物を含んだ一点鎖線で示されるエリアがバッファメモリ105に記録される範囲である。この範囲からはみ出た外周部の被写体は主要被写体でない可能性が高く特徴点を抽出しても無意味であり、抽出処理時間を短縮するためにも最初から外周部の被写体を除いた画像データに対してのみ特徴点抽出演算部1123で特徴点を抽出する。また、前述した設定釦1164を使用して特徴点を抽出動作させるための抽出モードにカメラを設定した場合にはこの様に抽出可能エリアを表示するようにするとユーザが抽出モードに設定されているということを確認できるので好ましい。 Here, the relationship between the buffer memory 105 and the VRAM 107 when extracting feature points will be described. When image data for display is reproduced on the monitor 109, data obtained by thinning the image data for still image from the image data for still image to the image data for display is continuously output from the image sensor at a constant cycle (for example, 30 frames / second). Is done. The image data is subjected to a predetermined process, and the data is further thinned out so as to have the number of pixels corresponding to the number of vertical and horizontal pixels of the monitor 109 and continuously recorded in the VRAM 107. The data in the VRAM 107 is reproduced as a display image on the monitor 109 through the D / A converter 108. The image data in the VRAM 107 is also used as data for extracting feature points. When extracting feature points, first, image data in the VRAM 107 is recorded again in the buffer memory 105 at a predetermined timing. Here, only a predetermined range (for example, 80% in both the vertical and horizontal directions) of the central portion of the data recorded in the VRAM 107 is recorded in the buffer memory 105. FIG. 6 shows an example of the range in this screen. In FIG. 6, an area indicated by an alternate long and short dash line including three persons on the display screen is a range recorded in the buffer memory 105. It is highly possible that the outer peripheral subject outside this range is not the main subject, and it is meaningless to extract the feature points, and in order to shorten the extraction processing time, the image data excluding the outer peripheral subject from the beginning is used. Only for that, the feature point extraction calculation unit 1123 extracts the feature points. Further, when the camera is set to the extraction mode for performing the feature point extraction operation using the setting button 1164 described above, the user is set to the extraction mode by displaying the extractable area in this way. This is preferable because it can be confirmed.
また、このようにVRAM107から再度バッファメモリ105に画像データを記録するのは次の理由による。CPU112の演算処理能力が十分高かったならば前述した30フレーム/秒のレートで特徴点を抽出することができるがデジタルカメラに採用されているCPU112の演算能力はそこまで高くないことが多い。それ故、CPU112の演算能力に応じて特徴点抽出演算にあったレートでVRAM107からバッファメモリ105に画像データを再度記録することで特徴点を抽出する事が可能となる。なお、その場合であってももちろんVRAM105からは通常のレートでモニタ109の表示用画像データが出力されているので表示更新のレートが遅くなることはない。なお、AE演算、AF演算するための画像データは上述した撮像素子103から出力されVRAM107に間引く前のデータを使用する。 The reason why the image data is recorded again from the VRAM 107 to the buffer memory 105 in this way is as follows. If the arithmetic processing capability of the CPU 112 is sufficiently high, feature points can be extracted at the rate of 30 frames / second as described above, but the arithmetic capability of the CPU 112 employed in the digital camera is often not so high. Therefore, the feature points can be extracted by re-recording the image data from the VRAM 107 to the buffer memory 105 at a rate suitable for the feature point extraction calculation according to the calculation capability of the CPU 112. In this case, of course, the display update image data is output from the VRAM 105 at a normal rate, so the display update rate does not slow down. Note that the image data for AE calculation and AF calculation is data output from the above-described image sensor 103 and before thinning out to the VRAM 107.
次に図8、図9を使用して特徴点抽出(図では特徴点として顔認識をする場合を示している)、AE、AF、AWBのタイミングについて説明する。図8はカメラ動作開始時から顔認識が可能な場合で、図9は顔認識不可能な場合のタイミングである。両図において横軸目盛りは撮像素子103から読み出される周期(たとえば30フレーム/秒)を基準とした時間軸であり、顔認識処理はここでは2サイクル内で完了するものとしている。AF演算とAE演算、AF演算とAWB演算とは一つのサイクル内でそれぞれシリーズに行われる。 Next, the timing of feature point extraction (in the figure, a case where face recognition is performed as a feature point), AE, AF, and AWB will be described with reference to FIGS. FIG. 8 shows the case where face recognition is possible from the start of camera operation, and FIG. 9 shows the timing when face recognition is impossible. In both figures, the horizontal axis scale is a time axis based on a cycle (for example, 30 frames / second) read from the image sensor 103, and the face recognition processing is completed within two cycles here. AF calculation and AE calculation, and AF calculation and AWB calculation are performed in series in one cycle.
図8においてカメラ動作が開始されるとまず絞りを最小の口径となるように絞り込むとともに、フォーカスレンズをその絞り値に対応した過焦点距離の位置に移動させる。過焦点距離の位置とは無限遠が撮影レンズ101の被写界深度に入る一番近い撮影距離のことである。この位置で撮影すると、過焦点距離の1/2の距離から無限遠までのすべてが被写界深度に入る。この初期設定の詳細な内容については図4で後述する。初期設定終了後に撮像素子103で露光したデータを使用して時刻t1から顔認識演算を行う。 In FIG. 8, when the camera operation is started, the aperture is first narrowed down to the minimum aperture, and the focus lens is moved to the position of the hyperfocal distance corresponding to the aperture value. The position of the hyperfocal distance is the closest shooting distance where infinity is within the depth of field of the shooting lens 101. When shooting at this position, everything from 1/2 the hyperfocal distance to infinity enters the depth of field. Details of the initial setting will be described later with reference to FIG. After the initial setting is completed, face recognition calculation is performed from time t1 using data exposed by the image sensor 103.
顔認識が可能であった場合には時刻t2で撮像素子103からの動画用に間引いた出力データを使用して認識した顔を含む所定エリアに対してAF演算及びAE演算を行う。このAF演算結果に基づいてフォーカスレンズを駆動するが、一旦合焦したならそれ以降フォーカスレンズの駆動範囲はその合焦位置の前後の所定の範囲に制限される。これにより仮に被写体が動いてAFエリアからはずれたとしても急に背景にピントがあったりするのを防ぐことができる。さらに、画面内に複数の被写体がいて、それらが移動している場合などでは抽出した各被写体の大きさや距離が変わることによりAF演算をするための主要被写体が次々に変わってフォーカスレンズが頻繁に動いて煩わしい場合もある。この様な状態を防ぐために顔認識可能である場合には定期的にAF演算をせずに顔認識が不可能になったときにAF演算するようにしてもよい。図8でAF演算の箇所がカッコでくくられているのはこのようにAF演算しない場合もあるということを示している。AF演算に引き続いてAE演算を行い、AE演算終了後の時刻t3における撮像素子103からの出力を使用して今度はAF演算とAWB演算を行う。AF演算は前のサイクルと同様必要に応じて行う。時刻t4からは顔認識演算を行いそれ以降はt1からのサイクルと同様の繰り返しとなる。 When face recognition is possible, AF calculation and AE calculation are performed on a predetermined area including a face recognized using output data thinned out for moving images from the image sensor 103 at time t2. The focus lens is driven based on the AF calculation result. Once focused, the focus lens drive range is limited to a predetermined range before and after the focus position. As a result, even if the subject moves and deviates from the AF area, it is possible to prevent the background from being suddenly in focus. In addition, when there are multiple subjects in the screen and they are moving, the main subject for AF calculation changes one after another as the size and distance of each extracted subject changes, and the focus lens frequently It can be troublesome to move. In order to prevent such a situation, when face recognition is possible, AF calculation may be performed when face recognition becomes impossible without regularly performing AF calculation. In FIG. 8, the AF calculation is shown in parentheses, which indicates that the AF calculation may not be performed in this way. Subsequent to the AF calculation, the AE calculation is performed, and the AF calculation and the AWB calculation are performed this time using the output from the image sensor 103 at time t3 after the end of the AE calculation. The AF calculation is performed as necessary as in the previous cycle. The face recognition calculation is performed from time t4, and thereafter, the same cycle as the cycle from t1 is repeated.
次に、顔認識不可能の場合を図9に基づいて説明する。初期設定から顔認識終了時刻t2までの内容は図8と同様である。顔認識が不可能であった場合には時刻t2から開始されるAF演算の結果に対してはフォーカスレンズの移動範囲の制限はない。AF演算に引き続いてAE演算を行う。時刻t3から時刻t5のサイクルは時刻t1から時刻t3までのサイクルと同一である。この様に同一動作を繰り返す理由は、時刻t2と時刻t3の間で行ったAF演算の結果に基づいてフォーカスレンズを移動させ、移動終了後の時刻t4から時刻t5の間で撮像素子103で露光した画像データを時刻t5からの顔認識処理に使用するためである。このようにしてフォーカスレンズを移動した後の画像データにおいてもなお顔認識が不可であった場合には時刻t6においてカメラで設定されている撮影モードを判別する。この撮影モードの詳細は後述する。 Next, the case where face recognition is impossible will be described with reference to FIG. The contents from the initial setting to the face recognition end time t2 are the same as those in FIG. When face recognition is impossible, there is no restriction on the movement range of the focus lens with respect to the result of AF calculation started from time t2. Subsequent to the AF calculation, AE calculation is performed. The cycle from time t3 to time t5 is the same as the cycle from time t1 to time t3. The reason why the same operation is repeated in this manner is that the focus lens is moved based on the result of the AF calculation performed between time t2 and time t3, and exposure is performed by the image sensor 103 between time t4 and time t5 after the movement is completed. This is because the processed image data is used for face recognition processing from time t5. If face recognition is still impossible even in the image data after moving the focus lens in this way, the shooting mode set by the camera is determined at time t6. Details of this shooting mode will be described later.
もし人物に重点を置いた撮影モードに設定されていた場合にはフォーカスレンズを前述した過焦点距離の位置に移動させる。一方、風景に重点を置いた撮影モードに設定されていた場合にはt2あるいはt4で行ったAF演算と同様にAF演算を行いその結果に基づいた合焦位置にフォーカスレンズを移動させる。AE演算が終了した時刻t7からのサイクルでは、人物に重点を置いた撮影モードの場合はフォーカスレンズ位置はそのままの所定位置に固定しておき、一方風景に重点を置いた撮影モードの場合には新たにAF演算を行う。その後AWB演算が終了したら時刻t8で顔認識演算を行いそれ以降は時刻t5からの処理を繰り返す。途中で被写体が移動するなどして顔認識が可能になった場合には図8の時刻t2以降の処理を繰り返す。逆に抽出の途中で被写体が移動するなどして顔認識が不可能になった場合には図9の時刻t2以降の処理を繰り返す。なお、ここまでの図9の説明でAWB演算については時刻t7からのサイクルで開始していたがこれはもちろん図8の場合と同様にAE演算が終了した後の時刻t3及び時刻t5からのサイクルにも行うようにしてもよい。 If the shooting mode is set with emphasis on the person, the focus lens is moved to the above-described position of the hyperfocal distance. On the other hand, when the shooting mode is set with an emphasis on landscape, AF calculation is performed in the same manner as the AF calculation performed at t2 or t4, and the focus lens is moved to the in-focus position based on the result. In the cycle from the time t7 when the AE calculation is completed, the focus lens position is fixed at a predetermined position as it is in the shooting mode with emphasis on the person, while in the shooting mode with emphasis on the landscape. A new AF operation is performed. After that, when the AWB calculation is completed, face recognition calculation is performed at time t8, and thereafter the processing from time t5 is repeated. When face recognition becomes possible due to the movement of the subject on the way, the processing after time t2 in FIG. 8 is repeated. Conversely, when face recognition becomes impossible due to the movement of the subject during extraction, the processing after time t2 in FIG. 9 is repeated. In the description of FIG. 9 so far, the AWB calculation started in the cycle from the time t7. Of course, this is the cycle from the time t3 and the time t5 after the end of the AE calculation as in the case of FIG. May also be performed.
図2〜図5は図8、図9で説明した一連の動作シーケンスをフローチャートにまとめたものである。図2においてまずステップS101で電源SW1161をオンすることによりデジタルカメラの電源が入れられたことを検出するとステップS102でデジタルカメラの動作モードが顔認識モードに設定されているかどうか判別する。顔認識モードは例えば設定釦S1164を使用して設定することができる。前述したように、顔認識モードに設定されている場合には図6に示すごとくLCDモニタ109に一点鎖線で示す認識可能エリアが表示される。もし顔認識モードに設定されていなかった場合にはステップS103に進んで通常の撮影動作をするため所定のシーケンスに従ってAF、AE、AWB動作を行う。ステップS102で顔認識モードに設定されていた場合にはステップS104に進んで顔認識処理をするに当たっての初期設定を行う。この初期設定の具体例は図4で後述する。 2 to 5 summarize the series of operation sequences described in FIGS. 8 and 9 in flowcharts. In FIG. 2, first, when it is detected in step S101 that the power of the digital camera is turned on by turning on the power SW 1161, it is determined whether or not the operation mode of the digital camera is set to the face recognition mode in step S102. The face recognition mode can be set using, for example, the setting button S1164. As described above, when the face recognition mode is set, the recognizable area indicated by the alternate long and short dash line is displayed on the LCD monitor 109 as shown in FIG. If the face recognition mode is not set, the process proceeds to step S103, and AF, AE, and AWB operations are performed according to a predetermined sequence in order to perform a normal photographing operation. If the face recognition mode has been set in step S102, the process proceeds to step S104 to perform initial setting for performing face recognition processing. A specific example of this initial setting will be described later with reference to FIG.
初期設定が終了したらステップS105で初期設定終了後に露光した画像データを使用して特徴点抽出演算部1123によって被写体の特徴点を抽出する。ステップS106ではCPU112は抽出した特徴点の中から人物の顔が認識できるかどうか判別する。もし顔認識が不可能であった場合にはステップS107に進み、顔認識が可能の場合にはステップS108に進む。ステップS108では撮影者が一旦設定した主要被写体に対して被写体ロックの設定をする。これはそれ以降も被写体を追従して撮影することが容易にできるようにするためである。この被写体ロック設定については図5で詳細に説明する。 When the initial setting is completed, the feature point extraction calculation unit 1123 extracts the feature point of the subject using the image data exposed after the initial setting is completed in step S105. In step S106, the CPU 112 determines whether or not a person's face can be recognized from the extracted feature points. If face recognition is impossible, the process proceeds to step S107. If face recognition is possible, the process proceeds to step S108. In step S108, subject lock is set for the main subject once set by the photographer. This is to make it easier to follow and shoot the subject after that. The subject lock setting will be described in detail with reference to FIG.
ステップS109ではロックした被写体に対してAFする必要があるかどうか判別する。顔認識しない通常の場合はAE演算やAWB演算の前にAF演算しているが、図8においても説明したように、顔認識されているということはフォーカスレンズが合焦位置あるいは合焦に近い位置にあるということであるのでAEやAWBの前に常にAF演算する必要はなく、2ないし3回のAE演算、AWB演算を行うサイクルに1回程度AF演算するようにすれば十分である。あるいはサイクル数とは関係なく前述した焦点評価値が所定値以下だったならば合焦からのずれが大きいとしてAF演算を行うようにしてもよい。このような理由によりもしAFの必要がなかったならばステップS111に進み、AFの必要があったならばステップS110に進んでフォーカスレンズの移動範囲を限定してAFを行う。これは主要被写体が仮に動いたとしても現在の位置から大きくは動いていないであろうという仮定に基づいている。このようにフォーカスレンズの移動範囲を限定することによりもしも主要被写体が移動してAFエリアからはずれた場合に、AF演算結果によって背景に合焦させようとしてフォーカスレンズが極端に大きく移動することを防ぐことができる。AF演算が終了したなら次に、ステップS111でAE演算を行い、続いてステップS112でオートホワイトバランス演算を行い、図3ステップS118へ進む。なお、図8においても説明したようにステップS112のAWB演算の前にAF演算するようにしてもよい
ステップS106で顔認識が不可能と判別された場合にはステップS107に進む。ここでは顔認識不可能と判別された後にフォーカスレンズを移動したかどうか判別する。すなわち、フォーカスレンズ移動後も引き続いてステップS106で顔認識不可能と判断されたのかどうか判別する。もしまだフォーカスレンズを移動する前であったならばステップS113に進んでAF演算を行い、その後ステップS114でAE演算し、図3ステップ118に進む。もしフォーカスレンズ移動後に再度顔認識不可と判断されたのであったならばステップS115に進んでここでデジタルカメラに設定されている撮影モードを判別する。ここでいう撮影モードとはポートレートモード、記念写真モード等の人物を重視した撮影モードかあるいは風景モード、夜景モード等の風景を重視した撮影モードのことをいい、これらのいずれの撮影モードに設定されているかを判別する。この設定はモニタ109に表示されるメニューを見ながら撮影者が設定ボタン1164を操作することで設定される。
In step S109, it is determined whether it is necessary to perform AF on the locked subject. In a normal case where face recognition is not performed, AF calculation is performed before AE calculation or AWB calculation. However, as described with reference to FIG. 8, the fact that face recognition is being performed means that the focus lens is close to the in-focus position or in-focus. Since it is in the position, it is not always necessary to perform AF calculation before AE or AWB, and it is sufficient to perform AF calculation about once every two to three AE calculation and AWB calculation cycles. Alternatively, if the above-described focus evaluation value is less than or equal to a predetermined value regardless of the number of cycles, AF calculation may be performed assuming that the deviation from the focus is large. For this reason, if AF is not necessary, the process proceeds to step S111. If AF is necessary, the process proceeds to step S110, and the focus lens moving range is limited and AF is performed. This is based on the assumption that even if the main subject moves, it will not move significantly from the current position. By limiting the movement range of the focus lens in this way, if the main subject moves and deviates from the AF area, the focus lens is prevented from moving excessively in an attempt to focus on the background according to the AF calculation result. be able to. When the AF calculation is completed, next, AE calculation is performed in step S111, then auto white balance calculation is performed in step S112, and the process proceeds to step S118 in FIG. As described with reference to FIG. 8, AF calculation may be performed before the AWB calculation in step S112. If it is determined in step S106 that face recognition is impossible, the process proceeds to step S107. Here, it is determined whether or not the focus lens has been moved after it is determined that face recognition is impossible. That is, it is determined whether or not it is determined in step S106 that face recognition is impossible after the focus lens is moved. If the focus lens has not yet been moved, the process proceeds to step S113 to perform AF calculation, and then performs AE calculation in step S114 and proceeds to step 118 in FIG. If it is determined that the face cannot be recognized again after the focus lens is moved, the process proceeds to step S115 to determine the shooting mode set in the digital camera. The shooting mode here refers to a shooting mode that emphasizes people such as portrait mode and commemorative photo mode, or a shooting mode that emphasizes scenery such as landscape mode and night view mode, and any of these shooting modes can be set. It is determined whether it is done. This setting is set by the photographer operating the setting button 1164 while looking at the menu displayed on the monitor 109.
もし人物を重視した撮影モードに設定されていた場合にはステップS116に進み、風景を重視した撮影モードに設定されていた場合にはステップS111に進む。人物を重視した撮影モードに設定されているにもかかわらずこの様に顔認識が不能となる原因としては、人物がたまたま横や下を向いていたと考えられるので、ステップS116ではフォーカスレンズの現在位置を判別して、もしフォーカスレンズが過焦点距離の位置にあったならそのままステップS111に進み、それ以外の位置にあったならばステップS116で過焦点距離の位置に移動させたのちにステップS111に進む。なお、過焦点距離の位置は絞り102の絞り値や撮影レンズ101の焦点距離によって変わってくるため、このステップS117では過焦点距離の位置の代わりに絞り値によらない固定の位置(例えば撮影距離2m程度)にフォーカスレンズを移動するようにしても良い。また、ステップS106で顔認識が不可能と判別された場合にここまでの説明では直ちにステップS107に進むようにしていたがこれのかわりにステップS105に戻るようにしても良い。すなわち、たまたま被写体が横を向いたりして1回だけの判定では不十分であることも考えられる。それゆえ、顔認識が不可能と判別されたらステップS105に戻り再度認識の可否の判定を行って、所定回連続して認識不可だったときに最終的に認識不可と判別するようにしても良い。これにより被写体認識の精度を向上させることができる。 If the shooting mode is set to emphasize the person, the process proceeds to step S116. If the shooting mode is set to focus on the landscape, the process proceeds to step S111. The reason why face recognition is not possible in this way despite the fact that the person-oriented shooting mode is set is considered to be that the person happens to be sideways or down, so in step S116 the current position of the focus lens If the focus lens is at the position of the hyperfocal distance, the process proceeds to step S111 as it is. move on. Since the position of the hyperfocal distance varies depending on the aperture value of the diaphragm 102 and the focal length of the photographing lens 101, in this step S117, instead of the position of the hyperfocal distance, a fixed position that does not depend on the diaphragm value (eg, the photographing distance). The focus lens may be moved about 2 m). Also, when it is determined in step S106 that face recognition is impossible, in the above description, the process immediately proceeds to step S107. Instead, the process may return to step S105. That is, it can be considered that it is not sufficient to make a single determination because the subject happens to turn sideways. Therefore, if it is determined that face recognition is impossible, the process returns to step S105 to determine again whether or not recognition is possible, and finally when it is impossible to recognize a predetermined number of times, it is finally determined that recognition is impossible. . Thereby, the accuracy of subject recognition can be improved.
ステップS115で風景撮影モードに設定されていると判別されたならばそのままのフォーカスレンズ位置でステップS111に進んでAE演算を行い、その後ステップS112でAWB演算し、その後図3ステップS1118に進む。ステップS118では全押しスイッチ1163が押されたかどうか判別する。もし押されていなかったならば図2ステップS105に戻り、押されたならばステップS119に進んで被写体を撮影する。その後はステップS120でカメラの電源がオフされたかどうか判別し、もしオフされていなかったならば、ステップS121に進んで顔認識モードが変更されていないかどうか判別する。もし顔認識モードに設定されたままであったならば図2ステップS105に戻り、顔認識モードが変更されていたならば図2ステップ103に戻る。ステップS120でカメラの電源がオフされていたら顔認識モードにおける一連の撮影動作を終了する。 If it is determined in step S115 that the landscape photographing mode is set, the process proceeds to step S111 with the focus lens position as it is, and AE calculation is performed. Thereafter, AWB calculation is performed in step S112, and then the process proceeds to step S1118 in FIG. In step S118, it is determined whether or not the full press switch 1163 has been pressed. If it has not been pressed, the process returns to step S105 in FIG. 2, and if it has been pressed, the process proceeds to step S119 to photograph the subject. Thereafter, in step S120, it is determined whether the camera is turned off. If not, the process proceeds to step S121, where it is determined whether the face recognition mode has been changed. If the face recognition mode remains set, the process returns to step S105 in FIG. 2, and if the face recognition mode has been changed, the process returns to step 103 in FIG. If the camera is turned off in step S120, the series of shooting operations in the face recognition mode is terminated.
次に図4に基づいて初期設定の具体的内容を説明する。この初期設定においてはフォーカスレンズ位置と絞り位置を設定する。まずステップS151において絞り102をあらかじめ設定されている絞り値に設定する。通常、カメラの動作開始時には絞り102は開放または開放に近い位置に設定されている。これは、被写界深度を浅くして特定の被写体に対して合焦動作しやすいようにするためである。それに対して顔認識モードの場合には逆に被写界深度を深くしてできるだけ広い範囲の被写体に対して認識できるようにしてやる必要がある。そのために最小絞り径あるいは最小絞り径近傍に絞り値を設定してやる。次にステップS152でフォーカスレンズを前述した過焦点距離の位置に移動させる。通常コントラスト法のAF動作においては電源投入時はフォーカスレンズを所定の範囲スキャンして評価値のピークを検出する。これに対して顔認識モードの場合にはAF動作より顔認識動作を優先する。それゆえ、何らかの原因で至近や無限位置にフォーカスレンズが停止してしまっていた場合には人物のピントが大きく外れてしまい顔認識できなくなってしまう恐れがあるからである。この様に過焦点距離の位置にフォーカスレンズを移動させることでカメラ動作の最初から被写体に合焦した画像データを得ることが可能となり顔認識を迅速に行うことが可能となる。この過焦点距離の位置はレンズの焦点距離あるいは絞り値に基づいて演算する必要があり、これが煩わしい場合にはレンズによらないあらかじめ決められた位置に撮影レンズを移動させるようにしても良い。具体的には、0.3〜3m内の固定の位置である。 Next, specific contents of the initial setting will be described with reference to FIG. In this initial setting, the focus lens position and the aperture position are set. First, in step S151, the aperture 102 is set to a preset aperture value. Normally, at the start of camera operation, the aperture 102 is set to the open position or close to the open position. This is to reduce the depth of field so that a specific subject can be easily focused. On the other hand, in the face recognition mode, it is necessary to increase the depth of field so that a wide range of subjects can be recognized. Therefore, the aperture value is set near the minimum aperture diameter or near the minimum aperture diameter. Next, in step S152, the focus lens is moved to the position of the hyperfocal distance described above. In the normal contrast AF operation, when the power is turned on, the focus lens is scanned within a predetermined range to detect the peak of the evaluation value. In contrast, in the face recognition mode, the face recognition operation has priority over the AF operation. For this reason, if the focus lens stops at a close or infinite position for some reason, the person's focus may be greatly out of focus and the face may not be recognized. In this way, by moving the focus lens to the position of the hyperfocal distance, it is possible to obtain image data focused on the subject from the beginning of the camera operation, and face recognition can be performed quickly. The position of the hyperfocal distance needs to be calculated based on the focal length or aperture value of the lens. If this is troublesome, the photographing lens may be moved to a predetermined position that does not depend on the lens. Specifically, it is a fixed position within 0.3 to 3 m.
これで初期設定は終了するがこれらの設定に加えて更にAE演算をするようにしても良い。これは、被写体輝度が明るすぎて撮影データが飛んでいたり、逆に暗すぎて撮影データがつぶれたりした場合には顔認識が不可能となってしまうからである。それゆえ、顔認識動作の前にまずAE演算部1121によって被写体輝度を測定して被写体をある程度の明るさになるように絞りあるいはシャッタスピードを調整する。もちろん、この初期設定においてはここに述べた3通りをすべて行う必要はなくこれらのうちから1通りあるいはいくつかの方法を適宜組み合わせて選択するようにしても良い。 This completes the initial setting, but in addition to these settings, an AE calculation may be further performed. This is because face recognition becomes impossible if the subject brightness is too bright and the shooting data is skipped, or conversely if the shooting data is crushed because it is too dark. Therefore, before the face recognition operation, the subject brightness is first measured by the AE calculation unit 1121, and the aperture or shutter speed is adjusted so that the subject has a certain level of brightness. Of course, in this initial setting, it is not necessary to perform all the three methods described here, and one of these methods or a combination of several methods may be selected as appropriate.
次に図5を用いて図2ステップS108の被写体ロックの詳細について説明する。ステップS201では認識した被写体を所定の表示方法で識別表示する。図6にこの表示形態の一例を示す。図6において顔内部の細い実線や波線の四角表示が認識された顔であることを示している。ここでは四角の表示のうち波線で示した顔が最大の顔であることを示している。これ以外にも前述した眼幅から被写体までの概略距離を求め、その結果から最短距離にある顔を識別表示するようにしても良い。このように最大の顔を識別表示するか、あるいは最も近い顔を識別表示するかという設定は設定釦1164によって行う。 Next, details of subject locking in step S108 in FIG. 2 will be described with reference to FIG. In step S201, the recognized subject is identified and displayed by a predetermined display method. FIG. 6 shows an example of this display form. FIG. 6 shows that the face is recognized as a thin solid line or a square display of wavy lines inside the face. Here, the face indicated by the wavy line in the square display indicates that it is the largest face. In addition to this, the approximate distance from the aforementioned eye width to the subject may be obtained, and the face at the shortest distance may be identified and displayed from the result. The setting button 1164 is used to set whether to identify and display the largest face or the nearest face.
ステップS202では撮影者が所望する被写体を選択したかどうか判別する。この選択についてはU/D釦1165を使用する。もし選択していなかったならばステップS201に戻り、選択したならばステップS203で選択した被写体の顔の細い実線表示が波線表示になる。ステップS204では選択した被写体がロックされたかどうか判別する。具体的には撮影者が被写体を選択後、設定釦1164を押すことで選択した被写体がロック状態に設定さる。これにより選択した被写体がAFエリアあるいはAEエリアとして常に設定され、仮にロックした被写体が移動して他の被写体がより近くあるいはより大きくなったとしてもロックした被写体以外の他の被写体にAFエリアあるいはAEエリアが移ってしまうことが防止される。 In step S202, it is determined whether the photographer has selected a desired subject. For this selection, the U / D button 1165 is used. If not selected, the process returns to step S201, and if selected, the thin solid line display of the face of the subject selected in step S203 becomes a wavy line display. In step S204, it is determined whether or not the selected subject is locked. Specifically, after the photographer selects a subject, the selected subject is set to a locked state by pressing a setting button 1164. As a result, the selected subject is always set as an AF area or AE area, and even if the locked subject moves and another subject becomes closer or larger, the subject other than the locked subject is moved to the AF area or AE. The area is prevented from moving.
もしロックされていなかった場合にはステップS202に戻って被写体選択を繰り返す。ロックが終了したならばステップS205でロックした被写体の四角の波線表示を太い実線表示にすることでロックされていることを識別表示する。ステップS206ではいったん設定されたロックが解除されたかどうか判別する。ロック解除は設定ボタン1164をもう一度押すことで解除される。これにより太い実線表示が波線表示に変わりロックが解除されたことを示す。もしロックが解除されたならばステップS202に戻り、解除されなかったならこの被写体ロックの処理を終了する。なお、ここでは被写体識別記号を四角い実線、波線、太い実線で表示するようにしたがこれを赤や青等の色を変えて表示したり、四角、三角、丸といったように形状を変えたりあるいはロック被写体を矢印で示すことで区別してもよい。 If not locked, the process returns to step S202 to repeat subject selection. When the locking is completed, the fact that the object is locked in step S205 is displayed in a bold solid line to identify that it is locked. In step S206, it is determined whether or not the set lock has been released. The lock release is released by pressing the setting button 1164 again. As a result, the thick solid line display is changed to a wavy line display to indicate that the lock is released. If the lock is released, the process returns to step S202. If the lock is not released, the subject locking process is terminated. In this example, the object identification symbol is displayed as a square solid line, a wavy line, or a thick solid line. However, this may be displayed in a different color such as red or blue, or the shape may be changed such as a square, triangle, or circle. You may distinguish a lock | rock subject by showing with an arrow.
101 撮影レンズ
102 絞り
103 撮像素子
104 アナログ信号処理部
105 バッファメモリ
106 デジタル信号処理部
108 D/Aコンバータ
109 LCDモニタ
110 記録・再生信号処理部
111 外部記憶媒体
112 CPU
113 レンズ駆動部
114 絞り駆動部
115 撮像素子駆動部
116 操作部材
117 ストロボ
121 レンズ位置検出部
135 A/Dコンバータ
1121 AE演算部
1122 AWB演算部
1123 特徴点抽出演算部
1124 AF演算部
1125 記憶部
1161 電源スイッチ
1162 半押しスイッチ
1163 全押しスイッチ
1164 設定釦
1165 アップ/ダウン釦
DESCRIPTION OF SYMBOLS 101 Shooting lens 102 Diaphragm 103 Image pick-up element 104 Analog signal processing part 105 Buffer memory 106 Digital signal processing part 108 D / A converter 109 LCD monitor 110 Recording / reproduction | regeneration signal processing part 111 External storage medium 112 CPU
DESCRIPTION OF SYMBOLS 113 Lens drive part 114 Aperture drive part 115 Image pick-up element drive part 116 Operation member 117 Strobe 121 Lens position detection part 135 A / D converter 1121 AE calculating part 1122 AWB calculating part 1123 Feature point extraction calculating part 1124 AF calculating part 1125 Storage part 1161 Power switch 1162 Half-press switch 1163 Full-press switch 1164 Setting button 1165 Up / down button
Claims (17)
第1の時間間隔で撮像手段から出力された画像データを記憶する第1記憶手段と、
前記第1記憶手段に記憶された前記画像データを前記第1の時間間隔で読み出して表示する表示手段と、
前記第1記憶手段に記憶された前記画像データを第2の時間間隔で読み出して記録する第2記憶手段と、
前記第2記憶手段に記録された前記画像データに基づいて前記被写体の特徴部位を抽出する抽出手段とを備えたことを特徴とするデジタルカメラ。 Imaging means for capturing a subject image;
First storage means for storing image data output from the imaging means at a first time interval;
Display means for reading and displaying the image data stored in the first storage means at the first time interval;
Second storage means for reading and recording the image data stored in the first storage means at a second time interval;
A digital camera comprising: extraction means for extracting a characteristic part of the subject based on the image data recorded in the second storage means.
前記露出演算手段は前記抽出手段により抽出された特徴部位に対応する被写体に対して露出演算を行うことを特徴とする請求項1に記載のデジタルカメラ。 Furthermore, an exposure calculation means for performing exposure calculation at the time of subject shooting is provided,
The digital camera according to claim 1, wherein the exposure calculation unit performs an exposure calculation on a subject corresponding to the characteristic part extracted by the extraction unit.
前記検出手段は前記抽出手段による抽出動作の終了後に前記撮影画面における色条件を検出することを特徴とする請求項1に記載のデジタルカメラ。 Furthermore, a detection means for detecting a color condition on the screen to be photographed is provided,
The digital camera according to claim 1, wherein the detection unit detects a color condition in the shooting screen after the extraction operation by the extraction unit is completed.
前記距離演算手段は前記抽出手段により抽出された特徴部位に対応する被写体までの距離を演算することを特徴とする請求項1に記載のデジタルカメラ。 Furthermore, a distance calculating means for calculating the distance to the subject is provided,
The digital camera according to claim 1, wherein the distance calculation unit calculates a distance to a subject corresponding to the characteristic part extracted by the extraction unit.
前記撮像手段から所定の時間間隔で出力される画像データから前記被写体の特徴部位を抽出する抽出手段と、
被写体までの距離を演算する演算手段と、
撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記距離演算手段に前記被写体までの距離を演算するよう指示する指示手段とを備えたことを特徴とするデジタルカメラ。 Imaging means for capturing a subject image;
Extracting means for extracting a characteristic part of the subject from image data output at predetermined time intervals from the imaging means;
Computing means for computing the distance to the subject;
An instruction to instruct the distance calculation means to calculate the distance to the subject after the extraction of the characteristic part of the subject by the extraction means for the image data output from the image sensor in response to a photographer's operation And a digital camera.
前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記露出演算手段に前記被写体に対する露出演算をするように指示することを特徴とする請求項12に記載のデジタルカメラ。 Furthermore, an exposure calculation means for performing an exposure calculation when photographing the subject is provided,
13. The digital camera according to claim 12, wherein the instruction unit instructs the exposure calculation unit to perform exposure calculation on the subject after the distance calculation unit finishes calculating the distance to the subject.
前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記検出手段に前記撮影画面における色条件を検出するように指示することを特徴とする請求項12に記載のデジタルカメラ。 Furthermore, it has a detection for detecting a color condition on the screen to be photographed,
13. The digital camera according to claim 12, wherein the instruction unit instructs the detection unit to detect a color condition on the shooting screen after the distance calculation unit finishes calculating the distance to the subject.
被写体撮影時の露出演算を行う露出演算手段と、
撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記露出演算手段に前記被写体に対して露出演算をするように指示する指示手段とを備えたことを特徴とするデジタルカメラ。 Extraction means for extracting a characteristic part of the subject at a predetermined time interval;
Exposure calculation means for calculating the exposure at the time of shooting the subject;
For the image data output from the image sensor in response to the operation of the photographer, the exposure calculation unit is instructed to perform exposure calculation on the subject after the extraction unit finishes extracting the characteristic part of the subject. And a digital camera.
撮影する画面における色条件を検出する検出手段と、
撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段の抽出終了後に前記手段に前記撮影画面における色条件を検出するように指示する指示手段とを備えたことを特徴とするデジタルカメラ。 Extraction means for extracting a characteristic part of the subject at a predetermined time interval;
Detection means for detecting color conditions on the screen to be photographed;
Instruction means for instructing the means to detect the color condition in the photographing screen for the image data output from the image sensor in response to a photographer's operation after the extraction means completes extraction; A digital camera characterized by
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003351779A JP4306399B2 (en) | 2003-10-10 | 2003-10-10 | Digital camera |
US10/954,613 US8159561B2 (en) | 2003-10-10 | 2004-10-01 | Digital camera with feature extraction device |
EP04256236.3A EP1522952B1 (en) | 2003-10-10 | 2004-10-08 | Digital camera |
CNB2004100850500A CN100499747C (en) | 2003-10-10 | 2004-10-10 | Digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003351779A JP4306399B2 (en) | 2003-10-10 | 2003-10-10 | Digital camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005117532A true JP2005117532A (en) | 2005-04-28 |
JP4306399B2 JP4306399B2 (en) | 2009-07-29 |
Family
ID=34542920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003351779A Expired - Lifetime JP4306399B2 (en) | 2003-10-10 | 2003-10-10 | Digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4306399B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081991A (en) * | 2005-09-15 | 2007-03-29 | Canon Inc | Imaging device and control method thereof |
JP2007228201A (en) * | 2006-02-23 | 2007-09-06 | Fujifilm Corp | Imaging apparatus and method of controlling same |
JP2009153219A (en) * | 2009-04-06 | 2009-07-09 | Nikon Corp | Electronic camera |
US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
US8488847B2 (en) | 2005-11-25 | 2013-07-16 | Nikon Corporation | Electronic camera and image processing device |
-
2003
- 2003-10-10 JP JP2003351779A patent/JP4306399B2/en not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081991A (en) * | 2005-09-15 | 2007-03-29 | Canon Inc | Imaging device and control method thereof |
JP4678843B2 (en) * | 2005-09-15 | 2011-04-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US8488847B2 (en) | 2005-11-25 | 2013-07-16 | Nikon Corporation | Electronic camera and image processing device |
JP2007228201A (en) * | 2006-02-23 | 2007-09-06 | Fujifilm Corp | Imaging apparatus and method of controlling same |
JP4567618B2 (en) * | 2006-02-23 | 2010-10-20 | 富士フイルム株式会社 | Imaging apparatus and control method thereof |
US7848632B2 (en) | 2006-02-23 | 2010-12-07 | Fujifilm Corporation | Image sensing apparatus and method of controlling same |
US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
JP2009153219A (en) * | 2009-04-06 | 2009-07-09 | Nikon Corp | Electronic camera |
Also Published As
Publication number | Publication date |
---|---|
JP4306399B2 (en) | 2009-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1522952B1 (en) | Digital camera | |
US8830343B2 (en) | Digital camera | |
JP4196714B2 (en) | Digital camera | |
US8111321B2 (en) | Imaging device and method for its image processing, with face region and focus degree information | |
JP5029137B2 (en) | Imaging apparatus and program | |
US20060034602A1 (en) | Image capture apparatus and control method therefor | |
US8411159B2 (en) | Method of detecting specific object region and digital camera | |
JP2007108412A (en) | Autofocus device and its program | |
JP2008270896A (en) | Imaging device and program thereof | |
JP5030022B2 (en) | Imaging apparatus and program thereof | |
JP4127521B2 (en) | Digital camera and control method thereof | |
JP2008085737A (en) | Electronic camera | |
JP5027580B2 (en) | Imaging apparatus, method, and program | |
JP2005323015A (en) | Digital camera | |
JP5073602B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP4254467B2 (en) | Digital camera | |
JP4306399B2 (en) | Digital camera | |
JP4371219B2 (en) | Digital camera | |
JP2005223658A (en) | Digital camera | |
JP4305119B2 (en) | Digital camera | |
JP2009020163A (en) | Imaging apparatus and program therefor | |
JP2008054031A (en) | Digital camera and display control method | |
JP2003289468A (en) | Imaging apparatus | |
JP2009182880A (en) | Imaging apparatus and its program | |
JP2009207100A (en) | Image-taking device and its program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060929 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080528 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4306399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |