JP5790751B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5790751B2
JP5790751B2 JP2013260154A JP2013260154A JP5790751B2 JP 5790751 B2 JP5790751 B2 JP 5790751B2 JP 2013260154 A JP2013260154 A JP 2013260154A JP 2013260154 A JP2013260154 A JP 2013260154A JP 5790751 B2 JP5790751 B2 JP 5790751B2
Authority
JP
Japan
Prior art keywords
area
tracking
unit
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013260154A
Other languages
Japanese (ja)
Other versions
JP2014095907A (en
Inventor
宏明 高原
宏明 高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013260154A priority Critical patent/JP5790751B2/en
Publication of JP2014095907A publication Critical patent/JP2014095907A/en
Application granted granted Critical
Publication of JP5790751B2 publication Critical patent/JP5790751B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。
The present invention relates to an imaging device.

次のような被写体追尾装置が知られている。この被写体追尾装置は、画像内から人物の顔を検出し、複数フレーム間で人物の顔を追尾する（例えば、特許文献１）。   The following subject tracking devices are known. The subject tracking device detects a person's face from an image and tracks the person's face between a plurality of frames (for example, Patent Document 1).

特開２００６−１０１１８６号公報JP 2006-101186 A

しかしながら、従来の被写体追尾装置では、人物の顔の追尾途中で、人物の顔が検出できなくなった場合には、顔の追尾を継続できなかった。   However, in the conventional subject tracking device, tracking of a face cannot be continued if the face of the person cannot be detected during tracking of the face of the person.

請求項１の発明による撮像装置は、繰り返し画像を撮像する撮像部と、前記撮像部が出力した画像から人物の顔のパターンを用いた追尾を行い、前記人物の顔のパターンに対応する第１エリアを検出する第１追尾部と、前記撮像部が出力した画像から前記人物の顔の色を用いた追尾を行い、前記人物の顔の色に対応する第２エリアを検出する第２追尾部と、前記第１追尾部により前記第１エリアを検出できたとき、前記第１エリアに対応する情報を表示部に表示し、前記第２追尾部により前記第２エリアを検出できたとき、前記第２エリアに対応する情報を前記表示部に表示するように制御する制御部と、前記第１追尾部により前記第１エリアを検出できたとき前記第１エリアの焦点調節エリアを選択し、前記第１追尾部により前記第１エリアを検出できないとき前記第２エリアの焦点調節エリアを選択する選択部と、前記選択部に選択された前記焦点調節エリアを用いて焦点調節制御をする焦点調節制御部とを含むことを特徴とする。
請求項６の発明による撮像装置は、繰り返し画像を撮像する撮像部と、前記撮像部が出力した画像から人物の顔のパターンを用いた追尾を行い、前記人物の顔のパターンに対応する第１エリアを検出する第１追尾部と、
前記撮像部が出力した画像から前記撮像部が出力した画像を用いて得られたテンプレート画像との一致度合いが最も高い領域を検出することにより追尾を行い、前記テンプレート画像との一致度合いが最も高い領域に対応する第２エリアを検出する第２追尾部と、前記第１追尾部により前記第１エリアを検出できたとき、前記第１エリアに対応する情報を表示部に表示し、前記第２追尾部により前記第２エリアを検出できたとき、前記第２エリアに対応する情報を前記表示部に表示するように制御する制御部と、前記第１追尾部により前記第１エリアを検出できたとき前記第１エリアの焦点調節エリアを選択し、前記第１追尾部により前記第１エリアを検出できないとき前記第２エリアの焦点調節エリアを選択する選択部と、前記選択部に選択された前記焦点調節エリアを用いて焦点調節制御をする焦点調節制御部とを含むことを特徴とする。 An image pickup apparatus according to a first aspect of the present invention includes an image pickup unit that repeatedly picks up an image, and performs tracking using a human face pattern from an image output by the image pickup unit, and corresponds to the person face pattern. A first tracking unit that detects an area, and a second tracking unit that performs tracking using the face color of the person from the image output from the imaging unit and detects a second area corresponding to the color of the person's face When the first tracking unit can detect the first area, information corresponding to the first area is displayed on the display unit, and when the second tracking unit can detect the second area, A control unit that controls to display information corresponding to a second area on the display unit, and when the first tracking unit can detect the first area, the focus adjustment area of the first area is selected, The first tracking unit provides the first area. A selection unit for selecting a focusing area of the second area when it can not detect, characterized in that it comprises a focusing control unit for the focusing control using the focusing area selected in said selection section .
An image pickup apparatus according to a sixth aspect of the present invention includes an image pickup unit that repeatedly picks up an image, and performs tracking using a human face pattern from an image output by the image pickup unit, and corresponds to the person face pattern. A first tracking unit for detecting an area;
Tracking is performed by detecting a region having the highest degree of matching with the template image obtained using the image output by the imaging unit from the image output by the imaging unit, and the degree of matching with the template image is the highest. A second tracking unit that detects a second area corresponding to the area; and when the first tracking unit detects the first area, information corresponding to the first area is displayed on the display unit, and the second tracking unit When the second area was detected by the tracking unit, the first area could be detected by the control unit that controls to display information corresponding to the second area on the display unit, and the first tracking unit. said first selecting the focusing area of the area, the selection unit for selecting the focusing area of the second area when it can not detect the first area by the first tracking section when, selecting the selector Using the focusing area is characterized in that it comprises a focusing control unit for the focusing control.

本発明によれば、特定対象の像の追尾途中で特定対象の像が検出できなくなった場合でも特定対象の像の追尾を継続することができる。   According to the present invention, tracking of a specific target image can be continued even when the specific target image cannot be detected during tracking of the specific target image.

カメラの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of a camera. 被写体追尾処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a subject tracking process.

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の操作ボタンを含んでいる。例えば、操作部材１０１には、電源ボタン、レリーズボタン、ズームボタン、十字ボタン、決定ボタン、再生ボタン、および削除ボタンなどを含んでいる。   FIG. 1 is a block diagram illustrating a configuration of an embodiment of a camera according to the present embodiment. The camera 100 includes an operation member 101, a lens 102, an image sensor 103, a control device 104, a memory card slot 105, and a monitor 106. The operation member 101 includes various operation buttons operated by the user. For example, the operation member 101 includes a power button, a release button, a zoom button, a cross button, an enter button, a play button, a delete button, and the like.

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。また、レンズ１０２を構成するレンズには、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）のためのＡＦレンズ（フォーカシングレンズ）が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２からの光束を受光して受光信号を生成する。そして、生成した受光信号（画像信号）を制御装置１０４へ出力する。   The lens 102 is composed of a plurality of optical lenses, but is representatively represented by one lens in FIG. The lenses constituting the lens 102 include an AF lens (focusing lens) for AF (Auto Focus / automatic focus adjustment). The image sensor 103 is an image sensor such as a CCD or a CMOS, for example, and receives a light beam from the lens 102 to generate a light reception signal. Then, the generated light reception signal (image signal) is output to the control device 104.

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用の画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、制御装置による画像ファイルの生成処理、および生成した画像ファイルのメモリカードへの記録処理を撮影処理と呼ぶこととする。   The control device 104 generates image data in a predetermined image format, for example, JPEG format (hereinafter referred to as “main image data”) based on the image signal input from the image sensor 103. Further, the control device 104 generates display image data, for example, thumbnail image data, based on the generated image data. The control device 104 generates an image file that includes the generated main image data and thumbnail image data, and further includes header information, and outputs the image file to the memory card slot 105. In the present embodiment, image file generation processing by the control device and recording processing of the generated image file on a memory card are referred to as photographing processing.

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。   The memory card slot 105 is a slot for inserting a memory card as a storage medium, and the image file output from the control device 104 is written and recorded on the memory card. The memory card slot 105 reads an image file stored in the memory card based on an instruction from the control device 104.

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によって操作部材１０１が操作されてモニタ１０６への撮像画像の表示（ライブビュー）の開始が指示されると、撮像素子１０３から繰り返し取得した画像信号に基づいて表示用画像データを生成し、これをモニタ１０６に出力する。これによってモニタ１０６にはスルー画がライブビュー表示される。   The monitor 106 is a liquid crystal monitor (rear monitor) mounted on the back surface of the camera 100, and the monitor 106 displays an image stored in a memory card, a setting menu for setting the camera 100, and the like. . In addition, when the operation member 101 is operated by the user and an instruction to start displaying the captured image (live view) on the monitor 106 is given, the control device 104 displays based on the image signal repeatedly acquired from the image sensor 103. Image data is generated and output to the monitor 106. As a result, a live view is displayed on the monitor 106.

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。   The control device 104 includes a CPU, a memory, and other peripheral circuits, and controls the camera 100. Note that the memory constituting the control device 104 includes SDRAM and flash memory. The SDRAM is a volatile memory, and is used as a work memory for the CPU to develop a program when the program is executed or as a buffer memory for temporarily recording data. The flash memory is a non-volatile memory in which data of a program executed by the control device 104, various parameters read during program execution, and the like are recorded.

制御装置１０４は、図１に示すように、第１追尾部１０４ａと、第２追尾部１０４ｂと、制御部１０４ｃと、焦点検出部１０４ｄと、焦点調節部１０４ｅとを有しており、以下に説明する制御装置１０４による処理は、これらの各要素により実行される。   As shown in FIG. 1, the control device 104 includes a first tracking unit 104a, a second tracking unit 104b, a control unit 104c, a focus detection unit 104d, and a focus adjustment unit 104e. The processing by the control device 104 to be described is executed by each of these elements.

具体的には、第１追尾部１０４ａは、撮像素子１０３から繰り返し得られる複数の画像から特定の対象（本実施の形態では人物の顔）に相当するパターンを繰り返し検出することにより、対象を追尾する。第２追尾部１０４ｂは、対象の色と輝度との少なくとも一方を基準情報とし、該基準情報に基づいて複数の画像から対象の像を繰り返し検出することにより、対象の像を追尾する。制御部１０４ｃは、第１追尾部１０４ａによって対象の追尾を開始した後、第１追尾部１０４ａによる対象の追尾が不可能となった場合に、第２追尾部１０４ｂによる対象の像の追尾に変更して制御する。   Specifically, the first tracking unit 104a tracks a target by repeatedly detecting a pattern corresponding to a specific target (in this embodiment, a human face) from a plurality of images repeatedly obtained from the image sensor 103. To do. The second tracking unit 104b uses at least one of the target color and luminance as reference information, and tracks the target image by repeatedly detecting the target image from a plurality of images based on the reference information. When the tracking of the target by the first tracking unit 104a becomes impossible after the first tracking unit 104a starts tracking the target, the control unit 104c changes the tracking of the target image by the second tracking unit 104b. And control.

焦点検出部１０４ｄは、追尾を行っている対象の像の位置に対するレンズ１０２の焦点調節状態を検出する。焦点調節部１０４ｅは、焦点調節状態に基づいてレンズ１０２の焦点調節を行う。   The focus detection unit 104d detects the focus adjustment state of the lens 102 with respect to the position of the target image being tracked. The focus adjustment unit 104e performs focus adjustment of the lens 102 based on the focus adjustment state.

本実施の形態におけるカメラ１００は、ライブビューを開始した後には、スルー画内の被写体の像を連続するフレーム（画像）に亘って追尾する追尾機能を備えている。本実施の形態では、制御装置１０４は、ライブビューを開始してスルー画の表示を開始すると、フレーム（画像）内の人物の顔を追尾対象として追尾を実行する。制御装置１０４は、具体的には、ライブビューを開始した場合には、図２に示すフローチャートの処理を実行して、連続するフレーム（画像）に亘って物の顔を追尾する。すなわち、図２に示す処理は、使用者によってライブビューの開始が指示されると起動するプログラムとして、制御装置１０４によって実行される。   The camera 100 according to the present embodiment has a tracking function for tracking a subject image in a through image over continuous frames (images) after starting live view. In the present embodiment, when the live view is started and the display of the through image is started, the control device 104 performs tracking using the face of a person in the frame (image) as a tracking target. Specifically, when the live view is started, the control device 104 executes the processing of the flowchart shown in FIG. 2 to track the face of an object over continuous frames (images). That is, the process shown in FIG. 2 is executed by the control device 104 as a program that starts when the user instructs the start of the live view.

ステップＳ１０において、制御装置１０４は、撮像素子１０３から繰り返し取得した画像信号に基づいて表示用画像データを生成し、これを所定のフレームレートでモニタ１０６に出力することによって、ライブビューを開始する。その後、ステップＳ２０へ進み、制御装置１０４は、画像内で後述する被写体追尾演算の対象とする被写体追尾領域をクリアする。すなわち、制御装置１０４は、以下に説明する処理で画像内に被写体追尾領域を設定するため、ここでは過去の被写体追尾で設定された被写体追尾領域をクリアしておく。その後、ステップＳ３０へ進む。   In step S10, the control device 104 generates display image data based on the image signal repeatedly acquired from the image sensor 103, and outputs this to the monitor 106 at a predetermined frame rate, thereby starting live view. Thereafter, the process proceeds to step S20, and the control device 104 clears the subject tracking area that is the subject of subject tracking calculation described later in the image. That is, the control device 104 clears the subject tracking area set in the past subject tracking in order to set the subject tracking area in the image by the processing described below. Then, it progresses to step S30.

ステップＳ３０では、制御装置１０４は、現フレームの画像を取得して、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０４は、ステップＳ３０で取得した画像に対する顔の追尾処理がライブビューが開始後、初回の処理であるか、あるいは前回処理を実行してから所定時間が経過しているかを判定する。ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。   In step S30, the control device 104 acquires an image of the current frame, and proceeds to step S40. In step S40, the control device 104 determines whether the face tracking process for the image acquired in step S30 is the first process after the live view starts, or whether a predetermined time has elapsed since the previous process was executed. judge. If a positive determination is made in step S40, the process proceeds to step S50.

ステップＳ５０では、制御装置１０４は、現フレームの画像を対象として公知の顔検出演算を実行して、現フレームの画像内から人物の顔を検出する。例えば、制御装置１０４は、現フレームの画像から特定の対象である人物の顔に相当するパターン検出することにより顔検出を行う。その後、ステップＳ６０へ進み、制御装置１０４は、顔検出演算によって画像内から顔を検出したか否かを判断する。ステップＳ６０で肯定判断した場合には、ステップＳ７０へ進む。   In step S50, the control device 104 executes a known face detection calculation on the current frame image to detect a human face from the current frame image. For example, the control device 104 performs face detection by detecting a pattern corresponding to the face of a specific target person from the image of the current frame. Thereafter, the process proceeds to step S60, and the control device 104 determines whether or not a face has been detected from the image by face detection calculation. If a positive determination is made in step S60, the process proceeds to step S70.

ステップＳ７０では、制御装置１０４は、顔検出演算によって検出した顔エリア、すなわち画像内の人物の顔を含む範囲の、画像内における位置と顔エリアの大きさに関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームの画像における顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。その後、ステップＳ８０へ進む。   In step S70, the control device 104 records, in the flash memory, information regarding the position in the image and the size of the face area of the face area detected by the face detection calculation, that is, the range including the face of the person in the image. At this time, if the position and size of the face area in the image of the past frame has already been recorded, the control device 104 updates the information detected in the current frame. Further, the control device 104 displays information indicating the detected face area, for example, a frame surrounding the face area, on the through image displayed on the monitor 106. Thereafter, the process proceeds to step S80.

ステップＳ８０では、制御装置１０４は、検出した顔エリアに相当する位置にＡＦエリアを設定する。なお、画像内から複数の顔が検出された場合には、いずれか１つの顔、例えば最も至近に存在する顔に対応する顔エリアを対象としてＡＦエリアを設定する。あるいは、複数の顔エリアのうち、最も大きな顔エリアを対象としてＡＦエリアを設定するようにしてもよい。   In step S80, the control device 104 sets an AF area at a position corresponding to the detected face area. When a plurality of faces are detected from the image, the AF area is set for any one face, for example, the face area corresponding to the closest face. Alternatively, the AF area may be set for the largest face area among a plurality of face areas.

その後、ステップＳ９０へ進み、制御装置１０４は、検出した顔エリアとその近傍エリアを含む所定範囲を被写体追尾領域に設定して、ステップＳ１００へ進む。ステップＳ１００では、制御装置１０４は、検出した顔エリア内の画像で、被写体追尾用のテンプレート画像を更新（初回においては「設定」）して、ステップＳ１１０へ進む。   After that, the process proceeds to step S90, and the control device 104 sets a predetermined range including the detected face area and its vicinity area as the subject tracking area, and proceeds to step S100. In step S100, the control device 104 updates the subject tracking template image (“setting” in the first time) with the detected image in the face area, and proceeds to step S110.

ステップＳ１１０では、使用者によって操作部材１０１が操作されることにより、ライブビューの終了が指示されたか否かを判断する。ステップＳ１１０で否定判断した場合には、ステップＳ３０へ戻って処理を繰り返す。これに対して、ステップＳ１１０で肯定判断した場合には、処理を終了する。   In step S110, it is determined whether or not the end of the live view is instructed by operating the operation member 101 by the user. If a negative determination is made in step S110, the process returns to step S30 and is repeated. On the other hand, when an affirmative determination is made in step S110, the process ends.

一方、ステップＳ４０で否定判断した場合には、ステップＳ１２０へ進み、制御装置１０４は、被写体追尾領域がクリアされているか否かを判断する。ステップＳ１２０で肯定判断した場合には、上述したステップＳ５０へ進む。これに対して、ステップＳ１２０で否定判断した場合には、ステップＳ１３０へ進む。   On the other hand, if a negative determination is made in step S40, the process proceeds to step S120, and the control device 104 determines whether or not the subject tracking area is cleared. If an affirmative determination is made in step S120, the process proceeds to step S50 described above. On the other hand, if a negative determination is made in step S120, the process proceeds to step S130.

ステップＳ１３０では、制御装置１０４は、設定されている被写体追尾領域内を対象として、顔検出演算で検出済みの顔エリア内の画像を用いた顔追尾演算を実行する。具体的には、制御装置１０４は、被写体追尾領域内から既に検出済みの顔エリア内に含まれる顔を検出することによって、顔追尾演算を実行する。このように、顔検出を行う範囲を被写体追尾領域内に限定することによって、現フレームの全体を対象として顔検出演算を行うよりも高速に処理を行うことができる。また、別の顔を追尾してしまう誤追尾を防止することができる。   In step S130, the control device 104 executes a face tracking calculation using an image in the face area detected by the face detection calculation for the set subject tracking area. Specifically, the control device 104 executes a face tracking calculation by detecting a face included in a face area that has already been detected from the subject tracking area. In this manner, by limiting the face detection range to the subject tracking area, processing can be performed at a higher speed than when face detection calculation is performed on the entire current frame. In addition, it is possible to prevent erroneous tracking that tracks another face.

その後、ステップＳ１４０へ進み、制御装置１０４は、被写体追尾領域内に顔が存在するか否かを判断する。ステップＳ１４０で肯定判断した場合には、上述したステップＳ７０へ進む。この場合、ステップＳ７０では、制御装置１０４は、被写体追尾演算によって検出した被写体の顔を含む領域を顔エリアとし、この顔エリアのフレーム内における位置と顔エリアの大きさや顔の個体情報に関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームにおける顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。   Thereafter, the process proceeds to step S140, and the control device 104 determines whether or not a face exists in the subject tracking area. If a positive determination is made in step S140, the process proceeds to step S70 described above. In this case, in step S70, the control device 104 sets an area including the face of the subject detected by subject tracking calculation as a face area, and obtains information on the position of the face area in the frame, the size of the face area, and individual information of the face. Record in flash memory. At this time, if the position and size of the face area in the past frame have already been recorded, the control device 104 updates the information detected in the current frame. Further, the control device 104 displays information indicating the detected face area, for example, a frame surrounding the face area, on the through image displayed on the monitor 106.

これに対して、ステップＳ１４０で否定判断した場合には、ステップＳ１６０へ進み、制御装置１０４は、被写体追尾演算を実行する。なお、被写体追尾演算については、後述する。   On the other hand, if a negative determination is made in step S140, the process proceeds to step S160, and the control device 104 executes subject tracking calculation. The subject tracking calculation will be described later.

次に、ステップＳ６０で否定判断した場合の処理について説明する。この場合には、ステップＳ１５０へ進み、制御装置１０４は、被写体追尾領域がクリアされているか否かを判断する。ステップＳ１５０で肯定判断した場合には、ステップＳ３０へ戻って処理を繰り返す。これに対して、ステップＳ１５０で否定判断した場合には、ステップＳ１６０へ進む。   Next, processing when a negative determination is made in step S60 will be described. In this case, the process proceeds to step S150, and the control device 104 determines whether or not the subject tracking area is cleared. If an affirmative determination is made in step S150, the process returns to step S30 and is repeated. On the other hand, if a negative determination is made in step S150, the process proceeds to step S160.

ステップＳ１６０では、制御装置１０４は、設定されている被写体追尾領域内を対象として、ステップＳ１００で更新したテンプレート画像とステップＳ３０で取得した画像とを用いて、被写体の顔の色情報や輝度情報に基づく被写体追尾演算を実行する。具体的には、制御装置１０４は、被写体追尾領域内の画像とテンプレート画像とを比較して、被写体追尾領域内の中からテンプレート画像との一致度が最も高い領域を特定することによって被写体追尾演算を実行する。これによって、一時的に被写体が下や横を向いたりしたことによって、フレーム内から人物の顔が検出できない場合でも、継続して被写体を追尾することができる。   In step S160, the control device 104 uses the template image updated in step S100 and the image acquired in step S30 as the target within the set subject tracking area, and converts the subject face color information and luminance information into the subject face color information and luminance information. Based on the subject tracking calculation. Specifically, the control device 104 compares the image in the subject tracking area with the template image, and identifies the area in the subject tracking area that has the highest degree of matching with the template image, thereby performing subject tracking calculation. Execute. As a result, even when the subject's face cannot be detected from within the frame due to the subject temporarily facing down or sideways, the subject can be tracked continuously.

その後、ステップＳ１７０へ進み、制御装置１０４は、制御装置１０４は、被写体追尾演算によって検出した被写体エリア、すなわち追尾領域内にてフレーム内のテンプレート画像との一致度が高い位置を顔エリアとして特定する。そして、特定した顔エリアのフレーム内における位置と顔エリアの大きさに関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームにおける顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。その後、上述したステップＳ８０へ進む。   Thereafter, the process proceeds to step S170, and the control device 104 identifies the subject area detected by the subject tracking calculation, that is, a position having a high degree of coincidence with the template image in the frame in the tracking region as the face area. . Then, information regarding the position of the specified face area in the frame and the size of the face area is recorded in the flash memory. At this time, if the position and size of the face area in the past frame have already been recorded, the control device 104 updates the information detected in the current frame. Further, the control device 104 displays information indicating the detected face area, for example, a frame surrounding the face area, on the through image displayed on the monitor 106. Then, it progresses to step S80 mentioned above.

以上の処理により、制御装置１０４は、顔検出演算によって人物の顔を検出した後は、顔の検出範囲を被写体追尾領域内に限定した顔追尾演算に切り替えることによって、処理を高速化することができる。また、顔追尾演算に切り替えた後、一定時間経過した場合には、改めて顔検出処理を行うようにして、スルー画表示中に新たに現れた被写体の顔も検出することができる。さらに、顔検出演算、または顔追尾演算を行った結果、人物の顔を検出することができなかった場合には、被写体追尾演算に移行することで、顔が一時的に検出できなくなった場合でも継続して人物の顔を追尾することができる。   With the above processing, after detecting a human face by face detection calculation, the control device 104 can speed up the processing by switching the face detection range to face tracking calculation limited to the subject tracking area. it can. In addition, when a predetermined time has elapsed after switching to the face tracking calculation, it is possible to detect the face of a subject that newly appears during live view display by performing face detection processing again. Furthermore, if face detection calculation or face tracking calculation results in failure to detect a person's face, the process can be shifted to subject tracking calculation, even if the face cannot be detected temporarily. The person's face can be tracked continuously.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、顔検出演算によって検出した顔を対象として顔追尾演算を行い、追尾領域内から顔が検出できなくなった場合には、被写体追尾演算に切り替えるようにした。これによって、人物の顔を追尾している途中で一時的に顔が検出できなくなった場合でも、継続して顔の追尾を継続することができる。 According to the present embodiment described above, the following operational effects can be obtained.
(1) The control device 104 performs face tracking calculation on the face detected by the face detection calculation, and switches to subject tracking calculation when a face cannot be detected from the tracking area. Thus, even when a face cannot be detected temporarily during tracking of a person's face, tracking of the face can be continued.

（２）制御装置１０４は、被写体追尾演算に切り替えた後に、再度人物の顔が検出できるようになった場合には、被写体追尾演算を停止して顔追尾演算を再開するようにした。これによって、再度、画像内から人物の顔が検出可能になった場合には、顔に対する追尾能力の高い顔追尾演算に戻すことができる。 (2) The control device 104 stops the subject tracking calculation and restarts the face tracking calculation when the person's face can be detected again after switching to the subject tracking calculation. As a result, when the face of a person can be detected again from the image, it is possible to return to the face tracking calculation with a high tracking capability for the face.

（３）制御装置１０４は、顔追尾演算に切り替えた後、前回顔検出演算を実行してから所定時間が経過した場合には、再度全画面内に対して顔検出演算を実行するようにした。これによって、スルー画表示中に新たに現れた被写体の顔を検出して複数の顔を追尾対象に加えることができる。 (3) After switching to the face tracking calculation, the control device 104 executes the face detection calculation again on the entire screen when a predetermined time has elapsed since the previous face detection calculation was executed. . Accordingly, it is possible to detect a face of a subject that newly appears during live view display and add a plurality of faces to the tracking target.

（４）制御装置１０４は、顔検出演算、顔追尾演算、または被写体追尾演算により検出した顔エリアに基づいてＡＦエリアを設定してピント合わせを行うようにした。これによって、画像内の人物の顔にピントが合うようにＡＦ処理を実行することができる。 (4) The control device 104 sets the AF area based on the face area detected by the face detection calculation, face tracking calculation, or subject tracking calculation, and performs focusing. Thereby, the AF process can be executed so that the face of the person in the image is in focus.

（５）制御装置１０４は、フレーム内から複数の顔エリアが検出された場合には、いずれか１つの顔エリア、例えば最も至近に存在する顔に対応する顔エリアや最も大きい顔エリアを対象としてＡＦエリアを設定するようにした。これによって、フレーム内から複数の顔が検出された場合でも、いずれか１つの顔に的確にピントを合わせることができる。 (5) When a plurality of face areas are detected from the frame, the control device 104 targets any one face area, for example, the face area corresponding to the closest face or the largest face area. The AF area was set. Thereby, even when a plurality of faces are detected from the frame, it is possible to accurately focus on any one of the faces.

（６）制御装置１０４は、制御装置１０４は、顔検出演算、顔追尾演算、または被写体追尾演算により検出した顔エリアの画像で、被写体追尾用のテンプレート画像を更新するようにした。これによって、被写体追尾演算では、被写体の顔を含む顔エリア内の画像を用いてテンプレートマッチングを行って追尾を行うため、フレーム内から人物の顔が検出できなくなった場合でも、継続して人物の顔を追尾できる。 (6) The control device 104 updates the template image for subject tracking with the image of the face area detected by the face detection calculation, face tracking calculation, or subject tracking calculation. As a result, in the subject tracking calculation, template matching is performed using the image in the face area including the face of the subject and tracking is performed, so that even if the human face cannot be detected from within the frame, You can track your face.

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、撮像素子１０３から時系列で入力される画像データに基づくスルー画内から人物の顔を検出して追尾する例について説明した。しかしながら、制御装置１０４は、撮像素子１０３以外の撮像素子から出力されるデータに基づいて、人物の顔を検出して追尾するようにしてもよい。 -Modification-
The camera according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the example in which the control device 104 detects and tracks a human face from a through image based on image data input in time series from the image sensor 103 has been described. However, the control device 104 may detect and track a person's face based on data output from an image sensor other than the image sensor 103.

（２）上述した実施の形態では、制御装置１０４は、前フレームで設定された顔エリアを含む所定範囲を被写体追尾領域に設定し、この被写体追尾領域内を次フレームでの顔追尾演算、または被写体追尾演算の対象とする例について説明した。しかしながら、制御装置１０４は、前フレームで設定したＡＦエリア内の画像を対象として、次フレームで顔追尾演算、または被写体追尾演算を行うようにしてもよい。これによって、次フレームでの処理範囲をＡＦエリア内に限定して処理を高速化することができる。 (2) In the embodiment described above, the control device 104 sets a predetermined range including the face area set in the previous frame as the subject tracking area, and performs face tracking calculation in the next frame in the subject tracking area, or An example of subject tracking calculation has been described. However, the control device 104 may perform face tracking calculation or subject tracking calculation in the next frame for the image in the AF area set in the previous frame. As a result, the processing range in the next frame can be limited to the AF area to speed up the processing.

（３）カメラ１００が撮影時にシーンモードを設定することが可能な場合には、制御装置１０４は、カメラ１００のモードが人物を撮影するためのモード、例えばポートレートモードに設定された場合にのみ、上述した実施の形態の処理、すなわち人物の顔を検出・および追尾を行うようにしてもよい。あるいは、使用者が、カメラ１００のモードを人物を撮影するためのモード以外のモード、例えば風景モード等に設定した後、人物を撮影するためのモードに変更するのを忘れることも考えられることから、制御装置１０４は、設定されているモードに関わらず、上述した実施の形態の処理を行うようにしてもよい。 (3) When the camera 100 can set the scene mode at the time of shooting, the control device 104 can be used only when the mode of the camera 100 is set to a mode for shooting a person, for example, a portrait mode. The processing of the above-described embodiment, that is, the detection and tracking of a person's face may be performed. Alternatively, the user may forget to change the mode of the camera 100 to a mode other than the mode for shooting a person, for example, a landscape mode, and then change to a mode for shooting a person. The control device 104 may perform the processing of the above-described embodiment regardless of the set mode.

（４）また、制御装置１０４は、スルー画の入力を開始した後、あらかじめ設定された所定数のフレームに対して顔検出演算を行っても、画像内から人物の顔を検出できない場合には、人物を被写体とした撮影ではないと判断して、上述した実施の形態の処理、すなわち人物の顔を検出・および追尾を停止するようにしてもよい。この場合、制御装置１０４は、使用者によって設定されているＡＦ方法によりＡＦ処理を行えばよい。 (4) When the control device 104 does not detect a person's face from the image even after performing face detection calculation on a predetermined number of frames after starting input of the through image, Alternatively, it may be determined that the photographing is not performed with a person as a subject, and the processing of the above-described embodiment, that is, detection / tracking of a person's face may be stopped. In this case, the control device 104 may perform the AF process by the AF method set by the user.

（５）上述した実施の形態では、制御装置１０４は、フレーム内から複数の顔エリアが検出された場合には、いずれか１つの顔エリア、例えば最も至近に存在する顔に対応する顔エリアや最も大きい顔エリアを対象としてＡＦエリアを設定するようにした。しかしながら、使用者が、複数検出された顔のうち、どの顔にピントを合わせるかを選択できるようにし、制御装置１０４は、使用者によって選択された顔に対応する顔エリアを対象としてＡＦエリアを設定するようにしてもよい。 (5) In the above-described embodiment, when a plurality of face areas are detected from the frame, the control device 104 can select any one face area, for example, the face area corresponding to the closest face, The AF area is set for the largest face area. However, the user can select which face to focus on among the plurality of detected faces, and the control device 104 sets the AF area for the face area corresponding to the face selected by the user. You may make it set.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ 第１追尾部、１０４ｂ 第２追尾部、１０４ｃ 制御部、１０４ｄ 焦点検出部、１０４ｅ 焦点調節部、１０５ メモリカードスロット、１０６ モニタ
DESCRIPTION OF SYMBOLS 100 Camera, 101 Operation member, 102 Lens, 103 Image sensor, 104 Control apparatus, 104a 1st tracking part, 104b 2nd tracking part, 104c Control part, 104d Focus detection part, 104e Focus adjustment part, 105 Memory card slot, 106 monitor

Claims (6)

繰り返し画像を撮像する撮像部と、
前記撮像部が出力した画像から人物の顔のパターンを用いた追尾を行い、前記人物の顔のパターンに対応する第１エリアを検出する第１追尾部と、
前記撮像部が出力した画像から前記人物の顔の色を用いた追尾を行い、前記人物の顔の色に対応する第２エリアを検出する第２追尾部と、
前記第１追尾部により前記第１エリアを検出できたとき、前記第１エリアに対応する情報を表示部に表示し、前記第２追尾部により前記第２エリアを検出できたとき、前記第２エリアに対応する情報を前記表示部に表示するように制御する制御部と、
前記第１追尾部により前記第１エリアを検出できたとき前記第１エリアの焦点調節エリアを選択し、前記第１追尾部により前記第１エリアを検出できないとき前記第２エリアの焦点調節エリアを選択する選択部と、
前記選択部に選択された前記焦点調節エリアを用いて焦点調節制御をする焦点調節制御部とを含むことを特徴とする撮像装置。 An imaging unit that repeatedly captures images;
A first tracking unit that performs tracking using a human face pattern from an image output by the imaging unit and detects a first area corresponding to the human face pattern;
A second tracking unit that performs tracking using the face color of the person from the image output by the imaging unit and detects a second area corresponding to the color of the person's face;
When the first tracking unit can detect the first area, information corresponding to the first area is displayed on the display unit, and when the second tracking unit can detect the second area, the second area A control unit that controls to display information corresponding to an area on the display unit ;
When the first tracking unit can detect the first area, the focus adjustment area of the first area is selected. When the first tracking unit cannot detect the first area, the focus adjustment area of the second area is selected. A selection section to select;
An imaging apparatus, comprising: a focus adjustment control unit that performs focus adjustment control using the focus adjustment area selected by the selection unit. 請求項１に記載された撮像装置であって、
前記制御部は、前記第１追尾部により前記第１エリアを検出できたとき、前記第１エリアに対応する枠を前記表示部に表示し、前記第２追尾部により前記第２エリアを検出できたとき、前記第２エリアに対応する枠を前記表示部に表示するように制御することを特徴とする撮像装置。 The imaging apparatus according to claim 1,
When the first tracking unit is able to detect the first area, the control unit can display a frame corresponding to the first area on the display unit, and the second tracking unit can detect the second area. An image pickup apparatus that controls to display a frame corresponding to the second area on the display unit . 請求項１又は請求項２に記載された撮像装置であって、
前記第１追尾部により前記第１エリアを検出できたとき前記第１エリアを含む追尾領域を設定する設定部を含み、
前記第１追尾部は、前記撮像部が出力した画像の前記追尾領域の範囲内において前記人物の顔のパターンを用いた追尾を行い、
前記第２追尾部は、前記第１追尾部により追尾ができないとき、前記撮像部が出力した画像の前記追尾領域の範囲内において前記人物の顔の色を用いた追尾を行い、
前記設定部は、前記第１追尾部により検出された前記第１エリア、及び、前記第２追尾部により検出された前記第２エリアの少なくとも一方を含む領域を前記追尾領域として設定することを特徴とする撮像装置。 The imaging apparatus according to claim 1 or 2,
A setting unit for setting a tracking region including the first area when the first tracking unit can detect the first area;
The first tracking unit performs tracking using the face pattern of the person within the range of the tracking region of the image output by the imaging unit,
The second tracking unit performs tracking using the color of the person's face within the tracking region of the image output by the imaging unit when the first tracking unit cannot perform tracking.
The setting unit sets, as the tracking region, an area including at least one of the first area detected by the first tracking unit and the second area detected by the second tracking unit. An imaging device. 請求項３に記載の撮像装置であって、
前記第２追尾部は、前記第１追尾部により前記第１エリアを検出できるとき、前記第２追尾部による追尾を開始しないことを特徴とする撮像装置。 The imaging apparatus according to claim 3 ,
The second tracking unit does not start tracking by the second tracking unit when the first tracking unit can detect the first area. 請求項１〜４のいずれか１項に記載の撮像装置であって、
前記第１追尾部により検出された前記第１エリア、及び、前記第２追尾部により検出された前記第２エリアの少なくとも一方に対応する画像を基準画像として取得する取得部を有することを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 4 ,
An acquisition unit that acquires, as a reference image, an image corresponding to at least one of the first area detected by the first tracking unit and the second area detected by the second tracking unit. An imaging device. 繰り返し画像を撮像する撮像部と、
前記撮像部が出力した画像から人物の顔のパターンを用いた追尾を行い、前記人物の顔のパターンに対応する第１エリアを検出する第１追尾部と、
前記撮像部が出力した画像から前記撮像部が出力した画像を用いて得られたテンプレート画像との一致度合いが最も高い領域を検出することにより追尾を行い、前記テンプレート画像との一致度合いが最も高い領域に対応する第２エリアを検出する第２追尾部と、
前記第１追尾部により前記第１エリアを検出できたとき、前記第１エリアに対応する情報を表示部に表示し、前記第２追尾部により前記第２エリアを検出できたとき、前記第２エリアに対応する情報を前記表示部に表示するように制御する制御部と、
前記第１追尾部により前記第１エリアを検出できたとき前記第１エリアの焦点調節エリアを選択し、前記第１追尾部により前記第１エリアを検出できないとき前記第２エリアの焦点調節エリアを選択する選択部と、
前記選択部に選択された前記焦点調節エリアを用いて焦点調節制御をする焦点調節制御部とを含むことを特徴とする撮像装置。
An imaging unit that repeatedly captures images;
A first tracking unit that performs tracking using a human face pattern from an image output by the imaging unit and detects a first area corresponding to the human face pattern;
Tracking is performed by detecting a region having the highest degree of matching with the template image obtained using the image output by the imaging unit from the image output by the imaging unit, and the degree of matching with the template image is the highest. A second tracking unit for detecting a second area corresponding to the region;
When the first tracking unit can detect the first area, information corresponding to the first area is displayed on the display unit, and when the second tracking unit can detect the second area, the second area A control unit that controls to display information corresponding to an area on the display unit ;
When the first tracking unit can detect the first area, the focus adjustment area of the first area is selected. When the first tracking unit cannot detect the first area, the focus adjustment area of the second area is selected. A selection section to select;
An imaging apparatus, comprising: a focus adjustment control unit that performs focus adjustment control using the focus adjustment area selected by the selection unit.
JP2013260154A 2013-12-17 2013-12-17 Imaging device Active JP5790751B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013260154A JP5790751B2 (en) 2013-12-17 2013-12-17 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013260154A JP5790751B2 (en) 2013-12-17 2013-12-17 Imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008285321A Division JP2010113129A (en) 2008-11-06 2008-11-06 Image tracking device, focusing device, and image capturing apparatus

Publications (2)

Publication Number Publication Date
JP2014095907A JP2014095907A (en) 2014-05-22
JP5790751B2 true JP5790751B2 (en) 2015-10-07

Family

ID=50938968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013260154A Active JP5790751B2 (en) 2013-12-17 2013-12-17 Imaging device

Country Status (1)

Country Link
JP (1) JP5790751B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3057004B2 (en) * 1996-06-19 2000-06-26 松下電工株式会社 Tracking device
JP2006101186A (en) * 2004-09-29 2006-04-13 Nikon Corp Camera
JP4218720B2 (en) * 2006-09-22 2009-02-04 ソニー株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP5167750B2 (en) * 2006-10-03 2013-03-21 株式会社ニコン TRACKING DEVICE, IMAGING DEVICE, AND TRACKING METHOD
JP5188071B2 (en) * 2007-02-08 2013-04-24 キヤノン株式会社 Focus adjustment device, imaging device, and focus adjustment method
JP2010113129A (en) * 2008-11-06 2010-05-20 Nikon Corp Image tracking device, focusing device, and image capturing apparatus

Also Published As

Publication number Publication date
JP2014095907A (en) 2014-05-22

Similar Documents

Publication Publication Date Title
JP2009246558A (en) Imaging apparatus, and method for controlling the same
JP4907740B2 (en) Imaging device
JP2013150210A (en) Photographing device
JP2008085737A (en) Electronic camera
JP5338197B2 (en) Focus detection apparatus and imaging apparatus
JP2009141475A (en) Camera
JP2010113129A (en) Image tracking device, focusing device, and image capturing apparatus
JP2006033440A (en) Digital camera
JP5367129B2 (en) Imaging apparatus, control apparatus, and control method thereof
JP5409483B2 (en) Imaging device
JP6431429B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6671323B2 (en) Imaging device
JP4442344B2 (en) Digital camera
JP5742282B2 (en) camera
JP5790751B2 (en) Imaging device
JP5359715B2 (en) Subject tracking device, subject tracking method, and camera
JP2013016924A (en) Image evaluation device
JP5842884B2 (en) Tracking device and camera
JP2011155692A (en) Imaging apparatus and its program
JP2013211719A (en) Digital camera
JP5573311B2 (en) camera
JP2012019432A (en) Portable device and reproduction display method
JP2012239079A (en) Photographing device
JP5088380B2 (en) Imaging device
JP2006093956A (en) Imaging apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150720

R150 Certificate of patent or registration of utility model

Ref document number: 5790751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250