JP2020088748A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020088748A JP2020088748A JP2018224064A JP2018224064A JP2020088748A JP 2020088748 A JP2020088748 A JP 2020088748A JP 2018224064 A JP2018224064 A JP 2018224064A JP 2018224064 A JP2018224064 A JP 2018224064A JP 2020088748 A JP2020088748 A JP 2020088748A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- detection
- detection process
- result
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、所定のオブジェクト（例えば、人体）を検出し、検出したオブジェクトの領域を表示部に表示する機能を備えた撮像装置に関する。 The present disclosure relates to an imaging device having a function of detecting a predetermined object (for example, a human body) and displaying a region of the detected object on a display unit.
特許文献１は、被写体像について顔領域を示す枠と人体領域を示す枠とを表示する撮像装置を開示する。 Patent Document 1 discloses an imaging device that displays a frame indicating a face area and a frame indicating a human body area for a subject image.
特許文献１の撮像装置は、画像において被写体像における第１領域（例えば、顔領域）の位置を検出して第１検出結果（顔情報）を求める第１検出手段と、画像において被写体像における第２領域（例えば、人体領域）の位置を検出して第２検出結果を求める第２検出手段と、第１の検出結果（例えば、顔情報）に応じて第２領域（例えば、人体領域）の位置を推定して推定結果を求める推定手段と、第１検出結果、第２検出結果、および推定結果に応じてそれぞれ第１表示体（例えば、顔検出枠）、第２表示体（例えば、人体検出枠）、および第２領域の位置を推定する推定表示体（例えば、人体推定枠）を表示部に表示制御する表示制御手段とを有する。推定手段は、第１検出結果に応じて第１表示体が表示される際、第２検出手段によって第２検出結果が得られていない場合にのみ、第１検出結果に応じて推定結果を求める。 The image pickup apparatus of Patent Document 1 detects a position of a first area (for example, a face area) in a subject image in an image to obtain a first detection result (face information), and a first detecting unit in the image of the subject image. Second detection means for detecting the positions of two regions (for example, a human body region) to obtain a second detection result, and a second region (for example, a human body region) according to the first detection result (for example, face information) Estimating means for estimating the position to obtain an estimation result, and a first display object (for example, face detection frame) and a second display object (for example, human body) according to the first detection result, the second detection result, and the estimation result, respectively. A detection frame) and a display control means for controlling the display of an estimated display body (for example, a human body estimation frame) for estimating the position of the second area. The estimation unit obtains the estimation result according to the first detection result only when the second detection unit has not obtained the second detection result when the first display body is displayed according to the first detection result. ..
特許文献１の撮像装置のように画像において所定のオブジェクト（顔、人体等）を検出し、その検出枠を表示部に表示する際に、検出処理に時間がかかると、検出枠が実際のオブジェクトの動きに追従せず、遅れて表示される場合がある。 When a predetermined object (face, human body, etc.) is detected in an image and the detection frame is displayed on the display unit like the imaging device of Patent Document 1, if the detection process takes time, the detection frame is an actual object. May not follow the movement of and may be displayed with a delay.
本開示は、画像における所定のオブジェクト（人体等）の検出枠が遅れて表示されることのない撮像装置を提供する。 The present disclosure provides an imaging device in which a detection frame of a predetermined object (human body or the like) in an image is not displayed with a delay.
本開示の一の態様において、撮像装置は、画像から所定のオブジェクトの領域を検出する機能を有する。撮像装置は、画像センサと、制御部とを備える。画像センサは、被写体を撮像し、撮像画像を示す画像データを生成する。制御部は、撮像画像から所定のオブジェクトの領域を検出する。制御部は、撮像画像から、所定のオブジェクトの領域を検出する、第１の検出処理を実行する。制御部は、撮像画像から、所定のオブジェクトの領域を検出する、第１の検出処理とは異なる、第２の検出処理を実行する。制御部は、第１の検出処理により得られた第１の結果と、第２の検出処理により得られた第２の結果と、予め設定された所定値とを用いて、第１の結果および第２の結果の何れか一方を、所定のオブジェクトの検出結果として、採用する。 In one aspect of the present disclosure, the imaging device has a function of detecting a region of a predetermined object from an image. The imaging device includes an image sensor and a control unit. The image sensor images a subject and generates image data indicating a captured image. The control unit detects an area of a predetermined object from the captured image. The control unit executes a first detection process of detecting an area of a predetermined object from the captured image. The control unit executes a second detection process, which is different from the first detection process, for detecting the area of the predetermined object from the captured image. The control unit uses the first result obtained by the first detection process, the second result obtained by the second detection process, and the preset predetermined value to determine the first result and Either one of the second results is adopted as the detection result of the predetermined object.
本開示によれば、所定のオブジェクト（顔、人体等）の検出枠が遅れて表示されることがなくなり、ユーザの利便性を向上できる。 According to the present disclosure, the detection frame of a predetermined object (face, human body, etc.) is not displayed with a delay, and user convenience can be improved.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters or duplicate description of substantially the same configuration may be omitted. This is to prevent the following description from being unnecessarily redundant and to facilitate understanding by those skilled in the art. It should be noted that the inventor (s) provide the accompanying drawings and the following description for those skilled in the art to fully understand the present disclosure, and intend to limit the subject matter described in the claims by these. Not something to do.
（実施の形態１）
〔１−１．構成〕
図１は、本開示の撮像装置の一実施の形態であるデジタルカメラの構成を示した図である。デジタルカメラ１００は、被写体を撮像して画像データを生成する。特に、本実施の形態のデジタルカメラ１００は、撮像画像から人体の領域を検出する機能を有する。さらに、デジタルカメラ１００は、撮像画像をリアルタイムで表示するライブビュー表示において、撮像画像から検出した人体の領域を示す検出枠（以下「人体検出枠」という）を撮像画像に重畳して表示部に表示する機能を有している。
(Embodiment 1)
[1-1. Constitution〕
FIG. 1 is a diagram showing a configuration of a digital camera that is an embodiment of an imaging device of the present disclosure. The
デジタルカメラ１００は、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像し画像データを生成する。画像処理部１２０は、イメージセンサ１１５により生成された画像データに対して各種処理を施して、撮像画像を示す画像データを生成する。コントローラ１３５は、画像処理部１２０にて生成された画像データをカードスロット１４０に装着されたメモリカード１４２に記録したり、撮像画像を液晶モニタ１３０上にライブビュー表示したりする。
The
光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ：Optical Image Stabilizer）、絞り、シャッタ、等を含む。光学系１１０に含まれる各種レンズは、何枚から構成されるものであっても、何群から構成されるものであってもよい。
The
レンズ駆動部１１３は、光学系１１０におけるフォーカスレンズを光軸方向に駆動する。レンズ駆動部１１３は、フォーカスレンズを駆動する機構と、その機構を動かすモータ、アクチュエータ等を含む。レンズ駆動部１１３の動作はコントローラ１３５により制御される。
The
イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して撮像画像を示す画像データを生成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、画像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。なお、イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。
The
画像処理部１２０は、イメージセンサ１１５から出力された画像データに対して所定の画像処理を施す。所定の画像処理は、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理のうちの少なくとも１つを含むが、これらの処理に限定されない。画像処理部１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。すなわち、画像処理部１２０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。
The
液晶モニタ１３０は、デジタルカメラ１００の背面に備わる。液晶モニタ１３０は、画像処理部１２０にて処理された画像データに基づく画像を表示する。なお、液晶モニタに代えて、有機ＥＬモニタなど、他のモニタを用いてもよい。
The
コントローラ１３５はＣＰＵを含み、プログラムを実行することでデジタルカメラ１００全体の動作を統括制御する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。コントローラ１３５は、画像処理部１２０などと共に1つの半導体チップで構成してもよい。図示していないが、コントローラ１３５はＲＯＭを内蔵する。また、ＲＯＭには、コントローラ１３５により実行されるオートフォーカス制御（ＡＦ制御）のような、様々なプログラムが記憶されている。また、コントローラ１３５はＣＰＵの作業領域として機能するＲＡＭ（図示せず）を内蔵している。
The
バッファメモリ１２５は、画像処理部１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。
The
カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理部１２０で生成される画像データなどのデータを格納できる。
The
フラッシュメモリ１４５は不揮発性の記録媒体であり、半導体メモリで構成される。
The
操作部１５０は、デジタルカメラ１００の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズ釦、モードダイヤル、ジョグダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。
The
Ｗｉ-Ｆｉモジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ−Ｆｉ規格に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、Ｗｉ-Ｆｉモジュール１５５を介して、Ｗｉ-Ｆｉモジュールを搭載した他の機器と通信することができる。デジタルカメラ１００は、Ｗｉ-Ｆｉモジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、Ｗｉ-Ｆｉモジュールに代えて、他の通信規格に準拠した通信を行う通信モジュールを使用してもよい。すなわち、通信モジュールとして、比較的通信ビットレートが高く、通信エリアが数メートル以上である通信が可能な通信モジュールを使用できる。
The Wi-
Ｂｌｕｅｔｏｏｔｈモジュール１６０は、通信規格８０２．１５．１すなわちＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した通信を行うためのモジュール（回路）である。デジタルカメラ１００は、Ｂｌｕｅｔｏｏｔｈモジュール１６０を介して他の機器とＢｌｕｅｔｏｏｔｈ規格に準拠した通信を行うことができる。Ｂｌｕｅｔｏｏｔｈモジュールに代えて、ＮＦＣリーダライタを備えてもよく、ＮＦＣ規格にしたがい他の機器と通信しても良い。または、Ｂｌｕｅｔｏｏｔｈモジュールに代えて、他の近接場型の無線通信を行う通信手段を用いてもよい。
The
〔１−２．動作〕
以下、以上のような構成を有するデジタルカメラ１００における動作を説明する。
[1-2. motion〕
The operation of the
本実施の形態のデジタルカメラ１００は、撮像画像において人体の領域を検出し、人体の領域を示す人体検出枠を液晶モニタ１４０に表示する。例えば、図２（Ａ）に示すように、液晶モニタ１４０においてライブビュー表示される画像３０において、人体１０の領域を検出し、その領域を示す人体検出枠５０を表示する。
ここで、人体領域の検出に時間を要する場合、すなわち、人体領域の検出に複数フレームの時間を要する場合がある。この場合、人体検出処理の開始から終了までの間に人体の移動がないかまたは移動量が小さい場合は、図２（Ａ）に示すように、液晶モニタ１３０において人体検出枠５０は人体１０に対して正しく表示されるか、または、大きくずれないで表示される。しかしながら、人体検出処理の開始から終了までの間に被写体が大きく移動した場合、人体検出枠５０の算出処理が表示画像に追い付かず、図２（Ｂ）に示すように、人体検出枠５０が人体１０に対してずれて表示されてしまう。本実施の形態のデジタルカメラ１００は、このような人体の人体検出枠５０の表示のずれの問題を解決する。
Here, it may take time to detect the human body region, that is, it may take time for a plurality of frames to detect the human body region. In this case, when there is no movement of the human body from the start to the end of the human body detection process or the movement amount is small, as shown in FIG. In contrast, it is displayed correctly, or it is displayed without significant deviation. However, when the subject largely moves from the start to the end of the human body detection process, the calculation process of the human
デジタルカメラ１００のコントローラ１３５は、人体検出処理として、第１および第２の検出処理の二種類の検出処理を行う。第１の検出処理は、人体検出の精度は比較的高いが、人体検出処理の完了に比較的長い時間（例えば、３フレーム分の時間）を要する処理である。一方、第２の検出処理は、精度は第１の検出処理よりも劣るが、比較的短い時間（例えば、１フレーム以内の時間）で人体検出が完了する処理である。なお、本実施の形態では、第１の検出処理は人体領域の検出に３フレーム分の時間を要し、第２の検出処理は人体領域の検出に１フレーム以内の時間を要するとする。上記を換言するならば、第１の検出処理は、第１の時間で、検出結果（第１の結果）が取得される、検出処理である。第２の検出処理は、第２の時間で、検出結果（第２の結果）が取得される、検出処理である。ここで、第２の時間は、第１の時間よりも短い。また、第２の検出処理における、所定のオブジェクトの領域を検出する精度は、第１の検出処理における、所定のオブジェクトの領域を検出する精度よりも、低い。
The
第１の検出処理はＡＩ（Artificial Intelligence）機能を利用して人体を検出する。第１の検出処理を実行するため、コントローラ１３５は画像から人体領域を検出する機能を有する学習モデルを実装している。この学習モデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ）で構成され、多量の画像データにより、画像に含まれる人体の領域をラベルとして学習させて生成される。第１の検出処理は、精度よく人体を検出することができるが、検出処理に比較的長い処理時間（３フレーム分の時間）を要する。
The first detection processing detects a human body by using an AI (Artificial Intelligence) function. In order to execute the first detection process, the
第２の検出処理は、検出された人体領域内の色特徴に基づき色追跡を行うことにより人体領域を検出する。具体的には、以前のフレームで第１の検出処理により検出された人体領域内の所定領域における色特徴に基づき色追跡を行うことにより、以後のフレームの画像に対する人体領域を検出する。第２の検出処理は、精度では第１の検出処理よりも劣るが、比較的短い時間（本例では、１フレーム以内の時間）で人体検出が完了する処理である。以下、図３〜図５を用いて第２の検出処理の詳細を説明する。 The second detection processing detects the human body region by performing color tracking based on the detected color feature in the human body region. Specifically, color tracking is performed based on the color feature in a predetermined region within the human body region detected by the first detection processing in the previous frame, and the human body region for the images of the subsequent frames is detected. The second detection process is inferior in accuracy to the first detection process, but is a process in which human body detection is completed in a relatively short time (in this example, a time within one frame). Hereinafter, details of the second detection process will be described with reference to FIGS. 3 to 5.
第２の検出処理では、図３に示すように、第ｍフレームの撮像画像において第１の検出処理により検出された人体領域（完了領域と把握できる）５０ｘにおいて、上側の所定領域（完了領域の上部を含む上部領域と把握できる）５２と下側の所定領域（完了領域の底部を含む下部領域と把握できる）５４とのそれぞれにおいて色特徴を抽出する。なお、図３に示すように、所定領域５２は、所定領域５４と対向している。なお、図３から明らかなように、所定領域５２の一部の領域と、所定領域５４の一部の領域とが、対角線上に配置されている。そして、後の第ｎフレーム（ｎ＞ｍ）の撮像画像において、抽出した色特徴と同一の色特徴を有する領域５２ａ、５４ａを検出し、検出した領域５２ａ、５４ａに基づき第ｎフレームに対する人体領域すなわち人体検出枠５０ｙを設定する。
In the second detection process, as shown in FIG. 3, in the human body region (which can be grasped as a completed region) 50x detected by the first detection process in the captured image of the m-th frame, a predetermined upper region (completed region Color features are extracted in each of an upper region including the upper portion) 52 and a predetermined lower region (which can be grasped as a lower region including the bottom of the completion region) 54. As shown in FIG. 3, the
図４は、第２の検出処理における人体検出枠５０ｙの設定方法を説明した図である。上側の所定領域５２の色特徴に基づき検出した領域５２ａの上端から、下側の所定領域５４の色特徴に基づき検出した領域５４ａの下端までの範囲を人体検出枠５０ｙ（検出領域）の垂直方向の範囲Ｗｙに設定する。また、上側の領域５２ａの左端と下側の領域５４ａの左端のうちのより左側にある方の左端から、上側の領域５２ａの右端と下側の領域５４ａの右端のうちのより右側にある方の右端までの範囲を人体検出枠５０ｙ（検出領域）の水平方向の範囲Ｗｘに設定する。このようにして人体検出枠５０ｙが設定される。
FIG. 4 is a diagram illustrating a method of setting the human
図５は、第２の検出処理における人体検出枠５０ｙの設定方法の別の例を説明した図である。図５の設定方法では、図４に示す方法で設定した水平方向の範囲Ｗｘに対して左端、右端のそれぞれにおいて所定長αだけ外側に拡大した範囲Ｗｘ１に設定している。また、垂直方向の範囲Ｗｙに対して上端、下端のそれぞれにおいて所定長βだけ外側に拡大した範囲Ｗｙ１に設定している。
FIG. 5 is a diagram illustrating another example of the method of setting the human
図６は、第２の検出処理において色追跡する領域の別の例を説明した図である。前述の方法では、色追跡する領域として、人体検出枠５０ｘの領域（完了領域と把握できる）における上側と下側の２つの領域５２、５４を設定したが、色追跡する領域はこれらに限定されない。例えば、図６に示すように、人体検出枠５０ｘの領域の上側において左右に配置した２つの領域５５、５６を設定し、下側において左右に配置した２つの領域５７、５８を設定してもよい。すなわち、４つの領域を用いて色追跡を行ってもよい。図６に示すように、領域５５と領域５８とは、対角線上に配置されており、領域５６と領域５７とは、対角線上に配置されている。なお、図６において、領域５６と領域５７とを省略してもよく、または、領域５５と領域５８とを省略してもよい。
FIG. 6 is a diagram illustrating another example of the color tracking area in the second detection process. In the method described above, the two
コントローラ１３５は、各フレームにおいて第１の検出処理および第２の検出処理を行う。そして、コントローラ１３５は、基本的に精度のよい第１の検出処理に基づき液晶モニタ１３０に人体検出枠５０を表示する。しかし、第１の検出処理の結果が実際の画像の状況とずれていると判定される場合には、コントローラ１３５は、第２の検出処理の結果に基づき人体検出枠５０を表示する。これにより、人体検出枠５０の表示ずれを低減する。
The
図７は、デジタルカメラ１００による人体検出枠５０の表示の例を説明した図である。第ｉフレームの撮像画像に対して、第１の検出処理による人体検出枠５０ａが表示される。この人体検出枠５０ａは、第ｉフレームの撮像画像の３フレーム前の撮像画像すなわち第ｉ−３フレームの撮像画像に基づき検出されたものである。コントローラ１３５は、この人体検出枠５０ａが第ｉフレームの撮像画像における人体領域と合致すると判定したため、人体検出枠５０ａを表示させている。
FIG. 7 is a diagram illustrating an example of the display of the human
次の第ｉ＋１フレームの撮像画像に対しては、第２の検出処理による人体検出枠５０ｂが表示される。このとき、第１の検出処理については、３フレーム前の第ｉ−２フレームの撮像画像に対する人体検出枠が求められる。コントローラ１３５は、この人体検出枠は第ｉ＋１フレームの撮像画像における人体領域と合致していないと判定したことから、第２の検出処理における人体検出枠５０ｂを表示させている。
The human
その次の第ｉ＋２フレームの撮像画像に対しても、第２の検出処理による人体検出枠５０ｂが表示されている。この場合も、第ｉ−１フレームの撮像画像に対して第１の検出処理により求められた人体検出枠が第ｉ＋２フレームの撮像画像における人体領域と合致していないと判定されたことから、第２の検出処理における人体検出枠５０ｂが表示されている。
The human
第ｉ＋３フレームの撮像画像に対しては、第１の検出処理による人体検出枠５０ａが表示される。この場合、第ｉフレームの撮像画像に対して第１の検出処理により求められた人体検出枠が第ｉ＋３フレームの撮像画像における人体領域と合致していると判定されたことから、第１の検出処理における人体検出枠５０ａが表示されている。
The human
以上のように、第１の検出処理による人体検出枠が正しいと判断される場合は、第１の検出処理により求められた人体検出枠が表示される。一方、第１の検出処理による人体検出枠が正しくないと判断される場合は、第２の検出処理により求められた人体検出枠が表示される。 As described above, when it is determined that the human body detection frame obtained by the first detection processing is correct, the human body detection frame obtained by the first detection processing is displayed. On the other hand, when it is determined that the human body detection frame obtained by the first detection process is incorrect, the human body detection frame obtained by the second detection process is displayed.
図８は、デジタルカメラ１００における人体領域の人体検出枠５０の表示処理を示すフローチャートである。以下、図８のフローチャートを用いて人体検出枠５０の表示処理を説明する。
FIG. 8 is a flowchart showing a display process of the human
デジタルカメラ１００のコントローラ１３５は、イメージセンサ１１５で撮像された現フレームの撮像画像に対して第１の検出処理を実施し、人体検出領域を求める（Ｓ１１）。
The
さらに、コントローラ１３５は、イメージセンサ１１５で撮像された現フレームの撮像画像に対して第２の検出処理を実施し、人体検出領域を求める（Ｓ１２）。具体的には、コントローラ１３５は、第１の検出処理で検出しかつ適切であると判断した人体検出領域の中でもっとも新しい人体検出領域５０ｘ内の所定の領域５２、５４における色特徴に基づき現フレームの撮像画像における人体検出領域５０ｙを求める。
Further, the
その後、第１の結果と、第２の結果と、所定値とを用いることにより、コントローラ１３５は、第１の結果および第２の結果の何れか一方を、所定のオブジェクトの検出結果として、採用する（Ｓ１３〜Ｓ１５）。ここで、第１の結果は、第１の検出処理により得られる。第２の結果は、第２の検出処理により得られる。また、所定値は、コントローラ１３５において、予め設定されている。
After that, by using the first result, the second result, and the predetermined value, the
まず、検出処理が完了した第１の人体検出処理の結果が所定の精度を満たすか否かを判断する（Ｓ１３）。現フレームの処理時においては、現フレームよりも３フレーム前の撮像画像に対する第１の検出処理が完了する。よって、コントローラ１３５は、現フレームではなく、３フレーム前（現フレームよりも前に生成されたフレームと把握できる）の撮像画像に対してなされた第１の検出処理の結果が所定の精度を満たすか否かを判断する。
First, it is determined whether or not the result of the first human body detection process that has completed the detection process satisfies a predetermined accuracy (S13). At the time of processing the current frame, the first detection process for the captured image three frames before the current frame is completed. Therefore, the
具体的には、コントローラ１３５は、３フレーム前の撮像画像に対してなされた第１の検出処理により検出された人体領域（第１の結果と把握できる）と、現フレームに対してなされた第２の検出処理により検出された人体領域（第２の結果と把握できる）とを比較し、両者の差異が上記所定値以下の場合に、３フレーム前の撮像画像に対する第１の人体検出処理の結果、すなわち、検出が完了した第１の人体検出処理の結果が所定の精度を満たすと判断する。なお、第１の人体検出処理の結果が所定の精度を満たすか否かの判断方法は、上述のものに限定されない。第１の人体検出処理の結果求められた人体領域と、現フレームの撮像画像内の人体の領域との差が所定値以下であると判断できる方法であれば、任意の方法を使用できる。
Specifically, the
検出が完了した第１の人体検出処理の結果が適切である場合（Ｓ１３でＹＥＳ）、コントローラ１３５は、検出が完了した第１の人体検出処理の結果に基づき人体検出枠（所定のオブジェクトの検出結果と把握できる）５０を設定し、液晶モニタ１３０において現フレームの撮像画像に重畳して人体検出枠５０を表示させる（Ｓ１４）。このように、コントローラ１３５は、上記第１の検出結果と上記第２の検出結果との差が、上記所定値以下であるとき、第１の検出結果を、人体検出枠５０として採用する。そして、コントローラ１３５は、液晶モニタ１３０を制御し、当該液晶モニタ１３０は、人体検出枠５０として、第１の結果を表示する。なお、上記から分かるように、Ｓ１３およびＳ１４において、コントローラ１３５は、３フレーム前の撮像画像に対してなされた第１の検出処理により検出された人体領域を、人体検出枠５０として採用する。そして、液晶モニタ１３０は、当該採用された人体領域を、人体検出枠５０として、表示する。
When the result of the first human body detection process that has been detected is appropriate (YES in S13), the
一方、検出が完了した第１の人体検出処理の結果が適切でない場合（Ｓ１３でＮＯ）、コントローラ１３５は、現フレームに対する第２の人体検出処理の結果に基づき人体検出枠（所定のオブジェクトの検出結果と把握できる）５０を設定し、液晶モニタ１３０において現フレームの撮像画像に重畳して人体検出枠５０を表示させる（Ｓ１５）。このように、コントローラ１３５は、上記第１の検出結果と上記第２の検出結果との差が、上記所定値より大きいとき、第２の検出結果を、人体検出枠５０として採用する。そして、コントローラ１３５は、液晶モニタ１３０を制御し、当該液晶モニタ１３０は、人体検出枠５０として、第２の結果を表示する。なお、上記から分かるように、Ｓ１３およびＳ１５において、コントローラ１３５は、現フレームに対してなされた第２の検出処理により検出された人体領域を、人体検出枠５０として採用する。そして、液晶モニタ１３０は、当該採用された人体領域を、人体検出枠５０として、表示する。
On the other hand, when the result of the first human body detection process that has been detected is not appropriate (NO in S13), the
以上のようにして、撮像画像から人体領域が検出され、液晶モニタ１３０において撮像画像に重畳して人体検出枠５０が表示される。
As described above, the human body region is detected from the captured image, and the human
以上のようにして設定される人体領域の人体検出枠５０は、ユーザに人体領域を認識させるととともに、合焦位置の設定にも使用される。すなわち、デジタルカメラ５０のコントローラ１３５は、人体領域の人体検出枠５０内の領域における所定位置を合焦位置に設定する。図９は、人体領域の検出枠に基づき設定される合焦位置の例を説明した図である。合焦位置６０は、例えば、人の顔が合焦位置に設定されやすいように、人体検出枠５０内の領域の水平方向の中間位置でかつ垂直方向において中間位置よりも上部の位置に設定されてもよい。
The human
コントローラ１３５は、ユーザからレリーズ釦の半押し操作があったときに、人体検出枠５０内の合焦位置６０に合焦するようにフォーカスレンズ位置を求め、その求めた位置にフォーカスレンズを移動させるようにレンズ駆動部１１３を制御して合焦動作を行う。
When the user half-presses the release button, the
〔１−３．効果、等〕
以上のように本実施の形態のデジタルカメラ１００は、画像から人体（所定のオブジェクトの一例）の領域を検出する機能を有する撮像装置である。デジタルカメラ１００は、被写体を撮像し、撮像画像を示す画像データを生成するイメージセンサ１１５と、撮像画像から人体の領域を検出するコントローラ１３５と、を備える。コントローラ１３５は、たとえば、３フレーム前の撮像画像に対してなされた第１の検出処理により検出された人体領域（第１の結果と把握できる）と、現フレームに対してなされた第２の検出処理により検出された人体領域（第２の結果と把握できる）と、所定値とを用いて、第１の結果および第２の結果の何れか一方を、人体領域の検出結果として、採用する（Ｓ１３〜Ｓ１５）。
[1-3. Effect, etc.]
As described above, the
たとえば、コントローラ１３５は、撮像画像から人体の領域を検出する第１の人体検出処理（Ｓ１１）と、撮像画像から、第１の検出処理よりも高速であるがより低い精度で人体の領域を検出する第２の人体検出処理（Ｓ１２）と、を実行する。コントローラ１３５は、第１の人体検出処理により得られた結果が所定の精度を満たす場合（Ｓ１３でＹＥＳ）、第１の人体検出処理により得られた結果を人体領域の検出結果として、採用する（Ｓ１４）。一方、第１の人体検出処理により得られた結果が所定の精度を満たさない場合（Ｓ１３でＮＯ）、コントローラ１３５は、第２の人体検出処理により得られた結果を人体領域の検出結果として採用する（Ｓ１５）。
For example, the
以上のように、第２の人体検出処理は、第１の人体検出処理とは異なる。そして、両方の検出処理を実施し、異なる検出結果を得ている。よって、基本的に第１の人体検出処理による検出結果が得られるとともに、たとえば、第１の人体検出処理の結果が遅れた場合には、第２の人体検出処理による結果を採用することが可能となる。これにより、第１の人体検出処理の遅延の影響を低減できる。例えば、ライブビュー表示において人体検出枠の表示上のずれを低減できる。 As described above, the second human body detection process is different from the first human body detection process. Then, both detection processes are performed and different detection results are obtained. Therefore, basically, the detection result of the first human body detection process is obtained, and, for example, when the result of the first human body detection process is delayed, the result of the second human body detection process can be adopted. Becomes This can reduce the influence of the delay in the first human body detection process. For example, it is possible to reduce the display shift of the human body detection frame in the live view display.
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technique of the present disclosure is not limited to this, and is also applicable to the embodiment in which changes, replacements, additions, omissions, etc. are appropriately made. Further, it is also possible to combine the constituent elements described in the first embodiment to form a new embodiment.
実施の形態１では、第１の人体検出処理としてＡＩを用いた処理を説明したが、第１の人体検出処理はこれに限定されない。第１の人体検出処理において、ＨＯＧアルゴリズムに基づいて人体検出処理を行ってもよい。すなわち、画像からＨＯＧ(Histograms of Oriented Gradients)特徴量を抽出して人体を検出してもよい。 In the first embodiment, the processing using AI as the first human body detection processing has been described, but the first human body detection processing is not limited to this. In the first human body detection process, the human body detection process may be performed based on the HOG algorithm. That is, the human body may be detected by extracting the HOG (Histograms of Oriented Gradients) feature amount from the image.
また、第２の人体検出処理に関して、色追跡に代えて、パターンマッチングまたは動きベクトルに基づいて人体領域を検出してもよい。すなわち、直前のフレームの撮像画像から検出された人体領域の所定領域５２、５４のパターンと一致するパターンを検出することで、現フレームの撮像画像に対する人体領域を検出してもよい。または、直前のフレームの撮像画像から検出された人体領域の所定領域５２、５４の動きベクトルに基づいて現フレームの撮像画像に対する人体領域を検出してもよい。
Further, regarding the second human body detection process, the human body region may be detected based on pattern matching or a motion vector instead of color tracking. That is, the human body region for the captured image of the current frame may be detected by detecting a pattern that matches the pattern of the
実施の形態１では、合焦対象のオブジェクトとして人体を検出する例を説明したが、検出対象のオブジェクトは人体に限定されず、種々の対象を含む。例えば、検出対象のオブジェクトとして、人の顔、瞳、または、犬、猫、鳥などの動物の体の領域を検出してもよい。 In the first embodiment, the example in which the human body is detected as the object to be focused is described, but the object to be detected is not limited to the human body and includes various objects. For example, as the detection target object, a human face, a pupil, or a body region of an animal such as a dog, a cat, or a bird may be detected.
撮像装置は、カメラとボディが一体となったものでもよいし、レンズが交換できるタイプのものでもよい。 The imaging device may be one in which the camera and the body are integrated, or may be of a type in which the lens can be replaced.
撮像装置の例としてデジタルカメラを説明したが、これに限定されない。撮像装置として、画像撮影機能と通信機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。 Although the digital camera has been described as an example of the imaging device, the present invention is not limited to this. An electronic device (for example, a video camera, a smartphone, a tablet terminal, or the like) having an image capturing function and a communication function may be used as the imaging device.
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology according to the present disclosure. To that end, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Therefore, among the constituent elements described in the accompanying drawings and the detailed description, not only constituent elements essential for solving the problem but also constituent elements not essential for solving the problem in order to exemplify the above technology Can also be included. Therefore, it should not be immediately recognized that the non-essential components are essential, because the non-essential components are described in the accompanying drawings and the detailed description.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Further, since the above-described embodiment is for exemplifying the technique in the present disclosure, various changes, replacements, additions, omissions, etc. can be made within the scope of the claims or the scope of equivalents thereof.
本開示は、所定のオブジェクト（例えば、人体）を検出し、検出したオブジェクトの領域を表示部に表示する機能を備えた撮像装置に有用である。 The present disclosure is useful for an imaging device having a function of detecting a predetermined object (for example, a human body) and displaying the area of the detected object on the display unit.
１０ 人体
３０ 撮像画像
５０ 人体枠
５０ｘ、５０ｙ 人体検出領域
５２、５４ 第２の人体検出のための所定領域
５２ａ、５４ａ 色追尾により検出された領域
１００ デジタルカメラ
１１０ 光学系
１１５ イメージセンサ
１２０ 画像処理部
１２５ バッファメモリ
１３５ コントローラ
１４０ カードスロット
１４２ メモリカード
１４５ フラッシュメモリ
１５５ Ｗｉ−Ｆｉモジュール
１６０ Ｂｌｕｅｔｏｏｔｈモジュール
10
Claims (9)
被写体を撮像し、撮像画像を示す画像データを生成する画像センサと、
前記撮像画像から前記所定のオブジェクトの領域を検出する制御部と、を備え、
前記制御部は、
前記撮像画像から前記所定のオブジェクトの領域を検出する第１の検出処理と、
前記撮像画像から前記所定のオブジェクトの領域を検出する、前記第１の検出処理とは異なる、第２の検出処理と、を実行し、
前記第１の検出処理により得られた第１の結果と、前記第２の検出処理により得られた第２の結果と、予め設定された所定値とを用いて、前記第１の結果および前記第２の結果の何れか一方を、前記所定のオブジェクトの検出結果として、採用する、
撮像装置。 An imaging device having a function of detecting a region of a predetermined object from an image,
An image sensor that captures an image of a subject and generates image data representing a captured image,
A control unit that detects a region of the predetermined object from the captured image,
The control unit is
A first detection process of detecting an area of the predetermined object from the captured image;
Executing a second detection process, which is different from the first detection process, for detecting the region of the predetermined object from the captured image,
The first result and the second result obtained by the first detection process, the second result obtained by the second detection process, and a preset predetermined value are used. Any one of the second results is adopted as the detection result of the predetermined object,
Imaging device.
第１の時間で、前記第１の結果が取得される、検出処理であり、
前記第２の検出処理は、
第２の時間で、前記第２の結果が取得される、検出処理であり、
前記第２の時間は、
前記第１の時間よりも短い、
請求項１に記載の撮像装置。 The first detection process is
A detection process in which the first result is obtained at a first time,
The second detection process is
A detection process in which the second result is obtained at a second time,
The second time is
Less than the first time,
The image pickup apparatus according to claim 1.
前記第１の検出処理における、前記所定のオブジェクトの領域を検出する精度よりも、低い、
請求項１に記載の撮像装置。 The accuracy of detecting the area of the predetermined object in the second detection processing is
It is lower than the accuracy of detecting the area of the predetermined object in the first detection process,
The image pickup apparatus according to claim 1.
前記撮像画像の現フレームに対して、前記第２の検出処理を実施し、前記第２の結果を取得し、
前記現フレームより前に生成されたフレームに対して、前記第１の検出処理を実施し、前記第１の結果を取得し、
前記第１の検出結果が、前記第２の検出結果との差が、前記所定値以下であるとき、前記第１の検出結果を、前記所定のオブジェクトの検出結果として、採用し、
前記第１の検出結果が、前記第２の検出結果との差が、前記所定値よりも大きいとき、前記第２の検出結果を、前記所定のオブジェクトの検出結果として、採用し、
請求項１に記載の撮像装置。 The control unit is
Performing the second detection process on the current frame of the captured image to obtain the second result,
Performing the first detection process on a frame generated before the current frame to obtain the first result,
When the difference between the first detection result and the second detection result is less than or equal to the predetermined value, the first detection result is adopted as the detection result of the predetermined object,
When the difference between the first detection result and the second detection result is larger than the predetermined value, the second detection result is adopted as the detection result of the predetermined object,
The image pickup apparatus according to claim 1.
前記第１の検出処理により検出が完了した完了領域における、色特徴、オブジェクトのパターンまたは動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項１に記載の撮像装置。 In the second detection process,
Detecting the area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the completed area where the detection is completed by the first detection processing;
The image pickup apparatus according to claim 1.
前記完了領域の上部を含む、上部領域と、
前記完了領域の底部を含み、前記上部領域に対向する下部領域とを、含み、
前記第２の検出処理では、
前記上部領域および前記下部領域における、前記色特徴、前記オブジェクトの前記パターンまたは前記動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項５に記載の撮像装置。 The completion area is
An upper region including an upper portion of the completion region,
Including a bottom of the completion region and a bottom region opposite the top region,
In the second detection process,
Detecting an area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the upper area and the lower area,
The image pickup apparatus according to claim 5.
第１の領域と、
前記第１の領域に対して、対角線上に配置される第２の領域とを、含み、
前記第２の検出処理では、
前記第１の領域および前記第２の領域における、前記色特徴、前記オブジェクトの前記パターンまたは前記動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項５に記載の撮像装置。 The completion area is
The first area,
A second region diagonally arranged with respect to the first region,
In the second detection process,
Detecting an area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the first area and the second area,
The image pickup apparatus according to claim 5.
前記制御部は、
前記第１の検出処理または前記第２の検出処理により検出された、前記所定のオブジェクトの領域を示す検出枠を、前記表示部に表示させる、
請求項１に記載の撮像装置。 An image captured by the image sensor is further displayed in real time, and further includes a display unit,
The control unit is
Causing the display unit to display a detection frame indicating an area of the predetermined object detected by the first detection process or the second detection process,
The image pickup apparatus according to claim 1.
人の体、犬の体、猫の体および鳥の体のうちの少なくとも１つである、
請求項１に記載の撮像装置。 The predetermined object is
At least one of a human body, a dog body, a cat body, and a bird body,
The image pickup apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018224064A JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018224064A JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020088748A true JP2020088748A (en) | 2020-06-04 |
Family
ID=70909163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018224064A Pending JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020088748A (en) |
-
2018
- 2018-11-29 JP JP2018224064A patent/JP2020088748A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6184189B2 (en) | SUBJECT DETECTING DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, SUBJECT DETECTING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
| JP2010056692A (en) | Imaging apparatus and its control method | |
| JP7113364B2 (en) | Imaging device | |
| US20210256713A1 (en) | Image processing apparatus and image processing method | |
| US10284782B2 (en) | Image stabilization apparatus, control method thereof, and image capture apparatus | |
| JP2008301162A (en) | Photography device, and photographing method | |
| US12015846B2 (en) | Imaging apparatus with autofocus control based on movement tendency | |
| JP6145822B2 (en) | Imaging device | |
| JP2011151482A (en) | Imaging apparatus and method for controlling the same | |
| JP2020088748A (en) | Imaging apparatus | |
| JP2010170042A (en) | Imaging apparatus and method for controlling the same | |
| US11375132B2 (en) | Imaging apparatus, method of controlling the imaging apparatus, and program | |
| JP6785481B1 (en) | Image tracking device | |
| US11394869B2 (en) | Imaging device with focusing operation based on subject and predetermined region | |
| JP2020067534A (en) | Imaging apparatus | |
| JP7122916B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM AND STORAGE MEDIUM | |
| JP2009188480A (en) | Subject tracing program, subject tracing device, and camera | |
| US11917293B2 (en) | Imaging device | |
| JP7117593B1 (en) | Imaging device | |
| US11880991B2 (en) | Imaging apparatus including depth information at first or second spatial resolution at different regions in the image | |
| US20240080554A1 (en) | Focusing apparatus, image pickup apparatus, focusing method, and storage medium | |
| JP2020079834A (en) | Imaging apparatus | |
| US11743601B2 (en) | Image processing device, image processing method, and storage medium | |
| JPWO2017208991A1 (en) | Imaging processing apparatus, electronic apparatus, imaging processing method, imaging processing apparatus control program | |
| JP2013157675A (en) | Imaging device, method for controlling the same, program, and storage medium |