JP2020088748A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020088748A JP2020088748A JP2018224064A JP2018224064A JP2020088748A JP 2020088748 A JP2020088748 A JP 2020088748A JP 2018224064 A JP2018224064 A JP 2018224064A JP 2018224064 A JP2018224064 A JP 2018224064A JP 2020088748 A JP2020088748 A JP 2020088748A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- detection
- detection process
- result
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、所定のオブジェクト(例えば、人体)を検出し、検出したオブジェクトの領域を表示部に表示する機能を備えた撮像装置に関する。 The present disclosure relates to an imaging device having a function of detecting a predetermined object (for example, a human body) and displaying a region of the detected object on a display unit.
特許文献1は、被写体像について顔領域を示す枠と人体領域を示す枠とを表示する撮像装置を開示する。 Patent Document 1 discloses an imaging device that displays a frame indicating a face area and a frame indicating a human body area for a subject image.
特許文献1の撮像装置は、画像において被写体像における第1領域(例えば、顔領域)の位置を検出して第1検出結果(顔情報)を求める第1検出手段と、画像において被写体像における第2領域(例えば、人体領域)の位置を検出して第2検出結果を求める第2検出手段と、第1の検出結果(例えば、顔情報)に応じて第2領域(例えば、人体領域)の位置を推定して推定結果を求める推定手段と、第1検出結果、第2検出結果、および推定結果に応じてそれぞれ第1表示体(例えば、顔検出枠)、第2表示体(例えば、人体検出枠)、および第2領域の位置を推定する推定表示体(例えば、人体推定枠)を表示部に表示制御する表示制御手段とを有する。推定手段は、第1検出結果に応じて第1表示体が表示される際、第2検出手段によって第2検出結果が得られていない場合にのみ、第1検出結果に応じて推定結果を求める。 The image pickup apparatus of Patent Document 1 detects a position of a first area (for example, a face area) in a subject image in an image to obtain a first detection result (face information), and a first detecting unit in the image of the subject image. Second detection means for detecting the positions of two regions (for example, a human body region) to obtain a second detection result, and a second region (for example, a human body region) according to the first detection result (for example, face information) Estimating means for estimating the position to obtain an estimation result, and a first display object (for example, face detection frame) and a second display object (for example, human body) according to the first detection result, the second detection result, and the estimation result, respectively. A detection frame) and a display control means for controlling the display of an estimated display body (for example, a human body estimation frame) for estimating the position of the second area. The estimation unit obtains the estimation result according to the first detection result only when the second detection unit has not obtained the second detection result when the first display body is displayed according to the first detection result. ..
特許文献1の撮像装置のように画像において所定のオブジェクト(顔、人体等)を検出し、その検出枠を表示部に表示する際に、検出処理に時間がかかると、検出枠が実際のオブジェクトの動きに追従せず、遅れて表示される場合がある。 When a predetermined object (face, human body, etc.) is detected in an image and the detection frame is displayed on the display unit like the imaging device of Patent Document 1, if the detection process takes time, the detection frame is an actual object. May not follow the movement of and may be displayed with a delay.
本開示は、画像における所定のオブジェクト(人体等)の検出枠が遅れて表示されることのない撮像装置を提供する。 The present disclosure provides an imaging device in which a detection frame of a predetermined object (human body or the like) in an image is not displayed with a delay.
本開示の一の態様において、撮像装置は、画像から所定のオブジェクトの領域を検出する機能を有する。撮像装置は、画像センサと、制御部とを備える。画像センサは、被写体を撮像し、撮像画像を示す画像データを生成する。制御部は、撮像画像から所定のオブジェクトの領域を検出する。制御部は、撮像画像から、所定のオブジェクトの領域を検出する、第1の検出処理を実行する。制御部は、撮像画像から、所定のオブジェクトの領域を検出する、第1の検出処理とは異なる、第2の検出処理を実行する。制御部は、第1の検出処理により得られた第1の結果と、第2の検出処理により得られた第2の結果と、予め設定された所定値とを用いて、第1の結果および第2の結果の何れか一方を、所定のオブジェクトの検出結果として、採用する。 In one aspect of the present disclosure, the imaging device has a function of detecting a region of a predetermined object from an image. The imaging device includes an image sensor and a control unit. The image sensor images a subject and generates image data indicating a captured image. The control unit detects an area of a predetermined object from the captured image. The control unit executes a first detection process of detecting an area of a predetermined object from the captured image. The control unit executes a second detection process, which is different from the first detection process, for detecting the area of the predetermined object from the captured image. The control unit uses the first result obtained by the first detection process, the second result obtained by the second detection process, and the preset predetermined value to determine the first result and Either one of the second results is adopted as the detection result of the predetermined object.
本開示によれば、所定のオブジェクト(顔、人体等)の検出枠が遅れて表示されることがなくなり、ユーザの利便性を向上できる。 According to the present disclosure, the detection frame of a predetermined object (face, human body, etc.) is not displayed with a delay, and user convenience can be improved.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters or duplicate description of substantially the same configuration may be omitted. This is to prevent the following description from being unnecessarily redundant and to facilitate understanding by those skilled in the art. It should be noted that the inventor (s) provide the accompanying drawings and the following description for those skilled in the art to fully understand the present disclosure, and intend to limit the subject matter described in the claims by these. Not something to do.
(実施の形態1)
〔1−1.構成〕
図1は、本開示の撮像装置の一実施の形態であるデジタルカメラの構成を示した図である。デジタルカメラ100は、被写体を撮像して画像データを生成する。特に、本実施の形態のデジタルカメラ100は、撮像画像から人体の領域を検出する機能を有する。さらに、デジタルカメラ100は、撮像画像をリアルタイムで表示するライブビュー表示において、撮像画像から検出した人体の領域を示す検出枠(以下「人体検出枠」という)を撮像画像に重畳して表示部に表示する機能を有している。
(Embodiment 1)
[1-1. Constitution〕
FIG. 1 is a diagram showing a configuration of a digital camera that is an embodiment of an imaging device of the present disclosure. The
デジタルカメラ100は、光学系110を介して形成された被写体像をイメージセンサ115で撮像し画像データを生成する。画像処理部120は、イメージセンサ115により生成された画像データに対して各種処理を施して、撮像画像を示す画像データを生成する。コントローラ135は、画像処理部120にて生成された画像データをカードスロット140に装着されたメモリカード142に記録したり、撮像画像を液晶モニタ130上にライブビュー表示したりする。
The
光学系110は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ(OIS:Optical Image Stabilizer)、絞り、シャッタ、等を含む。光学系110に含まれる各種レンズは、何枚から構成されるものであっても、何群から構成されるものであってもよい。
The
レンズ駆動部113は、光学系110におけるフォーカスレンズを光軸方向に駆動する。レンズ駆動部113は、フォーカスレンズを駆動する機構と、その機構を動かすモータ、アクチュエータ等を含む。レンズ駆動部113の動作はコントローラ135により制御される。
The
イメージセンサ115は、光学系110を介して形成された被写体像を撮像して撮像画像を示す画像データを生成する。イメージセンサ115は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。イメージセンサ115における、画像データの生成タイミングおよび電子シャッタ動作は、コントローラ135によって制御される。なお、イメージセンサ115は、CMOSイメージセンサ、CCDイメージセンサ、またはNMOSイメージセンサなど、種々のイメージセンサを用いることができる。
The
画像処理部120は、イメージセンサ115から出力された画像データに対して所定の画像処理を施す。所定の画像処理は、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理のうちの少なくとも1つを含むが、これらの処理に限定されない。画像処理部120は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。すなわち、画像処理部120は、CPU、MPU、GPU、DSU、FPGA、ASIC等の種々のプロセッサで実現できる。
The
液晶モニタ130は、デジタルカメラ100の背面に備わる。液晶モニタ130は、画像処理部120にて処理された画像データに基づく画像を表示する。なお、液晶モニタに代えて、有機ELモニタなど、他のモニタを用いてもよい。
The
コントローラ135はCPUを含み、プログラムを実行することでデジタルカメラ100全体の動作を統括制御する。コントローラ135は、CPUに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ135は、CPU、MPU、GPU、DSU、FPGA、ASIC等の種々のプロセッサで実現できる。コントローラ135は1つまたは複数のプロセッサで構成してもよい。コントローラ135は、画像処理部120などと共に1つの半導体チップで構成してもよい。図示していないが、コントローラ135はROMを内蔵する。また、ROMには、コントローラ135により実行されるオートフォーカス制御(AF制御)のような、様々なプログラムが記憶されている。また、コントローラ135はCPUの作業領域として機能するRAM(図示せず)を内蔵している。
The
バッファメモリ125は、画像処理部120やコントローラ135のワークメモリとして機能する記録媒体である。バッファメモリ125は、DRAM(Dynamic Random Access Memory)などにより実現される。
The
カードスロット140は、着脱可能なメモリカード142が挿入される手段である。カードスロット140は、メモリカード142を電気的及び機械的に接続可能である。メモリカード142は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード142は、画像処理部120で生成される画像データなどのデータを格納できる。
The
フラッシュメモリ145は不揮発性の記録媒体であり、半導体メモリで構成される。
The
操作部150は、デジタルカメラ100の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部150は、例えば、レリーズ釦、モードダイヤル、ジョグダイヤル、タッチパネルを含む。操作部150はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ135に送信する。
The
Wi-Fiモジュール155は、通信規格IEEE802.11またはWi−Fi規格に準拠した通信を行う通信モジュール(回路)である。デジタルカメラ100は、Wi-Fiモジュール155を介して、Wi-Fiモジュールを搭載した他の機器と通信することができる。デジタルカメラ100は、Wi-Fiモジュール155を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、Wi-Fiモジュールに代えて、他の通信規格に準拠した通信を行う通信モジュールを使用してもよい。すなわち、通信モジュールとして、比較的通信ビットレートが高く、通信エリアが数メートル以上である通信が可能な通信モジュールを使用できる。
The Wi-
Bluetoothモジュール160は、通信規格802.15.1すなわちBluetooth(登録商標)規格に準拠した通信を行うためのモジュール(回路)である。デジタルカメラ100は、Bluetoothモジュール160を介して他の機器とBluetooth規格に準拠した通信を行うことができる。Bluetoothモジュールに代えて、NFCリーダライタを備えてもよく、NFC規格にしたがい他の機器と通信しても良い。または、Bluetoothモジュールに代えて、他の近接場型の無線通信を行う通信手段を用いてもよい。
The
〔1−2.動作〕
以下、以上のような構成を有するデジタルカメラ100における動作を説明する。
[1-2. motion〕
The operation of the
本実施の形態のデジタルカメラ100は、撮像画像において人体の領域を検出し、人体の領域を示す人体検出枠を液晶モニタ140に表示する。例えば、図2(A)に示すように、液晶モニタ140においてライブビュー表示される画像30において、人体10の領域を検出し、その領域を示す人体検出枠50を表示する。
ここで、人体領域の検出に時間を要する場合、すなわち、人体領域の検出に複数フレームの時間を要する場合がある。この場合、人体検出処理の開始から終了までの間に人体の移動がないかまたは移動量が小さい場合は、図2(A)に示すように、液晶モニタ130において人体検出枠50は人体10に対して正しく表示されるか、または、大きくずれないで表示される。しかしながら、人体検出処理の開始から終了までの間に被写体が大きく移動した場合、人体検出枠50の算出処理が表示画像に追い付かず、図2(B)に示すように、人体検出枠50が人体10に対してずれて表示されてしまう。本実施の形態のデジタルカメラ100は、このような人体の人体検出枠50の表示のずれの問題を解決する。
Here, it may take time to detect the human body region, that is, it may take time for a plurality of frames to detect the human body region. In this case, when there is no movement of the human body from the start to the end of the human body detection process or the movement amount is small, as shown in FIG. In contrast, it is displayed correctly, or it is displayed without significant deviation. However, when the subject largely moves from the start to the end of the human body detection process, the calculation process of the human
デジタルカメラ100のコントローラ135は、人体検出処理として、第1および第2の検出処理の二種類の検出処理を行う。第1の検出処理は、人体検出の精度は比較的高いが、人体検出処理の完了に比較的長い時間(例えば、3フレーム分の時間)を要する処理である。一方、第2の検出処理は、精度は第1の検出処理よりも劣るが、比較的短い時間(例えば、1フレーム以内の時間)で人体検出が完了する処理である。なお、本実施の形態では、第1の検出処理は人体領域の検出に3フレーム分の時間を要し、第2の検出処理は人体領域の検出に1フレーム以内の時間を要するとする。上記を換言するならば、第1の検出処理は、第1の時間で、検出結果(第1の結果)が取得される、検出処理である。第2の検出処理は、第2の時間で、検出結果(第2の結果)が取得される、検出処理である。ここで、第2の時間は、第1の時間よりも短い。また、第2の検出処理における、所定のオブジェクトの領域を検出する精度は、第1の検出処理における、所定のオブジェクトの領域を検出する精度よりも、低い。
The
第1の検出処理はAI(Artificial Intelligence)機能を利用して人体を検出する。第1の検出処理を実行するため、コントローラ135は画像から人体領域を検出する機能を有する学習モデルを実装している。この学習モデルは、例えば畳み込みニューラルネットワーク(CNN)で構成され、多量の画像データにより、画像に含まれる人体の領域をラベルとして学習させて生成される。第1の検出処理は、精度よく人体を検出することができるが、検出処理に比較的長い処理時間(3フレーム分の時間)を要する。
The first detection processing detects a human body by using an AI (Artificial Intelligence) function. In order to execute the first detection process, the
第2の検出処理は、検出された人体領域内の色特徴に基づき色追跡を行うことにより人体領域を検出する。具体的には、以前のフレームで第1の検出処理により検出された人体領域内の所定領域における色特徴に基づき色追跡を行うことにより、以後のフレームの画像に対する人体領域を検出する。第2の検出処理は、精度では第1の検出処理よりも劣るが、比較的短い時間(本例では、1フレーム以内の時間)で人体検出が完了する処理である。以下、図3〜図5を用いて第2の検出処理の詳細を説明する。 The second detection processing detects the human body region by performing color tracking based on the detected color feature in the human body region. Specifically, color tracking is performed based on the color feature in a predetermined region within the human body region detected by the first detection processing in the previous frame, and the human body region for the images of the subsequent frames is detected. The second detection process is inferior in accuracy to the first detection process, but is a process in which human body detection is completed in a relatively short time (in this example, a time within one frame). Hereinafter, details of the second detection process will be described with reference to FIGS. 3 to 5.
第2の検出処理では、図3に示すように、第mフレームの撮像画像において第1の検出処理により検出された人体領域(完了領域と把握できる)50xにおいて、上側の所定領域(完了領域の上部を含む上部領域と把握できる)52と下側の所定領域(完了領域の底部を含む下部領域と把握できる)54とのそれぞれにおいて色特徴を抽出する。なお、図3に示すように、所定領域52は、所定領域54と対向している。なお、図3から明らかなように、所定領域52の一部の領域と、所定領域54の一部の領域とが、対角線上に配置されている。そして、後の第nフレーム(n>m)の撮像画像において、抽出した色特徴と同一の色特徴を有する領域52a、54aを検出し、検出した領域52a、54aに基づき第nフレームに対する人体領域すなわち人体検出枠50yを設定する。
In the second detection process, as shown in FIG. 3, in the human body region (which can be grasped as a completed region) 50x detected by the first detection process in the captured image of the m-th frame, a predetermined upper region (completed region Color features are extracted in each of an upper region including the upper portion) 52 and a predetermined lower region (which can be grasped as a lower region including the bottom of the completion region) 54. As shown in FIG. 3, the
図4は、第2の検出処理における人体検出枠50yの設定方法を説明した図である。上側の所定領域52の色特徴に基づき検出した領域52aの上端から、下側の所定領域54の色特徴に基づき検出した領域54aの下端までの範囲を人体検出枠50y(検出領域)の垂直方向の範囲Wyに設定する。また、上側の領域52aの左端と下側の領域54aの左端のうちのより左側にある方の左端から、上側の領域52aの右端と下側の領域54aの右端のうちのより右側にある方の右端までの範囲を人体検出枠50y(検出領域)の水平方向の範囲Wxに設定する。このようにして人体検出枠50yが設定される。
FIG. 4 is a diagram illustrating a method of setting the human
図5は、第2の検出処理における人体検出枠50yの設定方法の別の例を説明した図である。図5の設定方法では、図4に示す方法で設定した水平方向の範囲Wxに対して左端、右端のそれぞれにおいて所定長αだけ外側に拡大した範囲Wx1に設定している。また、垂直方向の範囲Wyに対して上端、下端のそれぞれにおいて所定長βだけ外側に拡大した範囲Wy1に設定している。
FIG. 5 is a diagram illustrating another example of the method of setting the human
図6は、第2の検出処理において色追跡する領域の別の例を説明した図である。前述の方法では、色追跡する領域として、人体検出枠50xの領域(完了領域と把握できる)における上側と下側の2つの領域52、54を設定したが、色追跡する領域はこれらに限定されない。例えば、図6に示すように、人体検出枠50xの領域の上側において左右に配置した2つの領域55、56を設定し、下側において左右に配置した2つの領域57、58を設定してもよい。すなわち、4つの領域を用いて色追跡を行ってもよい。図6に示すように、領域55と領域58とは、対角線上に配置されており、領域56と領域57とは、対角線上に配置されている。なお、図6において、領域56と領域57とを省略してもよく、または、領域55と領域58とを省略してもよい。
FIG. 6 is a diagram illustrating another example of the color tracking area in the second detection process. In the method described above, the two
コントローラ135は、各フレームにおいて第1の検出処理および第2の検出処理を行う。そして、コントローラ135は、基本的に精度のよい第1の検出処理に基づき液晶モニタ130に人体検出枠50を表示する。しかし、第1の検出処理の結果が実際の画像の状況とずれていると判定される場合には、コントローラ135は、第2の検出処理の結果に基づき人体検出枠50を表示する。これにより、人体検出枠50の表示ずれを低減する。
The
図7は、デジタルカメラ100による人体検出枠50の表示の例を説明した図である。第iフレームの撮像画像に対して、第1の検出処理による人体検出枠50aが表示される。この人体検出枠50aは、第iフレームの撮像画像の3フレーム前の撮像画像すなわち第i−3フレームの撮像画像に基づき検出されたものである。コントローラ135は、この人体検出枠50aが第iフレームの撮像画像における人体領域と合致すると判定したため、人体検出枠50aを表示させている。
FIG. 7 is a diagram illustrating an example of the display of the human
次の第i+1フレームの撮像画像に対しては、第2の検出処理による人体検出枠50bが表示される。このとき、第1の検出処理については、3フレーム前の第i−2フレームの撮像画像に対する人体検出枠が求められる。コントローラ135は、この人体検出枠は第i+1フレームの撮像画像における人体領域と合致していないと判定したことから、第2の検出処理における人体検出枠50bを表示させている。
The human
その次の第i+2フレームの撮像画像に対しても、第2の検出処理による人体検出枠50bが表示されている。この場合も、第i−1フレームの撮像画像に対して第1の検出処理により求められた人体検出枠が第i+2フレームの撮像画像における人体領域と合致していないと判定されたことから、第2の検出処理における人体検出枠50bが表示されている。
The human
第i+3フレームの撮像画像に対しては、第1の検出処理による人体検出枠50aが表示される。この場合、第iフレームの撮像画像に対して第1の検出処理により求められた人体検出枠が第i+3フレームの撮像画像における人体領域と合致していると判定されたことから、第1の検出処理における人体検出枠50aが表示されている。
The human
以上のように、第1の検出処理による人体検出枠が正しいと判断される場合は、第1の検出処理により求められた人体検出枠が表示される。一方、第1の検出処理による人体検出枠が正しくないと判断される場合は、第2の検出処理により求められた人体検出枠が表示される。 As described above, when it is determined that the human body detection frame obtained by the first detection processing is correct, the human body detection frame obtained by the first detection processing is displayed. On the other hand, when it is determined that the human body detection frame obtained by the first detection process is incorrect, the human body detection frame obtained by the second detection process is displayed.
図8は、デジタルカメラ100における人体領域の人体検出枠50の表示処理を示すフローチャートである。以下、図8のフローチャートを用いて人体検出枠50の表示処理を説明する。
FIG. 8 is a flowchart showing a display process of the human
デジタルカメラ100のコントローラ135は、イメージセンサ115で撮像された現フレームの撮像画像に対して第1の検出処理を実施し、人体検出領域を求める(S11)。
The
さらに、コントローラ135は、イメージセンサ115で撮像された現フレームの撮像画像に対して第2の検出処理を実施し、人体検出領域を求める(S12)。具体的には、コントローラ135は、第1の検出処理で検出しかつ適切であると判断した人体検出領域の中でもっとも新しい人体検出領域50x内の所定の領域52、54における色特徴に基づき現フレームの撮像画像における人体検出領域50yを求める。
Further, the
その後、第1の結果と、第2の結果と、所定値とを用いることにより、コントローラ135は、第1の結果および第2の結果の何れか一方を、所定のオブジェクトの検出結果として、採用する(S13〜S15)。ここで、第1の結果は、第1の検出処理により得られる。第2の結果は、第2の検出処理により得られる。また、所定値は、コントローラ135において、予め設定されている。
After that, by using the first result, the second result, and the predetermined value, the
まず、検出処理が完了した第1の人体検出処理の結果が所定の精度を満たすか否かを判断する(S13)。現フレームの処理時においては、現フレームよりも3フレーム前の撮像画像に対する第1の検出処理が完了する。よって、コントローラ135は、現フレームではなく、3フレーム前(現フレームよりも前に生成されたフレームと把握できる)の撮像画像に対してなされた第1の検出処理の結果が所定の精度を満たすか否かを判断する。
First, it is determined whether or not the result of the first human body detection process that has completed the detection process satisfies a predetermined accuracy (S13). At the time of processing the current frame, the first detection process for the captured image three frames before the current frame is completed. Therefore, the
具体的には、コントローラ135は、3フレーム前の撮像画像に対してなされた第1の検出処理により検出された人体領域(第1の結果と把握できる)と、現フレームに対してなされた第2の検出処理により検出された人体領域(第2の結果と把握できる)とを比較し、両者の差異が上記所定値以下の場合に、3フレーム前の撮像画像に対する第1の人体検出処理の結果、すなわち、検出が完了した第1の人体検出処理の結果が所定の精度を満たすと判断する。なお、第1の人体検出処理の結果が所定の精度を満たすか否かの判断方法は、上述のものに限定されない。第1の人体検出処理の結果求められた人体領域と、現フレームの撮像画像内の人体の領域との差が所定値以下であると判断できる方法であれば、任意の方法を使用できる。
Specifically, the
検出が完了した第1の人体検出処理の結果が適切である場合(S13でYES)、コントローラ135は、検出が完了した第1の人体検出処理の結果に基づき人体検出枠(所定のオブジェクトの検出結果と把握できる)50を設定し、液晶モニタ130において現フレームの撮像画像に重畳して人体検出枠50を表示させる(S14)。このように、コントローラ135は、上記第1の検出結果と上記第2の検出結果との差が、上記所定値以下であるとき、第1の検出結果を、人体検出枠50として採用する。そして、コントローラ135は、液晶モニタ130を制御し、当該液晶モニタ130は、人体検出枠50として、第1の結果を表示する。なお、上記から分かるように、S13およびS14において、コントローラ135は、3フレーム前の撮像画像に対してなされた第1の検出処理により検出された人体領域を、人体検出枠50として採用する。そして、液晶モニタ130は、当該採用された人体領域を、人体検出枠50として、表示する。
When the result of the first human body detection process that has been detected is appropriate (YES in S13), the
一方、検出が完了した第1の人体検出処理の結果が適切でない場合(S13でNO)、コントローラ135は、現フレームに対する第2の人体検出処理の結果に基づき人体検出枠(所定のオブジェクトの検出結果と把握できる)50を設定し、液晶モニタ130において現フレームの撮像画像に重畳して人体検出枠50を表示させる(S15)。このように、コントローラ135は、上記第1の検出結果と上記第2の検出結果との差が、上記所定値より大きいとき、第2の検出結果を、人体検出枠50として採用する。そして、コントローラ135は、液晶モニタ130を制御し、当該液晶モニタ130は、人体検出枠50として、第2の結果を表示する。なお、上記から分かるように、S13およびS15において、コントローラ135は、現フレームに対してなされた第2の検出処理により検出された人体領域を、人体検出枠50として採用する。そして、液晶モニタ130は、当該採用された人体領域を、人体検出枠50として、表示する。
On the other hand, when the result of the first human body detection process that has been detected is not appropriate (NO in S13), the
以上のようにして、撮像画像から人体領域が検出され、液晶モニタ130において撮像画像に重畳して人体検出枠50が表示される。
As described above, the human body region is detected from the captured image, and the human
以上のようにして設定される人体領域の人体検出枠50は、ユーザに人体領域を認識させるととともに、合焦位置の設定にも使用される。すなわち、デジタルカメラ50のコントローラ135は、人体領域の人体検出枠50内の領域における所定位置を合焦位置に設定する。図9は、人体領域の検出枠に基づき設定される合焦位置の例を説明した図である。合焦位置60は、例えば、人の顔が合焦位置に設定されやすいように、人体検出枠50内の領域の水平方向の中間位置でかつ垂直方向において中間位置よりも上部の位置に設定されてもよい。
The human
コントローラ135は、ユーザからレリーズ釦の半押し操作があったときに、人体検出枠50内の合焦位置60に合焦するようにフォーカスレンズ位置を求め、その求めた位置にフォーカスレンズを移動させるようにレンズ駆動部113を制御して合焦動作を行う。
When the user half-presses the release button, the
〔1−3.効果、等〕
以上のように本実施の形態のデジタルカメラ100は、画像から人体(所定のオブジェクトの一例)の領域を検出する機能を有する撮像装置である。デジタルカメラ100は、被写体を撮像し、撮像画像を示す画像データを生成するイメージセンサ115と、撮像画像から人体の領域を検出するコントローラ135と、を備える。コントローラ135は、たとえば、3フレーム前の撮像画像に対してなされた第1の検出処理により検出された人体領域(第1の結果と把握できる)と、現フレームに対してなされた第2の検出処理により検出された人体領域(第2の結果と把握できる)と、所定値とを用いて、第1の結果および第2の結果の何れか一方を、人体領域の検出結果として、採用する(S13〜S15)。
[1-3. Effect, etc.]
As described above, the
たとえば、コントローラ135は、撮像画像から人体の領域を検出する第1の人体検出処理(S11)と、撮像画像から、第1の検出処理よりも高速であるがより低い精度で人体の領域を検出する第2の人体検出処理(S12)と、を実行する。コントローラ135は、第1の人体検出処理により得られた結果が所定の精度を満たす場合(S13でYES)、第1の人体検出処理により得られた結果を人体領域の検出結果として、採用する(S14)。一方、第1の人体検出処理により得られた結果が所定の精度を満たさない場合(S13でNO)、コントローラ135は、第2の人体検出処理により得られた結果を人体領域の検出結果として採用する(S15)。
For example, the
以上のように、第2の人体検出処理は、第1の人体検出処理とは異なる。そして、両方の検出処理を実施し、異なる検出結果を得ている。よって、基本的に第1の人体検出処理による検出結果が得られるとともに、たとえば、第1の人体検出処理の結果が遅れた場合には、第2の人体検出処理による結果を採用することが可能となる。これにより、第1の人体検出処理の遅延の影響を低減できる。例えば、ライブビュー表示において人体検出枠の表示上のずれを低減できる。 As described above, the second human body detection process is different from the first human body detection process. Then, both detection processes are performed and different detection results are obtained. Therefore, basically, the detection result of the first human body detection process is obtained, and, for example, when the result of the first human body detection process is delayed, the result of the second human body detection process can be adopted. Becomes This can reduce the influence of the delay in the first human body detection process. For example, it is possible to reduce the display shift of the human body detection frame in the live view display.
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technique of the present disclosure is not limited to this, and is also applicable to the embodiment in which changes, replacements, additions, omissions, etc. are appropriately made. Further, it is also possible to combine the constituent elements described in the first embodiment to form a new embodiment.
実施の形態1では、第1の人体検出処理としてAIを用いた処理を説明したが、第1の人体検出処理はこれに限定されない。第1の人体検出処理において、HOGアルゴリズムに基づいて人体検出処理を行ってもよい。すなわち、画像からHOG(Histograms of Oriented Gradients)特徴量を抽出して人体を検出してもよい。 In the first embodiment, the processing using AI as the first human body detection processing has been described, but the first human body detection processing is not limited to this. In the first human body detection process, the human body detection process may be performed based on the HOG algorithm. That is, the human body may be detected by extracting the HOG (Histograms of Oriented Gradients) feature amount from the image.
また、第2の人体検出処理に関して、色追跡に代えて、パターンマッチングまたは動きベクトルに基づいて人体領域を検出してもよい。すなわち、直前のフレームの撮像画像から検出された人体領域の所定領域52、54のパターンと一致するパターンを検出することで、現フレームの撮像画像に対する人体領域を検出してもよい。または、直前のフレームの撮像画像から検出された人体領域の所定領域52、54の動きベクトルに基づいて現フレームの撮像画像に対する人体領域を検出してもよい。
Further, regarding the second human body detection process, the human body region may be detected based on pattern matching or a motion vector instead of color tracking. That is, the human body region for the captured image of the current frame may be detected by detecting a pattern that matches the pattern of the
実施の形態1では、合焦対象のオブジェクトとして人体を検出する例を説明したが、検出対象のオブジェクトは人体に限定されず、種々の対象を含む。例えば、検出対象のオブジェクトとして、人の顔、瞳、または、犬、猫、鳥などの動物の体の領域を検出してもよい。 In the first embodiment, the example in which the human body is detected as the object to be focused is described, but the object to be detected is not limited to the human body and includes various objects. For example, as the detection target object, a human face, a pupil, or a body region of an animal such as a dog, a cat, or a bird may be detected.
撮像装置は、カメラとボディが一体となったものでもよいし、レンズが交換できるタイプのものでもよい。 The imaging device may be one in which the camera and the body are integrated, or may be of a type in which the lens can be replaced.
撮像装置の例としてデジタルカメラを説明したが、これに限定されない。撮像装置として、画像撮影機能と通信機能を有する電子機器(例えば、ビデオカメラ、スマートフォン、タブレット端末等)であればよい。 Although the digital camera has been described as an example of the imaging device, the present invention is not limited to this. An electronic device (for example, a video camera, a smartphone, a tablet terminal, or the like) having an image capturing function and a communication function may be used as the imaging device.
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology according to the present disclosure. To that end, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Therefore, among the constituent elements described in the accompanying drawings and the detailed description, not only constituent elements essential for solving the problem but also constituent elements not essential for solving the problem in order to exemplify the above technology Can also be included. Therefore, it should not be immediately recognized that the non-essential components are essential, because the non-essential components are described in the accompanying drawings and the detailed description.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Further, since the above-described embodiment is for exemplifying the technique in the present disclosure, various changes, replacements, additions, omissions, etc. can be made within the scope of the claims or the scope of equivalents thereof.
本開示は、所定のオブジェクト(例えば、人体)を検出し、検出したオブジェクトの領域を表示部に表示する機能を備えた撮像装置に有用である。 The present disclosure is useful for an imaging device having a function of detecting a predetermined object (for example, a human body) and displaying the area of the detected object on the display unit.
10 人体
30 撮像画像
50 人体枠
50x、50y 人体検出領域
52、54 第2の人体検出のための所定領域
52a、54a 色追尾により検出された領域
100 デジタルカメラ
110 光学系
115 イメージセンサ
120 画像処理部
125 バッファメモリ
135 コントローラ
140 カードスロット
142 メモリカード
145 フラッシュメモリ
155 Wi−Fiモジュール
160 Bluetoothモジュール
10
Claims (9)
被写体を撮像し、撮像画像を示す画像データを生成する画像センサと、
前記撮像画像から前記所定のオブジェクトの領域を検出する制御部と、を備え、
前記制御部は、
前記撮像画像から前記所定のオブジェクトの領域を検出する第1の検出処理と、
前記撮像画像から前記所定のオブジェクトの領域を検出する、前記第1の検出処理とは異なる、第2の検出処理と、を実行し、
前記第1の検出処理により得られた第1の結果と、前記第2の検出処理により得られた第2の結果と、予め設定された所定値とを用いて、前記第1の結果および前記第2の結果の何れか一方を、前記所定のオブジェクトの検出結果として、採用する、
撮像装置。 An imaging device having a function of detecting a region of a predetermined object from an image,
An image sensor that captures an image of a subject and generates image data representing a captured image,
A control unit that detects a region of the predetermined object from the captured image,
The control unit is
A first detection process of detecting an area of the predetermined object from the captured image;
Executing a second detection process, which is different from the first detection process, for detecting the region of the predetermined object from the captured image,
The first result and the second result obtained by the first detection process, the second result obtained by the second detection process, and a preset predetermined value are used. Any one of the second results is adopted as the detection result of the predetermined object,
Imaging device.
第1の時間で、前記第1の結果が取得される、検出処理であり、
前記第2の検出処理は、
第2の時間で、前記第2の結果が取得される、検出処理であり、
前記第2の時間は、
前記第1の時間よりも短い、
請求項1に記載の撮像装置。 The first detection process is
A detection process in which the first result is obtained at a first time,
The second detection process is
A detection process in which the second result is obtained at a second time,
The second time is
Less than the first time,
The image pickup apparatus according to claim 1.
前記第1の検出処理における、前記所定のオブジェクトの領域を検出する精度よりも、低い、
請求項1に記載の撮像装置。 The accuracy of detecting the area of the predetermined object in the second detection processing is
It is lower than the accuracy of detecting the area of the predetermined object in the first detection process,
The image pickup apparatus according to claim 1.
前記撮像画像の現フレームに対して、前記第2の検出処理を実施し、前記第2の結果を取得し、
前記現フレームより前に生成されたフレームに対して、前記第1の検出処理を実施し、前記第1の結果を取得し、
前記第1の検出結果が、前記第2の検出結果との差が、前記所定値以下であるとき、前記第1の検出結果を、前記所定のオブジェクトの検出結果として、採用し、
前記第1の検出結果が、前記第2の検出結果との差が、前記所定値よりも大きいとき、前記第2の検出結果を、前記所定のオブジェクトの検出結果として、採用し、
請求項1に記載の撮像装置。 The control unit is
Performing the second detection process on the current frame of the captured image to obtain the second result,
Performing the first detection process on a frame generated before the current frame to obtain the first result,
When the difference between the first detection result and the second detection result is less than or equal to the predetermined value, the first detection result is adopted as the detection result of the predetermined object,
When the difference between the first detection result and the second detection result is larger than the predetermined value, the second detection result is adopted as the detection result of the predetermined object,
The image pickup apparatus according to claim 1.
前記第1の検出処理により検出が完了した完了領域における、色特徴、オブジェクトのパターンまたは動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項1に記載の撮像装置。 In the second detection process,
Detecting the area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the completed area where the detection is completed by the first detection processing;
The image pickup apparatus according to claim 1.
前記完了領域の上部を含む、上部領域と、
前記完了領域の底部を含み、前記上部領域に対向する下部領域とを、含み、
前記第2の検出処理では、
前記上部領域および前記下部領域における、前記色特徴、前記オブジェクトの前記パターンまたは前記動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項5に記載の撮像装置。 The completion area is
An upper region including an upper portion of the completion region,
Including a bottom of the completion region and a bottom region opposite the top region,
In the second detection process,
Detecting an area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the upper area and the lower area,
The image pickup apparatus according to claim 5.
第1の領域と、
前記第1の領域に対して、対角線上に配置される第2の領域とを、含み、
前記第2の検出処理では、
前記第1の領域および前記第2の領域における、前記色特徴、前記オブジェクトの前記パターンまたは前記動きベクトルに基づき、前記所定のオブジェクトの領域を検出する、
請求項5に記載の撮像装置。 The completion area is
The first area,
A second region diagonally arranged with respect to the first region,
In the second detection process,
Detecting an area of the predetermined object based on the color feature, the pattern of the object, or the motion vector in the first area and the second area,
The image pickup apparatus according to claim 5.
前記制御部は、
前記第1の検出処理または前記第2の検出処理により検出された、前記所定のオブジェクトの領域を示す検出枠を、前記表示部に表示させる、
請求項1に記載の撮像装置。 An image captured by the image sensor is further displayed in real time, and further includes a display unit,
The control unit is
Causing the display unit to display a detection frame indicating an area of the predetermined object detected by the first detection process or the second detection process,
The image pickup apparatus according to claim 1.
人の体、犬の体、猫の体および鳥の体のうちの少なくとも1つである、
請求項1に記載の撮像装置。 The predetermined object is
At least one of a human body, a dog body, a cat body, and a bird body,
The image pickup apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224064A JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224064A JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020088748A true JP2020088748A (en) | 2020-06-04 |
Family
ID=70909163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018224064A Pending JP2020088748A (en) | 2018-11-29 | 2018-11-29 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020088748A (en) |
-
2018
- 2018-11-29 JP JP2018224064A patent/JP2020088748A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184189B2 (en) | SUBJECT DETECTING DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, SUBJECT DETECTING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
JP2010056692A (en) | Imaging apparatus and its control method | |
JP7113364B2 (en) | Imaging device | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
US10284782B2 (en) | Image stabilization apparatus, control method thereof, and image capture apparatus | |
JP2008301162A (en) | Photography device, and photographing method | |
US12015846B2 (en) | Imaging apparatus with autofocus control based on movement tendency | |
JP6145822B2 (en) | Imaging device | |
JP2011151482A (en) | Imaging apparatus and method for controlling the same | |
JP2020088748A (en) | Imaging apparatus | |
JP2010170042A (en) | Imaging apparatus and method for controlling the same | |
US11375132B2 (en) | Imaging apparatus, method of controlling the imaging apparatus, and program | |
JP6785481B1 (en) | Image tracking device | |
US11394869B2 (en) | Imaging device with focusing operation based on subject and predetermined region | |
JP2020067534A (en) | Imaging apparatus | |
JP7122916B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM AND STORAGE MEDIUM | |
JP2009188480A (en) | Subject tracing program, subject tracing device, and camera | |
US11917293B2 (en) | Imaging device | |
JP7117593B1 (en) | Imaging device | |
US11880991B2 (en) | Imaging apparatus including depth information at first or second spatial resolution at different regions in the image | |
US20240080554A1 (en) | Focusing apparatus, image pickup apparatus, focusing method, and storage medium | |
JP2020079834A (en) | Imaging apparatus | |
US11743601B2 (en) | Image processing device, image processing method, and storage medium | |
JPWO2017208991A1 (en) | Imaging processing apparatus, electronic apparatus, imaging processing method, imaging processing apparatus control program | |
JP2013157675A (en) | Imaging device, method for controlling the same, program, and storage medium |