JP6245923B2 - IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM - Google Patents
IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM Download PDFInfo
- Publication number
- JP6245923B2 JP6245923B2 JP2013211274A JP2013211274A JP6245923B2 JP 6245923 B2 JP6245923 B2 JP 6245923B2 JP 2013211274 A JP2013211274 A JP 2013211274A JP 2013211274 A JP2013211274 A JP 2013211274A JP 6245923 B2 JP6245923 B2 JP 6245923B2
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- subject
- zoom position
- detected
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Lens Barrels (AREA)
- Studio Devices (AREA)
Description
本発明は、ズーム機能を有する撮像装置及びその制御方法等に関するものである。 The present invention relates to an imaging apparatus having a zoom function, a control method thereof, and the like.
デジタルカメラ等の撮像装置には、ズームレンズの駆動による光学的な変倍（光学ズーム）機能と、撮像した領域の一部を拡大する電子的な変倍（電子ズーム）機能を備えたものがある。近年、ズームレンズの性能向上により超広角から超望遠まで同一のレンズで撮影でき、また撮像素子の高画素化によって、拡大倍率を高くしても十分な解像感の得られる撮影が可能になってきている。 Some imaging devices such as a digital camera have an optical scaling function by driving a zoom lens (optical zoom) and an electronic scaling function (electronic zoom) function for enlarging a part of an imaged area. is there. In recent years, it has become possible to shoot with the same lens from ultra-wide angle to super-telephoto due to the performance improvement of the zoom lens, and with the increase in the number of pixels of the image sensor, it has become possible to shoot with sufficient resolution even when the magnification is increased. It is coming.
高倍率のズーム機能を備える撮像装置では、望遠状態での画角合わせの際、被写体のわずかな移動でフレームアウトが起こりうる。また、カメラを少し動かすだけで画角が大きくずれてしまう。そこで、被写体がフレームアウトした（又はフレームアウトしそうな）場合でも、簡単な操作で被写体を捉え直すことができるようにするための方法が提案されている。 In an imaging apparatus having a high-magnification zoom function, out-of-frame may occur due to slight movement of the subject when the angle of view is adjusted in the telephoto state. In addition, the angle of view can be greatly shifted by slightly moving the camera. Therefore, a method has been proposed for enabling a subject to be re-acquired with a simple operation even when the subject is out of frame (or is likely to be out of frame).
特許文献１では、所定の操作スイッチの押下中は被写体を探索しやくするために画角をズームアウトさせ、該操作スイッチが開放されるともとのズーム位置までズームインするフレーミングアシスト機能（ＦＡズーム機能）が開示されている。この機能によれば、被写体がフレームアウトした場合でも、撮影者は簡単な操作で即座に被写体を捉え直しつつ、所望の画角で撮影を行うことができる。
In
一方、画面内の被写体をカメラで検出し、被写体の検出情報に応じてカメラが自動でズーム位置を変更する機能として、いわゆるオートズーム機能が知られている。特許文献２では、被写体が画面内の特定領域の限界位置に達したときにズーム位置を広角方向にズームアウトさせる方法が提示されている。また、特許文献２では、被写体が画面内の中央部分にある場合にズーム位置を望遠方向にズームインさせる方法が提示されている。 On the other hand, a so-called auto-zoom function is known as a function for detecting a subject in the screen by a camera and automatically changing the zoom position according to the subject detection information. Japanese Patent Application Laid-Open No. 2004-228688 proposes a method of zooming out the zoom position in the wide-angle direction when the subject reaches the limit position of a specific area in the screen. Japanese Patent Application Laid-Open No. 2004-228620 proposes a method of zooming in on the zoom position in the telephoto direction when the subject is in the center of the screen.
上記のＦＡズーム機能では、撮影者による手動操作に応じてズームアウトとズームインを行っていた。ここで、撮影者の利便性を高めるため、ＦＡズーム機能においても被写体の状態に応じて自動でズーム動作を行うことが想定される。例えば、フレームアウトした（又はフレームアウトしそうな）被写体を画角内に捉えるため、特許文献２に記載のように、被写体が画面内のどの領域に存在するかに応じて、ズームアウトを行うことが考えられる。 In the above FA zoom function, zoom-out and zoom-in are performed according to a manual operation by a photographer. Here, in order to enhance the convenience of the photographer, it is assumed that the zoom operation is automatically performed according to the state of the subject even in the FA zoom function. For example, in order to capture a subject that is out of frame (or likely to be out of frame) within the angle of view, zooming out is performed according to which region in the screen the subject exists as described in Patent Document 2. Can be considered.
しかしながら、ＦＡズーム機能において自動でズーム動作を行う場合に、必要以上のズーム動作を行ってしまう可能性がある。例えば、フレームアウトしそうな被写体を画角内に捉え直す場合を想定する。この場合、設定された駆動量で自動的にズームアウトが行われるのと同時に、撮影者がカメラを動かすことでズームアウト中に被写体を画角内に捉えられる可能性がある。すると、被写体がフレームアウトしそうな状態で設定されたズーム駆動量では、必要以上にズームアウトを行ってしまう場合があり、撮影タイミングを逃してしまうおそれがある。 However, when the zoom operation is automatically performed in the FA zoom function, there is a possibility that the zoom operation is performed more than necessary. For example, assume that a subject that is likely to be out of frame is re-captured within the angle of view. In this case, zooming out is automatically performed with the set drive amount, and at the same time, the photographer may be able to capture the subject within the angle of view during zooming out by moving the camera. Then, when the zoom drive amount is set so that the subject is likely to be out of frame, the zoom out may be performed more than necessary, and the shooting timing may be missed.
本発明は、フレーミングを支援するための機能として被写体の検出結果に応じて自動的にズーム動作を行う撮像装置において、必要以上のズーム動作を抑制し、撮影タイミングを逃さないようにすることを目的とする。 An object of the present invention is to suppress an excessive zoom operation and prevent a shooting timing from being missed in an imaging apparatus that automatically performs a zoom operation according to a detection result of a subject as a function for supporting framing. And
上記目的を達成するために、本発明は、被写体を繰り返し検出する被写体検出手段と、前記被写体検出手段の検出結果に応じて、前記被写体を画角内に保つためのズーム動作を制御する制御手段とを有する撮像装置であって、広角側の第１のズーム位置へのズーム動作において、前記第１のズーム位置より望遠側の第２のズーム位置に達した状態で、第１の所定時間内に前記被写体検出手段により検出された被写体が画面内に設定された第１の領域内に検出された場合、前記制御手段は、広角側へのズーム動作を前記第２のズーム位置で停止することを特徴とする。 In order to achieve the above object, the present invention provides subject detection means for repeatedly detecting a subject and control means for controlling a zoom operation for keeping the subject within an angle of view in accordance with a detection result of the subject detection means. In the zoom operation to the first zoom position on the wide-angle side, the second zoom position on the telephoto side from the first zoom position is reached within a first predetermined time in the zoom operation to the first zoom position on the wide-angle side. When the subject detected by the subject detection means is detected in the first area set in the screen, the control means stops the zoom operation to the wide angle side at the second zoom position. It is characterized by.
本発明によれば、フレーミングを支援するための機能として被写体の検出結果に応じて自動的にズーム動作を行う撮像装置において、必要以上のズーム動作を抑制し、撮影タイミングを逃さないようにすることができる。 According to the present invention, in an imaging apparatus that automatically performs a zoom operation according to the detection result of a subject as a function for supporting framing, the zoom operation is suppressed more than necessary and the shooting timing is not missed. Can do.
以下に、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、本実施形態によって実現される機能は、撮影者によるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能（以下、ＦＡズーム機能と略記する）と呼ぶこととする。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. Note that the function realized by this embodiment is a framing support zoom function that supports framing by a photographer, and for convenience, will be referred to as a framing assist zoom function (hereinafter abbreviated as FA zoom function).
図１は、本発明の撮像装置の一実施形態としての、デジタルカメラ１００の構成を示すブロック図である。レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更する。フォーカスレンズ１０３は、光軸方向に移動することでピントを調節する。防振レンズ１０４は、手ぶれに起因する像振れを補正する補正用レンズである。光量を調節する絞り及びシャッタ１０５は、露出制御に使用される。
FIG. 1 is a block diagram showing a configuration of a
レンズ鏡筒１０１を通過した光は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子１０６にて受光され、光電変換されて撮像信号が生成される。撮像信号は、画像処理回路１０７に入力されて、画素補間処理や色変換処理等が施された後、画像データとして画像メモリ１０８に送られる。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
The light that has passed through the
表示手段としての表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等で構成され、撮影した画像データとともに、特定の情報（例えば、撮影情報や後述するＦＡズーム枠等）を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現している。
The
絞りシャッタ駆動部１１０は、画像処理回路１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、この演算結果に基づき絞り及びシャッタ１０５を駆動する。これによって、自動露出（ＡＥ）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサから構成される振れ検出部１２４の情報に基づいてデジタルカメラ１００に加わる振れ量を演算し、振れを打ち消すように防振レンズ１０４を駆動する。
The aperture
フォーカスレンズ駆動部１１２は、フォーカスレンズ１０３を駆動する。例えば、コントラストＡＦ（オートフォーカス）方式の制御では、画像処理回路１０７の画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づき、被写体にピントが合うようにフォーカスレンズ１０３が駆動される。なお、本実施形態においては、焦点調節制御の如何は問わないので、位相差ＡＦ方式や他の方式と組み合わせた方式が採用可能である。
The focus
ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７には、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等が設けられている。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部１１４によりズーム駆動速度や駆動方向が演算され、演算結果に従ってズームレンズ１０２が光軸に沿って移動する。
The zoom
撮影動作によって生成された画像データは、インターフェース部（以下Ｉ／Ｆ部と呼ぶ）１１５を介して記録部１１６に送られて記録される。画像データは、カメラに装着して使用するメモリカード等の外部記録媒体や、デジタルカメラ１００に内蔵されている不揮発性のメモリ１１８、あるいは両方に記録される。
The image data generated by the shooting operation is sent to the
操作部１１７は前記ズーム操作部材の他、撮影開始を指示するレリーズスイッチ、各種撮影モードを切り替えるための撮影モード切り替えスイッチ、ＦＡズーム機能の開始や終了を指示するＦＡズーム操作スイッチ、表示部１０９に設けられたタッチパネル等を含む。操作信号は後述のシステム制御部１１４に送られる。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、後述するＦＡズーム機能におけるズームイン位置等の情報を記憶する。
In addition to the zoom operation member, the
制御手段としてのシステム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を用いて構成され、撮影者の操作に応じて各部に制御命令を送ることでカメラ全体を制御する。システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（ＦＡズーム処理を含む）等を行うためのプログラムを実行する。
The
次に、システム制御部１１４のうち、ＦＡズーム機能に関連する制御について説明する。なお、図１にはシステム制御部１１４の内部処理を１１９乃至１２２の各機能ブロックで表している。
Next, control related to the FA zoom function in the
光学ズームによる画角変更時でも合焦状態を維持するためには、レンズ鏡筒１０１に示すリアフォーカスタイプの鏡筒の場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。ＣＺ制御を行うに当たって、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係についての被写体距離ごとの情報（フォーカスカム情報）がデジタルカメラ１００に記憶されている。
In order to maintain the in-focus state even when the angle of view is changed by the optical zoom, in the case of the rear focus type lens barrel shown in the
デジタルカメラ１００は、光学ズーム機能と電子ズーム機能を有する。ＣＺ制御部１１９とズームレンズ駆動部１１３は、光学ズーム駆動を担当する。ＣＺ制御部１１９は、ズーム動作時にて所定の制御周期ごとにズームレンズ１０２のズーム位置を検出し、フォーカスカム情報に基づいて、ズーム位置に応じたフォーカスレンズ位置にフォーカスレンズ１０３を駆動させる。これによって、合焦状態を維持したまま光学ズーム動作を行うことが可能になる。
The
一方、電子ズーム制御部１２０及び画像メモリ１０８は、電子ズーム駆動を担当する。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域を切り出すことによって電子ズーム機能を実現する。また、撮像素子１０６に取り込む映像のフレームレート周期で切り出す範囲を徐々に大きくし、表示部１０９に表示させることで滑らかな電子ズーム表示が実現される。
On the other hand, the electronic
被写体検出部１２３は、画像メモリ１０８の画像データから所望の被写体領域を検出する。本実施形態では顔情報を元に被写体を検出（顔検出）する被写体検出方法について説明する。顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２３は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較し、両者の相関が一定の閾値を超えるときに、その部分領域を顔領域と判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを様々に変更しながら繰り返せば、画像データ中に存在する様々な顔領域が検出される。被写体検出部１２３は、検出結果に基づき、画像データ上での被写体領域の大きさや位置・速度を求めることができる。
The
次に、ＦＡズーム機能の概要と、ＦＡズーム枠制御部１２１及びＦＡズーム制御部１２２について説明する。本実施形態のデジタルカメラ１００は、ＦＡズーム機能として自動ＦＡモードを備えている。自動ＦＡモードは、カメラが被写体を検出して自動的に画角合わせを支援するモードである。
Next, an overview of the FA zoom function and the FA zoom
本実施形態のデジタルカメラ１００の自動ＦＡモードでは、追尾している被写体の位置や大きさに応じて、自動でズームアウト動作やズームイン動作を行う。まず、モードを自動ＦＡモードとした後、タッチパネル等から被写体を指定する操作を実施することにより撮影したい被写体を指定する。被写体の指定方法としては、タッチパネル操作以外に、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動で主被写体を選択する方法なども考えられる。被写体検出部１２３では、画像メモリ１０８から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示するサンプリングごとの画像データに対して連続的に行なうことで被写体の動きを追尾することが可能となる。
In the automatic FA mode of the
図１１（Ａ）〜（Ｄ）を用いて、自動ＦＡモードにおけるズームアウト動作やズームイン動作の開始条件について説明する。まず、図１１（Ａ）では、表示部１０９に示される画面内に被写体６０１が検出されている様子を示している。図１１（Ａ）では、表示部１０９に示される画面において、点線６０２よりも外側の領域をズームアウト領域（ＺＯ）としている。ＺＯは画面全体に対して所定の比率のサイズで設定される。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をＺＯの境界とした場合、８０〜１００％の領域をＺＯとする。このＺＯに被写体の一部が進入した場合や、被写体のサイズが所定の大きさより大きくなった場合、ズームアウト動作を開始する。被写体のサイズや移動速度に応じてズームアウトするズーム倍率やズーム速度を算出しておき、その倍率や速度に従ってズームアウト動作を行うことで、被写体のフレームアウトを防止することができる。また、ズームアウト開始時のズーム位置を後述するズーム戻り位置として記憶しておく。
The start conditions for the zoom-out operation and the zoom-in operation in the automatic FA mode will be described with reference to FIGS. First, FIG. 11A shows a state where the subject 601 is detected in the screen shown on the
図１１（Ｂ）は、ズームアウト動作中の状態を示している。算出したズーム倍率分のズームアウト動作が完了すると、図１１（Ｃ）のようにズーム戻り位置を示すＦＡズーム枠６０３が表示される。ユーザーがカメラの方向を変更してＦＡズーム枠６０３内に被写体６０１が収まると、記憶していたズーム戻り位置までズームイン動作を行い、図１１（Ｄ）のように被写体６０１を画角内に捉えることができる。
FIG. 11B shows a state during the zoom-out operation. When the zoom-out operation for the calculated zoom magnification is completed, an
次に、図１２を用いて自動ＦＡモードにおける電子ズーム及び光学ズームの目標ズームアウト位置もしくはズームイン位置の例について説明する。図１２では、光学ズームの焦点距離が２４〜８４０ｍｍの範囲で光学ズーム倍率を最大３５倍とし、電子ズーム倍率を最大４倍としており、目標ズームアウト駆動量はズーム倍率に換算して１／８倍、ズームイン駆動量は８倍とする。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端（焦点距離２４ｍｍ）、テレ端（焦点距離８４０ｍｍ）をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端（焦点距離８４０ｍｍ相当）、テレ端（焦点距離３３６０ｍｍ相当）をそれぞれ示し、電子ズーム領域の境界を表す。なお、光学テレ端位置と電子ワイド端位置は一致している。
Next, an example of electronic zoom and optical zoom target zoom-out positions or zoom-in positions in the automatic FA mode will be described with reference to FIG. In FIG. 12, the optical zoom magnification is set to a maximum of 35 times and the electronic zoom magnification is set to a maximum of 4 times in the range of the focal length of the optical zoom of 24 to 840 mm. The zoom-in drive amount is 8 times. In the figure, “optical wide end” and “optical tele end” indicate the wide end (focal length 24 mm) and tele end (
パターン１は、撮影準備状態でのズーム位置が、電子テレ端位置の場合を示している。電子ズーム倍率は最大４倍であるため、電子ズームのズームアウト位置は電子ワイド端位置とし、残りの２倍分については光学ズームでのズームアウト動作が行われる。したがって、光学ズームによるズームアウト位置は８４０ｍｍ×（１／２倍）＝４２０ｍｍの焦点距離に対応する位置となる。
パターン２は、撮影準備状態でのズーム位置が、光学テレ端位置で焦点距離８４０ｍｍの場合を示している。撮影準備状態でのズーム状態は光学ズーム状態であるため、電子ズーム位置は電子ワイド端位置のままである。ズーム倍率１／８倍に対応するズームアウト駆動量で光学ズーム位置を変更した場合、８４０ｍｍ×（１／８倍）＝１０５ｍｍの焦点距離に対応する位置がズームアウト位置となる。 Pattern 2 shows a case where the zoom position in the shooting preparation state is a focal length of 840 mm at the optical telephoto end position. Since the zoom state in the shooting preparation state is the optical zoom state, the electronic zoom position remains at the electronic wide end position. When the optical zoom position is changed with the zoom-out drive amount corresponding to the zoom magnification of 1/8, the position corresponding to the focal length of 840 mm × (1/8 times) = 105 mm is the zoom-out position.
パターン３は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離１９２ｍｍの場合を示している。このときの光学ズームのズームアウト位置は、１９２ｍｍ×（１／８倍）＝２４ｍｍの焦点距離に対応する位置（光学ワイド端位置）となる。 Pattern 3 shows a case where the zoom position in the shooting preparation state is a focal length of 192 mm at the optical middle position. The zoom-out position of the optical zoom at this time is a position (optical wide end position) corresponding to a focal length of 192 mm × (1/8 ×) = 24 mm.
パターン４は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離７２ｍｍの場合を示している。光学ズームのズームアウト位置の算出結果は、７２ｍｍ×（１／８倍）＝９ｍｍとなり、光学ワイド端位置よりも広角側の位置となる。この場合、光学ワイド端位置である焦点距離２４ｍｍをズームアウト位置とする。 Pattern 4 shows a case where the zoom position in the shooting preparation state is the optical middle position and the focal length is 72 mm. The calculation result of the zoom-out position of the optical zoom is 72 mm × (1/8 times) = 9 mm, which is a position on the wide angle side from the optical wide end position. In this case, the focal length of 24 mm, which is the optical wide end position, is set as the zoom-out position.
ここで、自動ＦＡモードでＦＡズーム機能を使用する場合の問題点として、必要以上にズームアウトを行ってしまうケースを説明する。上述した図１１（Ｂ）の状態において、表示部１０９に表示される被写体６０１の位置を確認しながら撮影者がカメラを動かしてフレーミングを行い、被写体６０１がすでに画角内に十分捉えられているとする。その場合、撮影者はこれ以上ズームアウトをして被写体を探索する必要はない。しかしながら、撮像装置は予め設定されたズームアウト位置までズームアウト動作を行ってしまい、必要以上のズームアウト動作を行うこととなる。そして、所定のズームアウト位置までズームアウトした状態で、被写体がＦＡズーム枠６０３内に入ったかを判定し、ズームインを行う。つまり、所定のズームアウト駆動量だけズームアウト動作を完了してからズームイン動作の判定を行うため、被写体を画角内に捉えてから実際に所望の画角で撮影できるようになるまでに必要以上の時間を要する。そのため、場合によっては決定的な撮影タイミングを逃してしまうことも考えられる。
Here, as a problem when the FA zoom function is used in the automatic FA mode, a case where the zoom-out is performed more than necessary will be described. In the state of FIG. 11B described above, the photographer performs framing by moving the camera while checking the position of the subject 601 displayed on the
上述の問題点を解決するために、本実施形態の自動ＦＡモードでは、ズームアウト動作中に被写体が十分画角内に捉えられていると判断された場合は、目標ズームアウト位置に到達していなくても、途中でズームアウト動作を停止する。そのため、画面内にズームアウト停止検出領域を設定し、ズームアウト動作中に検出された被写体と該領域との位置関係に応じて、ズームアウト動作を途中で停止するか否かの判定（ズームアウト停止判定）を行う。ＦＡズーム制御部１２２は、ズームアウト開始時のズーム位置を基準として所定倍率分だけズームアウトしたら、ズームアウト停止判定有効ズーム位置に達したとして、ズームアウト停止判定を有効にする。ズームアウト停止判定が有効になると、所定時間内に画面内に被写体が検出され、かつズームアウト停止検出領域内に入った場合に、目標ズームアウト位置に到達していなくてもズームアウト動作を停止する。また、上記所定時間は、振れ検出部１２４によって検出された振れ情報に応じて設定する。
In order to solve the above-described problems, in the automatic FA mode of the present embodiment, the target zoom-out position is reached when it is determined that the subject is sufficiently captured within the angle of view during the zoom-out operation. Even if not, the zoom-out operation stops halfway. Therefore, a zoom-out stop detection area is set in the screen, and whether to stop the zoom-out operation halfway according to the positional relationship between the subject detected during the zoom-out operation and the area (zoom-out operation) Stop). The FA
次に、本実施形態における自動ＦＡモードでのズームアウト停止判定の詳細について説明する。 Next, details of the zoom-out stop determination in the automatic FA mode in the present embodiment will be described.
まず、本実施形態の自動ＦＡモードの処理の流れを、図４のフローチャートを用いて説明する。Ｓ４０１にて、ＦＡズーム制御部１２２は、ＦＡズームを開始するか否かを判定する。ここでは、被写体検出結果を元にＦＡズーム開始の判定を行う。Ｓ４０１のＦＡズーム開始判定にてＦＡズームの開始判定がなされると、Ｓ４０２に進む。
First, the flow of processing in the automatic FA mode of this embodiment will be described using the flowchart of FIG. In S401, the FA
Ｓ４０２でＦＡズーム制御部１２２は、ズームアウト開始時の光学ズーム位置及び電子ズーム位置を記憶するとともに、所定の駆動量だけＣＺ制御部１１９もしくは電子ズーム制御部１２０に指令してＦＡズームアウト動作を行う。
In S402, the FA
ＦＡズームアウト動作が終了するとＳ４０３に進み、ＦＡズーム枠制御部１２１は、表示部１０９に記憶したズーム位置を示すＦＡズーム枠を表示する。ＦＡズーム枠を目安として、撮影者は撮影したい被写体を画面中央付近に収めるようにフレーミング操作を行う。
When the FA zoom-out operation ends, the process proceeds to S403, and the FA zoom
Ｓ４０４でＦＡズーム制御部１２２は、ＦＡズームを終了するか否かを判定し、ＦＡズームイン動作を行う。ここでは、まず、被写体検出結果を元にＦＡズーム終了の判定を行う。ＦＡズーム終了の判定がなされると、ＦＡズーム制御部１２２は、記憶した光学ズーム位置及び電子ズーム位置まで駆動するようにＣＺ制御部１１９もしくは電子ズーム制御部１２０に指令してＦＡズームイン動作を行い、処理を終了する。
In S404, the FA
次に、図５乃至図９を用いて、図４で示したＦＡズーム機能の処理の流れに従って各処理の詳細を説明する。 Next, details of each process will be described with reference to FIGS. 5 to 9 according to the process flow of the FA zoom function shown in FIG.
図５は、図４のＳ４０１で示されるＦＡズーム開始判定処理を説明するフローチャートである。Ｓ５０１でＦＡズーム制御部１２２は、操作部１１７のＦＡズーム操作スイッチが押下されて自動ＦＡズームモードがＯＮになったか否かの判定を行う。ＦＡズーム操作スイッチが押下されるとＳ５０２に進み、追尾する被写体（基準被写体）の被写体指定処理を行う。なお、本実施形態では、ＦＡズーム機能として自動ＦＡモードのみを説明しているが、上述した特許文献１のように手動でＦＡズーム動作を指示するモードを選択可能にしてもよい。
FIG. 5 is a flowchart for explaining the FA zoom start determination process shown in S401 of FIG. In step S501, the FA
ここで、図６を用いてＳ５０２の被写体指定処理について説明する。図６（Ａ）は操作部１１７の部材であるタッチパネルを用いて、表示部１０９に表示された被写体をタッチして指定する操作例のフローチャートを示している。Ｓ６０１では、タッチパネルが押下されたか否かの判定を行う。タッチパネルが押下された場合にはＳ６０２に進み、ＦＡズーム制御部１２２はタッチされた位置の座標を取得する。
Here, the subject designation processing in S502 will be described with reference to FIG. FIG. 6A shows a flowchart of an operation example in which a subject displayed on the
Ｓ６０３では、ＦＡズーム制御部１２２はタッチ位置を被写体検出部１２３に通知し、被写体検出部１２３はタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合には主被写体は人物であると判定しＳ６０４へと進む。Ｓ６０４では、自動追尾の対象である人物の顔情報をメモリ１１８に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向き等がある。また、顔認証機能を有するカメラにおいては認証ＩＤ等も記憶する。
In step S603, the FA
Ｓ６０３でタッチ位置付近に顔を検出しなかった場合には、主被写体は人物以外のモノであると判定しＳ６０５へと進む。Ｓ６０５では、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等がある。顔情報及び色情報のことを以降の説明ではまとめて被写体情報（被写体サイズ／被写体検出位置）として説明に用いることとする。
If no face is detected in the vicinity of the touch position in S603, it is determined that the main subject is something other than a person, and the process proceeds to S605. In step S605, the characteristic color near the touch position is stored in the
Ｓ６０４又はＳ６０５で被写体情報を記憶するとＳ６０６に進む。Ｓ６０６では、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠（モノ追尾枠もしくは顔追尾枠）を表示部１０９に表示すると被写体指定処理が終了となる。図６（Ａ）の方法を用いると、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。
When the subject information is stored in S604 or S605, the process proceeds to S606. In S606, when the subject tracking frame (mono tracking frame or face tracking frame) having a size corresponding to the subject size with the subject detection position as the center is displayed on the
一方、図６（Ｂ）は、操作部１１７の部材であるＦＡズーム操作スイッチとは別のスイッチによって被写体を指定する操作例のフローチャートを示している。Ｓ６０７でＦＡズーム制御部１２２は、表示部１０９の画面中央付近に被写体指定の目安となる枠を表示する。撮影者はこの枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。Ｓ６０８では、被写体指定用のスイッチが押下されたか否かの判定を行い、被写体指定用スイッチが押下された場合にはＳ６０９に進む。Ｓ６０９で被写体検出部１２３は、画面中央付近で顔検出を行う。
On the other hand, FIG. 6B shows a flowchart of an operation example in which a subject is designated by a switch different from the FA zoom operation switch which is a member of the
画面中央付近に顔を検出した場合には主被写体は人物であると判定しＳ６１０へと進み、画面中央付近に顔を検出しなかった場合には主被写体は人物以外のモノであると判定しＳ６１１へと進む。Ｓ６１０乃至Ｓ６１２の処理については被写体検出を行う領域が画面中央付近となること以外は図６（Ａ）と同様であるため説明を省略する。Ｓ６１０又はＳ６１１で被写体情報を記憶すると、Ｓ６１２に進み、被写体追尾枠（モノ追尾枠もしくは顔追尾枠）を表示して被写体指定処理が終了となる。このように、図６（Ｂ）の方法を用いると、タッチパネルのような操作部材を搭載しないカメラにおいても被写体を簡単に指定することが可能となる。 If a face is detected near the center of the screen, the main subject is determined to be a person and the process proceeds to S610. If no face is detected near the center of the screen, the main subject is determined to be something other than a person. Proceed to S611. Since the processing from S610 to S612 is the same as that in FIG. 6A except that the area for subject detection is near the center of the screen, the description thereof is omitted. When the subject information is stored in S610 or S611, the process proceeds to S612, where the subject tracking frame (mono tracking frame or face tracking frame) is displayed, and the subject designation process ends. As described above, when the method of FIG. 6B is used, a subject can be easily specified even in a camera not equipped with an operation member such as a touch panel.
図６（Ｃ）は、操作部１１７の部材であるＦＡズーム操作スイッチが短時間押された時点で検出された顔の中から追尾する被写体を自動で選択する例のフローチャートを示している。Ｓ６１３で被写体検出部１２３は、画面全体で顔検出を行う。画面全体で一つでも顔を検出した場合には、主被写体は人物であると判定しＳ６１４に進む。
FIG. 6C shows a flowchart of an example in which the subject to be tracked is automatically selected from the faces detected when the FA zoom operation switch which is a member of the
Ｓ６１４で被写体検出部１２３は、検出した顔が一人の場合にはその顔を主顔とし、複数の場合にはその顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近にいるものを選択する方法や、同程度の位置であれば顔サイズが大きいものを主顔として選択する方法がある。また、顔認証機能を有するカメラにおいては認証登録されている顔がある場合には、その顔を優先して主顔としてもよい。
In step S <b> 614, the
Ｓ６１５では、選択された主顔の顔情報をメモリ１１８に記憶する。Ｓ６１５で顔情報を記憶するとＳ６１６に進み、顔追尾枠を表示する。Ｓ６１７では、複数の顔から自動で選択された主顔が撮影者の意図しない顔である場合に撮影者が主顔を変更することが可能である。このとき、操作部１１７のスイッチ（ＦＡズーム操作スイッチでも他のスイッチでもよい）を押下すると、検出された顔の中から主顔として選択されなかった顔に主顔を変更する。主顔が変更された場合には再度Ｓ６１５に進み、記憶する顔情報を更新するとともに、Ｓ６１６で顔追尾枠を新たに選択された主顔のサイズ及び検出位置に変更する。
In S615, the face information of the selected main face is stored in the
Ｓ６１３にて画面全体で顔を検出しない場合には、主被写体は人物以外のモノであると判定しＳ６１８へと進む。Ｓ６１８では、画面中央付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。さらに、Ｓ６１８でモノ情報を記憶するとＳ６１９に進み、モノ追尾枠４００を表示して被写体指定処理が終了となる。Ｓ６１５、６１６、６１８、６１９の処理については、被写体検出を行う領域が顔の場合には画面全体、色の場合には画面中央付近となること以外は図６（Ａ）と同様であるため説明を省略する。図６（Ｃ）の方法を用いると、より少ない操作回数で被写体を簡単に指定することが可能となる。
If the face is not detected in the entire screen in S613, it is determined that the main subject is something other than a person, and the process proceeds to S618. In S618, the characteristic color near the center of the screen is stored in the
被写体指定処理を終了すると図５のＳ５０３へと進む。Ｓ５０３乃至Ｓ５０５では、被写体指定時に指定した基準となる被写体情報と、周期的に検出する被写体情報とを元にＦＡズームを開始するか否かの判定を行う。ＦＡズーム開始の条件を満たすまで所定の制御周期でこの判定は繰り返される。 When the subject designation process is completed, the process proceeds to S503 in FIG. In steps S503 to S505, it is determined whether or not to start the FA zoom based on the subject information that is the reference designated when the subject is designated and the subject information that is periodically detected. This determination is repeated at a predetermined control cycle until the condition for starting FA zooming is satisfied.
Ｓ５０３で被写体検出部１２３は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されたか否かを判定する。追尾する被写体が検出されなかった場合にはＳ５０２へ戻り、再度被写体指定処理を行う。一方、追尾する被写体が検出された場合にはＳ５０４に進む。Ｓ５０４では、追尾する被写体の被写体追尾枠が上述したズームアウト領域（ＺＯ）に含まれるか否かを判定する。Ｓ５０４で追尾枠がズームアウト領域に含まれる、すなわち、被写体が画面周辺付近にありフレームアウトする恐れがある場合にはＳ５０６に進み、ＦＡズームの開始をすべきことが判定される。
In step S503, the
図３（Ａ）は、Ｓ５０４でｙｅｓとなってＳ５０６でＦＡズームが開始される状態を示したもので、望遠側にズームインした状態の画角を示している。ここで、被写体検出部１２３によって取得された被写体２０１が画面内において点線２０２よりも外側のＺＯ（第２の領域外）に含まれているため（Ｓ５０４でｙｅｓ）、Ｓ５０６でＦＡズーム制御部１２２はズームアウト動作の開始を判定する。ズームアウトする際の目標ズームアウト駆動量（ズームアウト倍率）は、図１２で説明したのと同様に予め設定されているが、メニュー画面などでユーザーが設定することも可能である。
FIG. 3A shows a state in which the answer is YES in S504 and the FA zoom is started in S506, and shows the angle of view in a state of zooming in on the telephoto side. Here, since the subject 201 acquired by the
一方、Ｓ５０４で被写体追尾枠がズームアウト領域に含まれていない、すなわち、画面中央付近で被写体を捉えられている場合には、Ｓ５０５に進む。Ｓ５０５では、基準被写体情報の被写体サイズとＳ５０３で検出した被写体サイズとの比較を行う。Ｓ５０３で検出した被写体サイズが基準の被写体サイズに対して所定倍以上となって被写体が画面に占める比率が大きくなってしまう場合にはＳ５０６に進み、ＦＡズームの開始をすべきことが判定される。Ｓ５０６でＦＡズームの開始判定がなされると、図４のＳ４０２に進み、ＦＡズームアウト動作を開始する。一方、Ｓ５０３で検出した被写体が画面中央付近でかつ被写体サイズが基準の被写体サイズに対して所定サイズ以内である場合には、再度Ｓ５０３に進み、被写体の検出を判定する。 On the other hand, if the subject tracking frame is not included in the zoom-out area in S504, that is, if the subject is captured near the center of the screen, the process proceeds to S505. In S505, the subject size of the reference subject information is compared with the subject size detected in S503. If the subject size detected in S503 is greater than or equal to the reference subject size and the ratio of the subject to the screen increases, the process proceeds to S506 and it is determined that the FA zoom should be started. . When the FA zoom start determination is made in S506, the process proceeds to S402 in FIG. 4 to start the FA zoom-out operation. On the other hand, if the subject detected in S503 is near the center of the screen and the subject size is within a predetermined size with respect to the reference subject size, the process proceeds to S503 again to determine subject detection.
図７は、図４のＳ４０２で示されるＦＡズームアウト動作の処理を説明するフローチャートである。Ｓ７０１でＦＡズーム制御部１２２は、撮影準備状態での光学ズーム位置をＣＺ制御部１１９から取得し、電子ズーム位置を電子ズーム制御部１２０から取得する。さらにＦＡズーム制御部１２２は光学ズーム位置及び電子ズーム位置のデータをメモリ１１８に記憶する。なお、光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表し、電子ズーム位置は電子ズーム機能によって変更可能な画像拡大及び縮小の倍率に相当する制御位置を表す。
FIG. 7 is a flowchart for explaining processing of the FA zoom-out operation shown in S402 of FIG. In step S <b> 701, the FA
次に、Ｓ７０２でＦＡズーム制御部１２２は、被写体の大きさや速度についての情報をメモリ１１８に記憶する。そして、Ｓ７０３でＦＡズーム制御部１２２は、ズームアウト駆動量を算出する。ここで算出するズームアウト駆動量は、途中でズームアウト停止が判定されなかった場合の駆動量であり、駆動量の上限値に相当する。また、ズームアウト駆動量は、検出された被写体のサイズに応じて設定される。具体的には、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにする。また、ズームアウト駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。
Next, in step S <b> 702, the FA
次に、Ｓ７０４でＦＡズーム制御部１２２は、ズームアウト停止検出領域を算出する。ズームアウト停止検出領域は、後述するズームアウト停止判定が有効の状態で被写体が画面内のズームアウト停止検出領域内に含まれると、ズームアウト動作を停止する領域である。そして、Ｓ７０５でＦＡズーム制御部１２２は、ズームアウト停止判定が有効となるズーム位置を算出する。すなわち、ズームアウトを行って、ズーム位置が所定のズームアウト停止判定有効ズーム位置に達すると、ズームアウト停止判定が有効になる。
Next, in S704, the FA
Ｓ７０３〜Ｓ７０５で算出される数値と各種情報との関係性を示したのが図１０である。図１０では、カメラ撮影モード、被写体の大きさ、被写体の速さに応じて、ズームアウト駆動量、ズームアウト停止検出領域、ズームアウト停止判定有効ズーム位置をどのように変更するのかを示している。例えば、被写体の動く速度が小さい場合には、画角の端付近に被写体が位置しているときにズームアウトを停止させたとしても、急に画角からフレームアウトする可能性は少ない。その一方で、被写体の動く速度が大きい場合には、画角の端付近でズームアウトを停止してしまうと、再びフレームアウトして被写体を見失ってしまう可能性がある。そこで被写体の動く速度が大きい場合には、より確実に被写体を画角内に捉えるため、速度が小さいときと比べて「ズームアウト駆動量」を大きく設定する。また、「ズームアウト停止検出領域」は、速度が小さいときと比べて小さく（内側に）設定する。また、「ズームアウト停止検出有効ズーム位置」については、被写体の速度が小さい場合には、より望遠側でズームアウト停止判定を有効にすることで、早い段階でズームアウトを停止できるようになり、フレーミングの時間を短縮できる場合がある。また、被写体の大きさが大きい場合や、スポーツモードのように動きの速い被写体を撮影する撮影モードが設定されている場合も、被写体の速度が大きい場合と同様の設定を行う。なお、図１０に示したのは一例であり、被写体のフレームアウトしやすさに影響するものに対して本実施形態のような設定値の変更を適用できる。また、ズームアウト駆動量、ズームアウト停止検出領域、ズームアウト停止判定有効ズーム位置の全てを変更するようにしてもよいし、一部のみ変更するようにしてもよい。 FIG. 10 shows the relationship between the numerical values calculated in S703 to S705 and various information. FIG. 10 shows how to change the zoom-out drive amount, the zoom-out stop detection area, and the zoom-out stop determination effective zoom position according to the camera shooting mode, the size of the subject, and the speed of the subject. . For example, when the moving speed of the subject is low, even if the zoom-out is stopped when the subject is located near the end of the angle of view, there is little possibility of sudden out of the frame from the angle of view. On the other hand, when the moving speed of the subject is high, if the zoom-out is stopped near the end of the angle of view, there is a possibility that the subject will be out of the frame and the subject may be lost. Therefore, when the moving speed of the subject is high, the “zoom-out drive amount” is set larger than when the speed is low in order to capture the subject within the angle of view more reliably. The “zoom-out stop detection area” is set smaller (inward) than when the speed is low. In addition, regarding the “zoom-out stop detection effective zoom position”, if the subject speed is low, the zoom-out stop determination is enabled on the telephoto side, so that zoom-out can be stopped at an early stage. The framing time may be shortened. Also, when the subject size is large, or when a shooting mode for shooting a fast-moving subject like the sports mode is set, the same setting as when the subject speed is high is performed. Note that the example shown in FIG. 10 is an example, and the change of the set value as in the present embodiment can be applied to what affects the ease of frame-out of the subject. Further, all of the zoom-out drive amount, the zoom-out stop detection area, and the zoom-out stop determination effective zoom position may be changed, or only a part thereof may be changed.
図７に戻り、Ｓ７０６でＦＡズーム制御部１２２は、停止判定有りズームアウト動作を行い、ＦＡズームアウト動作を終了する。停止判定有りズームアウト動作の詳細については、図８を用いて後述する。ＦＡズームアウト動作が終了すると、図４のＳ４０３に進む。
Returning to FIG. 7, in step S706, the FA
ここで、停止判定有りズームアウト動作について、図８を用いて説明する。Ｓ８０１でＦＡズーム制御部１２２は、Ｓ７０３で取得したズームアウト駆動量からズームアウト位置を算出し、電子ズーム制御部１２０またはＣＺ制御部１１９に設定する。一般的なズーム操作では、操作部１１７のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合には、ＣＺ制御部１１９の制御下で光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合には電子ズーム制御部１２０が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作スイッチの操作によるズーム動作とＦＡズーム動作との整合性を取るために、ＦＡズーム動作においても、撮影準備状態でのズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。
Here, the zoom-out operation with stop determination will be described with reference to FIG. In step S801, the FA
Ｓ８０２でＦＡズーム制御部１２２は、電子ズーム制御部１２０またはＣＺ制御部１１９に対して、Ｓ８０１で設定したズームアウト位置まで変倍処理を行うように指示する。電子ズーム制御部１２０またはＣＺ制御部１１９はズームアウト動作を行う。
In step S802, the FA
Ｓ８０３でＦＡズーム制御部１２２は、ズーム位置が図７のＳ７０５で算出したズームアウト停止判定有効ズーム位置に達しているか否かを判定する。ズームアウト停止判定有効ズーム位置に達したらＳ８０４に進む。
In step S803, the FA
Ｓ８０４でＦＡズーム制御部１２２は、振れ検出部１２４の検出結果に基づいて、時間Ｔ１（第１の所定時間）を設定する。ここで、撮影者が被写体を探索している状態においては、振れ量が大きくなることが予測される。そこで、振れ量が大きくなるほど時間Ｔ１を長く設定することで、撮影者が被写体を探索している際に十分な判定時間を設けるとともに、必要以上にズームアウトを中断するのを防ぐことができる。
In S804, the FA
Ｓ８０５でＦＡズーム制御部１２２は、被写体検出部１２３により画面内に被写体が検出されているか否かを判定する。ズームアウト停止判定有効ズーム位置に達してから時間Ｔ１以内に被写体が検出された場合、Ｓ８１０に処理を進める。一方、被写体が検出されないまま時間Ｔ１が経過した場合（Ｓ８０６でｙｅｓ）、Ｓ８０７に処理を進める。
In step S <b> 805, the FA
Ｓ８０７でＦＡズーム制御部１２２は、電子ズーム制御部１２０またはＣＺ制御部１１９に対して、Ｓ８０１で設定したズームアウト位置まで変倍処理を行うように指示する。電子ズーム制御部１２０またはＣＺ制御部１１９は、残りのズームアウト移動量分のズームアウト動作を行う。Ｓ８０８でＦＡズーム制御部１２２は、図７のＳ７０３で取得したズームアウト移動量分のズームアウトが完了したか否かを判定し、完了したらＳ８０９に処理を進める。
In step S807, the FA
Ｓ８０９でＦＡズーム制御部１２２は、被写体検出部１２３により画面内に被写体が検出されているか否かを判定する。なお、Ｓ８０４乃至Ｓ８０６と同様に、ここでも時間Ｔ１を設定し、目標ズーム位置に達してから時間Ｔ１以内に被写体が検出されたか否かを判定するようにしてもよい。被写体が検出された場合、Ｓ８１１に進み、被写体が検出されなかった場合、ＦＡズーム機能を終了する。
In step S <b> 809, the FA
一方、Ｓ８０５で時間Ｔ１以内に被写体が検出された場合、Ｓ８１０でＦＡズーム制御部１２２は、検出された被写体が図７のＳ７０４で算出したズームアウト停止検出領域内に含まれるか否かを判定する。被写体が検出されてから時間Ｔ１の間に被写体がズームアウト停止検出領域内に含まれると判定された場合は、Ｓ８１１に進む。
On the other hand, if a subject is detected within time T1 in S805, the FA
Ｓ８１１でＦＡズーム制御部は、振れ検出部１２４の検出結果に基づいて、時間Ｔ２（第２の所定時間）を設定する。ここでも、時間Ｔ１と同様に、振れ量が大きくなるほど時間Ｔ２を長く設定する。時間Ｔ２を設定すると、停止判定有りズームアウト動作を終了し、図４のＳ４０３のＦＡズーム枠表示処理に進む。 In S811, the FA zoom control unit sets a time T2 (second predetermined time) based on the detection result of the shake detection unit 124. Here, similarly to the time T1, the time T2 is set longer as the shake amount increases. When the time T2 is set, the zoom-out operation with stop determination is terminated, and the process proceeds to the FA zoom frame display process of S403 in FIG.
図３（Ｂ）は、図３（Ａ）のズーム位置から所定倍率ズームアウトして、ズーム停止判定が有効になったときの状態を示しており、画面内にズームアウト停止検出領域２０３が設定されている。ズーム停止判定が有効の場合、被写体２０１がズームアウト停止検出領域２０３の内側に検出されていれば、被写体を十分に画角内にとらえることができていると判断する。そして、予め設定されたズームアウト駆動量に到達する前であってもズームアウト動作を停止させる。なお、本実施形態では、被写体領域の一部でもズームアウト停止検出領域２０３に含まれればズームアウトを停止するが、被写体領域の全部、または所定比率以上の領域がズームアウト停止検出領域に含まれた場合に停止させてもよい。
FIG. 3B shows a state where the zoom stop determination is enabled after zooming out from the zoom position of FIG. 3A by a predetermined magnification, and the zoom-out
以上、図７および図８で説明したＦＡズームアウト動作が終了すると、図４のＳ４０３で示されるＦＡズーム枠表示処理に進む。Ｓ４０３でＦＡズーム制御部１２２は、ズーム戻り位置に対応するＦＡズーム枠の表示をＦＡズーム枠制御部１２１に指示する。ここでは、図７のＳ７０１で記憶したＦＡズームアウト開始時のズーム位置に対応する画角をＦＡズーム枠として、撮影画像に重畳して表示する。なお、本実施形態では、撮影者にとってフレーミングの目安となるＦＡズーム枠は表示するが、カメラ内部の判定処理に用いるＺＯ領域およびズームアウト停止検出領域は表示しなくてもよい。ＦＡズーム枠を表示すると、Ｓ４０４のＦＡズームイン動作に進む。
As described above, when the FA zoom-out operation described with reference to FIGS. 7 and 8 ends, the process proceeds to the FA zoom frame display process shown in S403 of FIG. In step S403, the FA
ＦＡズームアウト動作後のズーム位置にて、撮影者は被写体２０１がＦＡズーム枠２０４内に収まるように撮像装置を動かしてフレーミングを行う（図３（Ｃ））。被写体２０１がＦＡズーム枠２０４内に収まると、ＦＡズーム制御部１２２は自動的にＦＡズーム枠２０４に対応するズーム位置までズームイン動作を行う。
At the zoom position after the FA zoom-out operation, the photographer performs framing by moving the imaging device so that the subject 201 is within the FA zoom frame 204 (FIG. 3C). When the subject 201 is within the
図９は、図４のＳ４０４で示されるＦＡズームイン動作の処理を説明するフローチャートである。Ｓ９０１でＦＡズーム制御部１２２は、撮影者により自動ＦＡモードをキャンセルする操作が行われたか否かを判定する。なお、本実施形態では、自動ＦＡモード中にＦＡズーム操作スイッチが押下されると自動ＦＡモードがキャンセルされたと判定し、その時点のズーム位置でＦＡズーム機能が終了となる。自動ＦＡモードがキャンセルされなければ、Ｓ９０２に進む。
FIG. 9 is a flowchart for explaining processing of the FA zoom-in operation shown in S404 of FIG. In step S901, the FA
Ｓ９０２でＦＡズーム制御部１２２は、被写体がＦＡズーム枠内に包含されているか否かを判定する。被写体がＦＡズーム枠内に包含されている場合はＳ９０３へ進み、包含されていない場合はＳ９０６へ進む。本実施形態では、被写体追尾枠がＦＡズーム枠に完全に含まれる場合にズームイン動作を行うが、被写体追尾枠のうち所定比率以上の領域がＦＡズーム枠に含まれる場合にズームイン動作を行ってもよい。
In step S902, the FA
Ｓ９０６でＦＡズーム制御部は、図８のＳ８０５またはＳ８０９で被写体が検出されてから時間Ｔ２が経過したか否かを判定する。時間Ｔ２は図８のＳ８１１で設定された時間である。被写体がＦＡズーム枠内に包含されずに時間Ｔ２が経過した場合（Ｓ９０６でｙｅｓ）、ＦＡズーム機能を終了する。一方、時間Ｔ２以内に被写体がＦＡズーム枠内に包含された場合、Ｓ９０３に進む。 In S906, the FA zoom control unit determines whether time T2 has elapsed since the subject was detected in S805 or S809 in FIG. Time T2 is the time set in S811 of FIG. If the time T2 has elapsed without the subject being included in the FA zoom frame (yes in S906), the FA zoom function is terminated. On the other hand, if the subject is included in the FA zoom frame within the time T2, the process proceeds to S903.
Ｓ９０３でＦＡズーム制御部１２２は、図７のＳ７０１で記憶したズーム位置（ズーム戻り位置）のデータをメモリ１１８から読み込む。
In step S903, the FA
Ｓ９０４でＦＡズーム制御部１２２は、Ｓ９０３で読み込んだズーム戻り位置に基づいて、ズームイン位置をＣＺ制御部１１９または電子ズーム制御部１２０に設定する。本実施形態では、光学ズームを優先してズームインを行う。Ｓ９０５でＦＡズーム制御部１２２は、ＣＺ制御部１１９または電子ズーム制御部１２０に対して、Ｓ９０４で設定したズームイン位置までズームイン動作を行うように指示する。これによってズーム戻り位置へと復帰し、ＦＡズームイン動作を終了する。
In S904, the FA
図３（Ｄ）は、ズームイン動作が完了した状態を示している。図３（Ｄ）で示されるように、ＦＡズーム枠２０４が表示部１０９の画角全体に一致するまでズームインが行われる。このように、自動ＦＡモードを用いることで、望遠状態で被写体２０１を画角内に捉えた画像を簡単な操作で撮影することができる。
FIG. 3D shows a state where the zoom-in operation has been completed. As shown in FIG. 3D, zoom-in is performed until the
次に、図２を用いて、本実施形態の自動ＦＡモードにおけるズームアウトもしくはズームイン位置について説明する。図２の例では、図１２と同様に、光学ズームの焦点距離が２４〜８４０ｍｍの範囲で光学ズーム倍率を最大３５倍とし、電子ズーム倍率を最大４倍としており、目標ズームアウト駆動量はズーム倍率に換算して１／８倍、ズームイン駆動量は８倍とする。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端（焦点距離２４ｍｍ）、テレ端（焦点距離８４０ｍｍ）をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端（焦点距離８４０ｍｍ相当）、テレ端（焦点距離３３６０ｍｍ相当）をそれぞれ示し、電子ズーム領域の境界を表す。なお、光学テレ端位置と電子ワイド端位置は一致している。
Next, the zoom-out or zoom-in position in the automatic FA mode of this embodiment will be described with reference to FIG. In the example of FIG. 2, as in FIG. 12, the optical zoom magnification is set to a maximum of 35 times and the electronic zoom magnification is set to a maximum of 4 times in the range of the optical zoom focal length of 24 to 840 mm. In terms of magnification, the zoom-in drive amount is 1/8 times and the zoom-in drive amount is 8 times. In the figure, “optical wide end” and “optical tele end” indicate the wide end (focal length 24 mm) and tele end (
また、ズームアウト開始時からズームアウト停止判定有効ズーム位置までのズーム駆動量は、自動ＦＡモードで設定されるズームアウト駆動量より小さい。図２では、ズームアウト停止判定有効ズーム位置を、ズームアウト開始時のズーム位置からズーム倍率に換算して１／２倍とする。なお、これらの数値は一例であり、本実施形態の適用は上記の値に限定されない。 Further, the zoom drive amount from the start of zoom out to the zoom out stop determination effective zoom position is smaller than the zoom out drive amount set in the automatic FA mode. In FIG. 2, the zoom-out stop determination effective zoom position is set to ½ times in terms of the zoom magnification from the zoom position at the start of zoom-out. In addition, these numerical values are examples, and application of this embodiment is not limited to said value.
図２では、ズームアウト開始位置が焦点距離８４０ｍｍの場合を例に説明する。この場合のズームアウト駆動量は、焦点距離が８４０ｍｍ×（１／８倍）＝１０５ｍｍのズーム位置までの駆動量となる。また、８４０ｍｍ×（１／２倍）＝４２０ｍｍより、焦点距離８４０〜４２０ｍｍの間はズームアウト停止判定が無効、焦点距離４２０ｍｍより広角側においてズームアウト停止判定が有効となる。 In FIG. 2, a case where the zoom-out start position is a focal length of 840 mm will be described as an example. The zoom-out drive amount in this case is the drive amount up to the zoom position where the focal length is 840 mm × (1/8 times) = 105 mm. Further, from 840 mm × (½ times) = 420 mm, the zoom-out stop determination is invalid during the focal distance of 840 to 420 mm, and the zoom-out stop determination is valid at the wide angle side from the focal distance of 420 mm.
パターン１は、ズームアウト駆動量の焦点距離１０５ｍｍまで駆動する間に、被写体がズームアウト停止検出領域２０３内に含まれなかった場合である。すなわち、ズームアウト動作の完了までズームアウト停止が判定されなかったケースである。この場合、設定されたズームアウト駆動量に対応する焦点距離１０５ｍｍのズーム位置でズームアウト動作が停止し、その状態で被写体をＦＡズーム枠内にフレーミングし、被写体がＦＡズーム枠内に包含されれば、焦点距離８４０ｍｍまでズームイン動作を行う。
一方、パターン２は、ズームアウト駆動量の焦点距離１０５ｍｍまで駆動する前に、ズームアウト停止判定された場合である。この例では、焦点距離２１０ｍｍの時点でズームアウト停止検出領域２０３内に被写体が含まれたことを判定している。そのため、ズームアウト動作を焦点距離２１０ｍｍで停止し、停止したズーム位置で被写体がＦＡズーム枠２０４に入ったか否かの判定を行う。その後、ＦＡズーム枠２０４に入ったという判定がされると、焦点距離８４０ｍｍのズーム位置までズームイン動作を行う。
On the other hand, pattern 2 is a case where it is determined that zoom-out is stopped before the zoom-out drive amount is driven to a focal length of 105 mm. In this example, it is determined that the subject is included in the zoom-out
本実施形態では、ＦＡズームアウト動作中にズームアウト停止判定有効ズーム位置に達したら、ズームアウト停止検出領域２０３と被写体との位置関係に基づくズームアウト停止判定を有効にする。自動ＦＡズームモードが設定される場合、撮影者は被写体がフレームアウトしそうな状況で被写体を画角内に捉えようとしていることが想定されるため、ある程度ズームアウトを行う必要がある。そのため、本実施形態では、ズームアウト開始時からズームアウト停止判定を有効にするのではなく、所定量ズームアウトを行ってズームアウト停止判定有効ズーム位置に達してからズームアウト停止判定を有効にしている。
In this embodiment, when the zoom-out stop determination effective zoom position is reached during the FA zoom-out operation, the zoom-out stop determination based on the positional relationship between the zoom-out
以上説明したように、本実施形態では、画面内にズームアウト停止検出領域を設定することにより、ＦＡズームアウト動作中に検出された被写体と該領域との位置関係に応じて、ズームアウト動作を停止させるか否かの判定を行う。より具体的には、ズームアウト停止判定有効ズーム位置において被写体がズームアウト停止検出領域内に検出された場合、ズームアウト動作を停止させる。これにより、被写体がある程度画角内に捉えられている場合は、ズームアウト動作を途中で停止させることができるため、必要以上のズームアウト動作を抑制することができる。 As described above, in this embodiment, by setting the zoom-out stop detection area in the screen, the zoom-out operation is performed according to the positional relationship between the subject detected during the FA zoom-out operation and the area. It is determined whether or not to stop. More specifically, when the subject is detected in the zoom-out stop detection area at the zoom-out stop determination effective zoom position, the zoom-out operation is stopped. As a result, when the subject is captured within a certain angle of view, the zoom-out operation can be stopped halfway, so that the zoom-out operation more than necessary can be suppressed.
さらに、本実施形態では、カメラの振れ量に応じて所定時間を設定し、ズームアウト停止判定有効ズーム位置に達してから所定時間内に被写体が検出されたどうかを判定している。そのため、撮影者が被写体を探索している場合には十分な判定時間を確保するとともに、必要以上にズームアウト動作を中断するのを防ぐことができる。 Furthermore, in this embodiment, a predetermined time is set according to the camera shake amount, and it is determined whether or not the subject is detected within the predetermined time after reaching the zoom-out stop determination effective zoom position. Therefore, when the photographer is searching for a subject, it is possible to secure a sufficient determination time and prevent the zoom-out operation from being interrupted more than necessary.
以上より、本実施形態によれば、フレーミングを支援するための機能として被写体の検出結果に応じて自動的にズーム動作を行う撮像装置において、必要以上のズームアウト動作を効果的に抑制することで、撮影タイミングを逃すのを防ぐことが可能になる。 As described above, according to the present embodiment, in an imaging apparatus that automatically performs a zoom operation according to a detection result of a subject as a function for supporting framing, it is possible to effectively suppress an unnecessary zoom-out operation. It becomes possible to prevent missing the shooting timing.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、適用するシーンとしても、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary. Also, the scene to be applied may be performed not only during angle adjustment for still image shooting but also during angle adjustment during moving image recording.
また、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理を含む。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 In addition, the present invention supplies software (program) that realizes the functions of the above-described embodiments to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus performs the program. Includes processing to read and execute code. In this case, the program and the storage medium storing the program constitute the present invention.
１００ デジタルカメラ
１０２ ズームレンズ
１０９ 表示部
１１４ システム制御部
１１６ 記録部
１１７ 操作部
１１８ メモリ
１１９ ＣＺ制御部
１２０ 電子ズーム制御部
１２１ ＦＡズーム枠制御部
１２２ ＦＡズーム制御部
１２３ 被写体検出部
１２４ 振れ検出部
DESCRIPTION OF
Claims (14)
前記被写体検出手段の検出結果に応じて、前記被写体を画角内に保つためのズーム動作を制御する制御手段とを有し、
広角側の第１のズーム位置へのズーム動作において、前記第１のズーム位置より望遠側の第２のズーム位置に達した状態で、第１の所定時間内に前記被写体検出手段により検出された被写体が画面内に設定された第１の領域内に検出された場合、前記制御手段は、広角側へのズーム動作を前記第２のズーム位置で停止することを特徴とする撮像装置。 Subject detection means for repeatedly detecting the subject;
Control means for controlling a zoom operation for keeping the subject within an angle of view in accordance with a detection result of the subject detection means;
In the zoom operation to the first zoom position on the wide angle side, the object detection means detects the first zoom position within the first predetermined time in a state where the second zoom position on the telephoto side is reached from the first zoom position. The imaging device, wherein when the subject is detected within a first area set in the screen, the control means stops the zoom operation toward the wide angle side at the second zoom position.
前記第１の所定時間は、前記振れ検出手段によって検出された振れ量に基づいて設定されることを特徴とする請求項１に記載の撮像装置。 Having shake detection means for detecting the shake amount of the imaging device;
The imaging apparatus according to claim 1, wherein the first predetermined time is set based on a shake amount detected by the shake detection unit.
前記制御手段は、広角側へのズーム動作を開始する前の第３のズーム位置を記憶し、撮影画像に重畳して当該第３のズーム位置に対応する画角を示す表示を前記表示手段に行うよう制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 Having a display means for displaying a photographed image;
The control means stores a third zoom position before the zoom operation to the wide angle side is started, and displays on the display means a display showing an angle of view corresponding to the third zoom position superimposed on the captured image. The imaging apparatus according to claim 1, wherein the imaging apparatus is controlled to perform.
前記第２の所定時間は、前記振れ検出手段によって検出された振れ量に基づいて設定されることを特徴とする請求項７に記載の撮像装置。 Having shake detection means for detecting the shake amount of the imaging device;
The imaging apparatus according to claim 7, wherein the second predetermined time is set based on a shake amount detected by the shake detection unit.
被写体を繰り返し検出する被写体検出ステップと、
前記被写体検出ステップの検出結果に応じて、前記被写体を画角内に保つためのズーム動作を制御する制御ステップとを有し、
広角側の第１のズーム位置へのズーム動作において、前記第１のズーム位置より望遠側の第２のズーム位置に達した状態で、第１の所定時間内に前記被写体検出ステップにおいて検出された被写体が画面内に設定された第１の領域内に検出された場合、広角側へのズーム動作を前記第２のズーム位置で停止することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus,
A subject detection step for repeatedly detecting the subject;
A control step for controlling a zoom operation for keeping the subject within an angle of view according to a detection result of the subject detection step,
In the zoom operation to the first zoom position on the wide angle side, the object is detected in the subject detection step within a first predetermined time in a state where the second zoom position on the telephoto side is reached from the first zoom position. A method for controlling an imaging apparatus, comprising: stopping a zoom operation toward a wide-angle side at the second zoom position when a subject is detected in a first area set in a screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013211274A JP6245923B2 (en) | 2013-10-08 | 2013-10-08 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013211274A JP6245923B2 (en) | 2013-10-08 | 2013-10-08 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015076707A JP2015076707A (en) | 2015-04-20 |
| JP6245923B2 true JP6245923B2 (en) | 2017-12-13 |
Family
ID=53001261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013211274A Active JP6245923B2 (en) | 2013-10-08 | 2013-10-08 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6245923B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7401272B2 (en) | 2019-11-26 | 2023-12-19 | キヤノン株式会社 | Imaging device, method of controlling the imaging device, and program |
| KR20220023632A (en) * | 2020-08-21 | 2022-03-02 | 삼성전자주식회사 | Method for stabilization and electronic device thereof |
| WO2023189829A1 (en) * | 2022-03-31 | 2023-10-05 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| WO2024014761A1 (en) * | 2022-07-15 | 2024-01-18 | 삼성전자 주식회사 | Method for correcting camera shake and electronic device supporting same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4375070B2 (en) * | 2004-03-22 | 2009-12-02 | 住友電気工業株式会社 | Modulation / demodulation system for vehicle, receiver and transmitter |
| JP5309490B2 (en) * | 2007-07-26 | 2013-10-09 | カシオ計算機株式会社 | Imaging device, subject tracking zooming method, and subject tracking zooming program |
| JP5864938B2 (en) * | 2011-07-25 | 2016-02-17 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP5984349B2 (en) * | 2011-08-23 | 2016-09-06 | キヤノン株式会社 | Imaging apparatus and control method thereof |
-
2013
- 2013-10-08 JP JP2013211274A patent/JP6245923B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015076707A (en) | 2015-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9992421B2 (en) | Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium | |
| US9253410B2 (en) | Object detection apparatus, control method therefor, image capturing apparatus, and storage medium | |
| US10165191B2 (en) | Image pickup apparatus having zoom function, method of controlling the same, and storage medium | |
| JP5623207B2 (en) | Imaging apparatus and control method thereof | |
| US9380201B2 (en) | Image capture apparatus and control method therefor | |
| JP2019029998A (en) | Imaging apparatus, control method of imaging apparatus and control program | |
| JP6643036B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
| JP6188474B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
| JP6245923B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
| JP5744581B2 (en) | Imaging apparatus and control method thereof | |
| JP6289207B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
| JP6224925B2 (en) | Control device and angle of view control method | |
| JP2014103489A (en) | Imaging apparatus and control method thereof | |
| JP6188455B2 (en) | Control apparatus, imaging system, angle of view control method, program, and storage medium | |
| JP6335520B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGING DEVICE CONTROL PROGRAM | |
| JP6234103B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
| JP2021019255A (en) | Imaging device and method of controlling the same | |
| JP2017134363A (en) | Lens control device, lens control method, program | |
| JP6104425B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2019219529A (en) | Control device, imaging device, control method, program, and storage medium | |
| JP2015026906A (en) | Imaging apparatus, imaging apparatus control method, imaging apparatus control program, and storage medium | |
| JP6231768B2 (en) | Imaging apparatus and control method thereof | |
| JP6347862B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6437066B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGING DEVICE CONTROL PROGRAM | |
| JP5917641B2 (en) | Zoom control device, imaging device, and control method of zoom control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6245923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |