JPWO2016199483A1 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JPWO2016199483A1 JPWO2016199483A1 JP2017523136A JP2017523136A JPWO2016199483A1 JP WO2016199483 A1 JPWO2016199483 A1 JP WO2016199483A1 JP 2017523136 A JP2017523136 A JP 2017523136A JP 2017523136 A JP2017523136 A JP 2017523136A JP WO2016199483 A1 JPWO2016199483 A1 JP WO2016199483A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- score
- composition
- frame
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 173
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000203 mixture Substances 0.000 claims abstract description 324
- 238000004364 calculation method Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 description 55
- 230000000875 corresponding effect Effects 0.000 description 46
- 238000010191 image analysis Methods 0.000 description 23
- 239000013256 coordination polymer Substances 0.000 description 18
- 238000001514 detection method Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 102000003814 Interleukin-10 Human genes 0.000 description 3
- 108090000174 Interleukin-10 Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 101001010591 Homo sapiens Interleukin-20 Proteins 0.000 description 2
- 102100030692 Interleukin-20 Human genes 0.000 description 2
- 102100030704 Interleukin-21 Human genes 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 108010074108 interleukin-21 Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101000852998 Homo sapiens Interleukin-27 subunit alpha Proteins 0.000 description 1
- 101001043821 Homo sapiens Interleukin-31 Proteins 0.000 description 1
- 102000026633 IL6 Human genes 0.000 description 1
- 102000003815 Interleukin-11 Human genes 0.000 description 1
- 108090000177 Interleukin-11 Proteins 0.000 description 1
- 108010065805 Interleukin-12 Proteins 0.000 description 1
- 102000013462 Interleukin-12 Human genes 0.000 description 1
- 102100036678 Interleukin-27 subunit alpha Human genes 0.000 description 1
- 102100021596 Interleukin-31 Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
自動的に画像を記憶する動作において、適切な頻度で望ましい構図の画像が記憶されやすいようにする。自動画像記憶の実行の判定のための閾値条件を設定する。そして画像データとしての時間軸上で連続するフレームの全部又は一部について、構図に対する該当度合いを求める。或るフレームの構図が、設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する。In an operation of automatically storing an image, an image having a desired composition is easily stored at an appropriate frequency. A threshold condition for determining execution of automatic image storage is set. Then, the degree of corresponding to the composition is obtained for all or part of the continuous frames on the time axis as image data. When the composition of a certain frame satisfies the set threshold condition, it is determined that the image data stores image data corresponding to the frame.
Description
本技術は画像処理装置、画像処理方法、及びプログラムに関し、特に自動的な静止画記憶についての技術分野に関する。 The present technology relates to an image processing apparatus, an image processing method, and a program, and more particularly to a technical field of automatic still image storage.
近年、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が広く普及しており、これらは撮像シーンに応じて自動でフォーカスや露光を最適に合わせる機能を持つものが多い。しかし、撮像時の構図合わせは、いまだユーザの技量に大きく依存してしまうため、特にカメラの知識を有しない初心者は、良い構図で撮像するのが難しい。
また、例えば被写体人物の笑顔等を検出して自動的に静止画撮像を行う技術も提案されている。
上記特許文献１には自動的な静止画撮像に関して、ユーザの意図やバッテリ駆動などの撮像装置の状態に応じて静止画撮像の頻度が変更される技術が開示されている。
上記特許文献２には、自動的な静止画撮像において、同じような被写体内容や構図のものが多数とれてしまうことを防止する技術が開示されている。In recent years, imaging apparatuses such as a digital still camera and a digital video camera have been widely used, and many of them have a function of automatically adjusting focus and exposure automatically according to an imaging scene. However, since composition adjustment at the time of imaging still largely depends on the skill of the user, it is difficult for beginners who do not have camera knowledge to capture images with a good composition.
In addition, for example, a technique for automatically capturing a still image by detecting a smiling face of a subject person has been proposed.
自動的な静止画撮像とは、撮像装置が撮像素子により取得している被写体の撮像画像データのフレームのうちで、例えば人物の顔検出、笑顔判定、顔サイズなどを判定して、好適な画像となっているフレームの画像データを抜き出して静止画として記憶させるものである。本明細書では説明上、このような自動的な静止画撮像のことを「自動静止画記憶」と呼ぶこととする。 Automatic still image capturing is a suitable image obtained by determining, for example, human face detection, smile determination, face size, etc., in a frame of captured image data of a subject acquired by an imaging device by an imaging device. The image data of the frame is extracted and stored as a still image. In this specification, for the sake of explanation, such automatic still image capturing is referred to as “automatic still image storage”.
自動静止画記憶を行う場合の態様として、撮像装置を雲台に搭載する場合や、ユーザが手持ちの場合がある。
自動的に撮像装置の視野方向を移動させる雲台に搭載する場合、被写体画像が望ましい構図となるように撮像装置の視野方向を調整することは自動制御で可能であるが、撮像する場所や画角が限定されてしまう。
雲台を用いずに、ユーザの手持ちの状態などで自動静止画記憶を行うことを考えると、多様なシチュエーションでの自動静止画記憶が可能である。ところがユーザの技量にもよるが、記憶される静止画が、なかなか好ましい構図とはならない場合が多い。As a mode for performing automatic still image storage, there are a case where the imaging device is mounted on a pan head, and a case where the user has a hand.
When mounted on a camera platform that automatically moves the field of view of the imaging device, it is possible to automatically adjust the field of view of the imaging device so that the subject image has the desired composition. The corner is limited.
Considering that automatic still image storage is performed in a user's hand-held state without using a pan head, automatic still image storage in various situations is possible. However, depending on the skill of the user, the stored still image often does not have a favorable composition.
ユーザが意識せずとも自動的に静止画が記憶されていく場合、ユーザにとっては、適度な枚数の静止画が記憶されることや、それらが品質の良い画像であることが望ましい。なお自動的な動画の記憶を想定した場合も同様である。
そこで本開示では、自動的な画像記憶において、記憶頻度（記憶される枚数）がある程度ユーザの意思に沿い、かつ被写体の笑顔等の状態だけでなく好適な構図となっている品質の高い画像が得られるようにする技術を提供することを目的とする。When still images are automatically stored without being conscious of the user, it is desirable for the user that an appropriate number of still images are stored and that they are high-quality images. The same applies to the case where automatic moving image storage is assumed.
Therefore, in the present disclosure, in automatic image storage, a high-quality image in which the storage frequency (number of stored images) is in line with the user's intention to some extent and has a suitable composition as well as a state of a subject's smile, etc. It aims at providing the technique which makes it obtainable.
本技術に係る画像処理装置は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部と、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、を備えている。
この構成によれば、動画やスルー画などとしての連続フレームから、自動的に構図の良い画像となったフレームを判定できる。An image processing apparatus according to an embodiment of the present technology includes a threshold setting unit that sets a threshold condition for determining whether to perform image storage according to a composition, and the composition in the frame satisfies the threshold condition set by the threshold setting unit. In this case, an image storage determination unit that determines image data that stores image data corresponding to the frame is provided.
According to this configuration, it is possible to automatically determine a frame having a good composition from a continuous frame such as a moving image or a through image.
上記した画像処理装置においては、前記画像記憶判定部は、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを記憶する画像データと判定する。
即ち、構図に加えて、さらに他の条件を判断することで、なるべく画像として品質の良いフレームを自動的に判定できる。In the image processing apparatus described above, the image storage determination unit, when the composition in the frame satisfies the threshold condition set by the threshold setting unit, the image data of the frame according to another condition determination Is stored as image data.
That is, by determining other conditions in addition to the composition, it is possible to automatically determine a frame having a good quality as much as possible.
上記した画像処理装置においては、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部を備え、前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する。
即ち、１フレームの画像データが、好ましい構図に該当するか否かを判定し、その該当度合いを示すスコアを求める。In the above-described image processing apparatus, the whole or a part of the continuous frames is used as a score calculation target frame, and the score calculation unit includes a score calculation unit that calculates a score that is an evaluation value of the composition of the image for the frame as the score calculation target. The image storage determination unit, when a score calculated by the score calculation unit for a certain frame satisfies a threshold condition set by the threshold setting unit, image data for storing image data corresponding to the frame; judge.
That is, it is determined whether or not one frame of image data corresponds to a preferable composition, and a score indicating the corresponding degree is obtained.
上記した画像処理装置においては、前記スコア算出部は、複数の構図をそれぞれ基準としてスコアを算出する処理が可能とされていることが望ましい。
例えば静止画として好ましい構図は多様である。そこで複数の構図を基準として用いてスコアが求められるようにする。In the above-described image processing apparatus, it is desirable that the score calculation unit is capable of calculating a score with each of a plurality of compositions as a reference.
For example, there are various compositions that are preferable for still images. Therefore, a score is obtained using a plurality of compositions as a reference.
上記した画像処理装置においては、前記スコア算出部は、フレームの画像内容に応じて、スコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出することが考えられる。
画像内容、例えば被写体の種別などに応じて、望ましい構図や、適した構図がある。例えば人物が被写体の場合に適した構図、風景が被写体の場合に適した構図などである。そこで、フレームの画像内容に応じて、スコア算出に用いる構図を選択することで、画像内容に適した構図への該当度合いが求められるようにする。In the image processing apparatus described above, the score calculation unit may select a composition as a reference for score calculation according to the image content of the frame, and calculate a score for each of the selected one or more compositions. Conceivable.
Depending on the image content, for example, the type of subject, there are desirable compositions and suitable compositions. For example, a composition suitable for a person being a subject, a composition suitable for a landscape being a subject, and the like. Therefore, by selecting a composition used for score calculation according to the image content of the frame, the degree of appropriateness to the composition suitable for the image content is obtained.
上記した画像処理装置においては、前記画像記憶判定部は、或るフレームについて前記スコア算出部が、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値が、前記閾値設定部が設定した閾値を満たしているか否かを判断することが考えられる。
少なくとも１つのスコアが閾値条件を満たしているのであれば、そのフレームは、或る構図に該当するものとして評価できる。そこで、最大値となっているスコアについて閾値条件となっているかを判断する。In the above-described image processing apparatus, the image storage determination unit is configured such that the maximum value among the scores calculated by the score calculation unit for a certain frame based on a plurality of compositions is set as the threshold set by the threshold setting unit. It may be possible to determine whether or not
If at least one score satisfies the threshold condition, the frame can be evaluated as corresponding to a certain composition. Therefore, it is determined whether the threshold value condition is satisfied for the score having the maximum value.
上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、その中でスコアがピーク値近傍となっているフレームを選択できるようにする。In the image processing apparatus described above, the image storage determination unit determines whether the score of the target frame is in the vicinity of a peak value of a score value that fluctuates in a plurality of consecutive frames as the other condition determination. It is conceivable to make a determination.
That is, a frame whose score satisfies the threshold condition is not stored as a still image, but a frame whose score is in the vicinity of the peak value can be selected.
上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームの画像が、フォーカスが合っているか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、フォーカスが合っていない画像は静止画として記憶させないようにする。In the image processing apparatus described above, the image storage determination unit may determine whether the image of the target frame is in focus as the other condition determination.
That is, a frame whose score satisfies the threshold condition is not stored as a still image, but an out-of-focus image is not stored as a still image.
上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、ブレがあると推定される画像は静止画として記憶させないようにする。In the image processing apparatus described above, the image storage determination unit may determine whether or not the target frame includes an image of a process in which the target subject is moving as the other condition determination.
That is, a frame whose score satisfies the threshold condition is not stored as a still image, but an image estimated to be blurred is not stored as a still image.
上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、ブレが生じそうな画像である場合は、シャッタスピードの状況から、ブレがないと判断できる場合に静止画として記憶させる。In the image processing apparatus described above, when the target frame includes an image of a process in which the target subject is moving as the other condition determination, the image storage determination unit determines the shutter speed at the time of capturing the frame. It is conceivable to perform the determination.
That is, instead of simply storing a frame whose score satisfies the threshold condition as a still image, if the image is likely to be blurred, it is stored as a still image when it can be determined that there is no blur from the shutter speed. Let
上記した画像処理装置においては、前記閾値設定部は、操作入力に応じて閾値条件を可変設定することが考えられる。
閾値条件が厳しいほど、静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなる。従って、静止画記憶をどの程度の頻度で行わせたいかというユーザの意思により、頻度を調整できるようにする。In the above-described image processing apparatus, it is conceivable that the threshold value setting unit variably sets a threshold value condition according to an operation input.
The severer the threshold condition, the lower the frequency of still image storage, and the looser the threshold condition, the higher the frequency of still image storage. Therefore, the frequency can be adjusted according to the user's intention of how often still image storage is to be performed.
上記した画像処理装置においては、前記画像記憶判定部により或るフレームに対応する画像データが記憶する画像データと判定された後は、前記閾値設定部により設定された閾値に応じた待機時間の間のフレームに対応する画像データついては、記憶する画像データとは前記画像記憶判定部が判定しないようにすることが考えられる。
即ち或るフレームに対応する画像データが記憶された場合、その後所定の待機時間は、記憶を行わない。この場合に待機時間は、設定されている閾値条件に応じたものとする。In the above-described image processing apparatus, after the image storage determination unit determines that the image data corresponding to a certain frame is stored, the standby time corresponding to the threshold set by the threshold setting unit For the image data corresponding to this frame, it is conceivable that the image storage determination unit does not determine the image data to be stored.
That is, when image data corresponding to a certain frame is stored, the storage is not performed for a predetermined waiting time thereafter. In this case, the standby time is determined according to the set threshold condition.
上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、その画像と重畳させて、構図情報を表示させる表示制御部を備えることが考えられる。
即ち撮像画像について、その画像内容の特定の構図に対しての評価の度合いがわかるような状態で表示させる。
上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、各フレームのスコアと閾値条件の情報を表示させる表示制御部を備えることが考えられる。
即ちスコアが閾値条件を満たしているか否かをユーザに提示するようにする。
上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させる表示制御部を備えることが考えられる。
例えばユーザが、主要な被写体の中心を構図としてのパターンの中心に持って行きやすいように、拡大画像でガイドできるようにする。The image processing apparatus described above may include a display control unit that displays image data of frames that are continuous on the time axis on the display screen, and displays the composition information superimposed on the image.
That is, the captured image is displayed in a state in which the degree of evaluation with respect to a specific composition of the image content can be understood.
The above-described image processing apparatus may include a display control unit that displays image data of frames that are continuous on the time axis on a display screen, and displays information about the score and threshold condition of each frame.
That is, it is shown to the user whether or not the score satisfies the threshold condition.
The above-described image processing apparatus includes a display control unit that displays image data of continuous frames on the time axis on a display screen and displays an enlarged image that serves as a guide for matching the image contents with a specific composition. Can be considered.
For example, it is possible to guide the user with an enlarged image so that the user can easily bring the center of the main subject to the center of the pattern as a composition.
本技術に係る画像処理方法は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップとを演算処理装置が実行する画像処理方法である。
これにより自動静止画記憶の動作により好適な構図の静止画を得ることが可能となる。
本技術に係るプログラムは、上記の各ステップの処理を演算処理装置に実行させるプログラムである。
このプログラムにより演算処理装置に自動静止画記憶に適した画像処理を実行させることができる。In the image processing method according to the present technology, a threshold setting step for setting a threshold condition for image storage execution determination according to the composition, and the composition in the frame satisfies the threshold condition set in the threshold setting step. In this case, the image processing method is such that the arithmetic processing unit executes an image storage determination step for determining image data for storing image data corresponding to the frame.
This makes it possible to obtain a still image with a suitable composition by the operation of automatic still image storage.
A program according to the present technology is a program that causes an arithmetic processing device to execute the processing of each step described above.
With this program, the arithmetic processing unit can execute image processing suitable for automatic still image storage.
本技術によれば、ユーザが意識しなくても、好ましい構図の画像が得られる自動画像記憶を行うことが可能になり、また画像記憶の頻度もある程度ユーザの要望に応じたものとなる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。According to the present technology, it is possible to perform automatic image storage capable of obtaining an image with a preferable composition without being conscious of the user, and the frequency of image storage also satisfies the user's request to some extent.
Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成及び処理＞
＜２．撮像装置の構成＞
＜３．自動静止画記憶処理＞
［３−１：全体処理］
［３−２：構図判定／スコア算出］
［３−３：静止画記憶判定／実行］
［３−４：表示例］
＜４．プログラム及びコンピュータ装置への適用＞
＜５．まとめ及び変形例＞
なお実施の形態では、自動的な静止画撮像記憶（自動静止画記憶）として、連続するフレームのうちでフレームを選択して静止画データとして記憶する技術に関し、特に、好適な構図のフレームを選択するための技術を説明する。
フレームとは、動画としての画像を構成する時間軸上で連続するフレームである。例えば撮像素子で撮像された時間軸上で連続する画像データとしてのフレームや、外部機器から供給される動画としての連続する画像データのフレームのことをいう。
例えば実施の形態の自動静止画記憶は、撮像素子によって撮像された連続するフレームの画像データ、つまり動画としてのフレームデータが得られている状況で行われる。例えば自動撮像モードとして撮像素子による撮像が継続して行われている状態や、通常の手動撮像モードにおけるシャッタ待機状態（ユーザが被写体をモニタリングできるようにスルー画が生成されている状態）において、自動静止画記憶を行うことができる。
同様に撮像素子から連続するフレームの画像データが得られている状況として動画撮像中も想定され、動画撮像中に自動静止画記憶が行われる場合もある。
さらには外部機器から動画としての連続するフレームの画像データが供給されている状況において自動静止画記憶が行われることも想定される。
以下で説明する画像処理装置１は、入力された各フレームの画像データのうちで、静止画として記憶するフレームを判定する処理を少なくとも行う装置である。
また後述する撮像装置１０は、自動撮像モード、手動撮像モード、動画撮像モードなどのいずれかにおいて、ユーザ操作に関わらず好適なフレームが静止画として記憶される自動静止画記憶が行われる装置とする。
また構図とは、主にフレーム内の注目被写体の位置を考慮した画面の構成をいう。好適な構図であるか否かは、フレームを観察する観察者にとって心地よい理想の注目被写体の位置と実際の注目被写体の距離に応じて評価されるものとしている。
Hereinafter, embodiments will be described in the following order.
<1. Configuration and processing of image processing apparatus>
<2. Configuration of Imaging Device>
<3. Automatic still image storage processing>
[3-1: Overall processing]
[3-2: Composition determination / score calculation]
[3-3: Still image storage determination / execution]
[3-4: Display example]
<4. Application to Program and Computer Device>
<5. Summary and Modification>
In the embodiment, the automatic still image capturing storage (automatic still image storage) relates to a technique of selecting a frame from consecutive frames and storing it as still image data, and particularly selecting a frame with a suitable composition. A technique for doing this will be described.
A frame is a frame that is continuous on the time axis constituting an image as a moving image. For example, it means a frame as continuous image data taken on the time axis imaged by the image sensor or a continuous frame of image data as a moving image supplied from an external device.
For example, the automatic still image storage according to the embodiment is performed in a situation where image data of continuous frames captured by the image sensor, that is, frame data as a moving image is obtained. For example, in an automatic imaging mode in which imaging by an image sensor is continuously performed, or in a shutter standby state in a normal manual imaging mode (a state in which a through image is generated so that a user can monitor a subject), automatic Still image storage can be performed.
Similarly, a situation where image data of continuous frames is obtained from the image sensor is also assumed during moving image capturing, and automatic still image storage may be performed during moving image capturing.
Furthermore, it is assumed that automatic still image storage is performed in a situation where image data of continuous frames as a moving image is supplied from an external device.
The
The
The composition refers to a screen configuration that mainly takes into account the position of the subject of interest in the frame. Whether the composition is suitable or not is evaluated according to the distance between the ideal target subject comfortable for the observer observing the frame and the actual target subject distance.
＜１．画像処理装置の構成及び処理＞
図１に実施の形態の画像処理装置１の構成例を示す。
画像処理装置１は、スコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃを有する。
この画像処理装置１は、入力された画像データＤｉｎを対象として、静止画として記憶するフレームの判定情報ＳＳを出力する。
画像データＤｉｎとしては、時間軸上で連続する各フレームの画像データが供給される。即ち動画を構成するフレームデータである。この画像データＤｉｎは図示しない撮像素子による撮像により得られるものでもよいし、外部機器から動画データとして送信されてくるものでもよい。<1. Configuration and processing of image processing apparatus>
FIG. 1 shows a configuration example of an
The
The
As the image data Din, image data of each frame continuous on the time axis is supplied. That is, it is frame data constituting a moving image. The image data Din may be obtained by imaging with an image sensor (not shown) or may be transmitted as moving image data from an external device.
スコア算出部１ａは、画像データＤｉｎとして供給される各フレーム、もしくは間欠的なフレームを対象として、画像の構図の評価値となるスコアを算出する。例えばスコア算出基準となる構図として、一般に知られている１又は複数種類の写真構図の情報を基準とする。構図とは、例えば日の丸構図（中央一点構図）、三分割構図、バストアップ構図などである。
例えば日の丸構図を基準とする場合、処理対象のフレームの画像について、日の丸構図としての評価値、例えば日の丸構図に対する該当度合いの評価値を数値化する。
具体的には、スコア算出部１ａは、処理対象のフレームの画像解析を行い、構図や被写体を判定し、それらに応じてスコア算出基準となる構図を選択する。そしてその構図に対する評価値としてのスコアを求める。The score calculation unit 1a calculates a score as an evaluation value of the composition of an image for each frame supplied as image data Din or intermittent frames. For example, the composition used as the score calculation reference is based on information of one or a plurality of commonly known photographic compositions. The composition includes, for example, the Hinomaru composition (central one-point composition), a three-part composition, a bust-up composition, and the like.
For example, when the Hinomaru composition is used as a reference, the evaluation value as the Hinomaru composition, for example, the evaluation value of the degree corresponding to the Hinomaru composition is quantified for the image of the frame to be processed.
Specifically, the score calculation unit 1a performs image analysis of a frame to be processed, determines a composition and a subject, and selects a composition that serves as a score calculation reference according to them. Then, a score as an evaluation value for the composition is obtained.
閾値設定部１ｂは、自動静止画記憶の実行判定のための閾値条件を可変設定する。例えばユーザ操作、画像内容、装置状態などに応じて閾値条件を設定する。
閾値とは、スコア算出部１ａが算出したスコアと比較する値であり、仮にスコアの最大値が“１００”であるとした場合に、閾値は“９０”“８０”“７０”などと選択設定できるようにする。そして、例えばスコアが閾値を越えていることで閾値条件を満たしたものとする。The
The threshold is a value to be compared with the score calculated by the score calculation unit 1a. If the maximum score is “100”, the threshold is selected and set to “90” “80” “70” or the like. It can be so. For example, it is assumed that the threshold condition is satisfied because the score exceeds the threshold.
画像記憶判定部１ｃは、或るフレームについてスコア算出部１ａが算出したスコアが、閾値設定部１ｂが設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定する。そして判定結果を制御情報ＳＳとして出力する。
即ち、まずスコアについての閾値条件により、処理対象のフレームを静止画として記憶するフレームとするか否かを判定する。そして閾値条件が満たされた場合には、さらに他の条件判定により、静止画として記憶するフレームとするか否かを判定する。
他の条件判定とは、フォーカス状態の判定、スコア値がピーク近辺であるか否かの判定、ブレのない画像であるか否かの判定などである。When the score calculated by the score calculation unit 1a for a certain frame satisfies the threshold condition set by the
That is, first, it is determined whether or not a frame to be processed is a frame to be stored as a still image based on a threshold condition for the score. When the threshold condition is satisfied, it is further determined whether or not the frame is to be stored as a still image by further condition determination.
Other condition determinations include determination of the focus state, determination of whether or not the score value is near the peak, determination of whether or not the image is unblurred, and the like.
画像記憶判定部１ｃが或るフレームを静止画として記憶するフレームと判定した場合、図示しない画像処理系や記憶処理系において、そのフレームの画像データについての必要な解像度変換、エンコード等の所定の処理が行われ、静止画データとして記憶媒体に記憶される。これにより自動静止画記憶が実行される。 When the image storage determination unit 1c determines that a certain frame is a frame to be stored as a still image, in an image processing system or storage processing system (not shown), predetermined processing such as necessary resolution conversion and encoding for the image data of the frame Is stored in the storage medium as still image data. As a result, automatic still image storage is executed.
図２に画像処理装置１の自動静止画記憶のための判定処理例を示す。これは画像処理装置１において上述のスコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃの機能によって実行される処理である。
画像処理装置１は、ステップＳ１で閾値設定を行う。例えばユーザ操作に応じて閾値を選択し、処理用の閾値として設定する。
ステップＳ２で画像処理装置１は画像データＤｉｎとして連続して供給されるフレームのうち、処理対象とするフレームの画像データを取得する。
ステップＳ３で画像処理装置１は、処理対象としたフレームについて構図判定や被写体判定を行い、それらに応じて特定の構図を基準としたスコア算出を行う。
ステップＳ４で画像処理装置１は、スコアが閾値条件を満たしているか否かを確認する。満たしてしなければ、ステップＳ４→Ｓ８→Ｓ２と進み、次の処理対象のフレームについての処理に移る。FIG. 2 shows an example of determination processing for automatic still image storage of the
The
In step S2, the
In step S <b> 3, the
In step S4, the
閾値条件を満たしている場合、画像処理装置１はステップＳ４からＳ５に進み、当該フレームの画像データについて他の条件判定を行う。他の条件を満たしていなければステップＳ６→Ｓ８→Ｓ２と進み、次の処理対象のフレームについての処理に移る。他の条件を満たしている場合、画像処理装置１はステップＳ６からＳ７に進み、当該フレームを、静止画として記憶するフレームと判定し、その判定情報ＳＳを出力する。
自動静止画記憶の動作が終了されたら、画像処理装置１はステップＳ８から図２の処理を終える。If the threshold condition is satisfied, the
When the operation of automatic still image storage is completed, the
この図２の処理により、画像処理装置１は、動画として供給される各フレームの画像データについて、構図が良好であり、かつフォーカス状態などの他の条件を満たすものを、静止画として保存するフレームと判定できることになる。
これによって、自動的な静止画記憶のために、品質の高い構図となっている静止画を記憶するものと判定できる。また閾値条件を可変設定することで、静止画として記憶させる頻度を調整することができる。With the processing in FIG. 2, the
Thus, it can be determined that a still image having a high quality composition is stored for automatic still image storage. In addition, by setting the threshold condition variably, it is possible to adjust the frequency of storing as a still image.
なお、図１の構成において、スコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃを有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などで実現できる。また各部を例えば複数のＣＰＵや、ＣＰＵと画像処理用ＤＳＰ等に分散して実現し、それらの演算処理装置の連携処理として、画像処理装置１の機能を実現することも考えられる。
In the configuration of FIG. 1, an
＜２．撮像装置の構成＞
以下では、上記の画像処理装置１と同等の機能を内蔵した撮像装置１０を例に挙げ、構成及び自動静止画記憶動作について詳しく説明する。
図３に実施の形態の撮像装置１０の構成例を示す。
この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。この撮像装置１０は自動撮像モード又は動画撮像モードの際に、自動静止画記憶を実行できるものである。<2. Configuration of Imaging Device>
In the following, the configuration and the automatic still image storage operation will be described in detail by taking as an example an
FIG. 3 shows a configuration example of the
The
図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記憶部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。
As shown in FIG. 3, the
光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。
イメージャ１２における撮像素子の電子シャッタスピードは制御部３０によって可変制御される。The
The
The
The electronic shutter speed of the image sensor in the
光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。
The optical
デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、表示データ生成部２６、画像解析部２７、フォーカス処理部２８を備えている。The
For example, the digital
前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。The
The
The
The
The
表示データ生成部２６は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部２４で解像度変換された撮像画像データとしての各フレームのデータである。
また表示データ生成部２６は制御部３０の指示に基づいて、各種のガイド画像、キャラクタ画像、操作用画像等を、例えばスルー画等の画像に重畳させる形式で表示させる処理も行う。The display
The display data as the through image is basically data of each frame as captured image data whose resolution is converted by the
The display
画像解析部２７は、例えばＹＣ生成部２３で得られる撮像画像データ（輝度信号／色信号）を対象として、各フレーム単位（又は間欠的なフレーム毎）での画像解析処理を行い、画像内容として被写体種別や主要被写体の検出、構図判定に関する処理、輝度や色の状況を判定する処理などを行う。そしてこれらの解析結果を制御部３０の処理のために提供する。また被写体種別に関して画像解析部２７は、例えば人物の顔検出、身体検出、ペット等の動物の検出などを行うことも可能である。
また画像解析部２７は、人物等の属性検出を行うこともできる。例えば画像解析により検出した顔画像の特徴点を判別して属性を識別し、属性情報を生成する。属性情報は、例えば被写体が大人であるか子供であるかの情報であったり、女性であるか男性であるかの情報である。さらにより詳細な年齢層などの情報も判別するようにしてもよい。
また画像解析部２７は、画像内の水平線、垂直線などのライン検出、色相／彩度／明度の判定など、各種の解析処理を行う。For example, the
The
The
フォーカス処理部２８は、オートフォーカス動作のために現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカスのためには、制御部３０はフォーカス処理部２８からの評価値を確認しながら光学系駆動部１３によるフォーカスレンズ駆動を実行させ、合焦状態に制御する。
The
なお表示データ生成部２６、画像解析部２７、フォーカス処理部２８のそれぞれは、この図３の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によってこれらの各部の処理が実行されてもよい。
Each of the display
制御部３０は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、自動静止画記憶のための処理を実行するためのプログラムも記憶される。The
When the CPU executes a program stored in a ROM, a flash memory, or the like, the
The RAM is used as a work area for various data processing of the CPU for temporary storage of data and programs.
ROM and flash memory (non-volatile memory) are used to store OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, firmware, and the like. Used. Particularly in this example, a program for executing processing for automatic still image storage is also stored.
このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
Such a
また本実施の形態の場合、制御部３０は、スコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃ、表示制御部３０ｄとしての機能を備え、後述する自動静止画記憶の動作に関する制御を行う。スコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃは図１，図２で説明したスコア算出部１ａ、閾値制御部１ｂ、画像記憶判定部１ｃとしての機能である。即ち撮像装置１０において、図１の画像処理装置１の機能が制御部３０におけるソフトウエア機能として実装される。
表示制御部３０ｄは、自動静止画記憶の動作中に、例えばスルー画に重畳させる形式などで構図情報を表示させたり、各フレームのスコアと閾値条件の情報を表示させたり、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させたりするための制御を行う。In the case of the present embodiment, the
During the operation of automatic still image storage, the
表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２６からの表示データによるスルー画をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ、ガイド表示等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。The
The
操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。The
The
As controls on the housing, a playback menu activation button, a determination button, a cross key, a cancel button, a zoom key, a slide key, a shutter button (release button), and the like are provided.
Various operations may be performed by a touch panel operation using icons, menus, and the like displayed on the touch panel and the
記憶部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記憶部１５の実際の形態は多様に考えられる。例えば記憶部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において自動静止画記憶機能のための処理を実行するためのプログラムが記憶部１５に記憶されてもよい。The
The image file is stored in a format such as JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), or GIF (Graphics Interchange Format).
Various forms of the
In this example, a program for executing processing for the automatic still image storage function may be stored in the
通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。The
For example, captured image data (still image file or moving image file) is communicated between an external display device, a recording device, a playback device, and the like.
In addition, as a network communication unit, for example, communication via various networks such as the Internet, home network, and LAN (Local Area Network) may be performed, and various types of data may be transmitted and received between servers and terminals on the network. .
センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。
The
An illuminance sensor that detects external illuminance for exposure adjustment or the like, and a distance measuring sensor that measures the subject distance may be provided.
As the
In addition, a sensor that detects the opening amount of the mechanical iris (aperture mechanism) may be provided as the
Various sensors of the
＜３．自動静止画記憶処理＞
［３−１：全体処理］
本実施の形態の撮像装置１０で行う自動静止画記憶動作の概要は次のようになる。
イメージャ１２によって撮像される連続するフレームの画像データについて、フレーム毎（又は間欠的なフレーム毎）に画像解析部２７で被写体判定や構図判定を行う。制御部３０（スコア算出部３０ａ）は解析結果の情報を用いてスコアを算出する。
例えばフレームの画面内の主要被写体、例えば顔検出を行う場合は顔を対象として、特定の構図に対する該当度合いを示すスコアを算出する。
まず、このスコアが閾値条件を満たすか否かを判定する。閾値条件を満たさないフレームは静止画記憶の対象としない。
閾値条件については、例えばユーザ操作により可変設定する。閾値条件が厳しければ、静止画記憶される頻度が低くなり、閾値条件が緩ければ静止画記憶の頻度が高くなる。<3. Automatic still image storage processing>
[3-1: Overall processing]
The outline of the automatic still image storage operation performed by the
The
For example, when a main subject in the frame screen, for example, face detection is performed, a score indicating the degree of corresponding to a specific composition is calculated.
First, it is determined whether this score satisfies a threshold condition. Frames that do not satisfy the threshold condition are not subject to still image storage.
The threshold condition is variably set by a user operation, for example. If the threshold condition is strict, the frequency of still image storage is low, and if the threshold condition is loose, the frequency of still image storage is high.
そして良好なスコア、つまり閾値条件を満たすスコアとなったフレームについては、以下の１）〜３）の条件判定を行う。
１）ピーク判定：前フレームのスコアを一時記憶したバッファリングスコア（以下「Ｂｕｆスコア」と表記）と比較することで、ピークを判定する。連続した処理対象のフレームの中で、スコアがピーク値近辺のものを静止画として残すようにする。
２）フォーカス判定：主要被写体（例えば顔）にフォーカスが合っているか判定し、フォーカスが合っていないフレームは静止画記憶の対象としない。
なお、被写体にフォーカスが合う要因は、ユーザによるシャッタ半押し／全押し、オートフォーカス（ＡＦ）、コンテニュアスＡＦ、マニュアルフォーカス、などが含まれる。
３）被写体が動いているかの判定：被写体が動いている場合は、撮像時のシャッタスピードが焦点距離分の１秒より速いかどうかを確認する。シャッタスピードが焦点距離分の１秒より遅いフレームは、ぶれた画像である可能性が高いため、フレームは静止画記憶の対象としない。
これらの条件が満たされた場合に、そのフレームを静止画記憶の対象とし、記憶制御を行う。Then, for the frame having a good score, that is, a score satisfying the threshold condition, the following condition determinations 1) to 3) are performed.
1) Peak determination: A peak is determined by comparing the score of the previous frame with a temporarily stored buffering score (hereinafter referred to as “Buf score”). Among the consecutive frames to be processed, a frame having a score near the peak value is left as a still image.
2) Focus determination: It is determined whether or not a main subject (for example, a face) is in focus, and frames that are not in focus are not set as targets for still image storage.
Note that factors that cause the subject to focus include shutter half-press / full-press by the user, autofocus (AF), continuous AF, manual focus, and the like.
3) Determination of whether the subject is moving: When the subject is moving, it is confirmed whether the shutter speed at the time of imaging is faster than 1 second corresponding to the focal length. Since a frame whose shutter speed is slower than 1 second corresponding to the focal length is highly likely to be a blurred image, the frame is not a target of still image storage.
When these conditions are satisfied, the frame is set as a target of still image storage and storage control is performed.
図４，図５，図６，図７，図８に自動静止画記憶のための制御部３０の処理例を示す。これらの処理は制御部３０がスコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃ、表示制御部３０ｄとしての機能により実行する。
4, 5, 6, 7 and 8 show processing examples of the
まず図４は自動静止画記憶としての全体的な処理を示している。
自動静止画記憶を開始する場合、制御部３０は図４のステップＳ１０１からＳ１０２に進む。
例えばユーザが動画撮像中に自動静止画記憶を行うようにする操作を行った場合、あるいは特に動画撮像を行わない場合でも、ユーザが自動静止画記憶を指示する操作を行った場合である。First, FIG. 4 shows the overall processing as automatic still image storage.
When the automatic still image storage is started, the
For example, this is a case where the user performs an operation for performing automatic still image storage during moving image capturing, or a case where the user performs an operation for instructing automatic still image storage even when moving image capturing is not performed.
自動静止画記憶を開始する場合、制御部３０はステップＳ１０２で、処理に用いる閾値を設定する。また閾値に応じたインターバル時間を設定する。
閾値は、上述のようにスコアと比較するもので、閾値によって静止画記憶頻度がある程度調整できるものとなる。
ユーザは、自動静止画記憶の際に、動画フレームのうちでどの程度の頻度で静止画を取り込むかのモードを選択できる。例えばユーザは、所定の操作により静止画記憶頻度のモードとして“高”“中”“低”などを予め選択しておく。制御部３０はこの操作を自動静止画記憶の頻度のモードとして記憶しておく。そしてステップＳ１０２の段階では、ユーザの直近の操作により設定されたモード（頻度“高”“中”“低”のいずれか）に応じて閾値を設定する。例えば、頻度“低”の場合は比較的厳しい閾値ｔｈ１、頻度“中”の場合は中間的な閾値ｔｈ２、頻度“高”の場合は比較的緩い閾値ｔｈ３を設定する。閾値ｔｈ１〜ｔｈ３の具体例については構図に対するスコアの例とともに後述する。When the automatic still image storage is started, the
The threshold value is compared with the score as described above, and the still image storage frequency can be adjusted to some extent by the threshold value.
The user can select a mode of how often a still image is captured in a moving image frame during automatic still image storage. For example, the user selects “high”, “medium”, “low” or the like as a still image storage frequency mode in advance by a predetermined operation. The
またインターバル時間とは、１枚の静止画を記憶させることとした場合に、次の静止画とするフレーム選択までの待機時間である。スコアや他の条件で静止画とするフレームを選択していくと、場合によっては連続フレームにおける同じような画像内容の画像が何枚も静止画として記憶される場合が生ずる。そこで、或るフレームを静止画記憶した場合、その後、待機期間のうちは、次の静止画記憶を行わないようにする。
このインターバル時間は、上記の頻度のモードに応じたものとする。例えば頻度“低”の場合は１０秒、頻度“中”の場合は６秒、頻度“高”の場合は３秒などと設定する。The interval time is a waiting time until a frame is selected as the next still image when one still image is stored. When a frame to be a still image is selected according to a score or other conditions, there may be a case where many images having the same image content in a continuous frame are stored as a still image. Therefore, when a certain frame is stored as a still image, the next still image is not stored during the standby period.
This interval time is assumed to correspond to the frequency mode described above. For example, 10 seconds are set for the frequency “low”, 6 seconds are set for the frequency “medium”, and 3 seconds are set for the frequency “high”.
制御部３０は、閾値及びインターバル時間設定を行ったら、ステップＳ１０３以降で実際の各フレームについて順次、静止画記憶の判定の処理を実行する。
ステップＳ１０３で静止画として記憶するか否かを判定する処理対象のフレームを特定する。イメージャ１２によって撮像される全フレームを処理対象とする場合は、１フレームづつ順次ステップＳ１０３で処理対象に設定されることになる。フレームが例えばｎフレームおきなど、間欠的に順次ステップＳ１０３で処理対象に設定される場合もある。When the threshold value and the interval time are set, the
In step S103, a processing target frame for determining whether or not to store as a still image is specified. When all the frames imaged by the
或るフレームを処理対象としたら、制御部３０は続いてその対象フレームについての画像解析部２７での解析結果を確認する。この図４の例では、顔画像検出結果を参照するものとしており、当該フレームの画像の被写体として人の顔が含まれているか否かを確認する。また顔画像の解析結果として顔画像の向きも確認する。
そして制御部３０は当該フレームの画像に顔が存在する場合はステップＳ１０４からＳ１０５に進み人物構図判定を行い、顔が存在しない場合はステップＳ１０４からＳ１０６に進み風景構図判定を行う。If a certain frame is to be processed, the
When the face is present in the image of the frame, the
ステップＳ１０５の人物構図判定処理では、制御部３０は、人物の顔を含む場合における望ましい１又は複数の構図パターンと当該フレームの画像の構図を比較して、当該フレームが望ましい構図に合致しているかを判定し、その構図を基準とした評価値（例えばその構図に該当している度合い）としてのスコアを算出する。
またステップＳ１０６の風景構図判定処理では、制御部３０は、風景構図としての望ましい１又は複数の構図パターンと当該フレームの画像の構図を比較して、当該フレームが望ましい構図に合致しているかを判定し、その構図を基準とした評価値としてのスコアを算出する。これら人物構図判定や風景構図判定の具体例は後述する。In the person composition determination process in step S105, the
In the landscape composition determination process in step S106, the
ステップＳ１０７で制御部３０は、構図判定結果に基づく情報や、より良い構図とするためのガイドの表示等を表示部３４に表示させる。例えばその際のスルー画に重畳させて各種画像、アイコン、拡大画像などを表示させる。表示例は後述する。
In step S107, the
ステップＳ１０８で制御部３０は、処理対象のフレームについて、静止画として記憶するフレームであるか否かを判定するとともに、静止画記憶するべきフレームであると判定した場合は、記憶動作を実行させる制御を行う。判定処理の詳細は後述する。
In step S108, the
ステップＳ１０９で制御部３０は、自動静止画記憶の動作を終了するトリガが生じたか否かを判断し、何らかのユーザ操作や動画撮像停止などとして自動静止画記憶を終了するトリガが生じた場合は、図４の処理を終える。
自動静止画記憶動作が終了とされるまでの期間は、ステップＳ１１０で、直前のステップＳ１０８で静止画記憶が実行しているか否かで処理を分岐する。静止画記憶を実行していなければ、ステップＳ１０３に戻って、次のフレームを対象として同様に処理を行う。
直前に静止画記憶を行っていた場合は、ステップＳ１１０からＳ１１１に進み、上述のインターバル時間が経過することを待機する。なおインターバル時間のタイムカウントは、例えばステップＳ１０８での静止画記憶制御の実行時点から開始すればよい。そして待機時間中はステップＳ１０９に戻りながら、時間経過を待機し、待機時間が終了したらステップＳ１０３に戻る。この場合、待機期間中のフレームについてはステップＳ１０４以降の処理の対象とされず、待機期間経過時点のフレームから、順次、処理対象のフレームとして設定されることになる。
In step S109, the
During the period until the automatic still image storage operation is ended, the process branches in step S110 depending on whether still image storage is executed in the immediately preceding step S108. If still image storage has not been executed, the process returns to step S103, and the same processing is performed for the next frame.
If still image storage has been performed immediately before, the process proceeds from step S110 to S111 and waits for the above-described interval time to elapse. Note that the time count of the interval time may be started from, for example, the execution time of the still image storage control in step S108. Then, during the standby time, the process waits for the elapse of time while returning to step S109. When the standby time ends, the process returns to step S103. In this case, the frames in the standby period are not subjected to processing in step S104 and subsequent steps, and are sequentially set as processing target frames from the frame at the time when the standby period has elapsed.
［３−２：構図判定／スコア算出］
制御部３０は、図４のステップＳ１０５、Ｓ１０６では人物構図判定や風景構図判定の処理を行う。これらの構図判定について説明する。
図５は、図４のステップＳ１０５の人物構図判定の処理を詳しく示している。制御部３０は図４のステップＳ１０４で、対象フレームに顔画像が存在すると判断した場合にステップＳ１０５に進むが、この場合、図５に示すように、対象フレームに存在する顔画像の数、つまり被写体人物が何人写っているかという判定結果や、顔の向きによりスコア算出の基準とする構図を切り替えるようにしている。[3-2: Composition determination / score calculation]
In steps S105 and S106 in FIG. 4, the
FIG. 5 shows in detail the person composition determination process in step S105 of FIG. When the
制御部３０は対象フレームの画像解析結果から、顔画像が１つ（被写体人物が一人）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０２→Ｓ２０３と進め、対象フレームについての全身構図、日の丸構図、バストアップ構図をスコア算出基準の構図として、これらの各構図を基準とした各スコアを算出する。即ち全身構図を基準とした評価を数値化したスコア、日の丸構図を基準とした評価を数値化したスコア、バストアップ構図を基準とした評価を数値化したスコアを求める。
When the
また制御部３０は対象フレームの画像解析結果から、顔画像が１つ（被写体人物が一人）であり、かつその顔画像が正面向きではないと確認した場合、処理をステップＳ２０１→Ｓ２０２→Ｓ２０４と進め、対象フレームについての３分割構図を基準としたスコアを算出する。
When the
また制御部３０は対象フレームの画像解析結果から、顔画像が２つ（被写体人物が二人）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０５→Ｓ２０６→Ｓ２０７と進め、対象フレームについての３分割構図、対角線構図を基準とした評価としての各スコアを算出する。
ステップＳ２０６の顔が正面か否かの判断は、二人ともが正面であることを必要とするものとし、一人でも顔が正面と判断されない場合は、スコア算出は行わないようにしている。これにより、二人が正面向きのフレームの場合に静止画記憶の可能性が得られることになる。
但し、例えば一人が正面向きであれば、ステップＳ２０７に進むような例も考えられる。If the
The determination of whether or not the faces in step S206 are front faces requires that both of them are front faces. If even one of the faces is not judged to be front faces, score calculation is not performed. As a result, the possibility of storing a still image is obtained when the two of them are front-facing frames.
However, for example, if one person is facing the front, an example of proceeding to step S207 is also conceivable.
また制御部３０は対象フレームの画像解析結果から、顔画像が３つ以上（被写体人物が三人以上）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０５→Ｓ２０８→Ｓ２０９と進め、対象フレームについての複数人構図を基準とした評価としてのスコアを算出する。
この場合もステップＳ２０８の顔が正面か否かの判断とは、全員の顔の向きが正面であることを必要とするものとし、一人でも顔が正面と判断されない場合は、スコア算出は行わないようにしている。これにより、全員が正面向きのフレームの場合に静止画記憶の可能性が得られることになる。
但し、例えば少なくとも一人が正面向きであるとか、過半数が正面向きである場合に、ステップＳ２０９に進むような例も考えられる。多人数の場合、全員の顔の向きを厳格に判断すると、静止画記憶の候補となりにくくなるためである。When the
In this case as well, the determination of whether or not the face in step S208 is in front requires that the faces of all the members be in front, and if no one is determined to be in front, score calculation is not performed. I am doing so. As a result, the possibility of storing still images can be obtained when the frames are all facing the front.
However, for example, when at least one person is facing the front, or when the majority is facing the front, an example of proceeding to step S209 is also conceivable. This is because, in the case of a large number of people, it is difficult to be a candidate for still image storage if the face orientations of all the members are strictly determined.
以上のステップＳ２０３，Ｓ２０４，Ｓ２０７，Ｓ２０９のスコア算出の具体例を説明する。
まず図９で、日の丸構図とバストアップ構図の場合を例として、スコア算出と、図４のステップＳ１０２で設定する閾値の関係について述べておく
閾値とは、主要な被写体等が、基準とする構図の理想位置（理想座標）から、どのくらいまで離れている場合に、静止画記憶の対象とするかを判断するための閾値である。A specific example of the score calculation in steps S203, S204, S207, and S209 will be described.
First, in FIG. 9, taking the case of the Hinomaru composition and the bust-up composition as an example, the relationship between the score calculation and the threshold value set in step S102 of FIG. 4 will be described. This is a threshold value for determining how far away from the ideal position (ideal coordinates) of the image to be stored.
図９Ａに日の丸構図の場合を示している。日の丸構図は、画像の中心に主要被写体が存在する構図である。
日の丸構図の理想位置ＩＰは、ｘｙ座標で表すと、ＩＰ＝（Ｈｘ，Ｈｙ）となる。この理想位置ＩＰからの離間距離についての閾値として、閾値ｔｈ１（実線で表記），閾値ｔｈ２（破線で表記），閾値ｔｈ３（一点鎖線で表記）が設けられる。例えば閾値ｔｈ１は理想位置ＩＰからｘ方向及びｙ方向に±２０ピクセルの範囲、閾値ｔｈ２は理想位置ＩＰからｘ方向及びｙ方向に±４０ピクセルの範囲、閾値ｔｈ３は理想位置ＩＰからｘ方向及びｙ方向に±６０ピクセルの範囲に、それぞれ相当する値などとされる。FIG. 9A shows the case of the Hinomaru composition. The Hinomaru composition is a composition in which the main subject exists in the center of the image.
The ideal position IP of the Hinomaru composition is expressed by xy coordinates as IP = (Hx, Hy). As thresholds for the separation distance from the ideal position IP, a threshold th1 (indicated by a solid line), a threshold th2 (indicated by a broken line), and a threshold th3 (indicated by a one-dot chain line) are provided. For example, the threshold th1 is a range of ± 20 pixels from the ideal position IP in the x direction and the y direction, the threshold th2 is a range of ± 40 pixels from the ideal position IP in the x direction and the y direction, and the threshold th3 is a range from the ideal position IP to the x direction and y. A value corresponding to a range of ± 60 pixels in the direction is set.
図９Ｂはバストアップ構図の場合であるが、この場合、画面上の或る高さ位置（ｙ座標位置）が理想位置ＩＰとされる。即ち理想位置ＩＰは、ｙ座標値＝Ｈｙとなる位置である。この場合の閾値ｔｈ１（実線），ｔｈ２（破線），ｔｈ３（一点鎖線）は、図示のように理想位置ＩＰからの離間距離が異なる範囲を示すものとなる。例えば閾値ｔｈ１は理想位置ＩＰからｙ方向に±２０ピクセルの範囲、閾値ｔｈ２は理想位置ＩＰからｙ方向に±４０ピクセルの範囲、閾値ｔｈ３は理想位置ＩＰからｙ方向に±６０ピクセルの範囲に、それぞれ相当する値などとされる。 FIG. 9B shows a bust-up composition. In this case, a certain height position (y coordinate position) on the screen is set as the ideal position IP. That is, the ideal position IP is a position where y coordinate value = Hy. In this case, the threshold values th1 (solid line), th2 (broken line), and th3 (one-dot chain line) indicate ranges in which the separation distance from the ideal position IP is different as illustrated. For example, the threshold th1 is in the range of ± 20 pixels in the y direction from the ideal position IP, the threshold th2 is in the range of ± 40 pixels in the y direction from the ideal position IP, and the threshold th3 is in the range of ± 60 pixels in the y direction from the ideal position IP. Each is a corresponding value.
例えばこれらのように、構図に応じて閾値ｔｈ１，ｔｈ２，ｔｈ３が用意されており、この閾値ｔｈ１，ｔｈ２，ｔｈ３のいずれかがユーザ操作等により選択される。そして図４のステップＳ１０２では、自動静止画記憶の際に用いる閾値として、閾値ｔｈ１，ｔｈ２，ｔｈ３のうちで選択された閾値が処理に使用される閾値として設定される。
例えば閾値ｔｈ１が用いられる場合は、図４のステップＳ１０８では、対象フレームのスコアが、閾値ｔｈ１の範囲内に相当するスコアとなっているかどうかが判断される。For example, as described above, threshold values th1, th2, and th3 are prepared according to the composition, and one of the threshold values th1, th2, and th3 is selected by a user operation or the like. In step S102 of FIG. 4, a threshold selected from the thresholds th1, th2, and th3 is set as a threshold used for processing as a threshold used in automatic still image storage.
For example, when the threshold value th1 is used, it is determined in step S108 in FIG. 4 whether the score of the target frame is a score corresponding to the range of the threshold value th1.
従ってスコアは、例えば主要な被写体の中心位置ＣＰについての、各構図における理想位置ＩＰからの距離ｄを表す値として求められる。
例えば顔画像が存在する場合、スコアは理想位置ＩＰの座標と、検出されている顔の中心座標位置との距離から算出することができる。
図９Ａの日の丸構図の場合、理想位置ＩＰの座標は（Ｈｘ，Ｈｙ）である。また顔の中心位置ＣＰの座標を（Ｆｘ，Ｆｙ）とする。この場合のスコアは、
スコア＝（ＳＣｍａｘ）−（√（Ｈｘ−Ｆｘ）2＋（Ｈｙ−Ｆｙ）2） ・・・（式１）
で算出できる。
「ＳＣｍａｘ」はスコアの最高値（満点値）であり、例えば“１００”とする。そして１ピクセル＝１（スコア）とする。
この場合、閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０とする。
理想の構図の場合、スコア＝１００（＝ＳＣｍａｘ）となる。
閾値ｔｈ１が選択されている場合は、スコアが８０〜１００の場合に、そのフレームの画像は閾値条件を満たしていることになる。
また閾値ｔｈ２が選択されている場合は、スコアが６０〜１００の場合に閾値条件を満たしており、閾値ｔｈ３が選択されている場合は、スコアが４０〜１００の場合に閾値条件を満たすことになる。
つまり、閾値ｔｈ１，ｔｈ２，ｔｈ３の選択により、対象フレームが閾値条件を満たすことになる確率（頻度）が変化する。Therefore, for example, the score is obtained as a value representing the distance d from the ideal position IP in each composition with respect to the center position CP of the main subject.
For example, when a face image exists, the score can be calculated from the distance between the coordinates of the ideal position IP and the center coordinate position of the detected face.
In the case of the Hinomaru composition in FIG. 9A, the coordinates of the ideal position IP are (Hx, Hy). The coordinates of the face center position CP are (Fx, Fy). The score in this case is
Score = (SCmax) − (√ (Hx−Fx) 2 + (Hy−Fy) 2 ) (Equation 1)
It can be calculated by
“SCmax” is the highest score (full score value), for example, “100”. One pixel = 1 (score).
In this case, the threshold value th1 = 80, the threshold value th2 = 60, and the threshold value th3 = 40.
In the case of an ideal composition, score = 100 (= SCmax).
When the threshold th1 is selected, when the score is 80 to 100, the image of the frame satisfies the threshold condition.
When the threshold value th2 is selected, the threshold condition is satisfied when the score is 60 to 100, and when the threshold value th3 is selected, the threshold condition is satisfied when the score is 40 to 100. Become.
That is, the probability (frequency) that the target frame will satisfy the threshold condition changes depending on the selection of the thresholds th1, th2, and th3.
日の丸構図についてのスコア算出例を説明する。
図１０Ａは顔画像の向きを表している。図の横方向に顔画像の左右の向きの方向（ＹＡＷ−Ｒ２〜ＹＡＷ−Ｌ２）が異なる場合、図の縦方向に軸回転方向（ＲＯＬＬ−Ｒ１〜ＲＯＬＬ−Ｌ１）が異なる場合について配置して示した。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３で日の丸構図についてのスコアが算出される。従って顔画像が、図１０Ａの破線Ｔで囲った場合のみが対象となる。
図１０Ｂは、理想位置ＩＰと顔画像の中心位置ＣＰの座標が一致している状態を示している。スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として、上述の（式１）で求められる。この図１０Ｂの場合スコア＝１００となる。顔画像が理想位置ＩＰから離れていくほど、スコアは低下することになる。An example of score calculation for the Hinomaru composition will be described.
FIG. 10A shows the orientation of the face image. Arranged when the horizontal direction of the face image (YAW-R2 to YAW-L2) is different in the horizontal direction of the figure, and the axial rotation direction (ROLL-R1 to ROLL-L1) is different in the vertical direction of the figure. Indicated.
In the process of FIG. 5, when the face (subject person) is one and the face is the front, the score for the Hinomaru composition is calculated in step S203. Therefore, only when the face image is surrounded by the broken line T in FIG.
FIG. 10B shows a state where the coordinates of the ideal position IP and the center position CP of the face image match. The score is obtained by (Expression 1) described above as a value indicating whether the coordinates of the center position CP of the face are close to the coordinates of the ideal position IP. In the case of FIG. 10B, the score = 100. As the face image moves away from the ideal position IP, the score decreases.
被写体が一人の場合の三分割構図についてのスコア算出例を説明する。図１１Ａは、図１０Ａと同様に顔の向きを示している。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面ではない場合にステップＳ２０４で三分割構図についてのスコアが算出される。
三分割構図の場合の理想位置は、図１１Ｂに示す理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄとなる。即ちｘ方向の３分割点、ｙ方向の３分割点となる４つの位置である。この場合、顔の向きが、空間が空いている方向に向いていて、顔の中心位置（上述のＣＰ）の座標が理想位置の座標に近いかどうかをスコア化する。
具体的には、顔の向きが図１１Ａの破線Ｔａで囲ったものである場合、顔の中心位置と理想位置ＩＰａとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｂで囲ったものある場合、顔の中心位置と理想位置ＩＰｂとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｃで囲ったものある場合、顔の中心位置と理想位置ＩＰｃとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｄで囲ったものある場合、顔の中心位置と理想位置ＩＰｄとの距離に応じたスコアが（式１）により求められる。An example of score calculation for a three-part composition in the case of a single subject will be described. FIG. 11A shows the face orientation as in FIG. 10A.
In the process of FIG. 5, when the face (subject person) is one person and the face is not the front, the score for the three-part composition is calculated in step S204.
The ideal positions in the case of the three-part composition are ideal positions IPa, IPb, IPc, and IPd shown in FIG. 11B. That is, the four positions are the three division points in the x direction and the three division points in the y direction. In this case, it is scored whether the direction of the face is in the direction in which the space is empty and the coordinates of the center position of the face (CP described above) are close to the coordinates of the ideal position.
Specifically, when the face orientation is surrounded by a broken line Ta in FIG. 11A, a score corresponding to the distance between the center position of the face and the ideal position IPa is obtained by (Equation 1).
When the face orientation is surrounded by the broken line Tb in FIG. 11A, a score corresponding to the distance between the center position of the face and the ideal position IPb is obtained by (Equation 1).
When the face orientation is surrounded by the broken line Tc in FIG. 11A, a score corresponding to the distance between the center position of the face and the ideal position IPc is obtained by (Equation 1).
When the face direction is surrounded by the broken line Td in FIG. 11A, a score corresponding to the distance between the center position of the face and the ideal position IPd is obtained by (Equation 1).
但し、理想位置ＩＰａ又はＩＰｃを用いる場合は、バストアップ以上の顔サイズの場合であると、被写体人物が首の部分でカットされるような構図になるため、顔サイズを判定して、所定以上のサイズの場合はスコア算出を行わないようにしてもよい。
なお、図１１Ｂでは理想位置ＩＰａにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示しているが、顔の向きが破線Ｔａで囲ったものである場合であって、例えばスコアが８０以上となった場合とは、その顔の中心が、図１１Ｂの実線（ｔｈ１）の内に存在する画像であることになる。However, when the ideal position IPa or IPc is used, if the face size is larger than the bust up, the composition is such that the subject person is cut at the neck portion. In the case of the size, score calculation may not be performed.
In FIG. 11B, threshold values th1, th2, and th3 are shown in accordance with the ideal position IPa. However, when the face direction is surrounded by a broken line Ta, for example, the score is 80 or more. Is an image whose center of the face is within the solid line (th1) of FIG. 11B.
全身構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３で全身構図についてのスコアが算出される。
図１２Ａや図１２Ｃに示すように、全身構図の場合の理想位置ＩＰのｘ座標値は中央値であり、ｙ座標値は被写体に応じて変化させる。
例えば、顔画像について、大人、子供、乳幼児を判別して、それに応じて理想位置ＩＰを設定する。
大人の場合、理想位置ＩＰのｙ座標値を、図１２Ａのように、画面上端から顔画像のサイズＳｆに相当する長さだけ下方の位置とする。
子供の場合、理想位置ＩＰのｙ座標値を、図１２Ｃのように、画面上端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ下方の位置とする。
乳幼児の場合は、つかまり立ちを想定し、子供の場合と同様に、画面上端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ下方の位置とする。
但しこれらの場合において、顔画像のサイズＳｆは、画像縦サイズｄｙに対して１０％〜１５％の大きさにある場合とする。顔画像のサイズＳｆが、この１０％〜１５％という範囲に該当しない場合は、例えば全身構図スコアは算出しないようにすることが考えられる。A score calculation example for the whole body composition will be described.
In the process of FIG. 5, when the face (subject person) is one person and the face is the front, the score for the whole body composition is calculated in step S203.
As shown in FIGS. 12A and 12C, the x coordinate value of the ideal position IP in the case of whole body composition is a median value, and the y coordinate value is changed according to the subject.
For example, for the face image, an adult, a child, and an infant are discriminated, and the ideal position IP is set accordingly.
In the case of an adult, the y coordinate value of the ideal position IP is set to a position below the upper end of the screen by a length corresponding to the size Sf of the face image as shown in FIG. 12A.
In the case of a child, the y-coordinate value of the ideal position IP is set to a position below the upper end of the screen by a double length (2Sf) of the face image size Sf as shown in FIG. 12C.
In the case of an infant, it is assumed that the child is caught and, as in the case of a child, is set to a position below the upper end of the screen by a double length (2Sf) of the face image size Sf.
However, in these cases, the size Sf of the face image is assumed to be 10% to 15% with respect to the image vertical size dy. If the size Sf of the face image does not fall within the range of 10% to 15%, for example, it may be considered not to calculate the whole body composition score.
スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として、上述の（式１）で求められる。
なお図１２Ｂ、図１２Ｄでは、理想位置ＩＰにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。例えば全身構図に関するスコアが８０以上となった場合とは、顔の中心が実線（ｔｈ１）の内に存在する画像であることになる。The score is obtained by (Expression 1) described above as a value indicating whether the coordinates of the center position CP of the face are close to the coordinates of the ideal position IP.
In FIGS. 12B and 12D, threshold values th1, th2, and th3 are shown in accordance with the ideal position IP. For example, when the score related to the whole body composition is 80 or more, the face center is within the solid line (th1).
バストアップ構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３でバストアップ構図についてのスコアが算出される。
図１３Ａや図１３Ｃに示すように、バストアップ構図の場合の理想位置ＩＰの座標は、或るｙ座標位置であるが、そのｙ座標値は被写体に応じて変化させる。
例えば、顔画像について、大人、子供、乳幼児を判別して、それに応じて理想位置ＩＰを設定する。
大人の場合又は子供の場合、理想位置ＩＰのｙ座標値を、図１３Ａのように、画面下端から顔画像のサイズＳｆの２．５倍（２．５Ｓｆ）だけ上方の位置とする。
乳幼児の場合は、座った状態やはいはいを想定し、理想位置ＩＰのｙ座標値を、図１３Ｃのように、画面下端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ上方の位置とする。A score calculation example for the bust-up composition will be described.
In the process of FIG. 5, when the face (subject person) is one and the face is the front, the score for the bust-up composition is calculated in step S203.
As shown in FIGS. 13A and 13C, the coordinates of the ideal position IP in the case of the bust-up composition are a certain y coordinate position, but the y coordinate value is changed according to the subject.
For example, for the face image, an adult, a child, and an infant are discriminated, and the ideal position IP is set accordingly.
In the case of an adult or a child, the y-coordinate value of the ideal position IP is set to a position that is 2.5 times (2.5Sf) the size Sf of the face image from the lower end of the screen as shown in FIG. 13A.
In the case of an infant, assuming a sitting state or yes, the y-coordinate value of the ideal position IP is set to a position that is twice as long (2Sf) as the face image size Sf from the bottom of the screen as shown in FIG. 13C. .
但しこれらの場合において、顔画像のサイズＳｆが、画像縦サイズｄｙに対して、大人の場合は２２％〜３０％の大きさ、子供の場合は１５％〜２５％の大きさ、乳幼児の場合は２５％〜３５％の大きさにある場合とする。顔画像のサイズＳｆが、これらの範囲に該当しない場合は、例えばバストアップ構図は算出しないようにすることが考えられる。 However, in these cases, the size Sf of the face image is 22% to 30% for adults, 15% to 25% for children, and infants for the vertical image size dy. Is in the range of 25% to 35%. If the face image size Sf does not fall within these ranges, for example, it may be possible not to calculate the bust-up composition.
スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として求められる。この場合はｙ座標の差分を考えれば良いため、例えば
スコア＝（ＳＣｍａｘ）−｜（Ｈｙ−Ｆｙ）｜ ・・・（式２）
で求めれば良い。
なお図１３Ｂ、図１３Ｄでは、理想位置ＩＰにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。例えば全身構図に関するスコアが８０以上となった場合とは、顔の中心が実線（ｔｈ１）のｙ方向範囲内に存在する画像であることになる。The score is obtained as a value indicating whether the coordinates of the center position CP of the face are close to the coordinates of the ideal position IP. In this case, since it is sufficient to consider the difference in the y coordinate, for example, score = (SCmax) − | (Hy−Fy) |
Find it in
In FIGS. 13B and 13D, threshold values th1, th2, and th3 are shown in accordance with the ideal position IP. For example, the case where the score relating to the whole body composition is 80 or more means that the face center is in the y-direction range of the solid line (th1).
被写体が二人の場合の三分割構図についてのスコア算出例を説明する。図１４Ａは、図１０Ａと同様に顔の向きを示している。
図５の処理では、顔（被写体人物）が二人であり、かつ顔が正面の場合にステップＳ２０７で三分割構図についてのスコアが算出される。
図１４Ｂに三分割構図の場合の理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄを示しているが、被写体人物が二人の場合は、それぞれの顔が、それぞれ異なる理想位置（ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄ）に近い場合にスコアが高い値となるようにする。
例えば図では二人の顔の中心位置ＣＰ１，ＣＰ２が、理想位置ＩＰｄ、ＩＰｂに一致しているが、このような場合に、満点値“１００”となるようにする。
具体的には、中心位置ＣＰ１と中心位置ＣＰ１が近い或る理想位置ＩＰとについて上記（式１）でスコアを算出し、また中心位置ＣＰ２と中心位置ＣＰ２が近い他の理想位置ＩＰとについて上記（式１）でスコアを算出する。そして２つのスコアの平均値を、この場合のスコアとすることが考えられる。An example of score calculation for a three-part composition in the case of two subjects will be described. FIG. 14A shows the face orientation as in FIG. 10A.
In the process of FIG. 5, when there are two faces (subjects) and the face is the front, the score for the three-part composition is calculated in step S207.
FIG. 14B shows ideal positions IPa, IPb, IPc, and IPd in the case of a three-part composition. When there are two subject persons, each face has a different ideal position (IPa, IPb, IPc, IPd). ) So that the score is high.
For example, in the figure, the center positions CP1 and CP2 of the faces of the two persons coincide with the ideal positions IPd and IPb. In such a case, the full score value is set to “100”.
Specifically, the score is calculated by the above (Equation 1) for the center position CP1 and a certain ideal position IP that is close to the center position CP1, and the center position CP2 is calculated for the other ideal position IP that is close to the center position CP2. A score is calculated by (Formula 1). The average value of the two scores can be considered as the score in this case.
この場合、正面顔であることを条件としているため、二人の顔の向きが図１４Ａの破線Ｔで囲ったものである場合にスコアが求められることになる。
なお、二人の顔の中心位置ＣＰ１、ＣＰ２が、理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄのうちの同じ理想位置に近い場合は、適切な三分割構図とはならないためスコア算出を行わないようにすることが考えられる。
図１４Ｂでは参考のため、理想位置ＩＰｃにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。In this case, since it is a condition that they are front faces, the score is obtained when the orientations of the faces of the two people are surrounded by a broken line T in FIG. 14A.
When the center positions CP1 and CP2 of the faces of the two people are close to the same ideal position among the ideal positions IPa, IPb, IPc, and IPd, the score is not calculated because the composition is not properly divided into three. It is possible to do.
In FIG. 14B, threshold values th1, th2, and th3 are shown in accordance with the ideal position IPc for reference.
被写体が二人の場合の対角線構図についてのスコア算出例を説明する。図１５Ａに対角線構図の場合の理想傾きＩＡを示している。対角線構図の場合、理想位置ＩＰにかえて理想傾きＩＡを用いる。画像の全画角の傾きを理想傾きＩＡとする。
図５の処理では、顔（被写体人物）が二人であり、かつ顔が正面の場合にステップＳ２０７で対角線構図についてのスコアが算出される。An example of score calculation for a diagonal composition when there are two subjects will be described. FIG. 15A shows an ideal inclination IA in the case of a diagonal composition. In the case of a diagonal composition, an ideal inclination IA is used instead of the ideal position IP. The inclination of the entire angle of view of the image is an ideal inclination IA.
In the process of FIG. 5, when there are two faces (subjects) and the face is the front, a score for the diagonal composition is calculated in step S207.
図１５Ａでは、二人の被写体人物の顔の中心位置ＣＰ１，ＣＰ２がそれぞれ対角線上にある場合を示している。これは、スコアが満点値“１００”となる場合である。
スコアは、例えば２つの顔の中心位置ＣＰ１，ＣＰ２の座標の傾きを求め、これを対角線としての理想位置ＩＰの傾きと比較する。
例えば画像をＶＧＡサイズ（６４０×３６０画素）とする場合、理想傾きＩＡ＝６４０／３６０＝１．８となる。
そして中心位置ＣＰ１，ＣＰ２を結ぶ線の傾きを求め、図１５Ｂのようにスコアに換算する。例えば中心位置ＣＰ１，ＣＰ２を結ぶ線の傾きが１．８であればスコア＝１００とし、１．８から離れるほど、スコアが小さくなるようにする。FIG. 15A shows a case where the center positions CP1 and CP2 of the faces of two subject persons are on the diagonal lines. This is a case where the score is a perfect score “100”.
For the score, for example, the inclination of the coordinates of the center positions CP1 and CP2 of the two faces is obtained, and this is compared with the inclination of the ideal position IP as a diagonal line.
For example, when the image is VGA size (640 × 360 pixels), the ideal inclination IA = 640/360 = 1.8.
Then, the inclination of the line connecting the center positions CP1 and CP2 is obtained and converted into a score as shown in FIG. 15B. For example, if the slope of the line connecting the center positions CP1 and CP2 is 1.8, the score is 100, and the score decreases as the distance from 1.8 increases.
なお図１５Ｂに理想傾きＩＡ＝１．８とした場合の閾値ｔｈ１，ｔｈ２，ｔｈ３との関係を示している。上述のように閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０などとされるが、その８０，６０，４０に相当する傾きの値が、スコアを介して対応づけられる。つまり理想傾きＩＡに対する、中心位置ＣＰ１，ＣＰ２の傾きの差分がスコア（最大１００）に換算され、そのスコアに対する基準として、閾値ｔｈ１，ｔｈ２，ｔｈ３が用いられる。 FIG. 15B shows the relationship with the thresholds th1, th2, th3 when the ideal inclination IA = 1.8. As described above, the threshold value th1 = 80, the threshold value th2 = 60, the threshold value th3 = 40, and the like. The slope values corresponding to 80, 60, and 40 are associated through the score. That is, the difference between the inclinations of the center positions CP1 and CP2 with respect to the ideal inclination IA is converted into a score (maximum 100), and threshold values th1, th2, and th3 are used as references for the score.
被写体が三人以上の場合の複数人構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が三人以上あり、かつ各被写体人物の顔が正面の場合にステップＳ２０９で複数人構図についてのスコアが算出される。An example of score calculation for a multiple-person composition when there are three or more subjects will be described.
In the process of FIG. 5, when there are three or more faces (subject persons) and the faces of the individual persons are front faces, a score for a multiple person composition is calculated in step S209.
複数人構図は、顔三人以上で正面顔の場合に、三角構図の重心の配置になるような理想位置ＩＰの座標を設定する。
例えば３人の場合は、真中の顔の中心位置の座標が理想位置ＩＰの座標に近いかどうかでスコア化する。
図１６Ａ、図１６Ｂのように、真ん中の顔Ｕ３以外の、顔Ｕ１，Ｕ２の中心位置ＣＰ１，ＣＰ２を頂点とした三角形ＴＲを考え、その三角形ＴＲの重心座標を理想位置ＩＰ２とする。そして真ん中の顔Ｕ３の中心位置ＣＰ３と理想位置ＩＰについて、上記（式１）によりスコアを算出する。
被写体人物が４人以上の場合は、中にいる人の重心座標を求め、あとは３人構図と同じ考えとすればよい。In the multi-person composition, the coordinates of the ideal position IP are set so that the center of gravity of the triangular composition is arranged in the case of three or more faces and a front face.
For example, in the case of three people, scoring is performed based on whether the coordinates of the center position of the middle face are close to the coordinates of the ideal position IP.
As shown in FIGS. 16A and 16B, a triangle TR having apexes at the center positions CP1 and CP2 of the faces U1 and U2 other than the center face U3 is considered, and the barycentric coordinate of the triangle TR is set as an ideal position IP2. Then, the score is calculated by the above (Equation 1) for the center position CP3 and the ideal position IP of the middle face U3.
When there are four or more subject persons, the center of gravity coordinates of the person in the interior are obtained, and the rest of the concept is the same as the composition of three persons.
続いて図４のステップＳ１０６の風景構図判定の処理を説明する。
制御部３０は、図４のステップＳ１０４で対象フレームに顔画像が存在しないと判断した場合にステップＳ１０６の風景構図判定処理に進む。風景構図判定処理例を図６に示す。Next, the landscape composition determination process in step S106 of FIG. 4 will be described.
When the
図６のステップＳ３０１で制御部３０は、対象フレームの画像の画像解析によるライン検出結果を確認する。即ち対象フレームについての画像解析部２７による画像内の輝度や色などのエッジ検出結果を参照し、各種ラインの検出結果を確認する。そして以降の処理で、存在するラインの種別に応じてスコア算出を行っていく。
In step S301 of FIG. 6, the
画像内に水平線或いは垂直線が検出された場合、制御部３０はステップＳ３０２からＳ３０３に進み、２分割構図、３分割構図についてのスコア算出を行う。
画像内に対角線が検出された場合、制御部３０はステップＳ３０４からＳ３０５に進み、対角線構図についてのスコア算出を行う。
画像内に三角線が検出された場合、制御部３０はステップＳ３０６からＳ３０７に進み、三角構図についてのスコア算出を行う。
画像内に曲線が検出された場合、制御部３０はステップＳ３０８からＳ３０９に進み、曲線構図についてのスコア算出を行う。
画像内に消失点が検出された場合、制御部３０はステップＳ３１０からＳ３１１に進み、消失点構図についてのスコア算出を行う。
さらに制御部はステップＳ３１２で印象構図についてのスコア算出を行う。When a horizontal line or a vertical line is detected in the image, the
When a diagonal line is detected in the image, the
If a triangular line is detected in the image, the
When a curve is detected in the image, the
If a vanishing point is detected in the image, the
Further, in step S312, the control unit calculates a score for the impression composition.
各スコア算出について説明する。
まずステップＳ３０３の、水平線或いは垂直線が検出された場合の２分割構図、３分割構図についてのスコア算出を図１７で説明する。
図１７Ａは、水平線Ｅ１が検出された画像の例、図１７Ｂは水平線Ｅ２と垂直線Ｅ３が検出された画像の例である。
例えばこのような画像に対し、図１７Ｃ〜図１７Ｈのようなテンプレートとのマッチングを行い、検出されたラインの長さと位置が理想ラインに近いかどうかをスコア化する。
図１７Ｃは２分割構図としての水平線の理想ラインＩＬ１を示す。
図１７Ｄは２分割構図としての垂直線の理想ラインＩＬ２を示す。
図１７Ｅは３分割構図としての水平線の上方側の理想ラインＩＬ３を示す。
図１７Ｆは３分割構図としての水平線の下方側の理想ラインＩＬ４を示す。
図１７Ｇは３分割構図としての垂直線の左側の理想ラインＩＬ５を示す。
図１７Ｈは３分割構図としての垂直線の右側の理想ラインＩＬ６を示す。
これらを画像における水平線、垂直線の長さ、位置と比較する。
例えば図１７Ａの画像の場合、水平線Ｅ１が、図１７Ｅの理想ラインＩＬ３に近いことから、３分割構図に関して高いスコアが得られることになる。２分割構図に関しては、図１７Ｃの理想ラインＩＬ３とは比較的離れているため、スコアは低くなる。
また図１７Ｂの画像の場合、水平線Ｅ２が、図１７Ｆの理想ラインＩＬ４に近いことから、３分割構図に関して高いスコアが得られる。また２分割構図に関しては、垂直線Ｅ３が図１７Ｄの理想ラインＩＬ２に近いためスコアは高くなる。Each score calculation will be described.
First, the score calculation for the two-split composition and the three-split composition when a horizontal line or a vertical line is detected in step S303 will be described with reference to FIG.
FIG. 17A is an example of an image in which the horizontal line E1 is detected, and FIG. 17B is an example of an image in which the horizontal line E2 and the vertical line E3 are detected.
For example, such an image is matched with a template as shown in FIGS. 17C to 17H to score whether the length and position of the detected line are close to the ideal line.
FIG. 17C shows a horizontal ideal line IL1 as a two-part composition.
FIG. 17D shows a vertical ideal line IL2 as a two-part composition.
FIG. 17E shows an ideal line IL3 above the horizontal line as a three-part composition.
FIG. 17F shows an ideal line IL4 below the horizontal line as a three-part composition.
FIG. 17G shows an ideal line IL5 on the left side of the vertical line as a three-part composition.
FIG. 17H shows an ideal line IL6 on the right side of the vertical line as a three-part composition.
These are compared with the length and position of the horizontal and vertical lines in the image.
For example, in the case of the image of FIG. 17A, since the horizontal line E1 is close to the ideal line IL3 of FIG. 17E, a high score is obtained for the three-part composition. Regarding the two-part composition, the score is low because it is relatively far from the ideal line IL3 in FIG. 17C.
In the case of the image of FIG. 17B, since the horizontal line E2 is close to the ideal line IL4 of FIG. 17F, a high score is obtained for the three-part composition. Regarding the two-part composition, the score is high because the vertical line E3 is close to the ideal line IL2 in FIG. 17D.
なお水平線、垂直線ともに検出されたラインがそれぞれ１本であることをスコア算出の条件とすることが考えられる。
またスコアに関しては、水平線で算出したスコアと垂直線で算出したスコアを合算したり、平均値をとることも考えられる。It can be considered that the score calculation condition is that one line is detected for each of the horizontal line and the vertical line.
As for the score, it is also possible to add the score calculated with the horizontal line and the score calculated with the vertical line, or take an average value.
ステップＳ３０５の対角線構図についてのスコア算出、及びステップＳ３０９の曲線構図についてのスコア算出の例を図１８で説明する。
図１８Ａは、対角線Ｅ１０が検出された画像の例である。また図１８Ｂは曲線Ｅ１１が検出された画像の例である。
図１８Ｃは対角線構図に用いる理想ラインＩＬ１０、ＩＬ１１を示している。
図１８Ｄは曲線構図に用いる理想ラインＩＬ１２を示している。Examples of score calculation for the diagonal composition in step S305 and score calculation for the curve composition in step S309 will be described with reference to FIG.
FIG. 18A is an example of an image in which a diagonal line E10 is detected. FIG. 18B is an example of an image in which the curve E11 is detected.
FIG. 18C shows ideal lines IL10 and IL11 used for the diagonal composition.
FIG. 18D shows an ideal line IL12 used for the curve composition.
画像内で検出された対角線Ｅ１０については、図１８Ｃのテンプレートと比較し、検出された対角線Ｅ１０の長さと位置が理想ラインＩＬ１０に近いかどうかでスコア化する。上述の二人の人物の対角線構図の場合のように、傾きの近似度を用いてスコア化してもよい。
また画像内で検出された曲線Ｅ１１については、図１８Ｄのテンプレートと比較し、検出された曲線Ｅ１０の長さと位置が理想ラインＩＬ１０に近いかどうかでスコア化する。
なお対角線として検出されたラインが１本であることを対角線構図のスコア算出の条件とすることが考えられる。同様に曲線として検出されたラインが１本であることを曲線構図のスコア算出の条件とすることが考えられる。The diagonal line E10 detected in the image is compared with the template of FIG. 18C and scored based on whether the length and position of the detected diagonal line E10 are close to the ideal line IL10. As in the case of the diagonal composition of the two persons described above, the score may be scored using the degree of approximation of the inclination.
Further, the curve E11 detected in the image is compared with the template of FIG. 18D and scored based on whether the length and position of the detected curve E10 are close to the ideal line IL10.
It can be considered that the condition for calculating the score of the diagonal composition is that one line is detected as a diagonal line. Similarly, it can be considered that the condition for calculating the score of the curve composition is that one line is detected as a curve.
ステップＳ３０７の三角構図についてのスコア算出例を図１９で説明する。
図１９Ａは、三角線Ｅ２０が検出された画像の例である。
図１９Ｂは三角構図に用いる理想ラインＩＬ２０、ＩＬ２１を示している。
画像内で検出された三角線Ｅ２０については、図１９Ｂのテンプレートと比較し、検出された三角線Ｅ２０の長さと位置が理想ラインＩＬ２０又はＩＬ２１に近いかどうかでスコア化する。
２本のラインで三角線が形成されている場合に、このスコア算出を行う。An example of score calculation for the triangular composition in step S307 will be described with reference to FIG.
FIG. 19A is an example of an image in which a triangular line E20 is detected.
FIG. 19B shows ideal lines IL20 and IL21 used for the triangular composition.
The triangular line E20 detected in the image is compared with the template of FIG. 19B and scored based on whether the length and position of the detected triangular line E20 are close to the ideal line IL20 or IL21.
This score is calculated when a triangular line is formed by two lines.
ステップＳ３１１の消失点構図についてのスコア算出例を図２０で説明する。
図２０Ａは、２つのラインＥ３０，Ｅ３１が検出された画像の例である。
図２０Ｂは理想ラインＩＬ３０，ＩＬ３１を示したテンプレートである。
図２０Ｃは、中心としての理想位置ＩＰｃｔと、三分割点としての理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄを示している。
この場合、画像内で検出された２本のラインＥ３０，Ｅ３１の交点、つまり画像上のラインの消失点が理想位置（ＩＰｃｔ，ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄ）の座標に近いかどうかでスコア化する。An example of score calculation for the vanishing point composition in step S311 will be described with reference to FIG.
FIG. 20A is an example of an image in which two lines E30 and E31 are detected.
FIG. 20B is a template showing ideal lines IL30 and IL31.
FIG. 20C shows an ideal position IPct as the center and ideal positions IPa, IPb, IPc, and IPd as the three division points.
In this case, scoring is performed based on whether the intersection of the two lines E30 and E31 detected in the image, that is, the vanishing point of the line on the image is close to the coordinates of the ideal position (IPct, IPa, IPb, IPc, IPd). To do.
ステップＳ３１２の印象構図スコア算出としては、制御部３０は例えば図７のような処理を行う。
図７のステップＳ３２０で制御部３０は、対象フレームの色相判定を行う。これは例えば画像解析部２７の色の解析結果を参照して、上位２色（第１色と第２色）を確認し、それらが補色の関係にあるか否かを判定する。例えば第１色と第２色が、「赤と青緑」「紫と黄緑」「黄色と青紫」など、色相環で正反対に位置する関係の色の組合せであるか否かである。
そして補色の関係にある場合、制御部３０はステップＳ３２１からＳ３２２に進み、補色のスコアを算出する。例えば第１色と第２色の画素数の比に応じてスコアを求める。As the impression composition score calculation in step S312, the
In step S320 in FIG. 7, the
If there is a complementary color relationship, the
図２１Ａは、第１色と第２色の比に応じたスコアの例を示している。第１色と第２色が５０：５０であるときにスコア＝１００とし、いずれかの比率が大きくなるほど、スコアが低下するようにする。つまり第１色と第２色のバランスに応じたスコアとする。
なお図２１Ａでは、第１色と第２色の比率と閾値ｔｈ１，ｔｈ２，ｔｈ３との関係を示している。上述のように閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０などとされるが、その８０，６０，４０に相当する比の値がスコアを介して対応づけられる。FIG. 21A shows an example of the score according to the ratio between the first color and the second color. The score is set to 100 when the first color and the second color are 50:50, and the score decreases as any ratio increases. That is, the score is set according to the balance between the first color and the second color.
FIG. 21A shows the relationship between the ratio between the first color and the second color and the threshold values th1, th2, and th3. As described above, the threshold value th1 = 80, the threshold value th2 = 60, the threshold value th3 = 40, and the like. The ratio values corresponding to 80, 60, and 40 are associated through the score.
図７のステップＳ３２３では制御部３０は、色相、彩度、明度の判定を行う。これは上位２色（第１色と第２色）を確認し、それらが友好色の関係にあるか否かを判定するものである。例えば第１色と第２色が「赤と黒」「青と黒」「緑と黒」「青と白」「緑と白」「赤と白」などの関係にあれば、友好色の関係と判断する。
そして友好色の関係にある場合、制御部３０はステップＳ３２４からＳ３２５に進み、友好色のスコアを算出する。例えば第１色と第２色の画素数の比を、補色の場合と同様に図２１Ａのようにスコアに換算する。In step S323 in FIG. 7, the
If the relationship is friendship color, the
図７のステップＳ３２６で制御部３０は輝度判定を行う。例えば判別分析法などを用いて輝度の分離具合を計測する。そしてコントラストの強弱を判定する。そしてステップＳ３２７でコントラストについてのスコアを算出する。
図２１Ｂ、図２１Ｃはそれぞれ或る画像についての輝度のヒストグラムを示している。例えば図２１Ｂはコントラストの強い画像、図２１Ｃはコントラストの弱い画像の場合である。
スコア算出では、コントラストが強いかどうかという観点と、ヒストグラムのバランス（暗部／明部が５０／５０）に近いかどうかという観点で数値化してスコアを求める。In step S326 in FIG. 7, the
FIG. 21B and FIG. 21C respectively show luminance histograms for a certain image. For example, FIG. 21B shows an image with a high contrast, and FIG. 21C shows an image with a low contrast.
In the score calculation, the score is obtained by quantifying from the viewpoint of whether the contrast is strong and whether it is close to the balance of the histogram (dark / bright part is 50/50).
以上、人物構図判定、風景構図判定について具体例を述べてきたが、人物構図についてのスコア算出や風景構図についてのスコア算出の例はさらに多様に考えられる。
図４の処理例では、対象フレームに顔が存在するか否かで、人物構図判定と風景構図判定のいずれかが行われるようにしたが、このような処理に限らない。例えば対象フレームに顔が存在する場合に、人物構図判定（Ｓ１０５）と風景構図判定（Ｓ１０６）の両方が実行されるようにしてもよい。
また、図４の処理例では、被写体検出の一例として人の顔を検出することを前提としているが、人物の顔以外の検出、例えば、犬猫顔検出、花検出、料理検出、物体認識などを行うようにし、それらの検出・認識に応じた構図判定及びスコア算出を行うようにすることも想定される。
Specific examples of the person composition determination and the landscape composition determination have been described above, but various examples of score calculation for the person composition and score calculation for the landscape composition can be considered.
In the processing example of FIG. 4, either the person composition determination or the landscape composition determination is performed depending on whether or not a face exists in the target frame, but the present invention is not limited to such a process. For example, when a face exists in the target frame, both the person composition determination (S105) and the landscape composition determination (S106) may be executed.
In the processing example of FIG. 4, it is assumed that a human face is detected as an example of subject detection, but detection other than the human face, for example, dog-cat face detection, flower detection, dish detection, object recognition, etc. It is also assumed that composition determination and score calculation according to detection / recognition thereof are performed.
［３−３：静止画記憶判定／実行］
図４のステップＳ１０８では、静止画記憶判定／実行の処理が行われる。
ここでは制御部３０は、以上のように判定した構図に応じて算出したスコアを用いて、処理対象のフレームについて静止画として記憶するフレームであるか否かを判定するとともに、静止画記憶するべきフレームであると判定した場合は、記憶動作を実行させる制御を行う。
このステップＳ１０８の処理を図８に詳細に示す。[3-3: Still image storage determination / execution]
In step S108 of FIG. 4, a still image storage determination / execution process is performed.
Here, the
The processing in step S108 is shown in detail in FIG.
或る対象フレームについてステップＳ１０８に進んだ場合、制御部３０はまず図８のステップＳ４００で、その対象フレームについて求められたスコアを確認し、その中からマックススコア（最も値の大きいスコア）を選択する。もちろんスコアが１つしか算出されていなければ、それをマックススコアとする。
上述のステップＳ１０５やＳ１０６で、今回の対象フレームについて１又は複数のスコアが求められる。例えば顔が存在する場合に全身構図のスコア、日の丸構図のスコア、バストアップ構図のスコアという３つのスコアが算出される場合がある。また顔が存在しない場合に、曲線構図のスコア、友好色のスコアとして２つのスコアが算出される場合がある。
このように１又は複数のスコアが算出されていた場合は、そのうちで最大値のスコアを選択する。そしてステップＳ４０１からＳ４０２に進む。
なお、上述の説明から理解されるように、対象フレームについてスコアが１つも算出されない場合もある。対象フレームについてスコアが算出されなかった場合は、ステップＳ４０１からＳ４０５に進んで、比較用バッファリングスコア（以下、「Ｂｕｆスコア」）をクリアして図８の処理（図４のステップＳ１０８）を終える。Ｂｕｆスコアとは、図８の処理で現在のマックススコアと比較するスコアを格納したものである。When the process proceeds to step S108 for a certain target frame, the
In steps S105 and S106 described above, one or more scores are obtained for the current target frame. For example, when a face is present, there are cases where three scores are calculated: a whole body composition score, a Hinomaru composition score, and a bust-up composition score. When there is no face, there are cases where two scores are calculated as the score of the curve composition and the score of the friendly color.
When one or a plurality of scores are calculated as described above, the maximum score is selected. Then, the process proceeds from step S401 to S402.
As can be understood from the above description, there is a case where no score is calculated for the target frame. If the score is not calculated for the target frame, the process proceeds from step S401 to S405, the comparison buffering score (hereinafter referred to as “Buf score”) is cleared, and the process in FIG. 8 (step S108 in FIG. 4) ends. . The Buf score stores a score to be compared with the current max score in the process of FIG.
ステップＳ４０２では、マックススコアとして選択されたスコア種別が、前回の対象フレームについてマックススコアとして選択されたスコア種別と異なるか否かを確認する。種別とは、例えば日の丸構図、バストアップ構図、全身構図・・・など、上述のようにスコア算出の基準となる構図の種別のことである。このスコア種別の変化を確認するのは、Ｂｕｆスコアと比較して、或る種別のスコアとしてのピーク値を判定しているためである。
スコア種別の変化があった場合は、制御部３０はステップＳ４０２からＳ４０３に進み、Ｂｕｆスコアをクリアする。
また制御部３０は、種別に応じた閾値設定を行う。これは上述の閾値ｔｈ１，ｔｈ２，ｔｈ３の選択ではなく、閾値自体の値の設定である。閾値ｔｈ１が用いられる場合（図４のステップＳ１０２参照）でいえば、例えば三分割構図のスコアと、曲線構図のスコアとで閾値ｔｈ１としての値を変えるような場合である。例えば日の丸構図や三分割構図では閾値ｔｈ１＝８０とし、曲線構図では閾値ｔｈ１＝８５とするような例である。
但し、全てのスコア種別につき、同じ値を用いるのであれば、この閾値設定は行う必要はない。In step S402, it is confirmed whether or not the score type selected as the max score is different from the score type selected as the max score for the previous target frame. The type is a type of composition that serves as a reference for score calculation as described above, such as Hinomaru composition, bust-up composition, whole-body composition, and so on. The change in the score type is confirmed because the peak value as a score of a certain type is determined in comparison with the Buf score.
When there is a change in the score type, the
Further, the
However, if the same value is used for all score types, this threshold setting need not be performed.
制御部３０はステップＳ４０４でマックススコアと閾値を比較する。図４のステップＳ１０２で閾値ｔｈ１が用いられるものと設定された場合は、マックススコアと閾値ｔｈ１を比較する。
マックススコアが閾値を越えていない場合は、今回の対象フレームは閾値条件を満たしていないとし、制御部３０はステップＳ４０５でＢｕｆスコアをクリアして図８の処理を終える。これは今回の対象フレームは、スコア算出を行ったいずれの構図についても該当性が低く（閾値で設定した程度の該当性を有しない）、構図としての評価が比較的低いため、静止画記憶は行わないと判断する場合となる。In step S404, the
If the maximum score does not exceed the threshold, it is determined that the current target frame does not satisfy the threshold condition, and the
マックススコアが閾値ｔｈ１を越えている場合、今回の対象フレームは閾値条件を満たしたものとして、制御部３０はステップＳ４０６以降で他の条件判定を行う。
ステップＳ４０６で制御部３０は、ピーク判定のためにマックススコアとＢｕｆスコアを比較する。もし、マックススコア＜Ｂｕｆスコアでなければ、ステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。
マックススコア＜Ｂｕｆスコアであれば、今回の対象フレームが或る構図についてのスコア（マックススコア）がピーク近辺の値になっていると判断する。そこで、今回のフレームはピーク近辺のスコアを有するものとして、ピーク値近傍条件を満たしたと判断する。When the maximum score exceeds the threshold value th1, it is determined that the current target frame satisfies the threshold condition, and the
In step S406, the
If the maximum score is smaller than the Buf score, it is determined that the score (maximum score) for a certain composition of the current target frame has a value near the peak. Therefore, it is determined that the current frame has a score near the peak and the peak value vicinity condition is satisfied.
例えば連続する対象フレームについて、バストアップ構図のスコアが連続してマックススコアとなったとする。例えば６個の対象フレームのマックススコアがバストアップ構図のスコアであり、その値が８５→８６→８６→９０→９２→９１と変遷したとする。この場合、各対象フレームの処理の時点で、Ｂｕｆスコアが８５→８６→８６→９０→９２と更新され、６番目の対象フレームについての図８の処理の際に、ステップＳ４０６でマックススコア（９１）＜Ｂｕｆスコア（９２）となる。従って、６番目の対象フレームはピーク直後のスコアであると推定でき、この対象フレームはスコアがピーク近辺となっているという条件を満たすと判断する。 For example, suppose that the score of a bust-up composition becomes a maximum score continuously for consecutive target frames. For example, it is assumed that the maximum score of six target frames is the score of the bust-up composition, and the value has changed from 85 → 86 → 86 → 90 → 92 → 91. In this case, at the time of processing of each target frame, the Buf score is updated as 85 → 86 → 86 → 90 → 92, and in the process of FIG. 8 for the sixth target frame, the maximum score (91 ) <Buf score (92). Therefore, it can be estimated that the sixth target frame has a score immediately after the peak, and this target frame is determined to satisfy the condition that the score is near the peak.
ピーク近辺のスコアであると判定した場合、制御部３０はステップＳ４０７で、今回の対象フレームが注目被写体にフォーカスが合っているかどうかを判断する。例えば制御部３０は画像解析部２７で抽出した注目被写体、例えば人物や顔などについて、フォーカス処理部２８の処理情報を確認することで、フォーカス状態を認識できる。
もしフォーカスが合っていないものである場合、ステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。つまりフォーカスの合っていないフレームは静止画記憶に適さないと判断する。If it is determined that the score is near the peak, in step S407, the
If it is not in focus, the value of the max score is substituted for the Buf score in step S408, and the process of FIG. That is, it is determined that an out-of-focus frame is not suitable for still image storage.
フォーカスが合っていると判断したときは、制御部３０はステップＳ４０９で注目被写体が動いている被写体であるか（動的被写体）を判断する。動的被写体であるか否かは画像解析部２７が連続する各フレームの画像における主要な被写体の位置変動を解析することで判断できるため、制御部３０は画像解析部２７による解析結果を確認すれば良い。
なお、ここでいう動的被写体とは、人物や動物、或いは自動車、列車等の動いている可能性のある被写体を指すのではなく、実際に当該フレームの撮像時に動いている被写体を指すものである。つまり動いている過程の被写体が撮像されたフレームであるか否かを判断する。If it is determined that the subject is in focus, the
Here, the dynamic subject does not indicate a subject that may be moving, such as a person, an animal, a car, or a train, but a subject that is actually moving at the time of imaging the frame. is there. That is, it is determined whether or not the moving subject is an imaged frame.
注目被写体が動的被写体ではない場合は、制御部３０はステップＳ４０９からＳ４１１に進み、今回の対象フレームの画像を静止画として記憶させる制御を行う。
例えば制御部３０は、デジタル信号処理部２０に対して今回のフレームの画像データを指定し、所定のエンコード処理や必要な解像度変換等を実行させ、記憶部１５で静止画データとして記録媒体に記憶させる。If the target subject is not a dynamic subject, the
For example, the
注目被写体が動的被写体であるときは、その注目被写体の画像がブレている可能性がある。そこで制御部３０はステップＳ４０９からＳ４１０に進み、対象フレームが、イメージャ１２のシャッタスピードが焦点距離分の１秒よりも速い状態で撮像されたものであるか否かを判断する。
シャッタスピードが焦点距離分の１秒より速やければ、動的被写体がブレないで撮像されている可能性が高いため、制御部３０はステップＳ４１１に進み、今回の対象フレームについて静止画として記憶させる制御を行う。
一方、シャッタスピードが焦点距離分の１秒より遅い場合は、ブレた画像となっている可能性が高いため、静止画として記憶すべきものとはせず、制御部３０はステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。If the subject of interest is a dynamic subject, the image of the subject of interest may be blurred. Therefore, the
If the shutter speed is faster than 1 second corresponding to the focal length, there is a high possibility that the dynamic subject is captured without blurring. Therefore, the
On the other hand, when the shutter speed is slower than 1 second corresponding to the focal length, there is a high possibility that the image is blurred, so that the image is not to be stored as a still image, and the
以上の図８の処理により、対象フレームについては、マックススコアが閾値条件を満たした上で、ピーク値近傍と推定され、また注目被写体にフォーカスが合っており、さらにブレのないと推定される場合（動いている過程の画像を含んでいないか、含んでいたとしてもシャッタスピードが十分速い場合）に、静止画として自動的に記憶されるものとなる。
なお、対象フレームがステップＳ４０６でピーク値近傍と判断されても、ステップＳ４０７、Ｓ４１０の条件を満たさなかった場合は、Ｂｕｆスコアが更新される。このため、実際にステップＳ４０６，Ｓ４０７，Ｓ４０９又はＳ４１０の条件を満たすフレームでも、閾値条件を満たす範囲でピーク値からは多少離れたスコアになっているものが静止画記憶される場合もありえる。従って、少なくともピーク後のフレームであって、フォーカスぼけやブレのないもののうちで、ピーク値に近いフレームを静止画として記憶するという考え方となる。
これに対して、ステップＳ４０７で注目被写体にフォーカスが合っていないと判断される場合や、動的被写体が存在しシャッタスピードが十分速いものではないと判断されたときは、ステップＳ４０８のＢｕｆスコアの更新は行わないようにすることも考えられる。このようにすれば、実際にピーク値近辺の画像が静止画記憶の対象となるようにすることもできる。
With the processing in FIG. 8 described above, for the target frame, the maximum score is estimated to be near the peak value after satisfying the threshold condition, and the subject of interest is in focus, and it is estimated that there is no blurring. When the moving image is not included (or the shutter speed is sufficiently high even if included), the image is automatically stored as a still image.
Even if the target frame is determined to be near the peak value in step S406, if the conditions in steps S407 and S410 are not satisfied, the Buf score is updated. For this reason, even a frame that actually satisfies the conditions of steps S406, S407, S409, or S410 may be stored as a still image having a score slightly different from the peak value within a range that satisfies the threshold condition. Therefore, it is an idea to store a frame close to the peak value as a still image among at least the frames after the peak and having no focus blur or blur.
On the other hand, if it is determined in step S407 that the subject of interest is not in focus, or if it is determined that there is a dynamic subject and the shutter speed is not sufficiently high, the Buf score of step S408 is determined. It is possible to avoid updating. In this way, it is possible to actually set an image near the peak value as a target for still image storage.
［３−４：表示例］
図４のステップＳ１０７での構図表示制御について説明する。
このステップＳ１０７では制御部３０は表示制御部３０ｄとしての機能により、上述のように自動静止画記憶が行われる際に、ユーザに対して、なるべく良い構図の静止画が自動記憶されるようにガイドする表示を実行させる。[3-4: Display example]
The composition display control in step S107 in FIG. 4 will be described.
In step S107, the
被写体人物を撮像している場合の例で説明する。
図２２、図２３、図２４は表示部３４での表示例を示している。イメージャ１２での撮像実行中であり、表示部３４ではスルー画が表示されているとする。
まず図２２、図２３は、スルー画に構図情報（中心位置ＣＰや閾値情報）を重畳表示させる例である。
図２２Ａは閾値ｔｈ１が選択されている場合であり、例えば日の丸構図における理想位置ＩＰと、その理想位置ＩＰに対して閾値ｔｈ１を示す枠Ｗｔｈ１が表示される例である。
図２２Ｂは閾値ｔｈ２が選択されている場合であり、同様に理想位置ＩＰに対して閾値ｔｈ２を示す枠Ｗｔｈ２が表示される例である。
図２２Ｃは閾値ｔｈ３が選択されている場合であり、同様に理想位置ＩＰに対して閾値ｔｈ３を示す枠Ｗｔｈ３が表示される例である。
また図２２Ａ、図２２Ｂ、図２２Ｃの場合、それぞれのスルー画像上では人物の顔が検出されているが、顔領域を示す枠ＷＦと、顔の中心位置ＣＰがスルー画に重畳表示される。An example in which a subject person is imaged will be described.
22, 23, and 24 show display examples on the
First, FIGS. 22 and 23 are examples in which composition information (center position CP and threshold information) is superimposed and displayed on a through image.
FIG. 22A shows a case where the threshold th1 is selected. For example, an ideal position IP in the Hinomaru composition and a frame Wth1 indicating the threshold th1 for the ideal position IP are displayed.
FIG. 22B shows a case where the threshold value th2 is selected. Similarly, a frame Wth2 indicating the threshold value th2 is displayed for the ideal position IP.
FIG. 22C shows a case where the threshold value th3 is selected, and similarly, an example in which a frame Wth3 indicating the threshold value th3 with respect to the ideal position IP is displayed.
22A, 22B, and 22C, a human face is detected on each through image, but a frame WF indicating the face area and the center position CP of the face are superimposed and displayed on the through image.
図２３Ａは閾値ｔｈ１が選択されている場合であり、例えばバストアップ構図における理想位置ＩＰと閾値ｔｈ１を示すラインＬｔｈ１が表示される例である。
図２３Ｂは閾値ｔｈ２が選択されている場合の、理想位置ＩＰと閾値ｔｈ２を示すラインＬｔｈ２が表示される例である。
図２３Ｃは閾値ｔｈ３が選択されている場合の、理想位置ＩＰと閾値ｔｈ３を示すラインＬｔｈ３が表示される例である。
この図２３Ａ、図２３Ｂ、図２３Ｃの場合も、それぞれのスルー画像上では人物の顔が検出され、顔領域を示す顔枠ＷＦと、顔の中心位置ＣＰがスルー画に重畳表示される。FIG. 23A shows a case where the threshold th1 is selected. For example, the ideal position IP and the line Lth1 indicating the threshold th1 in the bust-up composition are displayed.
FIG. 23B shows an example in which a line Lth2 indicating the ideal position IP and the threshold th2 is displayed when the threshold th2 is selected.
FIG. 23C is an example in which the line Lth3 indicating the ideal position IP and the threshold th3 is displayed when the threshold th3 is selected.
In the case of FIGS. 23A, 23B, and 23C, a human face is detected on each through image, and the face frame WF indicating the face area and the center position CP of the face are superimposed and displayed on the through image.
制御部３０は図４のステップＳ１０７の段階で、今回の対象フレームについて理想位置ＩＰ、閾値情報（枠Ｗｔｈ（Ｗｔｈ１、Ｗｔｈ２、Ｗｔｈ３）やラインＬｔｈ（Ｌｔｈ１、Ｌｔｈ２、Ｌｔｈ３）、顔枠ＷＦ、中心位置ＣＰ等を表示させるように表示データ生成部２６に指示し、図示のような画像を表示させる。
このような表示が行われることで、ユーザに適切なガイドが可能となる。例えばユーザは顔の中心位置ＣＰが理想位置ＩＰに一致するように、或いは少なくとも枠ＷｔｈやラインＬｔｈ内に入るように、撮像装置１０の撮像方向を調整することで、良い構図で静止画記憶が行われる可能性を高くすることができる。At step S107 in FIG. 4, the
By performing such display, it is possible to guide the user appropriately. For example, the user can adjust the imaging direction of the
なお理想位置ＩＰは、構図によって異なるため、表示の際にどの構図種別についての理想位置ＩＰを示すかは多様に考えられる。例えばステップＳ１０７の時点で、直前のステップＳ１０５又はＳ１０６でスコアが算出されていた構図のうちの１つを選択して、その理想位置ＩＰや閾値情報（Ｗｔｈ、Ｌｔｈ）を表示させることが考えられる。この場合の構図種別の選択は、スコアが最も高かった構図とすることが考えられる。
また、ユーザが構図種別を指定できるようにし、その指定された構図についての理想位置ＩＰ等や、閾値情報が表示されるようにしてもよい。
また、画像内容に応じて構図種別が選択されても良い。例えば顔画像が横向きであれば三分割構図の理想位置ＩＰが表示されるようにするなどである。
なお、閾値情報（Ｗｔｈ、Ｌｔｈ）は、閾値ｔｈ１、ｔｈ２、ｔｈ３の選択状態によって線の色や閾値条件該当範囲の領域の色が変化するようにしてもよい。Since the ideal position IP varies depending on the composition, there are various ways of indicating the ideal position IP for which composition type at the time of display. For example, at the time of step S107, it is conceivable to select one of the compositions whose scores have been calculated in the immediately preceding step S105 or S106 and display the ideal position IP and threshold information (Wth, Lth). . In this case, the composition type may be selected with the composition having the highest score.
In addition, the user may be able to specify the composition type, and the ideal position IP and the threshold value information about the specified composition may be displayed.
The composition type may be selected according to the image content. For example, if the face image is in landscape orientation, the ideal position IP of the three-part composition is displayed.
The threshold information (Wth, Lth) may change the color of the line or the color of the region corresponding to the threshold condition depending on the selection state of the thresholds th1, th2, and th3.
図２４Ａ、図２４Ｂは、現状のスコアと閾値条件を表示する例である。
表示部３４においてスルー画上に重畳させて、マックスレベル６０、閾値レベル６１、スコアバー６２を表示させる。
即ち現在のフレームについて求められたスコアがスコアバー６２により表現される。スルー画としての各フレームに対応するスコア表示であるため、各フレームのスコアに応じてスコアバー６２の長さが変動する。
例えば図２４Ａの場合、中心位置ＣＰが枠Ｗｔｈ１の範囲内で理想位置ＩＰに接近しており、スコアは高いものとなるため、スコアバー６２は閾値レベル６１を越えて長くなっている。
図２４Ｂの場合、中心位置ＣＰが枠Ｗｔｈ１の範囲外で理想位置ＩＰから離れており、スコアは低いものとなるため、スコアバー６２は短くなっている。24A and 24B are examples of displaying the current score and threshold conditions.
The
That is, the score obtained for the current frame is expressed by the
For example, in the case of FIG. 24A, since the center position CP is close to the ideal position IP within the range of the frame Wth1 and the score is high, the
In the case of FIG. 24B, the center position CP is far from the ideal position IP outside the range of the frame Wth1, and the score is low, so the
このようにスコアに応じてスコアバー６２が表示され、またスコアバー６２に対してマックスレベル６０、閾値レベル６１が表示されることで、現在のフレームの構図の或る構図への該当度合いをユーザが認識できるものとなる。ユーザは、スコアバー６２が伸びるように、特には少なくとも閾値レベル６１を越えるように、被写体方向を調整するようにすれば、自動静止画記憶の実行の可能性を高めることができる。またマックススコアに近づけるようにすることで、なるべく良い構図の静止画が記憶されるようにすることができる。
スコアバー６２は、長さに応じて色を変化させることで、よりユーザにスコアを認識しやすくすることもできる。
閾値レベル６１の位置は、閾値ｔｈ１、ｔｈ２、ｔｈ３の選択状態によって上下する。
なお、スコアバー６２の表示は、スルー画に重畳させず、スルー画とは領域を区切って画面端部側などの別領域で表示させてもよい。In this way, the
The
The position of the
The
図２４Ｃは拡大画像６５を表示させる例である。
例えば中心位置ＣＰが閾値範囲内（例えば枠Ｗｔｈ１内）に入ったら、図示のように理想位置ＩＰ近辺を拡大して表示する。ユーザは中心位置ＣＰ１を理想位置ＩＰに一致させるように撮像方向を調整するが、撮像装置１０を手で持ちながら撮像方向を調整するときに、表示画面が小型であると、なかなか合わせこみが難しい。そこで拡大画像６５により中心位置ＣＰと理想位置ＩＰのずれを拡大中心位置ＣＰＬ、拡大理想位置ＩＰＬにより認識しやすくして、ユーザが中心位置ＣＰを理想位置ＩＰに合わせやすくする。
また拡大画像６５の表示は中心位置ＣＰが閾値範囲内に入ったときのみ行うようにすることで、むやみに拡大画像でスルー画が隠されてしまうことを防止できる。FIG. 24C is an example in which an
For example, when the center position CP is within the threshold range (for example, within the frame Wth1), the vicinity of the ideal position IP is enlarged and displayed as shown in the figure. The user adjusts the imaging direction so that the center position CP1 coincides with the ideal position IP. However, when adjusting the imaging direction while holding the
Further, by displaying the
以上、表示例を説明してきたが、これらは一例である。どのような情報を表示させるかは各種の例が考えられる。例えば、
・構図エリア（理想位置ＩＰ及び閾値情報）のみを描画する
・スコアバーのみを描画する
・拡大画像のみを描画する
・想定される構図の構図エリア／スコアバーを複数表示させる
・ユーザが指定した構図種別のみ表示させる
などが考えられる。
The display examples have been described above, but these are examples. Various types of information can be displayed. For example,
・ Draw only the composition area (ideal position IP and threshold information) ・ Draw only the score bar ・ Draw only the enlarged image ・ Display multiple composition areas / score bars for the assumed composition ・ User-specified composition It is possible to display only the type.
＜４．プログラム及びコンピュータ装置への適用＞
ここまで画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した自動静止画記憶のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。<4. Application to Program and Computer Device>
Although the embodiments of the
実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップ（図２のＳ１）と、フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定する画像記憶判定ステップ（Ｓ４）とを演算処理装置に実行させるプログラムである。
なお画像記憶判定ステップは、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定するようにしてもよい（Ｓ４〜Ｓ７）。
また、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出ステップ（Ｓ３）を備えるようにし、画像記憶判定ステップでは、或るフレームについてスコア算出ステップで算出したスコアが、閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定するようにしてもよい（Ｓ４）。
このようなプログラムにより、上述した自動静止画記憶の制御を行う画像処理装置を、演算処理装置を用いて実現できる。The program according to the embodiment is a program that causes an arithmetic processing device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) to execute the processing described in the above-described embodiment.
That is, the program according to the embodiment includes a threshold setting step (S1 in FIG. 2) for setting a threshold condition for image storage execution determination according to the composition, and the threshold set by the composition in the frame at the threshold setting step. When the conditions are satisfied, the program causes the arithmetic processing unit to execute an image storage determination step (S4) for determining image data corresponding to the frame as image data to be stored as a still image.
In the image storage determination step, when the composition in the frame satisfies the threshold condition set by the threshold setting unit, image data for storing the image data of the frame as a still image according to other condition determination May be determined (S4 to S7).
In addition, a score calculation step (S3) for calculating a score that is an evaluation value of the composition of the image for a frame that is a score calculation target for all or a part of the continuous frames is provided, In the storage determination step, when the score calculated in the score calculation step for a certain frame satisfies the threshold condition set in the threshold setting step, it is determined that the image data corresponding to the frame is stored as a still image. You may make it carry out (S4).
With such a program, an image processing device that controls the above-described automatic still image storage can be realized using an arithmetic processing device.
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。Such a program can be recorded in advance in an HDD as a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
Alternatively, a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magnet optical) disk, DVD (Digital Versatile Disc), Blu-ray Disc (Blu-ray Disc (registered trademark)), magnetic disk, semiconductor memory, It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory card. Such a removable recording medium can be provided as so-called package software.
Further, such a program can be downloaded from a removable recording medium to a personal computer or the like, or downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置とすることができる。
例えば、図２５に示されるようなコンピュータ装置において、上述の画像処理装置１、撮像装置１０における自動静止画記憶のための処理と同様の処理が実行されるようにすることもできる。Also, such a program is suitable for providing a wide range of image processing apparatuses according to the embodiments. For example, by downloading a program to a personal computer, a portable information processing device, a mobile phone, a game device, a video device, a PDA (Personal Digital Assistant) or the like, the personal computer or the like may be used as the image processing device of the present disclosure. it can.
For example, in a computer device as shown in FIG. 25, the same processing as the processing for automatic still image storage in the
図２５において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。In FIG. 25, the
The
入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
上述した自動静止画記憶の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。A
When the above-described automatic still image storage process is executed by software, a program constituting the software is installed from a network or a recording medium.
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。
This recording medium is constituted by a removable medium 81 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like on which a program is recorded, which is distributed to distribute the program to the user. Alternatively, it is configured by a
このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記憶部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図２のような処理を実行することで、入力された画像データについて自動静止画記憶を行うフレームを選択する処理を実行できる。
In such a
＜５．まとめ及び変形例＞
以上の実施の形態では、次のような効果が得られる。
実施の形態の画像処理装置１又は撮像装置１０は、は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部（１ｂ，３０ｂ）と、フレーム内の構図が、閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部（１ｃ、３０ｃ）と、を備えている。
この構成により、動画やスルー画などとしての連続フレームから、自動的に構図の良い静止画となるべきフレームを判定でき、自動静止画記憶において適切なフレームを選択できる。
また、画像記憶判定部（１ｃ、３０ｃ）は、フレーム内の構図が、閾値設定部（１ｂ，３０ｂ）が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定する（図８のＳ４０６〜Ｓ４１０）。
即ち、構図に加えて、さらに他の条件を判断することで、なるべく画像として品質の良いフレームを自動的に判定できる。
また、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部（１ａ，３０ａ）を備える。そして画像記憶判定部（１ｃ、３０ｃ）は、或るフレームについてスコア算出部（１ａ，３０ａ）が算出したスコアが、閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定する。
つまりスコア算出部（１ａ，３０ａ）は、１フレームの画像データが、好ましい構図に該当するか否かを判定し、その該当度合いを示すスコアを求める。スコアは、フレームの画像がスコア算出基準となる構図の理想状態にどの程度近いかを示す値とされる。
この場合、動画やスルー画などとしての連続フレームから、自動的に１フレームを抽出して静止画として記憶するために、１フレームの画像データが、静止画として好ましい構図に該当するか否かの評価値となるスコアを求める。このスコアが、閾値条件を満たしていれば、少なくとも静止画記憶として適切なフレームであるとする。さらに、他の条件を判断して、静止画として記憶するか否かを決定する。
このため自動的な静止画記憶の動作として、ユーザが意識しなくとも、品質の高い構図となっている静止画を記憶できるようになる。
また閾値条件を可変設定することで、静止画記憶頻度を調整することができる。特に閾値条件による静止画記憶頻度の調整は、時間による頻度調整ではないため、静止画取り込みの機会をむやみに減じないものとできる。
また理想の構図は上述の場合のスコア＝最高値（１００）となることだが、これはユーザが意識したとしても確率的には難しい。閾値を選択できることで、ユーザにとって望ましい頻度で比較的良い構図の静止画の自動記憶が行われるようにできる。<5. Summary and Modification>
In the above embodiment, the following effects can be obtained.
The
With this configuration, it is possible to automatically determine a frame that should be a still image with a good composition from continuous frames such as a moving image or a through image, and to select an appropriate frame in automatic still image storage.
Further, when the composition in the frame satisfies the threshold condition set by the threshold setting unit (1b, 30b), the image storage determination unit (1c, 30c) The image data is determined as image data to be stored as a still image (S406 to S410 in FIG. 8).
That is, by determining other conditions in addition to the composition, it is possible to automatically determine a frame having a good quality as much as possible.
In addition, a score calculation unit (1a, 30a) is provided that calculates all or part of consecutive frames as a score calculation target frame and calculates a score as an evaluation value of the composition of the image for the frame as the score calculation target. When the score calculated by the score calculation unit (1a, 30a) for a certain frame satisfies the threshold condition, the image storage determination unit (1c, 30c) sets the image data corresponding to the frame as a still image. The image data is determined to be stored.
That is, the score calculation unit (1a, 30a) determines whether or not one frame of image data corresponds to a preferred composition, and obtains a score indicating the degree of corresponding. The score is a value indicating how close the image of the frame is to the ideal state of the composition as a score calculation reference.
In this case, in order to automatically extract one frame from a continuous frame such as a moving image or a through image and store it as a still image, whether or not one frame of image data corresponds to a composition preferable as a still image. Find the score to be the evaluation value. If this score satisfies the threshold condition, it is assumed that the frame is suitable for at least still image storage. Further, other conditions are judged to determine whether or not to store as a still image.
For this reason, as a still image storing operation, a still image having a high quality composition can be stored without the user being aware of it.
Further, the still image storage frequency can be adjusted by variably setting the threshold condition. In particular, the adjustment of the still image storage frequency based on the threshold condition is not the frequency adjustment based on the time, so that the opportunity for taking in the still image cannot be reduced unnecessarily.
Also, the ideal composition is the score in the above case = the highest value (100), but this is probabilistically difficult even if the user is conscious. By selecting the threshold value, it is possible to automatically store still images having a relatively good composition at a frequency desired by the user.
また実施の形態では、複数の構図、例えば日の丸構図、バストアップ構図など多数の構図をスコア算出の基準とし、スコアを算出するようにしている（図５，図６，図７）。これは静止画として好ましい構図は多様であるため、複数の構図を基準として用いてスコアが求められるようにする。
これにより、フレーム毎に、その画像データの構図がいずれかの構図に対して該当度合いが高ければ、静止画として記憶される可能性を高めることができる。つまり、各種の好ましい構図を基準として、それらのいずれかに該当するような静止画を記憶していくことができる。また、これにより特定の構図のみを基準とすることで静止画記憶の機会を損なうということを防止できる。In the embodiment, scores are calculated using a plurality of compositions such as a Hinomaru composition, a bust-up composition, etc. as a reference for score calculation (FIGS. 5, 6, and 7). Since there are a variety of compositions that are preferable for still images, a score is obtained using a plurality of compositions as a reference.
Thus, for each frame, if the composition of the image data is high in relation to any composition, the possibility of being stored as a still image can be increased. That is, still images corresponding to any one of them can be stored on the basis of various preferable compositions. In addition, it is possible to prevent the opportunity for storing a still image from being lost by using only a specific composition as a reference.
また実施の形態では、フレームの画像内容に応じて、複数の構図のうちでスコア算出の基準とする１又は複数の構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出するようにしている（図４，図５，図６，図７）。
画像内容、つまり被写体の種別に応じて、望ましい構図や、適した構図がある。例えば人物が被写体の場合に適した構図、風景が被写体の場合に適した構図などである。そこで、フレームの画像内容に応じて、スコア算出に用いる構図を選択することで、画像内容に適した構図を基準とする評価値が求められるようにする。
これにより被写体の種別に応じて、望ましい構図とされているフレームが静止画として記憶される可能性を高めることができる。In the embodiment, one or a plurality of compositions to be used for score calculation are selected from a plurality of compositions according to the image content of the frame, and a score for each of the selected one or a plurality of compositions is calculated. (FIGS. 4, 5, 6 and 7).
Depending on the image content, that is, the type of subject, there is a desirable composition or a suitable composition. For example, a composition suitable for a person being a subject, a composition suitable for a landscape being a subject, and the like. Therefore, by selecting a composition used for score calculation according to the image content of the frame, an evaluation value based on the composition suitable for the image content is obtained.
Accordingly, it is possible to increase a possibility that a frame having a desirable composition is stored as a still image according to the type of the subject.
また実施の形態では、或るフレームについて、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値（図８のステップＳ４００で選択するマックススコア）が閾値を満たしているか否かを判断する（Ｓ４０４）。
少なくとも１つのスコアが閾値条件を満たしているのであれば、そのフレームは、或る構図に該当するものと判断できる。そこで、最大値となっているスコアにより閾値条件を判断することで、静止画として残すことが適切かどうか判断できる。
この場合、複数のスコアが算出された際に、簡易な処理で的確に構図該当性を判断できるものともなる。In the embodiment, for a certain frame, it is determined whether or not the maximum value (the maximum score selected in step S400 in FIG. 8) among the scores respectively calculated based on a plurality of compositions satisfies the threshold ( S404).
If at least one score satisfies the threshold condition, it can be determined that the frame corresponds to a certain composition. Therefore, it is possible to determine whether it is appropriate to leave the image as a still image by determining the threshold condition based on the score having the maximum value.
In this case, when a plurality of scores are calculated, the composition suitability can be accurately determined by simple processing.
また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行うようにしている（Ｓ４０６）。
つまり単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、その中でスコアがピーク値近傍となっているフレームを選択する。
例えば連続するフレーム期間で、スコアが閾値条件を満たすだけで静止画として記憶すると、似たような画像が多数記憶される。そこでピーク値近辺のフレームを選択することで、より構図として好適な画像が静止画として記憶されるようにできる。これにより記憶される静止画の品質を向上させ、また同じような画像を多数記憶させないようにできる。
また閾値が低い場合でも、ピークを判定することで、撮像機会を増やしつつ、なるべく良い構図の静止画が記憶されるようにすることができる。
なお、図８のステップＳ４０６でマックススコア＜Ｂｕｆスコアとなったフレームの直前の対象フレームを、ピークスコアのフレームとし、そのフレームを他の条件判定の上、静止画として記憶させるようにしてもよい。これにより最もスコアの高いフレームを静止画として記憶することができる。In the embodiment, as a condition determination other than the threshold condition, it is determined whether the score of the target frame is in the vicinity of the peak value of the score value that fluctuates in a plurality of consecutive frames. (S406).
That is, a frame whose score satisfies the threshold condition is not simply stored as a still image, but a frame whose score is near the peak value is selected.
For example, in a continuous frame period, if a score is stored as a still image only by satisfying a threshold condition, many similar images are stored. Therefore, by selecting a frame near the peak value, an image more suitable as a composition can be stored as a still image. This improves the quality of the stored still image and prevents a large number of similar images from being stored.
Even when the threshold value is low, by determining the peak, it is possible to store still images with a composition as good as possible while increasing the number of imaging opportunities.
Note that the target frame immediately before the frame in which the Max score <Buf score in step S406 in FIG. 8 is used as the peak score frame, and the frame may be stored as a still image after other conditions are determined. . As a result, the frame with the highest score can be stored as a still image.
また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームの画像、例えば注目被写体の画像が、フォーカスが合っているか否かの判定を行う（Ｓ４０７）。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、フォーカスが合っていない画像は静止画として記憶させないようにする。これにより記憶される静止画は、フォーカスの合っている画像（ボケていない画像）とすることができ、記憶される静止画の品質を向上させることができる。In the embodiment, as a condition determination other than the threshold condition, it is determined whether or not the target frame image, for example, the image of the subject of interest is in focus (S407).
That is, a frame whose score satisfies the threshold condition is not stored as a still image, but an out-of-focus image is not stored as a still image. As a result, the stored still image can be a focused image (an image that is not blurred), and the quality of the stored still image can be improved.
また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う（Ｓ４０９）。そして動いている過程の画像を含んでいない場合に、静止画記憶のための条件を満たすこととしている。動いている過程の動的被写体の場合、被写体がぶれていることが多いため、それを静止画として記憶することを避けることができる。これにより記憶される静止画の品質を向上させる。
また対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う。具体的にはシャッタスピードが被写体条件から求められる速度以上の状態で撮像されているか否かの判定を行う（Ｓ４１０）。即ち動的被写体の存在によりブレが生じていそうな画像である場合は、シャッタスピードの状況から、ブレがないと判断できる場合に静止画として記憶させる。
動いている過程の動的被写体の場合、そのフレームが、シャッタスピードが速い状態で撮像されていれば、ブレた画像の可能性は低い。これにより動きのある被写体の場合でも品質の良い静止画が記憶されるようにする。In the embodiment, as a condition determination other than the threshold condition, it is determined whether or not the target frame includes an image in the process of moving the subject of interest (S409). When the moving image is not included, the condition for storing the still image is satisfied. In the case of a dynamic subject in the process of moving, since the subject is often blurred, it is possible to avoid storing it as a still image. This improves the quality of the stored still image.
If the target frame includes an image in the process of moving the subject of interest, the shutter speed at the time of capturing the frame is determined. Specifically, it is determined whether or not the image is captured in a state where the shutter speed is equal to or higher than the speed obtained from the subject condition (S410). In other words, if the image is likely to be blurred due to the presence of a dynamic subject, the image is stored as a still image when it can be determined that there is no blur based on the shutter speed.
In the case of a dynamic subject in the process of moving, if the frame is captured with a high shutter speed, the possibility of a blurred image is low. As a result, a high-quality still image is stored even in the case of a moving subject.
また閾値設定部は、操作入力に応じて閾値条件（ｔｈ１，ｔｈ２，ｔｈ３）を可変設定する。閾値条件が厳しいほど、静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなる。従って、静止画記憶をどの程度の頻度で行わせたいかというユーザの意思により、頻度を調整できるようにする。
ユーザが閾値条件を操作により指示できるようにすることで、ユーザの意思に応じた頻度で自動静止画記憶が行われるようにすることができる。The threshold setting unit variably sets the threshold conditions (th1, th2, th3) according to the operation input. The severer the threshold condition, the lower the frequency of still image storage, and the looser the threshold condition, the higher the frequency of still image storage. Therefore, the frequency can be adjusted according to the user's intention of how often still image storage is to be performed.
By allowing the user to instruct the threshold condition by operation, automatic still image storage can be performed at a frequency according to the user's intention.
また、或るフレームの画像データが静止画として記憶する画像データと判定された後は、設定された閾値に応じた待機時間の間のフレームについては、静止画として記憶する画像データとはしない（Ｓ１１１）。
待機期間を設けることにより、似たような画像が多数、静止画として記憶されることを避けることができる。この場合に、閾値条件が厳しいほど静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなるため、待機時間も、閾値条件に応じることで、閾値条件による頻度に対応したものとなる。
なお、待機時間は余り長くすると、過剰に静止画記憶機会を損なう。また記憶頻度設定にも影響する。そこで比較的短い時間であることが好適である。Further, after it is determined that image data of a certain frame is stored as a still image, a frame during a waiting time corresponding to a set threshold is not set as image data stored as a still image ( S111).
By providing a standby period, it is possible to avoid storing many similar images as still images. In this case, since the frequency of still image storage decreases as the threshold condition becomes severe, and the frequency of still image storage increases as the threshold condition becomes loose, the standby time also corresponds to the frequency according to the threshold condition by responding to the threshold condition. Will be.
If the standby time is too long, the opportunity for storing still images is excessively impaired. It also affects the memory frequency setting. Therefore, it is preferable that the time is relatively short.
また実施の形態では、時間軸上で連続するフレームの画像データ（例えばスルー画）を表示画面上で表示させるとともに、その画像と重畳させて、構図情報（例えば理想位置ＩＰ）を表示させるようにしている（図２２，図２３）。即ち撮像画像について、その画像内容の特定の構図に対しての該当度合いがわかるような状態が表示される。これによりユーザは、撮像中の構図が良い構図であるか否かを容易に判断できる。
また各フレームのスコアと閾値条件の情報（スコアバー６２、閾値レベル６１）を表示させる（図２４Ａ、図２４Ｂ）ことで、スコアが閾値条件を満たしているか否かをユーザに提示する。これにより、ユーザが被写体方向を整えて、スコアの高いフレームが得られやすいようにえきる。
また、画像内容を特定の構図に合致させるガイドとなる拡大画像６５を表示させる（図２４Ｃ）。拡大画像により、ユーザが、主要な被写体の中心を構図としての理想位置ＩＰに持って行きやすいようにガイドでき、撮像中に画角、撮像方向を合わせ易くし、スコアが高いフレームが得られやすいようにできる。Further, in the embodiment, image data (for example, a through image) of continuous frames on the time axis is displayed on the display screen, and the composition information (for example, the ideal position IP) is displayed by superimposing the image data. (FIGS. 22 and 23). That is, for the captured image, a state is displayed in which the degree of corresponding to the specific composition of the image content is known. Thus, the user can easily determine whether or not the composition being imaged is a good composition.
Further, by displaying the score of each frame and information on the threshold condition (score
Further, an
なお、これらの表示制御は、自動静止画記憶の場合以外、つまりユーザのシャッタ操作により静止画記憶を行う場合にもガイドとして好適である。そこで、シャッタ操作による静止画記憶の場合でも、構図に対するスコアを算出し、構図情報やスコアの情報を提示することは有用である。 It should be noted that these display controls are suitable as a guide even when automatic still image storage is performed, that is, when still image storage is performed by a user's shutter operation. Therefore, even in the case of still image storage by shutter operation, it is useful to calculate a score for a composition and present composition information and score information.
また実施の形態では自動静止画記憶の動作として、動画としてのフレームのうちで、静止画として好適な構図のフレームを判定し、そのフレームに対応する画像データを記憶させる処理としたが、本技術の適用は、このような静止画記憶に限定されない。即ち動画としての自動記憶も可能である。
例えば構図のよいフレームを判定することに応じて、そのフレームを起点として所定時間の動画を自動的に記憶させることも可能である。
またその場合に、フレームレートの低い間欠的なフレームとしたり、さらに間引きフレームを多くして疑似動画的な画像データなどとして記憶させてもよい。
また構図のよい、例えば閾値条件を満たすフレームを判定したら、閾値条件を満たさなくなるフレームの直前までの連続フレームを動画データとして記憶させるようにしてもよい。In the embodiment, the automatic still image storage operation is a process of determining a frame having a composition suitable as a still image from frames as a moving image and storing image data corresponding to the frame. Is not limited to such still image storage. That is, automatic storage as a moving image is also possible.
For example, when a frame having a good composition is determined, a moving image of a predetermined time can be automatically stored starting from the frame.
In that case, the frame may be intermittent frames with a low frame rate, or may be stored as pseudo-moving image data with more thinned frames.
In addition, when a frame having a good composition, for example, a frame satisfying the threshold condition is determined, a continuous frame immediately before the frame that does not satisfy the threshold condition may be stored as moving image data.
また実施の形態の図２や図８の処理では、構図に加えて、さらに他の条件を判断して、記憶するフレームの判定を行ったが、少なくとも構図条件、つまり閾値条件を満たしていれば、記憶するフレームと判定するようにしてもよい。これにより自動画像記憶としての処理を簡易化できる。 In the processing of FIG. 2 and FIG. 8 of the embodiment, in addition to the composition, further conditions are determined and the frame to be stored is determined. However, if at least the composition condition, that is, the threshold condition is satisfied. Alternatively, it may be determined as a frame to be stored. Thereby, the process as automatic image storage can be simplified.
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。 Note that the effects described in the present specification are merely examples and are not limited, and other effects may be obtained.
本技術は以下のような構成も採ることができる。
（１）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部と、
フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、を備えた
画像処理装置。
（２）前記画像記憶判定部は、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを記憶する画像データと判定する
上記（１）に記載の画像処理装置。
（３）連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部を備え、
前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する
上記（１）又は（２）に記載の画像処理装置。
（４）前記スコア算出部は、複数の構図をそれぞれ基準としてスコアを算出する処理が可能とされている
上記（３）に記載の画像処理装置。
（５）前記スコア算出部は、フレームの画像内容に応じて、スコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出する
上記（４）に記載の画像処理装置。
（６）前記画像記憶判定部は、或るフレームについて前記スコア算出部が、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値が、前記閾値設定部が設定した閾値を満たしているか否かを判断する
上記（４）又は（５）に記載の画像処理装置。
（７）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行う
上記（２）に記載の画像処理装置。
（８）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームの画像が、フォーカスが合っているか否かの判定を行う
上記（２）又は（７）に記載の画像処理装置。
（９）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う
上記（２）（７）（８）のいずれかに記載の画像処理装置。
（１０）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う
上記（２）（７）（８）（９）のいずれかに記載の画像処理装置。
（１１）前記閾値設定部は、操作入力に応じて閾値条件を可変設定する
上記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記画像記憶判定部により或るフレームに対応する画像データが記憶する画像データと判定された後は、前記閾値設定部により設定された閾値に応じた待機時間の間のフレームに対応する画像データついては、記憶する画像データとは前記画像記憶判定部が判定しないようにする
上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、その画像と重畳させて、構図情報を表示させる表示制御部を備えた
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、各フレームのスコアと閾値条件の情報を表示させる表示制御部を備えた
上記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させる表示制御部を備えた
上記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置が実行する画像処理方法。
（１７）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置に実行させるプログラム。This technique can also take the following configurations.
(1) a threshold setting unit that sets a threshold condition for determining whether to execute image storage according to the composition;
An image processing apparatus comprising: an image storage determination unit that determines, when a composition in a frame satisfies a threshold condition set by the threshold setting unit, as image data that stores image data corresponding to the frame.
(2) The image storage determination unit stores image data of the frame according to another condition determination when the composition in the frame satisfies the threshold condition set by the threshold setting unit. The image processing apparatus according to (1).
(3) A score calculation unit that calculates all or part of consecutive frames as a score calculation target frame and calculates a score that is an evaluation value of the composition of the image for the frame as the score calculation target;
The image storage determination unit, when a score calculated by the score calculation unit for a certain frame satisfies a threshold condition set by the threshold setting unit, image data for storing image data corresponding to the frame; The image processing apparatus according to (1) or (2).
(4) The image processing apparatus according to (3), wherein the score calculation unit is capable of calculating a score with each of a plurality of compositions as a reference.
(5) The score calculation unit selects a composition as a reference for score calculation according to the image content of the frame, and calculates a score for each of the selected one or a plurality of compositions. Image processing device.
(6) The image storage determination unit determines whether a maximum value of scores calculated by the score calculation unit for a certain frame based on a plurality of compositions satisfies a threshold set by the threshold setting unit. The image processing apparatus according to (4) or (5).
(7) The image storage determination unit, as the other condition determination,
The image processing apparatus according to (2), wherein it is determined whether or not the score of the target frame is near a peak value of a score value that fluctuates in a plurality of consecutive frames.
(8) The image storage determination unit, as the other condition determination,
The image processing apparatus according to (2) or (7), wherein a determination is made as to whether or not an image of a target frame is in focus.
(9) The image storage determination unit, as the other condition determination,
The image processing device according to any one of (2), (7), and (8), wherein it is determined whether or not the target frame includes an image in a process in which the subject of interest is moving.
(10) The image storage determination unit, as the other condition determination,
If the target frame includes an image of a process in which the subject of interest is moving, the shutter speed at the time of capturing the frame is determined. (2) (7) (8) (9) Image processing apparatus.
(11) The image processing apparatus according to any one of (1) to (10), wherein the threshold setting unit variably sets a threshold condition according to an operation input.
(12) After the image storage determination unit determines that the image data corresponding to a certain frame is stored image data, it corresponds to a frame during a waiting time corresponding to the threshold set by the threshold setting unit. The image processing apparatus according to any one of (1) to (11), wherein the image storage determination unit does not determine image data to be stored as image data.
(13) Any one of the above (1) to (12) provided with a display control unit that displays image data of continuous frames on the time axis on the display screen and superimposes the image data on the display screen. An image processing apparatus according to
(14) Any one of the above (1) to (13) provided with a display control unit that displays image data of consecutive frames on the time axis on the display screen and displays the score and threshold condition information of each frame An image processing apparatus according to
(15) The above (1) to (1) are provided with a display control unit that displays image data of continuous frames on the time axis on the display screen and displays an enlarged image that serves as a guide for matching the image content with a specific composition. The image processing apparatus according to any one of (14).
(16) a threshold setting step for setting a threshold condition for determining whether to execute image storage according to the composition;
An image storage determination step for determining, when the composition in the frame satisfies the threshold condition set in the threshold setting step, as image data for storing the image data corresponding to the frame;
An image processing method in which an arithmetic processing unit executes the above.
(17) a threshold setting step for setting a threshold condition for determining whether to execute image storage according to the composition;
An image storage determination step for determining, when the composition in the frame satisfies the threshold condition set in the threshold setting step, as image data for storing the image data corresponding to the frame;
A program that causes an arithmetic processing unit to execute.
１…画像処理装置、１ａ，３０ａ…スコア算出部、１ｂ，３０ｂ…閾値設定部、１ｃ，３０ｃ…画像記憶判定部、３０ｄ…表示制御部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記憶部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２６…表示データ生成部、２７…画像解析部、２８…フォーカス処理部、３０…制御部、３４…表示部、３５…操作部、７０…コンピュータ装置、７１…ＣＰＵ
DESCRIPTION OF
Claims (17)
フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、を備えた
画像処理装置。A threshold setting unit for setting a threshold condition for determining whether to perform image storage according to the composition;
An image processing apparatus comprising: an image storage determination unit that determines, when a composition in a frame satisfies a threshold condition set by the threshold setting unit, as image data that stores image data corresponding to the frame.
請求項１に記載の画像処理装置。When the composition in the frame satisfies the threshold condition set by the threshold setting unit, the image storage determination unit determines the image data to store the image data of the frame according to another condition determination The image processing apparatus according to claim 1.
前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する
請求項１に記載の画像処理装置。A score calculation unit that calculates all or a part of the continuous frames as a score calculation target frame and calculates a score that is an evaluation value of the composition of the image for the frame as the score calculation target,
The image storage determination unit, when the score calculated by the score calculation unit for a certain frame satisfies the threshold condition set by the threshold setting unit, The image processing apparatus according to claim 1.
請求項３に記載の画像処理装置。The image processing apparatus according to claim 3, wherein the score calculation unit is capable of calculating a score based on each of a plurality of compositions.
請求項４に記載の画像処理装置。The image processing apparatus according to claim 4, wherein the score calculation unit selects a composition as a reference for score calculation according to the image content of the frame, and calculates a score for each of the selected one or more compositions.
請求項４に記載の画像処理装置。The image storage determination unit determines whether or not a maximum value among scores calculated by the score calculation unit with respect to a plurality of compositions for a certain frame satisfies a threshold set by the threshold setting unit. The image processing apparatus according to claim 4.
対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行う
請求項２に記載の画像処理装置。The image storage determination unit, as the other condition determination,
The image processing apparatus according to claim 2, wherein it is determined whether or not the score of the target frame is near a peak value of a score value that fluctuates in a plurality of consecutive frames.
対象のフレームの画像が、フォーカスが合っているか否かの判定を行う
請求項２に記載の画像処理装置。The image storage determination unit, as the other condition determination,
The image processing apparatus according to claim 2, wherein it is determined whether or not an image of a target frame is in focus.
対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う
請求項２に記載の画像処理装置。The image storage determination unit, as the other condition determination,
The image processing apparatus according to claim 2, wherein it is determined whether or not the target frame includes an image in a process in which the subject of interest is moving.
対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う
請求項２に記載の画像処理装置。The image storage determination unit, as the other condition determination,
The image processing apparatus according to claim 2, wherein when the target frame includes an image in the process of moving the subject of interest, the shutter speed at the time of capturing the frame is determined.
請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the threshold setting unit variably sets a threshold condition according to an operation input.
請求項１に記載の画像処理装置。After the image storage determination unit determines that the image data corresponding to a certain frame is stored image data, the image data corresponding to the frame during the standby time corresponding to the threshold set by the threshold setting unit The image processing apparatus according to claim 1, wherein the image storage determination unit does not determine image data to be stored.
請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, further comprising: a display control unit configured to display image data of continuous frames on the time axis on the display screen and to superimpose the image data on the display screen to display composition information.
請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, further comprising: a display control unit configured to display image data of consecutive frames on the time axis on a display screen and to display information on a score and a threshold condition of each frame.
請求項１に記載の画像処理装置。The image processing according to claim 1, further comprising: a display control unit that displays image data of continuous frames on the time axis on a display screen and displays an enlarged image that serves as a guide for matching the image content to a specific composition. apparatus.
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置が実行する画像処理方法。A threshold setting step for setting a threshold condition for determining whether to execute image storage according to the composition;
An image storage determination step for determining, when the composition in the frame satisfies the threshold condition set in the threshold setting step, as image data for storing the image data corresponding to the frame;
An image processing method in which an arithmetic processing unit executes the above.
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置に実行させるプログラム。A threshold setting step for setting a threshold condition for determining whether to execute image storage according to the composition;
An image storage determination step for determining, when the composition in the frame satisfies the threshold condition set in the threshold setting step, as image data for storing the image data corresponding to the frame;
A program that causes an arithmetic processing unit to execute.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015115750 | 2015-06-08 | ||
| JP2015115750 | 2015-06-08 | ||
| PCT/JP2016/060689 WO2016199483A1 (en) | 2015-06-08 | 2016-03-31 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016199483A1 true JPWO2016199483A1 (en) | 2018-03-29 |
| JP6729572B2 JP6729572B2 (en) | 2020-07-22 |
Family
ID=57504730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017523136A Expired - Fee Related JP6729572B2 (en) | 2015-06-08 | 2016-03-31 | Image processing device, image processing method, and program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6729572B2 (en) |
| DE (1) | DE112016002564T5 (en) |
| WO (1) | WO2016199483A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019124055A1 (en) | 2017-12-18 | 2019-06-27 | キヤノン株式会社 | Image capturing device, control method therefor, program, and storage medium |
| JP7403218B2 (en) * | 2017-12-18 | 2023-12-22 | キヤノン株式会社 | Imaging device, its control method, program, storage medium |
| JP2019186791A (en) * | 2018-04-12 | 2019-10-24 | シャープ株式会社 | Imaging apparatus, control method of the imaging apparatus, and control program |
| JP6733945B1 (en) * | 2019-11-20 | 2020-08-05 | 株式会社エクサウィザーズ | Imaging device, information processing device, method and program |
| JP6793382B1 (en) * | 2020-07-03 | 2020-12-02 | 株式会社エクサウィザーズ | Imaging equipment, information processing equipment, methods and programs |
| CN116473520A (en) | 2023-05-18 | 2023-07-25 | 深圳市宗匠科技有限公司 | Electronic equipment and skin analysis method and device thereof |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235952A (en) * | 1993-02-12 | 1994-08-23 | Nikon Corp | Image pickup device |
| JP2007306464A (en) * | 2006-05-15 | 2007-11-22 | Fujifilm Corp | Photographing control method, apparatus and program |
| JP2008289189A (en) * | 2008-08-15 | 2008-11-27 | Sony Corp | Imaging apparatus and expression evaluating device |
| JP2009081502A (en) * | 2007-09-25 | 2009-04-16 | Fujifilm Corp | Photographing device and image reproducing device |
| JP2009225103A (en) * | 2008-03-17 | 2009-10-01 | Nikon Corp | Camera |
| JP2011030164A (en) * | 2009-07-29 | 2011-02-10 | Sony Corp | Image pickup apparatus, image pickup system, image pickup method, and program |
| JP2011035633A (en) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | Image processor and method |
| JP2011097194A (en) * | 2009-10-27 | 2011-05-12 | Canon Inc | Imaging apparatus, method of controlling the same, and program |
| JP2012186670A (en) * | 2011-03-07 | 2012-09-27 | Ricoh Co Ltd | Imaging device, imaging method, and imaging program |
| JP2012231327A (en) * | 2011-04-26 | 2012-11-22 | Canon Inc | Imaging apparatus, imaging method, and program |
| JP2013195704A (en) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
-
2016
- 2016-03-31 WO PCT/JP2016/060689 patent/WO2016199483A1/en active Application Filing
- 2016-03-31 DE DE112016002564.5T patent/DE112016002564T5/en not_active Withdrawn
- 2016-03-31 JP JP2017523136A patent/JP6729572B2/en not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235952A (en) * | 1993-02-12 | 1994-08-23 | Nikon Corp | Image pickup device |
| JP2007306464A (en) * | 2006-05-15 | 2007-11-22 | Fujifilm Corp | Photographing control method, apparatus and program |
| JP2009081502A (en) * | 2007-09-25 | 2009-04-16 | Fujifilm Corp | Photographing device and image reproducing device |
| JP2009225103A (en) * | 2008-03-17 | 2009-10-01 | Nikon Corp | Camera |
| JP2008289189A (en) * | 2008-08-15 | 2008-11-27 | Sony Corp | Imaging apparatus and expression evaluating device |
| JP2011030164A (en) * | 2009-07-29 | 2011-02-10 | Sony Corp | Image pickup apparatus, image pickup system, image pickup method, and program |
| JP2011035633A (en) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | Image processor and method |
| JP2011097194A (en) * | 2009-10-27 | 2011-05-12 | Canon Inc | Imaging apparatus, method of controlling the same, and program |
| JP2012186670A (en) * | 2011-03-07 | 2012-09-27 | Ricoh Co Ltd | Imaging device, imaging method, and imaging program |
| JP2012231327A (en) * | 2011-04-26 | 2012-11-22 | Canon Inc | Imaging apparatus, imaging method, and program |
| JP2013195704A (en) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016199483A1 (en) | 2016-12-15 |
| DE112016002564T5 (en) | 2018-03-22 |
| JP6729572B2 (en) | 2020-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016199483A1 (en) | Image processing apparatus, image processing method, and program | |
| US11012614B2 (en) | Image processing device, image processing method, and program | |
| US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
| JP5867424B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5251215B2 (en) | Digital camera | |
| US10699473B2 (en) | System and method for generating a virtual viewpoint apparatus | |
| US9712750B2 (en) | Display control device and associated methodology of identifying a subject in an image | |
| US9761013B2 (en) | Information notification apparatus that notifies information of motion of a subject | |
| US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
| JP5331128B2 (en) | Imaging device | |
| JP2011139282A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US10275917B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| CN110383335A (en) | The background subtraction inputted in video content based on light stream and sensor | |
| WO2013111552A1 (en) | Image processor, imaging device, and image processing method | |
| US9942460B2 (en) | Image processing device, image processing method, and program | |
| JP2010171797A (en) | Imaging apparatus and program | |
| CN109547699A (en) | A kind of method and device taken pictures | |
| JP2011023898A (en) | Display device, display method, and integrated circuit | |
| JP2014123908A (en) | Image processing system, image clipping method, and program | |
| JP6024135B2 (en) | Subject tracking display control device, subject tracking display control method and program | |
| JP2017050593A (en) | Imaging apparatus, imaging control method and program | |
| JP5533241B2 (en) | Movie playback device, movie playback method and program | |
| KR20160078878A (en) | Image processing apparatus, image processing method, and program | |
| JP2009098850A (en) | Arithmetic device and program of same | |
| JP2009071717A (en) | Image pickup apparatus and focusing condition displaying method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190313 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6729572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |