JP7199808B2 - Imaging device and its control method - Google Patents

Imaging device and its control method Download PDF

Info

Publication number
JP7199808B2
JP7199808B2 JP2017254232A JP2017254232A JP7199808B2 JP 7199808 B2 JP7199808 B2 JP 7199808B2 JP 2017254232 A JP2017254232 A JP 2017254232A JP 2017254232 A JP2017254232 A JP 2017254232A JP 7199808 B2 JP7199808 B2 JP 7199808B2
Authority
JP
Japan
Prior art keywords
learning
shooting
image
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017254232A
Other languages
Japanese (ja)
Other versions
JP2019121855A (en
Inventor
浩平 古谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017254232A priority Critical patent/JP7199808B2/en
Publication of JP2019121855A publication Critical patent/JP2019121855A/en
Application granted granted Critical
Publication of JP7199808B2 publication Critical patent/JP7199808B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an imaging device and its control method.

カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整することによって、画像を撮影するのが通常である。このような撮像装置では、ユーザの操作ミスを検知してユーザに通知したり、外部環境の検知を行い、撮影に適していない場合にユーザに通知したりする機能が備えられている。また、撮影に適した状態になるようにカメラを制御する仕組みが従来から存在している。 In taking still images and moving images with an image pickup device such as a camera, it is normal for the user to decide the object to be photographed through a viewfinder or the like, check the photographing conditions by himself, and adjust the framing of the photographed image, thereby photographing the image. be. Such an imaging apparatus has a function of detecting a user's operation error and notifying the user, or detecting an external environment and notifying the user when it is not suitable for photographing. In addition, conventionally, there is a mechanism for controlling a camera so that it is in a state suitable for photographing.

このようなユーザの操作により撮影を実行する撮像装置に対し、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラが存在する(特許文献1)。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するものである。ライフログカメラによる撮影は、ユーザがシャッターを切るなどの意図したタイミングで撮影するのではなく、一定の時間間隔で撮影を行うため、普段撮影しないような不意な瞬間を映像として残すことができる。 There is a lifelog camera that regularly and continuously takes pictures without the user giving an instruction to take pictures (Patent Document 1). A life log camera is used while being attached to the user's body with a strap or the like, and records scenes the user sees in daily life as images at regular time intervals. Shooting with a life log camera does not take pictures at the intended timing, such as when the user releases the shutter, but at regular time intervals.

特表2016-536868号公報Japanese Patent Publication No. 2016-536868

しかしながら、ライフログカメラをユーザが身に着けた状態において、定期的に自動撮影を行った場合、ユーザの好みでない映像が取得され、本当に得たい瞬間の映像を取得できない場合があった。 However, when the life log camera is worn by the user and the automatic shooting is performed periodically, there are cases in which an image that the user does not like is acquired, and an image of the moment that the user really wants to obtain cannot be acquired.

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザが特別な操作を行うことなく、ユーザの好みの映像を取得することが可能な撮像装置を提供することである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and an object thereof is to provide an imaging apparatus capable of acquiring a user's favorite image without requiring the user to perform a special operation.

上記目的を達成するために、本発明の技術的特徴として、撮像装置の制御方法であって、装置の状態が、乗り物移動状態、置き撮り状態、手持ち状態、首にかけた状態の少なくとも何れかであることを検出する第1の検出工程と、被写体の距離に関連する状態を検出する第2の検出工程と、前記装置の状態の検出結果と前記被写体の距離に関連する状態の検出結果に基づいて、撮影処理を決定する決定工程と、前記装置の状態の検出結果、前記被写体の距離に関連する状態の検出結果、および前記決定された撮影処理の少なくとも何れかにおいて得られた複数のデータを解析して、規則性を抽出し、抽出結果に応じてユーザの好みを学習する学習工程を有し、前記学習工程による学習により、前記決定工程の前記撮影処理の決定が変更されることを特徴とする。 In order to achieve the above object, the present invention provides, as a technical feature, a control method for an imaging device, wherein the state of the device is at least one of a vehicle moving state, a resting state, a hand-held state, and a state worn around the neck. a second detection step of detecting a state related to the distance of the object ; a detection result of the state of the device and a state related to the distance of the object; a determination step of determining a photographing process based on a result; a detection result of the state of the apparatus, a detection result of the state related to the distance of the subject, and a plurality obtained in at least one of the determined photographing process data is analyzed, regularity is extracted, and the user's preference is learned according to the extraction result, and the determination of the photographing process in the decision step is changed by the learning by the learning step. It is characterized by

本発明によれば、ユーザが特別な操作を行うことなく、ユーザの好みの映像を取得することが可能な撮像装置を提供することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the imaging device with which a user's favorite image|video can be acquired, without a user's special operation.

撮像装置を模式的に示す図である。It is a figure which shows an imaging device typically. 撮像装置の構成を示す図である。It is a figure which shows the structure of an imaging device. 撮像装置と外部機器との構成を示す図である。It is a figure which shows the structure of an imaging device and an external device. 外部機器の構成を示す図である。It is a figure which shows the structure of an external device. 撮像装置と外部機器との構成を示す図である。It is a figure which shows the structure of an imaging device and an external device. 外部機器の構成を示す図である。It is a figure which shows the structure of an external device. 第1制御部を説明するフローチャートである。It is a flow chart explaining a 1st control part. 第2制御部を説明するフローチャートである。It is a flow chart explaining a 2nd control part. 撮影モード処理を説明するフローチャートである。4 is a flowchart for explaining shooting mode processing; 自動編集モード判定を説明するフローチャートである。10 is a flowchart for explaining automatic edit mode determination; 自動編集処理を説明するフローチャートである。4 is a flowchart for explaining automatic editing processing; ニューラルネットワークを説明する図である。It is a figure explaining a neural network. 撮影画像内のエリア分割を説明するための図である。FIG. 4 is a diagram for explaining area division within a captured image; 学習モード判定を説明するフローチャートである。4 is a flowchart for explaining learning mode determination; 学習処理を説明するフローチャートである。4 is a flowchart for explaining learning processing; 本実施形態に係る表示処理を説明する図である。It is a figure explaining the display process which concerns on this embodiment. 鏡筒回転駆動部の構成を示す図である。FIG. 4 is a diagram showing the configuration of a lens barrel rotation drive section; 画像上の被写体の目標位置と実位置を説明する図である。FIG. 3 is a diagram for explaining target positions and actual positions of a subject on an image; 撮影方向変更操作検出を説明するフローチャートである。10 is a flowchart for explaining detection of a shooting direction change operation; 撮影方向変更操作検出を模式的に示す図である。FIG. 11 is a diagram schematically showing detection of a shooting direction change operation; 撮影方向変更操作検出を模式的に示す図である。FIG. 11 is a diagram schematically showing detection of a shooting direction change operation; 撮影方向変更操作検出処理を説明する図である。It is a figure explaining a photography direction change operation detection process. 撮影方向変更操作検出処理を説明する図である。It is a figure explaining a photography direction change operation detection process. 本実施形態に係る撮影方法の例を説明する図である。It is a figure explaining the example of the imaging method which concerns on this embodiment. 本実施形態に係る撮影方法判定の例を説明する図である。FIG. 10 is a diagram illustrating an example of imaging method determination according to the present embodiment; 本実施形態に係る撮像装置の加速度変化の例を説明する図である。It is a figure explaining the example of the acceleration change of the imaging device which concerns on this embodiment.

本発明を実施するための最良の形態は、以下の実施例に示す通りである。 The best mode for carrying out the invention is as shown in the following examples.

撮影方法においては、例えば、図24(a)のような通常撮影の他にも、図24(b)のような、横方向のパノラマ撮影や、図24(c)のような縦方向のパノラマ撮影といった手法も存在する。このような種々の撮影方法のうち、どの方法を採用するかという判定において、ユーザが毎回撮影方法を指定すると、ユーザに余計な手間をかけさせてしまううえ、撮影の機会を逃してしまう場合もある。また、そもそもそのような選択肢を知らないユーザの表現の幅を狭めてしまう可能性もある。それに対し、例えば常に全ての撮影方法で撮影するようにした場合、余分な画像が増えてしまうため、ユーザの選択の手間を増やしてしまう。 In the shooting method, for example, in addition to normal shooting as shown in FIG. 24A, horizontal panorama shooting as shown in FIG. There are other methods such as photography. If the user designates the shooting method each time in determining which one of these various shooting methods to use, the user will have to spend extra time and effort, and the user may miss the opportunity to shoot. be. In addition, it may narrow the range of expression for users who do not know such options in the first place. On the other hand, if, for example, all shooting methods are used all the time, the number of extra images will increase, and the user's selection process will be increased.

そこで、下記では、利用者が特別な操作を行うことなく、撮像装置を起動するだけで、映像ブレ・画角ズレなく、個人毎の好みを反映し、必要なときにのみ撮影動作を行うことで長時間使用でき、利用者の好みの映像を取得することができる撮像装置の例を示す。 Therefore, in the following, the user does not need to perform any special operation, but simply activates the imaging device, without image blurring and angle of view deviation, reflects the preferences of each individual, and performs the shooting operation only when necessary. 1 shows an example of an imaging device that can be used for a long period of time and can acquire a user's favorite image.

〔第1の実施形態〕
<撮像装置の構成>
図1は、第1の実施形態の撮像装置を模式的に示す図である。
[First embodiment]
<Structure of Imaging Device>
FIG. 1 is a diagram schematically showing an imaging device according to the first embodiment.

図1(a)に示す撮像装置101は、電源スイッチの操作を行うことができる操作部材(以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい)などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒102は、撮像装置101に取り付けられ、鏡筒102を固定部103に対して回転駆動できる回転機構を設けている。チルト回転ユニット104は、鏡筒102を図1(b)に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット105は、鏡筒102をヨー方向に回転できるモーター駆動機構である。よって、鏡筒102は、1軸以上の方向に回転可能である。なお、図1(b)は、固定部103位置での軸定義である。角速度計106と加速度計107はともに、撮像装置101の固定部103に実装されている。そして、角速度計106や加速度計107に基づいて、撮像装置101の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒102の振れを補正したり、傾きを補正したりする構成となっている。 An imaging apparatus 101 shown in FIG. 1A is provided with an operation member (hereinafter referred to as a power button, but operations such as tapping, flicking, and swiping on a touch panel) for operating a power switch. there is A lens barrel 102 , which is a housing including an imaging lens group and an imaging device for imaging, is attached to the imaging apparatus 101 and has a rotation mechanism capable of rotationally driving the lens barrel 102 with respect to a fixed portion 103 . The tilt rotation unit 104 is a motor drive mechanism that can rotate the lens barrel 102 in the pitch direction shown in FIG. 1B, and the pan rotation unit 105 is a motor drive mechanism that can rotate the lens barrel 102 in the yaw direction. Therefore, the lens barrel 102 is rotatable along one or more axes. In addition, FIG. 1B shows the axis definition at the position of the fixed portion 103 . Both the angular velocity meter 106 and the accelerometer 107 are mounted on the fixed section 103 of the imaging device 101 . Vibration of the imaging device 101 is detected based on the angular velocity meter 106 and the accelerometer 107, and the tilt rotation unit and the pan rotation unit are rotationally driven based on the detected shaking angle. As a result, the configuration is such that the shake of the lens barrel 102, which is a movable portion, is corrected, and the tilt is corrected.

図2は、本実施形態の撮像装置の構成を示すブロック図である。 FIG. 2 is a block diagram showing the configuration of the imaging device of this embodiment.

図2において、第1制御部223は、プロセッサ(例えば、CPU、GPU、マイクロプロセッサ、MPUなど)、メモリ(例えば、DRAM、SRAMなど)からなる。これらは、各種処理を実行して撮像装置101の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ(EEPROM)216は、電気的に消去・記録可能なメモリであり、第1制御部223の動作用の定数、プログラム等が記憶される。 In FIG. 2, the first control unit 223 includes a processor (eg, CPU, GPU, microprocessor, MPU, etc.) and memory (eg, DRAM, SRAM, etc.). These execute various types of processing to control each block of the imaging apparatus 101 and control data transfer between blocks. A non-volatile memory (EEPROM) 216 is an electrically erasable/recordable memory, and stores constants, programs, etc. for the operation of the first control unit 223 .

図2において、ズームユニット201は、変倍を行うズームレンズを含む。ズーム駆動制御部202は、ズームユニット201を駆動制御する。フォーカスユニット203は、ピント調整を行うレンズを含む。フォーカス駆動制御部204は、フォーカスユニット203を駆動制御する。 In FIG. 2, a zoom unit 201 includes a zoom lens for changing magnification. A zoom drive control unit 202 drives and controls the zoom unit 201 . A focus unit 203 includes a lens for focus adjustment. A focus drive control unit 204 drives and controls the focus unit 203 .

撮像部206では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部207に出力する。画像処理部207はA/D変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部207から出力されたデジタル画像データは、画像記録部208でJPEG形式等の記録用フォーマットに変換し、メモリ215や後述する映像出力部217に送信される。 In the imaging unit 206, the imaging element receives incident light through each lens group, and outputs charge information corresponding to the amount of light to the image processing unit 207 as analog image data. An image processing unit 207 applies image processing such as distortion correction, white balance adjustment, and color interpolation processing to the digital image data output by A/D conversion, and outputs digital image data after application. The digital image data output from the image processing unit 207 is converted into a recording format such as JPEG format by the image recording unit 208, and transmitted to the memory 215 and the video output unit 217, which will be described later.

鏡筒回転駆動部205は、チルト回転ユニット104、パン回転ユニット105を駆動して鏡筒102をチルト方向とパン方向に駆動させる。 A lens barrel rotation driving unit 205 drives the tilt rotation unit 104 and the pan rotation unit 105 to drive the lens barrel 102 in the tilt direction and the pan direction.

装置揺れ検出部209は、例えば撮像装置101の3軸方向の角速度を検出する角速度計(ジャイロセンサ)106や、装置の3軸方向の加速度を検出する加速度計(加速度センサ)107が搭載される。装置揺れ検出部209は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。 The device shake detection unit 209 includes, for example, an angular velocity meter (gyro sensor) 106 that detects angular velocities in three axial directions of the imaging device 101, and an accelerometer (acceleration sensor) 107 that detects acceleration in three axial directions of the device. . A device shake detection unit 209 calculates the rotation angle of the device, the amount of shift of the device, and the like based on the detected signal.

音声入力部213は、撮像装置101に設けられたマイクから撮像装置101周辺の音声信号を取得し、アナログデジタル変換をして音声処理部214に送信する。音声処理部214は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部214で処理された音声信号は、第1制御部223によりメモリ215に送信される。メモリ215は、画像処理部207、音声処理部214により得られた画像信号及び音声信号を一時的に記憶する。 The audio input unit 213 acquires an audio signal around the imaging device 101 from a microphone provided in the imaging device 101 , converts it from analog to digital, and transmits it to the audio processing unit 214 . The audio processing unit 214 performs audio-related processing such as optimization processing of the input digital audio signal. The audio signal processed by the audio processing unit 214 is transmitted to the memory 215 by the first control unit 223 . A memory 215 temporarily stores the image signal and the audio signal obtained by the image processing unit 207 and the audio processing unit 214 .

画像処理部207及び音声処理部214は、メモリ215に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第1制御部223は、これらの圧縮画像信号、圧縮音声信号を、記録再生部220に送信する。 The image processing unit 207 and the audio processing unit 214 read out the image signal and the audio signal temporarily stored in the memory 215, encode the image signal and the audio signal, and convert the compressed image signal and the compressed audio signal. to generate The first control section 223 transmits these compressed image signal and compressed audio signal to the recording/playback section 220 .

記録再生部220は、記録媒体221に対して画像処理部207及び音声処理部214で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第1制御部223は、音声処理部214により生成された音声信号と画像処理部207により生成された圧縮画像信号とを、記録再生部220に送信し記録媒体221に記録させる。 The recording/reproducing unit 220 records the compressed image signal and compressed audio signal generated by the image processing unit 207 and the audio processing unit 214 on the recording medium 221, and other control data related to shooting. When the audio signal is not compression-encoded, the first control unit 223 transmits the audio signal generated by the audio processing unit 214 and the compressed image signal generated by the image processing unit 207 to the recording/reproducing unit 220. It is transmitted and recorded on the recording medium 221 .

記録媒体221は、撮像装置101に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体221は、撮像装置101で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ216よりも大容量な媒体が一般的に使用される。例えば、記録媒体221は、ハードディスク、光ディスク、光磁気ディスク、CD-R、DVD-R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。 The recording medium 221 may be a recording medium built in the imaging device 101 or a removable recording medium. The recording medium 221 can record various data such as a compressed image signal, a compressed audio signal, and an audio signal generated by the imaging device 101, and a medium having a larger capacity than the nonvolatile memory 216 is generally used. For example, the recording medium 221 includes all types of recording media such as hard disks, optical disks, magneto-optical disks, CD-Rs, DVD-Rs, magnetic tapes, non-volatile semiconductor memories, flash memories, and the like.

記録再生部220は、記録媒体221に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして読み出した圧縮画像信号、圧縮音声信号を、第1制御部223は画像処理部207及び音声処理部214に送信する。画像処理部207及び音声処理部214は、圧縮画像信号、圧縮音声信号を一時的にメモリ215に記憶させ、所定の手順で復号し、復号した信号を映像出力部217、音声出力部218に送信する。 The recording/playback unit 220 reads (plays back) compressed image signals, compressed audio signals, audio signals, various data, and programs recorded on the recording medium 221 . Then, the first control unit 223 transmits the read compressed image signal and compressed audio signal to the image processing unit 207 and the audio processing unit 214 . The image processing unit 207 and the audio processing unit 214 temporarily store the compressed image signal and the compressed audio signal in the memory 215, decode them according to a predetermined procedure, and transmit the decoded signals to the video output unit 217 and the audio output unit 218. do.

音声入力部213は複数のマイクが撮像装置101に搭載されており、音声処理部214は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部214では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に、複数のデータを解析して、規則性を抽出し、抽出結果に応じて、機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部214に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第1制御部223や第2制御部211に、検出トリガー信号を出力する構成になっている。 The voice input unit 213 has a plurality of microphones mounted on the imaging device 101, and the voice processing unit 214 can detect the direction of the sound on the plane where the plurality of microphones are installed, and can be used for searching and automatic shooting, which will be described later. Used. Further, the voice processing unit 214 detects specific voice commands. In addition to some pre-registered commands, the voice commands may be configured so that the user can register specific voices in the imaging device. It also performs sound scene recognition. In sound scene recognition, based on a large amount of audio data in advance, a plurality of data are analyzed to extract regularity, and sound scene determination is performed by a network learned by machine learning according to the extraction result. For example, the audio processing unit 214 is set with a network for detecting specific scenes such as "cheering", "applauding", and "vocalizing". Then, when a specific sound scene or a specific voice command is detected, a detection trigger signal is output to the first control section 223 and the second control section 211 .

撮像装置101のメインシステム全体を制御する第1制御部223はとは別に設けられた、第2制御部211が第1制御部223の供給電源を制御する。 A second control unit 211 provided separately from the first control unit 223 that controls the entire main system of the imaging apparatus 101 controls the power supply of the first control unit 223 .

第1電源部210と第2電源部212は、第1制御部223と第2制御部211を動作させるための、電源をそれぞれ供給する。撮像装置101に設けられた電源ボタンの押下により、まず第1制御部223と第2制御部211の両方に電源が供給されるが、後述するように、第1制御部223は、第1電源部210へ自らの電源供給をOFFするように制御される。第1制御部223が動作していない間も、第2制御部211は動作しており、装置揺れ検出部209や音声処理部214からの情報が入力される。第2制御部は各種入力情報を基にして、第1制御部223を起動するか否かの判定処理を行い、起動判定されると第1電源部に電源供給指示をする構成になっている。 The first power supply unit 210 and the second power supply unit 212 supply power for operating the first control unit 223 and the second control unit 211, respectively. When the power button provided in the imaging device 101 is pressed, power is first supplied to both the first control unit 223 and the second control unit 211. As will be described later, the first control unit 223 It is controlled to turn off its own power supply to the unit 210 . Even while the first control unit 223 is not operating, the second control unit 211 is operating and receives information from the device shake detection unit 209 and the audio processing unit 214 . Based on various types of input information, the second control unit determines whether or not to start the first control unit 223, and when it is determined to start, instructs the first power supply unit to supply power. .

音声出力部218は、例えば撮影時などに撮像装置101に内蔵されたスピーカーから予め設定された音声パターンを出力する。 The audio output unit 218 outputs a preset audio pattern from a speaker built into the imaging apparatus 101, for example, when shooting.

LED制御部224は、例えば撮影時などに撮像装置101に設けられたLEDを予め設定された点灯点滅パターンを制御する。 The LED control unit 224 controls a preset lighting and blinking pattern of the LEDs provided in the imaging device 101, for example, at the time of shooting.

映像出力部217は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部218、映像出力部217は、結合された1つの端子、例えばHDMI(登録商標)(High-Definition Multimedia Interface)端子のような端子であってもよい。 The video output unit 217 is composed of, for example, a video output terminal, and transmits an image signal to display a video on a connected external display or the like. Also, the audio output unit 218 and the video output unit 217 may be a terminal such as a terminal such as an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal.

通信部222は、撮像装置101と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置101と相互通信可能な外部機器の指示から撮像装置101を駆動する。また、撮像装置101と外部装置との間で、後述する学習処理部219で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部222は、例えば、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB、GPS受信機等の無線通信モジュールである。 The communication unit 222 performs communication between the imaging device 101 and an external device, and transmits and receives data such as audio signals, image signals, compressed audio signals, and compressed image signals, for example. It also receives control signals related to shooting, such as shooting start and end commands, pan/tilt and zoom driving, and drives the imaging device 101 based on instructions from an external device that can mutually communicate with the imaging device 101 . Also, information such as various parameters related to learning processed by a learning processing unit 219 (to be described later) is transmitted or received between the imaging device 101 and an external device. The communication unit 222 is, for example, a wireless communication module such as an infrared communication module, a Bluetooth (registered trademark) communication module, a wireless LAN communication module, a WirelessUSB, or a GPS receiver.

<外部通信機器との構成>
図3は、撮像装置101と外部装置301との無線通信システムの構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
<Configuration with external communication device>
FIG. 3 is a diagram showing a configuration example of a wireless communication system between the imaging device 101 and the external device 301. As shown in FIG. The imaging device 101 is a digital camera having an imaging function, and the external device 301 is a smart device including a Bluetooth communication module and a wireless LAN communication module.

撮像装置101とスマートデバイス301は、例えばIEEE802.11規格シリーズに準拠した無線LANによる通信302と、例えばBluetooth Low Energy(以下、「BLE」と呼ぶ。)BLEなどの、制御局と従属局などの主従関係を有する通信303とによって通信可能である。なお、無線LAN及びBLEは通信手法の一例であり、各通信装置は、2つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線LANなどの第1の通信は、BLEなどの第2の通信より高速な通信が可能であり、また、第2の通信は、第1の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。 The imaging device 101 and the smart device 301 communicate via a wireless LAN 302 conforming to the IEEE 802.11 standard series, for example, and a control station and slave stations such as Bluetooth Low Energy (hereinafter referred to as BLE) BLE. It is possible to communicate with the communication 303 having a master-slave relationship. Note that wireless LAN and BLE are examples of communication techniques, and each communication device has two or more communication functions. Other communication techniques may be used as long as it is possible to control the other communication function. However, without loss of generality, a first communication, such as wireless LAN, is capable of faster communication than a second communication, such as BLE, and the second communication consumes more power than the first communication. It is assumed that at least one of the power consumption is low and the communicable distance is short.

スマートデバイス301の構成を、図4を用いて説明する。 A configuration of the smart device 301 will be described with reference to FIG.

スマートデバイス301は、例えば、無線LAN用の無線LAN制御部401、及び、BLE用のBLE制御部402に加え、公衆無線通信用の公衆回線制御部406を有する。また、スマートデバイス301は、パケット送受信部403をさらに有する。無線LAN制御部401は、無線LANのRF制御、通信処理、IEEE802.11規格シリーズに準拠した無線LANによる通信の各種制御を行うドライバや無線LANによる通信に関するプロトコル処理を行う。BLE制御部402は、BLEのRF制御、通信処理、BLEによる通信の各種制御を行うドライバやBLEによる通信に関するプロトコル処理を行う。公衆回線制御部406は、公衆無線通信のRF制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばIMT(International Multimedia Telecommunications)規格やLTE(Long Term Evolution)規格などに準拠したものである。パケット送受信部403は、無線LAN並びにBLEによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス301は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。 The smart device 301 has, for example, a wireless LAN controller 401 for wireless LAN, a BLE controller 402 for BLE, and a public line controller 406 for public wireless communication. In addition, the smart device 301 further has a packet transmitter/receiver 403 . A wireless LAN control unit 401 performs wireless LAN RF control, communication processing, a driver for performing various types of control of wireless LAN communication conforming to the IEEE802.11 standard series, and protocol processing related to wireless LAN communication. The BLE control unit 402 performs BLE RF control, communication processing, a driver that performs various types of control over BLE communication, and protocol processing related to BLE communication. A public line control unit 406 performs RF control of public wireless communication, communication processing, a driver for performing various controls of public wireless communication, and protocol processing related to public wireless communication. Public wireless communication conforms to, for example, the IMT (International Multimedia Telecommunications) standard and the LTE (Long Term Evolution) standard. The packet transmission/reception unit 403 performs processing for executing at least one of transmission and reception of packets related to wireless LAN and BLE communication and public wireless communication. In this example, the smart device 301 performs at least one of packet transmission and reception in communication. good.

スマートデバイス301は、例えば、制御部411、記憶部404、GPS受信部405、表示部407、操作部408、音声入力音声処理部409、電源部410をさらに有する。制御部411は、例えば、記憶部404に記憶される制御プログラムを実行することにより、スマートデバイス301全体を制御する。記憶部404は、例えば制御部411が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部404に記憶された制御プログラムを制御部411が実行することにより、実現される。 The smart device 301 further includes, for example, a control unit 411 , a storage unit 404 , a GPS receiving unit 405 , a display unit 407 , an operation unit 408 , a voice input voice processing unit 409 and a power supply unit 410 . The control unit 411 controls the smart device 301 as a whole by executing a control program stored in the storage unit 404, for example. The storage unit 404 stores, for example, a control program executed by the control unit 411 and various information such as parameters necessary for communication. Various operations to be described later are realized by the control unit 411 executing a control program stored in the storage unit 404 .

電源部410はスマートデバイス301に電源を供給する。表示部407は、例えば、LCDやLEDのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部408は、例えばユーザによるスマートデバイス301の操作を受け付けるボタン等である。なお、表示部407及び操作部408は、例えばタッチパネルなどの共通する部材によって構成されてもよい。 A power supply unit 410 supplies power to the smart device 301 . The display unit 407 has a function capable of outputting visually recognizable information such as an LCD or an LED, or outputting sound such as a speaker, and displays various kinds of information. The operation unit 408 is, for example, a button or the like that receives an operation of the smart device 301 by the user. Note that the display unit 407 and the operation unit 408 may be configured by a common member such as a touch panel.

音声入力音声処理部409は、例えばスマートデバイス301に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。 The voice input voice processing unit 409 may be configured to acquire the voice uttered by the user from, for example, a general-purpose microphone built into the smart device 301, and to acquire the user's operation command through voice recognition processing.

また、スマートデバイス内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線LANによる通信302を介して、撮像装置101の音声処理部214に特定音声コマンド認識させるための特定音声コマンドとして登録することもできる。 In addition, a voice command is acquired by the user's pronunciation via a dedicated application in the smart device. Then, it can be registered as a specific voice command for causing the voice processing unit 214 of the imaging device 101 to recognize the specific voice command via the communication 302 by wireless LAN.

GPS(Global positioning system)405は、衛星から通知されるGPS信号を受信し、GPS信号を解析し、スマートデバイス301の現在位置(経度・緯度情報)を推定する。もしくは、位置推定は、WPS(Wi-Fi Positioning System)等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス301の現在位置を推定するようにしてもよい。取得した現在のGPS位置情報が予め事前に設定されている位置範囲(所定半径の範囲以内)に位置している場合に、BLE制御部402を介して撮像装置101へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、GPS位置情報に所定以上の位置変化があった場合に、BLE制御部402を介して撮像装置101へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。 A GPS (Global Positioning System) 405 receives GPS signals notified from satellites, analyzes the GPS signals, and estimates the current position (longitude/latitude information) of the smart device 301 . Alternatively, the position estimation may be performed using WPS (Wi-Fi Positioning System) or the like to estimate the current position of the smart device 301 based on information on wireless networks existing in the surrounding area. When the acquired current GPS position information is located within a preset position range (within a predetermined radius), the movement information is notified to the imaging device 101 via the BLE control unit 402, which will be described later. Used as a parameter for automatic shooting and automatic editing. Also, when the GPS position information has changed in position by a predetermined amount or more, movement information is notified to the imaging apparatus 101 via the BLE control unit 402, and used as parameters for automatic shooting and automatic editing, which will be described later.

上記のように撮像装置101とスマートデバイス301は、無線LAN制御部401、及び、BLE制御部402を用いた通信により、撮像装置101とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、スマートデバイスから撮像装置101の撮影などの操作指示であったり、音声コマンド登録データ送信や、GPS位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、スマートデバイス内の専用のアプリケーションを介しての学習用データの送受信も行う。 As described above, the imaging device 101 and the smart device 301 exchange data with the imaging device 101 through communication using the wireless LAN control unit 401 and the BLE control unit 402 . For example, it transmits and receives data such as audio signals, image signals, compressed audio signals, and compressed image signals. In addition, the smart device issues operation instructions such as photographing of the imaging device 101, transmits voice command registration data, and notifies of detection of a predetermined position and notification of movement of a place based on GPS position information. It also transmits and receives learning data via a dedicated application in the smart device.

<アクセサリ類の構成>
図5は、撮像装置101と通信可能である外部装置501との構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置501は、例えばBluetooth通信モジュールなどにより撮像装置101と通信可能である各種センシング部を含むウエアラブルデバイスである。
<Composition of accessories>
FIG. 5 is a diagram showing a configuration example of an external device 501 that can communicate with the imaging device 101. As shown in FIG. The imaging device 101 is a digital camera having a photographing function, and the external device 501 is a wearable device including various sensing units capable of communicating with the imaging device 101 using, for example, a Bluetooth communication module.

ウエアラブルデバイス501において、例えばユーザの腕などに装着できるような構成なっており、所定の周期でユーザの脈拍、心拍、血流等の生体情報を検出するセンサやユーザの運動状態を検出できる加速度センサ等が搭載されている。 The wearable device 501 is configured to be worn on the user's arm, for example, and includes a sensor that detects biological information such as the user's pulse, heart rate, and blood flow at a predetermined cycle, and an acceleration sensor that can detect the user's exercise state. etc. is installed.

生体情報検出部502は、例えば、脈拍を検出する脈拍センサ、心拍を検出する心拍センサ、血流を検出する血流センサ、導電性高分子による皮膚の接触によって電位の変化を検出したことを検知するセンサを含む。本実施形態では、生体情報検出部502として心拍センサを用いて説明する。心拍センサは、例えばLED等を用いて皮膚に赤外光を照射し、体組織を透過した赤外光を受光センサで検出して信号処理することによりユーザの心拍を検出する。生体情報検出部502は、検出した生体情報を信号として、後述する制御部607へ出力する。 The biological information detection unit 502 detects, for example, a pulse sensor that detects a pulse, a heart rate sensor that detects a heartbeat, a blood flow sensor that detects blood flow, and a change in potential due to skin contact with a conductive polymer. including sensors that In this embodiment, a heartbeat sensor is used as the biological information detection unit 502 for description. The heartbeat sensor detects the heartbeat of the user by irradiating the skin with infrared light using, for example, an LED or the like, detecting the infrared light that has passed through the body tissue with a light receiving sensor, and performing signal processing. The biological information detection unit 502 outputs the detected biological information as a signal to the control unit 607, which will be described later.

ユーザの運動状態を検出する揺れ検出部503は、例えば、加速度センサやジャイロセンサが搭載しており、加速度の情報に基づきユーザが移動しているかどうかや、腕を振り回してアクションをしているかどうかなどのモーションを検出することができる。 A shake detection unit 503 that detects the motion state of the user is equipped with, for example, an acceleration sensor or a gyro sensor. motion can be detected.

また、ユーザによるウエアラブルデバイス501の操作を受け付ける操作部505や、LCDやLEDのように視覚で認知可能な情報を出力する表示部504が搭載される。 Further, an operation unit 505 for receiving user's operation of the wearable device 501 and a display unit 504 for outputting visually recognizable information such as LCD and LED are mounted.

ウエアラブルデバイス501の構成を、図6を用いて説明する。 The configuration of wearable device 501 will be described with reference to FIG.

ウエアラブルデバイス501は、例えば、制御部607、通信部601、生体情報検出部502、揺れ検出部503、表示部504、操作部505、電源部606、記憶部608を有する。 The wearable device 501 has, for example, a control unit 607, a communication unit 601, a biological information detection unit 502, a shake detection unit 503, a display unit 504, an operation unit 505, a power supply unit 606, and a storage unit 608.

制御部607は、例えば、記憶部608に記憶される制御プログラムを実行することにより、ウエアラブルデバイス501全体を制御する。記憶部608は、例えば制御部607が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、例えば記憶部608に記憶された制御プログラムを制御部607が実行することにより、実現される。 The control unit 607 controls the entire wearable device 501 by executing a control program stored in the storage unit 608, for example. The storage unit 608 stores, for example, a control program executed by the control unit 607 and various information such as parameters required for communication. Various operations to be described later are realized by the control unit 607 executing a control program stored in the storage unit 608, for example.

電源部606はウエアラブルデバイス501に電源を供給する。表示部504は、例えば、LCDやLEDのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部505は、例えばユーザによるウエアラブルデバイス501の操作を受け付けるボタン等である。なお、表示部504及び操作部505は、例えばタッチパネルなどの共通する部材によって構成されてもよい。 A power supply unit 606 supplies power to the wearable device 501 . The display unit 504 has a function capable of outputting visually recognizable information such as an LCD or an LED, or outputting sound such as a speaker, and displays various kinds of information. The operation unit 505 is, for example, a button or the like that receives an operation of the wearable device 501 by the user. Note that the display unit 504 and the operation unit 505 may be configured by a common member such as a touch panel.

また、操作部は、例えばウエアラブルデバイス501に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声処理によりユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。 Further, the operation unit acquires the voice uttered by the user from, for example, a general-purpose microphone built in the wearable device 501, acquires the voice uttered by the user by voice processing, and recognizes the user's operation command by voice recognition processing. may be configured to acquire.

生体情報検出部502や揺れ検出部503から制御部607で処理された各種検出情報は、通信部601により、撮像装置101へ検出情報を送信する。 Various detection information processed by the control unit 607 from the biological information detection unit 502 and the shake detection unit 503 is transmitted to the imaging device 101 by the communication unit 601 .

例えば、ユーザの心拍の変化を検出したタイミングで検出情報を撮像装置101に送信したり、歩行移動/走行移動/立ち止まりなどの移動状態の変化のタイミングで検出情報を送信したりする。また、例えば、予め設定された腕ふりのモーションを検出したタイミングで検出情報を送信したり、予め設定された距離の移動を検出したタイミングで検出情報を送信したりする。 For example, the detection information is transmitted to the imaging device 101 at the timing of detecting a change in the user's heartbeat, or the detection information is transmitted at the timing of a change in movement state such as walking/running/stopping. Further, for example, the detection information is transmitted at the timing when a preset arm swing motion is detected, or the detection information is transmitted at the timing when movement of a preset distance is detected.

<撮像動作のシーケンス>
図7は、本実施形態における撮像装置101の第1制御部223が受け持つ動作の例を説明するフローチャートである。
<Sequence of Imaging Operation>
FIG. 7 is a flow chart for explaining an example of the operation of the first control unit 223 of the imaging device 101 according to this embodiment.

ユーザが撮像装置101に設けられた電源ボタンを操作すると、第1電源部210により電源供給部から、第1制御部223及び撮像装置101の各ブロックに電源を供給させる。 When the user operates a power button provided on the imaging apparatus 101 , the first power supply unit 210 causes the power supply unit to supply power to the first control unit 223 and each block of the imaging apparatus 101 .

また、同様に第2制御部211においても第2電源部212により電源供給部から、第2制御部に電源を供給されるが、第2制御部の動作の詳細については後述する図8のフローチャートを用いて説明する。 Similarly, in the second control unit 211, power is supplied from the power supply unit 212 to the second control unit. will be used to explain.

電源が供給されると、図7の処理がスタートする。ステップ701では、起動条件の読み込みが行われる。本実施形態においては、起動条件は以下である。
(1)電源ボタンが手動で押下されて電源起動
(2)外部機器(例えば301)から外部通信(例えばBLE通信)からの指示で電源起動
(3)Subプロセッサ(第2制御部211)から、電源起動
When power is supplied, the process of FIG. 7 starts. At step 701, a start condition is read. In this embodiment, the activation conditions are as follows.
(1) Power activation by manually pressing the power button (2) Power activation by an instruction from an external device (eg, 301) through external communication (eg, BLE communication) (3) From the sub processor (second control unit 211), power on

ここで、(3)のSubプロセッサから電源起動の場合は、Subプロセッサ内で演算された起動条件が読み込まれることになるが、詳細は後述する図8で説明する。 Here, in the case of (3) power activation from the Sub processor, activation conditions calculated in the Sub processor are read, and the details will be described later with reference to FIG.

また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の1つのパラメータ要素として用いられるが、後述して説明する。起動条件読み込みが終了するとステップ702に進む。 Also, the activation condition read here is used as one parameter element during subject search and automatic photographing, which will be described later. When the reading of the activation condition is finished, the process proceeds to step 702 .

ステップ702では、各種センサの読み込みが行われる。ここで読み込まれるセンサは、装置揺れ検出部209からのジャイロセンサや加速度センサなどの振動検出するセンサであったりする。また、チルト回転ユニット104やパン回転ユニット105の回転位置であったりする。また、音声処理部214にて検出される音声レベルや特定音声認識の検出トリガーや音方向検出だったりする。 At step 702, various sensors are read. The sensor read here may be a sensor that detects vibration, such as a gyro sensor or an acceleration sensor from the device shake detection unit 209 . It may also be the rotational position of the tilt rotation unit 104 or the pan rotation unit 105 . Further, it may be a sound level detected by the sound processing unit 214, a detection trigger for specific sound recognition, or sound direction detection.

また、図1乃至図6には図示していないが、環境情報を検出するセンサでも情報を取得する。 In addition, although not shown in FIGS. 1 to 6, a sensor that detects environmental information also acquires information.

例えば、所定の周期で撮像装置101の周辺の温度を検出する温度センサや、撮像装置101の周辺の気圧の変化を検出する気圧センサがある。また、撮像装置101の周辺の明るさを検出する照度センサや、撮像装置101の周辺の湿度を検出する湿度センサや、撮像装置101の周辺の紫外線量を検出するUVセンサ等を備えてもよい。検出した温度情報や気圧情報や明るさ情報や湿度情報やUV情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。 For example, there are a temperature sensor that detects the temperature around the imaging device 101 in a predetermined cycle and an atmospheric pressure sensor that detects changes in the atmospheric pressure around the imaging device 101 . Further, an illuminance sensor that detects the brightness around the imaging device 101, a humidity sensor that detects the humidity around the imaging device 101, a UV sensor that detects the amount of ultraviolet rays around the imaging device 101, and the like may be provided. . In addition to the detected temperature information, atmospheric pressure information, brightness information, humidity information, and UV information, the amount of temperature change, the amount of atmospheric pressure change, the amount of brightness change, and the humidity change that calculates the rate of change at a predetermined time interval from various types of detected information. It is used for determination of automatic photographing, etc., which will be described later, such as the amount and the amount of change in ultraviolet rays.

ステップ702で各種センサ読み込みが行われるとステップ703に進む。 After reading various sensors in step 702 , the process proceeds to step 703 .

ステップ703では、外部機器からの通信が指示されているかを検出し、通信指示があった場合、外部機器との通信を行う。 In step 703, it is detected whether a communication instruction is given from an external device, and if there is a communication instruction, communication with the external device is performed.

例えば、スマートデバイス301から、無線LANやBLEを介した、リモート操作であったり、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、スマートデバイス301からの撮像装置101の撮影などの操作指示や、音声コマンド登録データ送信や、GPS位置情報に基づいた所定位置検出通知や場所移動通知や学習用データの送受信の指示があるかどうかの読み込みを行う。 For example, the smart device 301 transmits or receives data such as remote operation, audio signal, image signal, compressed audio signal, compressed image signal, etc. via wireless LAN or BLE. Also, whether there is an instruction from the smart device 301 to operate the imaging device 101 such as shooting, transmission of voice command registration data, notification of detection of a predetermined position based on GPS position information, notification of location movement, or transmission/reception of data for learning. Do some reading.

また、例えば、ウエアラブルデバイス501から、ユーザの運動情報、腕のアクション情報、心拍などの生体情報の更新がある場合、BLEを介した情報の読み込みを行う。また、上述した環境情報を検出する各種センサは、撮像装置101に搭載してもよいが、スマートデバイス301或いはウエアラブルデバイス501に搭載していてもよく、その場合、BLEを介した環境情報の読み込みも行う。ステップ703で外部機器からの通信読み込みが行われると、ステップS704に進む。 Also, for example, when the wearable device 501 updates the user's exercise information, arm action information, heart rate, and other biological information, the information is read via BLE. Various sensors for detecting the environmental information described above may be mounted on the imaging device 101, but may also be mounted on the smart device 301 or the wearable device 501. In this case, the environmental information is read via BLE. also do When communication reading from the external device is performed in step 703, the process proceeds to step S704.

ステップ704では、モード設定判定が行われる。ステップ704で設定されるモードは、以下の内から判定され選ばれる。 At step 704, a mode setting determination is made. The mode set in step 704 is determined and selected from among the following.

(1)自動撮影モード
[モード判定条件]
後述する学習により設定された各検出情報(画像、音、時間、振動、場所、身体の変化、環境変化)や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
(1) Automatic shooting mode [Mode judgment condition]
Based on each detection information (image, sound, time, vibration, location, change in body, change in environment) set by learning described later, elapsed time after switching to automatic shooting mode, past shooting information, etc. When it is determined that automatic photographing should be performed, the automatic photographing mode is set.

[モード内処理]
自動撮影モード処理(ステップ710)では、各検出情報(画像、音、時間、振動、場所、体の変化、環境変化)に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、静止画一枚撮影、静止画連続撮影、動画撮影、パノラマ撮影、タイムラプス撮影など様々な撮影方法の中から、撮影方法の判定処理が行われ、自動で撮影が行われる。
[In-mode processing]
In the automatic photographing mode process (step 710), based on each detection information (image, sound, time, vibration, place, change in body, change in environment), pan/tilt and zoom are driven to automatically search for the subject. Then, when it is determined that it is time for the user's favorite shooting, the shooting method is determined from various shooting methods such as single still image shooting, continuous still image shooting, moving image shooting, panorama shooting, and time-lapse shooting. Processing is done and shooting is done automatically.

(2)自動編集モード
[モード判定条件]
前回自動編集を行ってからの経過時間と、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
(2) Automatic Edit Mode [Mode Judgment Conditions]
When it is determined that automatic editing should be performed based on the elapsed time since the last automatic editing and the information of past shot images, the automatic editing mode is set.

[モード内処理]
自動編集モード処理(ステップ712)では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
[In-mode processing]
In the automatic editing mode processing (step 712), still images and moving images are selected based on the learning, and highlight videos combined into one video are created based on the learning based on the image effects and the time of the edited video. An automatic editing process to create is performed.

(3)画像転送モード
[モード判定条件]
スマートデバイス内の専用のアプリケーションを介した指示により画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から画像自動を行うべきと判定されると、画像自動転送モードに設定される。
(3) Image transfer mode [Mode judgment condition]
If the automatic image transfer mode is set by an instruction via a dedicated application on the smart device, it is determined that the automatic image transfer should be performed based on the elapsed time since the last image transfer and information on past captured images. , is set to automatic image transfer mode.

[モード内処理]
画像自動転送モード処理(ステップ714)では、撮像装置101は、ユーザの好みであろう画像を自動で抽出し、スマートデバイス301にユーザの好みの画像を自動で抽出し、画像転送が行われる。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行う。
[In-mode processing]
In the automatic image transfer mode process (step 714), the imaging device 101 automatically extracts an image that may be the user's favorite, automatically extracts the user's favorite image to the smart device 301, and transfers the image. The user's favorite images are extracted based on a score determined by the user's preferences added to each image, which will be described later.

(4)学習モード
[モード判定条件]
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習モードに設定される。または、スマートデバイス301からの通信を介して学習データが設定されるように指示があった場合も本モードに設定される。
(4) Learning Mode [Mode Judgment Conditions]
If it is determined that automatic learning should be performed based on the elapsed time since the previous learning process, information associated with images that can be used for learning, and the number of learning data, automatic learning mode is set. be done. Alternatively, this mode is set when an instruction to set learning data is received from the smart device 301 via communication.

[モード内処理]
自動学習モード処理(ステップ716)では、ユーザの好みに合わせた学習を行う。スマートデバイス301での各操作、スマートデバイス301からの学習情報通知などの情報を基に複数のデータをニューラルネットワークを用いて解析して、規則性を抽出し、抽出結果に応じて、ユーザの好みに合わせた学習が行われる。スマートデバイス301での各操作の情報としては、例えば、撮像装置からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。
[In-mode processing]
In automatic learning mode processing (step 716), learning is performed according to the user's preference. Based on each operation on the smart device 301 and information such as learning information notifications from the smart device 301, a plurality of data are analyzed using a neural network to extract regularity, and user preferences are determined according to the extraction results. Learning is done accordingly. Information on each operation on the smart device 301 includes, for example, image acquisition information from the imaging device, information on manual editing instructions via a dedicated application, and judgment values input by the user for images in the imaging device. I have information.

また、個人認証の登録や音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。 At the same time, learning about detection such as registration of personal authentication, voice registration, sound scene registration, and general object recognition registration, and learning of the above-described low power consumption mode conditions, etc. are also performed.

(5)ファイル自動削除モード
[モード判定条件]
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ216の残容量とから、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
(5) File automatic deletion mode [Mode judgment condition]
When it is determined that automatic file deletion should be performed based on the elapsed time since the last automatic file deletion and the remaining capacity of the nonvolatile memory 216 recording the image, the automatic file deletion mode is set.

[モード内処理]
ファイル自動削除モード処理(ステップ718)では、不揮発性メモリ216内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるファイルを指定し(三択処理)削除する。
[In-mode processing]
In the file automatic deletion mode processing (step 718), files to be automatically deleted are specified (three-choice processing) from among the images in the nonvolatile memory 216 based on the tag information of each image and the shooting date and time.

なお、自動撮影モード処理、自動編集モード処理、学習モード処理についての詳細は、後述する。 The details of the automatic shooting mode processing, the automatic editing mode processing, and the learning mode processing will be described later.

ステップ705ではステップ704でモード設定判定が低消費電力モードに設定されているかどうかを判定する。低消費電力モード判定は、後述する「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」、の何れのモードの判定位条件でもない場合は、低消費電力モードになるように判定される。判定処理が行われるとステップ705に進む。 At step 705, it is determined whether or not the mode setting determination at step 704 is set to the low power consumption mode. The low power consumption mode determination is not a determination condition for any of the "automatic shooting mode", "automatic editing mode", "automatic image transfer mode", "learning mode", and "automatic file deletion mode", which will be described later. If so, it is determined to enter the low power consumption mode. After the determination process is performed, the process proceeds to step 705 .

ステップ705では、低消費電力モード条件であると判定されれば、ステップ706に進む。 At step 705 , if it is determined that the low power consumption mode condition is satisfied, the process proceeds to step 706 .

ステップ706では、Subプロセッサ(第2制御部211)へ、Subプロセッサ内で判定する起動要因に係る各種パラメータを(揺れ検出判定用パラメータ、音検出用パラメータ、時間経過検出パラメータ)を通知する。各種パラメータは後述する学習処理にて、学習されることによって値が変化する。ステップ706の処理を終了すると、ステップ707に進み、Mainプロセッサ(第1制御部223)の電源をOFFして、処理を終了する。 In step 706, the Sub processor (second control unit 211) is notified of various parameters (shake detection determination parameter, sound detection parameter, time passage detection parameter) related to activation factors determined within the Sub processor. Values of various parameters change as they are learned in a learning process to be described later. After completing the process of step 706, the process proceeds to step 707, the main processor (first control unit 223) is powered off, and the process ends.

一方、ステップ705で低消費電力モードでないと判定されると、ステップ709に進み、モード設定が自動撮影モードであるか否かを判定し、自動撮影モードであればステップ710に進み、自動撮影モード処理が行われる。処理が終了すると、ステップ702に戻り、処理を繰り返す。ステップ709で、自動撮影モードでないと判定されると、ステップ711に進む。 On the other hand, if it is determined in step 705 that the mode is not in the low power consumption mode, the process proceeds to step 709 to determine whether the mode setting is the automatic shooting mode. processing takes place. When the processing ends, the process returns to step 702 and repeats the processing. If it is determined in step 709 that the mode is not the automatic shooting mode, the process proceeds to step 711 .

ステップ711では、モード設定が自動編集モードであるか否かを判定し、自動編集モードであればステップ712に進み、自動編集モード処理が行われる。処理が終了すると、ステップ702に戻り、処理を繰り返す。ステップ711で、自動編集モードでないと判定されると、ステップ713に進む。 At step 711, it is determined whether or not the mode setting is the automatic editing mode. When the processing ends, the process returns to step 702 and repeats the processing. If it is determined in step 711 that the automatic editing mode is not set, step 713 follows.

ステップ713では、モード設定が画像自動転送モードであるか否かを判定し、画像自動転送モードであればステップ714に進み、画像自動転送モード処理が行われる。処理が終了すると、ステップ702に戻り、処理を繰り返す。ステップ713で、画像自動転送モードでないと判定されると、ステップ715に進む。 At step 713, it is determined whether or not the mode setting is the automatic image transfer mode. When the processing ends, the process returns to step 702 and repeats the processing. If it is determined in step 713 that the automatic image transfer mode is not set, step 715 follows.

ステップ715では、モード設定が学習モードであるか否かを判定し、学習モードであればステップ716に進み、学習モード処理が行われる。処理が終了すると、ステップ702に戻り、処理を繰り返す。ステップ715で、学習モードでないと判定されると、ステップ717に進む。 At step 715, it is determined whether or not the mode setting is the learning mode. When the processing ends, the process returns to step 702 and repeats the processing. If it is determined in step 715 that the learning mode is not set, step 717 is reached.

ステップ717では、モード設定がファイル自動削除モードであるか否かを判定し、ファイル自動削除モードであればステップ718に進み、ファイル自動削除モード処理が行われる。処理が終了すると、ステップ702に戻り、処理を繰り返す。ステップ717で、学習モードでないと判定されると、ステップ702に戻り、処理を繰り返す。 At step 717, it is determined whether or not the mode setting is the automatic file deletion mode. When the processing ends, the process returns to step 702 and repeats the processing. If it is determined in step 717 that the learning mode is not set, the process returns to step 702 and repeats the process.

図8は、本実施形態における撮像装置101の第2制御部211が受け持つ動作の例を説明するフローチャートである。 FIG. 8 is a flow chart for explaining an example of the operation of the second control unit 211 of the imaging device 101 according to this embodiment.

ユーザが撮像装置101に設けられた電源ボタンを操作すると、第1電源部210により電源供給部から第1制御部223へ電源が供給されるのと同様に第2制御部211においても第2電源部212により電源供給部から第2制御部211に電源が供給される。電源が供給されると、Subプロセッサ(第2制御部211)が起動され、図8の処理がスタートする。 When the user operates the power button provided on the imaging apparatus 101, the second power supply is supplied to the first control unit 223 by the first power supply unit 210 as well as the power supply unit to the first control unit 223. Power is supplied from the power supply unit to the second control unit 211 by the unit 212 . When power is supplied, the Sub processor (second control unit 211) is activated, and the process of FIG. 8 starts.

ステップ801では、サンプリングの周期となる所定期間が経過したか否かを判定する。例えば10msecに設定された場合、10msec周期で、ステップ802に進む。所定期間が経過していないと判定されると、Subプロセッサは何も処理をせずにステップ801に戻って所定期間が経過するのをまつ。 In step 801, it is determined whether or not a predetermined period, which is a sampling period, has passed. For example, if it is set to 10 msec, the process proceeds to step 802 with a period of 10 msec. If it is determined that the predetermined period has not elapsed, the Sub processor does not perform any processing and returns to step 801 to wait for the predetermined period to elapse.

ステップ802では、学習情報の読み込みが行われる。学習情報は、図7のステップ706でのSubプロセッサへ情報通信する際に、転送された情報であり、例えば以下の情報が読み込まれる。
(1)特定揺れ検出の判定条件
(2)特定音検出の判定条件
(3)時間経過判定の判定条件
In step 802, learning information is read. The learning information is the information transferred when communicating information to the Sub processor in step 706 of FIG. 7, and the following information is read, for example.
(1) Judgment conditions for detecting specific shaking (2) Judgment conditions for detecting specific sounds (3) Judgment conditions for judging the passage of time

ステップ802で学習情報が読み込まれると、ステップ803に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部209からのジャイロセンサや加速度センサなどの振動検出するセンサからの出力値である。 After the learning information is read in step 802, the process proceeds to step 803 to acquire the shake detection value. A shake detection value is an output value from a sensor that detects vibration, such as a gyro sensor or an acceleration sensor, from the apparatus shake detection unit 209 .

ステップ803で揺れ検出値が取得されると、ステップ804に進み、予め設定された揺れ状態検出の処理を行う。ここでは、ステップ802で読み込まれた学習情報によって、判定処理を変更する。いくつかの例を説明する。 When the shake detection value is obtained in step 803, the process proceeds to step 804 to perform preset shake state detection processing. Here, the determination process is changed according to the learning information read in step 802 . Some examples are given.

(1)タップ検出
ユーザが撮像装置101を例えば指先などで叩いた状態(タップ状態)を、撮像装置101に取り付けられた加速度センサの出力値より検出することが可能である。3軸の加速度センサの出力を所定サンプリングで特定の周波数領域に設定したバンドパスフィルタ(BPF)に通すことで、タップによる加速度変化の信号領域を抽出することができる。BPF後の加速度信号を所定時間TimeA間に、所定閾値ThreshAを超えた回数が、所定回数CountAであるか否かにより、タップ検出を行う。ダブルタップの場合は、CountAは2に設定され、トリプルタップの場合は、CountAは3に設定される。また、TimeAやThreshAについても、学習情報によって変化させることができる。
(1) Tap Detection A state (tapped state) in which the user taps the imaging device 101 with, for example, a fingertip can be detected from an output value of an acceleration sensor attached to the imaging device 101 . By passing the output of the 3-axis acceleration sensor through a band-pass filter (BPF) set in a specific frequency range by predetermined sampling, the signal area of the acceleration change due to the tap can be extracted. Tap detection is performed depending on whether the number of times the acceleration signal after BPF exceeds a predetermined threshold value ThreshA in a predetermined time TimeA is a predetermined number of times CountA. For double-tap, CountA is set to 2; for triple-tap, CountA is set to 3. Also, TimeA and ThreshA can be changed by learning information.

(2)揺れ状態の検出
撮像装置101の揺れ状態を、撮像装置101に取り付けられたジャイロセンサや加速度センサの出力値より検出することが可能である。ジャイロセンサや加速度センサの出力をHPFで高周波成分をカットし、LPFで低周波成分をカットした後、絶対値変換を行う。算出した絶対値が所定時間TimeB間に、所定閾値ThreshBを超えた回数が、所定回数CountB以上であるか否かにより、振動検出を行う。例えば撮像装置101を机などに置いたような揺れが小さい状態か、ウエアラブルで撮像装置101を装着し歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数もつことで、揺れレベルに応じた細かい揺れ状態を検出することも可能である。
(2) Detection of shaking state The shaking state of the imaging device 101 can be detected from the output values of the gyro sensor and acceleration sensor attached to the imaging device 101 . High-frequency components are cut from the output of the gyro sensor or the acceleration sensor by the HPF, and low-frequency components are cut by the LPF, and then absolute value conversion is performed. Vibration detection is performed depending on whether or not the number of times the calculated absolute value exceeds a predetermined threshold value ThreshB during a predetermined time TimeB is equal to or greater than a predetermined number of times CountB. For example, it is possible to determine whether the shaking is small, such as when the imaging device 101 is placed on a desk, or whether the shaking is large, such as when the imaging device 101 is worn while walking. Further, it is possible to detect a fine shaking state according to the shaking level by having a plurality of judgment thresholds and judgment count conditions.

TimeBやThreshBやCountBについても、学習情報によって変化させることができる。 TimeB, ThreshB, and CountB can also be changed by learning information.

上記は揺れ検出センサの条件判定による特定揺れ状態検出の方法を説明した。しかしながら、所定時間内でサンプリングされた揺れ検出センサのデータから、ニューラスネットワークを用いた揺れ状態判定器に入力することで、学習させたニューラルネットワークにより、事前に登録しておいた特定揺れ状態を検出することも可能である。その場合、ステップ802での学習情報読み込みはニューラルネットワークの重みパラメータとなる。 The method for detecting a specific shaking state based on condition determination of the shaking detection sensor has been described above. However, by inputting the shake detection sensor data sampled within a predetermined period of time into a shake state determiner using a neural network, the trained neural network can detect a specific shake state registered in advance. It is also possible to detect In that case, the learning information read in step 802 becomes the weight parameter of the neural network.

ステップ804で特定揺れ状態検出処理が行われると、ステップ805に進み、予め設定された特定音検出処理を行う。ここでは、ステップ802で読み込まれた学習情報によって、検出判定処理を変更する。いくつかの例を説明する。 After the specific shaking state detection process is performed in step 804, the process proceeds to step 805 to perform a preset specific sound detection process. Here, the detection determination process is changed according to the learning information read in step 802 . Some examples are given.

(1)特定音声コマンド検出
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる。
(1) Specific voice command detection A specific voice command is detected. As for voice commands, the user can register specific voices in the imaging device in addition to some pre-registered commands.

(2)特定音シーン認識
予め大量の音声データを基に解析して、規則性を抽出し、抽出結果に応じて機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
(2) Specific Sound Scene Recognition A large amount of audio data is analyzed in advance to extract regularity, and a network learned by machine learning according to the extraction result determines a sound scene. For example, specific scenes such as "cheering", "applauding", and "vocalizing" are detected. Scenes to be detected change with learning.

(3)音レベル判定
所定時間の間で、音レベルの大きさがレベル所定値を超えている時間を加算するなどの方法によって、音レベル判定による検出を行う。所定時間やレベル所定値の大きさなどが学習によって変化する。
(3) Sound Level Judgment Detection is performed by sound level judgment, for example, by adding the amount of time during which the sound level exceeds a predetermined level value within a predetermined period of time. The predetermined time, the magnitude of the predetermined level value, and the like change with learning.

(4)音方向判定
複数のマイクが設置された平面上の音の方向を検出することができ、所定大きさの音レベルに対して、音の方向を検出する。
(4) Determination of Sound Direction It is possible to detect the direction of sound on a plane on which a plurality of microphones are installed, and detect the direction of sound for a predetermined sound level.

音声処理部214内で上記の判定処理が行われており、事前に学習された各設定により、特定音検出がされたかをステップ805で判定する。 The above determination processing is performed in the audio processing unit 214, and it is determined in step 805 whether or not the specific sound has been detected based on each setting learned in advance.

ステップ805で特定音検出処理が行われると、ステップ806に進む。ステップ806では、Mainプロセッサ(第1制御部223)はOFF状態であるか否かを判定し、MainプロセッサがOFF状態であれば、ステップ807に進み、予め設定された時間経過検出処理を行う。ここでは、ステップ802で読み込まれた学習情報によって、検出判定処理を変更する。学習情報は、図7で説明したステップ706でのSubプロセッサ(第2制御部211)へ情報通信する際に、転送された情報である。MainプロセッサがONからOFFへ遷移したときからの経過時間が計測されており、経過時間がパラメータTimeC以上であれば、時間経過と判定され、TimeCより小さければ、時間経過とは判定されない。TimeCは、学習情報によって変化するパラメータである。 After the specific sound detection process is performed in step 805 , the process proceeds to step 806 . At step 806, it is determined whether or not the main processor (first control unit 223) is in the OFF state. Here, the detection determination process is changed according to the learning information read in step 802 . The learning information is information transferred when communicating information to the Sub processor (second control unit 211) in step 706 described in FIG. The elapsed time since the main processor transitioned from ON to OFF is measured, and if the elapsed time is equal to or greater than the parameter TimeC, it is determined that time has passed, and if it is less than TimeC, it is not determined that time has passed. TimeC is a parameter that changes according to learning information.

ステップ807で時間経過検出処理が行われると、ステップ808に進み、低消費電力モード解除判定がされたかを判定する。低消費電力モード解除条件は以下によって判定される。
(1)特定揺れ検出の判定条件
(2)特定音検出の判定条件
(3)時間経過判定の判定条件
When the elapsed time detection process is performed in step 807, the process proceeds to step 808 to determine whether the low power consumption mode cancellation determination has been made. Low power consumption mode cancellation conditions are determined by the following.
(1) Judgment conditions for detecting specific shaking (2) Judgment conditions for detecting specific sounds (3) Judgment conditions for judging the passage of time

それぞれ、ステップ804での特定揺れ状態検出処理により、特定揺れ検出の判定条件に入ったか否かを判定できる。また、ステップ805での特定音検出処理により、特定音検出の判定条件に入ったか否かを判定できる。また、ステップ807での時間経過検出処理により、時間経過検出の判定条件に入ったか否かを判定できる。したがって、何れか一つ以上の条件に入っていれば、低消費電力モード解除を行うような判定が行われる。 In each case, it is possible to determine whether or not the determination condition for detecting the specific shake is met by the specific shake state detection processing in step 804 . Further, by the specific sound detection processing in step 805, it can be determined whether or not the specific sound detection determination condition is met. Further, by the time lapse detection processing in step 807, it can be determined whether or not the determination condition for time lapse detection is met. Therefore, if one or more of the conditions are met, a determination is made to cancel the low power consumption mode.

ステップ808で解除条件判定されると、ステップ809に進みMainプロセッサの電源をONし、ステップ810で、低消費電力モード解除と判定された条件(揺れ、音、時間)をMainプロセッサに通知し、ステップ801に戻り処理をループする。 If the condition for canceling is determined in step 808, the process proceeds to step 809 to turn on the power of the main processor. Returning to step 801, the processing is looped.

ステップ808で何れの解除条件にも当てはまらなく、低消費電力モード解除判定でないと判定されると、ステップ801に戻り処理をループする。 If none of the cancellation conditions are met in step 808 and it is determined that the low power consumption mode cancellation determination is not made, the process returns to step 801 and loops.

ステップ806で、MainプロセッサがON状態であると判定されている場合、ステップ803乃至805までで取得した情報をMainプロセッサに通知し、ステップ801に戻り処理をループする。 If it is determined in step 806 that the main processor is ON, the information obtained in steps 803 to 805 is notified to the main processor, and the process returns to step 801 to loop.

本実施形態においては、MainプロセッサがON状態においても揺れ検出や特定音検出をSubプロセッサで行い、検出結果をMainプロセッサに通知する構成にしている。しかしながら、MainプロセッサがONの場合は、ステップ803乃至805の処理を行わず、Mainプロセッサ内の処理(図7のステップ702)で揺れ検出や特定音検出を検出する構成にしてもよい。 In this embodiment, even when the main processor is in the ON state, the sub processor detects the shake and the specific sound, and notifies the main processor of the detection results. However, when the main processor is ON, the processing of steps 803 to 805 may not be performed, and the shaking detection and the specific sound may be detected in the processing (step 702 in FIG. 7) in the main processor.

上記のように図7のステップ704乃至ステップ707や、図8の処理を行うことで、低消費電力モードに移行する条件や低消費電力モードを解除する条件が、ユーザの操作に基づいて学習される。これにより、撮像装置101を所有するユーザの使い勝手に合わせた撮像動作を行うことができる。学習の方法については後述する。 By performing steps 704 to 707 in FIG. 7 and the processing in FIG. 8 as described above, the conditions for switching to the low power consumption mode and the conditions for canceling the low power consumption mode are learned based on the user's operation. be. As a result, it is possible to perform an image capturing operation that is convenient for the user who owns the image capturing apparatus 101 . The learning method will be described later.

上記、揺れ検出や音検出や時間経過による低消費電力モード解除方法について詳しく説明したが、環境情報により低消費電力モード解除を行ってもよい。環境情報は温度や気圧や明るさや湿度や紫外線量の絶対量や変化量が所定閾値を超えたか否かで判定することができ、後述する学習により閾値を変化させることもできる。 Although the method of canceling the low power consumption mode based on shake detection, sound detection, and passage of time has been described above, the low power consumption mode may be canceled based on environmental information. The environmental information can be determined based on whether the absolute amount or variation of the temperature, air pressure, brightness, humidity, or amount of ultraviolet rays exceeds a predetermined threshold value, and the threshold value can be changed by learning, which will be described later.

また、揺れ検出や音検出や時間経過の検出情報や、各環境情報の絶対値や変化量をニューラルネットワークに基づく判断によって、低消費電力モード解除を判定してもできるし、この判定処理は、後述する学習によって、判定条件を変更することができる。 It is also possible to determine whether to cancel the low power consumption mode based on a neural network based on the detection information of shake detection, sound detection, time passage detection, and the absolute value and amount of change of each environmental information. The determination conditions can be changed by learning, which will be described later.

<自動撮影モード処理>
図9を用いて、自動撮影モード処理の詳細を説明する。前述したように、以下の処理は、本実施形態における撮像装置101の第1制御部223が制御を受け持つ。
<Automatic shooting mode processing>
Details of the automatic shooting mode processing will be described with reference to FIG. As described above, the following processing is controlled by the first control unit 223 of the imaging apparatus 101 in this embodiment.

S901では、画像処理部207に撮像部206で取り込まれた信号を画像処理させ、被写体認識用の画像を生成させる。 In S901, the image processing unit 207 is caused to perform image processing on the signal captured by the imaging unit 206 to generate an image for subject recognition.

生成された画像からは、人物や物体認識などの被写体認識が行われる。 Subject recognition such as person and object recognition is performed from the generated image.

人物を認識する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。 When recognizing a person, the face and human body of the subject are detected. In face detection processing, a pattern for determining a person's face is determined in advance, and a portion included in the captured image that matches the pattern can be detected as a person's face image.

また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。 At the same time, the reliability indicating the probability that the subject is a face is also calculated. The reliability is calculated from, for example, the size of the face area in the image, the degree of matching with the face pattern, and the like.

物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。 As for object recognition, similarly, an object matching a pre-registered pattern can be recognized.

また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。 There is also a method of extracting a characteristic subject by using a histogram of hue, saturation, etc. in a captured image. In this case, regarding the image of the subject captured within the shooting angle of view, the distribution derived from the histogram of the hue, saturation, etc. is divided into a plurality of sections, and the captured image is classified for each section. be done.

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。 For example, a histogram of a plurality of color components is created for the imaged image, and the image is divided according to the mountain-shaped distribution range. Recognized.

認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。 By calculating the evaluation value for each image area of the recognized subject, the image area of the subject with the highest evaluation value can be determined as the main subject area.

以上の方法で、撮像情報から各被写体情報を得ることができる。 By the method described above, each object information can be obtained from the imaging information.

S902では、像揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出部209において取得した角速度および加速度情報に基づいて撮像装置の絶対角度の算出を行う。そして、絶対角度を打ち消す角度方向にチルト回転ユニット104およびパン回転ユニット105を動かす防振角度を求め、像揺れ補正量とする。なお、ここでの像揺れ補正量算出処理は、後述する学習処理によって、演算方法を変更することができる。 In S902, the amount of image shake correction is calculated. Specifically, first, the absolute angle of the imaging device is calculated based on the angular velocity and acceleration information acquired by the device shake detection unit 209 . Then, an anti-vibration angle for moving the tilt rotation unit 104 and the pan rotation unit 105 in an angle direction that cancels out the absolute angle is obtained and used as an image shake correction amount. It should be noted that the calculation method of the image shake correction amount calculation processing here can be changed by learning processing to be described later.

S903では、撮像装置の状態判定を行う。角速度情報や加速度情報やGPS位置情報などで検出した角度や移動量などにより、現在、撮像装置がどのような振動/動き状態なのかを判定する。 In S903, the state of the imaging device is determined. Based on the angular velocity information, acceleration information, GPS position information, and the like, the current vibration/movement state of the imaging apparatus is determined based on the angle and movement amount.

例えば、車に撮像装置101を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。 For example, when the image pickup apparatus 101 is mounted on a car and photographed, subject information such as the surrounding scenery changes greatly depending on the distance traveled.

そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。 Therefore, it is possible to determine whether or not the camera is mounted in a car and move at a high speed, i.e., a "vehicle moving state", and use this for automatic subject search, which will be described later.

また、角度の変化が大きいか否かを判定し、撮像装置101が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。 Also, it is determined whether or not the change in the angle is large, and whether or not the imaging apparatus 101 is in a “pause shooting state” in which there is almost no shaking angle.

「置き撮り状態」である場合は、撮像装置101自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。 In the case of the “placed shooting state”, it can be considered that the angle of the imaging device 101 itself does not change, and therefore subject search for the placed shooting can be performed.

また、比較的、角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。 Also, when the change in angle is relatively large, it is determined that the camera is in a "handheld state", and a hand-held subject search can be performed.

S904では、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。 In S904, subject search processing is performed. Subject search is configured by the following processes.

(1)エリア分割
図13を用いて、エリア分割を説明する。図13(a)のように撮像装置(原点Oが撮像装置位置とする。)位置を中心として、全周囲でエリア分割を行う。図13(a)の例においては、チルト方向、パン方向それぞれ22.5度で分割している。図13(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図13(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲は22.5度よりも大きく設定している。図13(c)、(d)に撮影画角内でのエリア分割された例を示す。軸1301は初期化時の撮像装置101の方向であり、この方向角度を基準位置としてエリア分割が行われる。1302は、撮像されている画像の画角エリアを示しており、そのときの画像例を図13(d)に示す。画角に写し出されている画像内ではエリア分割に基づいて、図13(d)の1303~1318のように画像分割される。
(1) Area Division Area division will be described with reference to FIG. As shown in FIG. 13A, area division is performed around the position of the imaging device (the origin O is the position of the imaging device) as the center. In the example of FIG. 13A, the tilt direction and the pan direction are divided at 22.5 degrees each. When divided as shown in FIG. 13A, the horizontal circumference becomes smaller and the area region becomes smaller as the angle in the tilt direction moves away from 0 degree. Therefore, as shown in FIG. 13B, when the tilt angle is 45 degrees or more, the horizontal area range is set larger than 22.5 degrees. FIGS. 13C and 13D show an example of area division within the imaging angle of view. An axis 1301 is the direction of the imaging device 101 at the time of initialization, and area division is performed using this direction angle as a reference position. Reference numeral 1302 denotes the angle-of-view area of the captured image, and an example of the image at that time is shown in FIG. 13(d). The image captured at the angle of view is divided into areas 1303 to 1318 in FIG. 13(d) based on the area division.

(2)エリア毎の重要度レベルの算出
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、撮像装置の状態判定(S903)で、撮像装置の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体(例えば撮像装置のユーザである)を中心に被写体探索が行われるように、特定人物の顔認証を検出すると重要度レベルが高くなるように判定される。また、後述する自動撮影も上記顔を優先して行われることになり、撮像装置のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するS910にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。
(2) Calculation of importance level for each area For each area divided as described above, an importance level indicating the priority of searching is calculated according to the subject existing in the area and the scene situation of the area. The importance level based on the situation of the subject is based on, for example, the number of people present in the area, the size of the person's face, the face orientation, the probability of face detection, the person's facial expression, and the person's personal authentication result. calculate. In addition, the level of importance according to the situation of the scene is, for example, general object recognition result, scene discrimination result (blue sky, backlight, evening scene, etc.), sound level and voice recognition result from the direction of the area, motion detection in the area. Information, etc. Further, the vibration state of the image pickup device is detected in the state determination of the image pickup device (S903), and the importance level can also be changed according to the vibration state. For example, when it is determined that the camera is in the “pause shooting state”, the specific person is selected so that the subject search is performed mainly for subjects with high priority among those registered for face authentication (for example, the user of the imaging device). When face authentication is detected, the importance level is determined to be higher. In addition, automatic shooting, which will be described later, is also performed with priority on the above-mentioned face. By placing it on top, it is possible to leave many images of the user. At this time, since it is possible to search by panning and tilting, it is possible to leave an image of the user or a group photo of many faces simply by setting it appropriately without considering the installation angle of the imaging device. can. With the above conditions alone, the area with the highest level of importance will be the same as long as there is no change in each area, and as a result, the area to be searched will remain the same. Therefore, the importance level is changed according to the past photographing information. Specifically, the importance level of an area that has been continuously designated as a search area for a predetermined period of time is lowered, and the importance level of an area that has been photographed in S910, which will be described later, is lowered for a predetermined period of time. good too.

(3)探索対象エリアの決定
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
(3) Determination of search target area After the importance level of each area is calculated as described above, an area with a high importance level is determined as a search target area. Then, a pan/tilt search target angle necessary for capturing the search target area at the angle of view is calculated.

S905では、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部205によって、チルト回転ユニット104、パン回転ユニット105をそれぞれ駆動制御する。 In S905, pan/tilt drive is performed. Specifically, the pan/tilt drive amount is calculated by adding the image blur correction amount and the drive angle in the control sampling based on the pan/tilt search target angle, and the tilt rotation is performed by the lens barrel rotation drive unit 205. It drives and controls the unit 104 and the pan rotation unit 105 respectively.

S906ではズームユニット201を制御しズーム駆動を行う。具体的には、S904で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出ができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことができる。 In S906, the zoom unit 201 is controlled to perform zoom drive. Specifically, the zoom is driven according to the state of the search target subject determined in S904. For example, when the search target subject is a person's face, if the face on the image is too small, it may not be detected because it falls below the minimum detectable size, and the face may be lost. In such a case, control is performed so that the size of the face on the image increases by zooming to the telephoto side. On the other hand, if the face in the image is too large, the subject tends to be out of the angle of view due to the movement of the subject or the imaging device itself. In such a case, control is performed so that the size of the face on the screen is reduced by zooming to the wide-angle side. By performing zoom control in this way, a state suitable for tracking the subject can be maintained.

S904乃至S906では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位カメラの場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。 In S904 to S906, a method of searching for an object by pan/tilt and zoom driving has been described, but an imaging system that uses a plurality of wide-angle lenses to capture images in all directions at once may also be used to search for an object. In the case of an omnidirectional camera, an enormous amount of processing is required if image processing such as object detection is performed using all signals obtained by imaging as an input image. Therefore, a configuration is adopted in which a part of the image is clipped and the subject is searched for within the clipped image range. Similar to the method described above, the importance level for each area is calculated, the clipping position is changed based on the importance level, and automatic photographing determination, which will be described later, is performed. This makes it possible to reduce power consumption by image processing and to search for a subject at high speed.

S907では、ユーザ(手動)による撮影指示があったがどうかを判定し、撮影指示があった場合、S908aに進み、撮影指示が無かった場合はS908bに進む。この時、ユーザ(手動)による撮影指示は、シャッターボタン押下によるものや、撮像装置の筺体を指等で軽く叩く(タップ)、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置の筺体をタップした際、装置揺れ検出部209によって短期間に連続した高周波の加速度を検知し、撮影のトリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉(例えば「写真とって」等)を発声した場合、音声処理部214で音声を認識し、撮影のトリガーとする撮影指示方法である。外部機器からの指示は、例えば撮像装置とBlueTooth接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。 In S907, it is determined whether or not the user (manually) has given a photographing instruction. If so, the process proceeds to S908a, and if not, the process proceeds to S908b. At this time, the shooting instruction by the user (manually) may be by pressing the shutter button, lightly tapping the housing of the imaging device with a finger or the like, inputting a voice command, an instruction from an external device, or the like. The shooting instruction by tap operation is a shooting instruction method in which when the user taps the housing of the imaging device, the device shake detection unit 209 detects continuous high-frequency acceleration in a short period of time and triggers shooting. The voice command input is a photography instruction method in which when the user utters a predetermined password for instructing photography (for example, "Take a picture"), the voice processing unit 214 recognizes the voice and uses it as a photography trigger. The instruction from the external device is, for example, a photographing instruction method triggered by a shutter instruction signal transmitted via a dedicated application from a smartphone or the like connected to the imaging apparatus via BlueTooth.

S908bでは、自動撮影判定を行う。自動撮影判定では、自動撮影を行うかどうかの判定と、撮影方法の判定(静止画一枚撮影、静止画連続撮影(連写)、動画撮影、パノラマ撮影、タイムラプス撮影などの内どれを実行するかの判定)を行う。なお、S908aにおいては、撮影を行うかどうかの判定自体はS907で決定されているため、後述の撮影方法の判定のみを行う。 In S908b, automatic shooting determination is performed. Automatic shooting determination determines whether to perform automatic shooting and the shooting method (single still image shooting, continuous still image shooting (continuous shooting), video shooting, panorama shooting, time-lapse shooting, etc.). determination). It should be noted that in S908a, since the decision itself as to whether or not to shoot is made in S907, only the shooting method, which will be described later, is determined.

(1)自動撮影を行うかどうかの判定
自動撮影を行うかどうかの判定は以下の2つの判定に基づいて行う。1つは、S904にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。2つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図12に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図12の1201およびその縦に並ぶ丸は入力層のニューロンであり、1203およびその縦に並ぶ丸は中間層のニューロンであり、1204は出力層のニューロンである。1202のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ID番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、GPS位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報(加速度情報、撮像装置の状態)、環境情報(温度、気圧、照度、湿度、紫外線量)等を使用してもよい。更に、ウエアラブルデバイス501からの情報通知がある場合、通知情報(ユーザの運動情報、腕のアクション情報、心拍などの生体情報など)も特徴として使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
(1) Determining Whether to Perform Automatic Shooting Whether to perform automatic shooting is determined based on the following two determinations. One is based on the level of importance for each area obtained in S904, and if the level of importance exceeds a predetermined value, it is determined to perform automatic photographing. The second is determination based on a neural network. As an example of a neural network, FIG. 12 shows an example of a network using multi-layer perceptrons. Neural networks are used to predict output values from input values. On the other hand, it is possible to estimate the output value following the learned model. The learning method will be described later. 1201 and its vertically aligned circles in FIG. 12 are input layer neurons, 1203 and its vertically aligned circles are intermediate layer neurons, and 1204 are output layer neurons. Arrows such as 1202 indicate connections connecting neurons. In the neural network-based judgment, the neurons in the input layer are given as inputs the subject captured in the current angle of view, the scene, and the feature values based on the state of the imaging device. to get the value output from the output layer. Then, if the output value is equal to or greater than the threshold value, a determination is made to carry out automatic photographing. The characteristics of the subject are the current zoom magnification, general object recognition result at the current angle of view, face detection result, number of faces captured in the current angle of view, degree of smile/closed eyes, face angle, face authentication ID. A number, a line-of-sight angle of a subject person, a scene determination result, a detection result of a specific composition, and the like are used. In addition, the elapsed time from the previous shooting, the current time, the GPS position information and the amount of change from the previous shooting position, the current sound level, the person speaking, whether there is applause, cheers, etc. are used. may Vibration information (acceleration information, imaging device state), environment information (temperature, air pressure, illuminance, humidity, amount of ultraviolet rays), etc. may also be used. Furthermore, when there is information notification from the wearable device 501, the notification information (user's exercise information, arm action information, biological information such as heartbeat, etc.) may also be used as features. This feature is converted into a numerical value within a predetermined range and given to each neuron in the input layer as a feature amount. Therefore, each neuron in the input layer is required as many as the number of feature values used.

なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。 It should be noted that the judgment based on this neural network can adapt the judgment result to the learning result by changing the connection weight between each neuron by the learning process to be described later, thereby changing the output value.

また、図7のステップ702で読み込んだMainプロセッサの起動条件によって、自動撮影される判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定されるようになる。 Further, determination of automatic photographing also changes depending on the start condition of the main processor read in step 702 of FIG. For example, in the case of activation by tap detection or activation by a specific voice command, there is a high possibility that the operation is the user's request to take a picture. Therefore, the setting is made so that the shooting frequency is increased.

(2)撮影方法の判定
撮影方法の判定では、S901乃至S904において検出した、撮像装置の状態や周辺領域の被写体の状態に基づいて、静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定を行う。例えば、被写体(人物)が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。また、被写体が撮像装置を取り囲むように複数存在している場合や、前述したGPS情報に基づいて景勝地であることが判断できた場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、<自動撮影を行うかどうかの判定>での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、撮影方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することができる。
(2) Judgment of Shooting Method In judging the shooting method, still image shooting, moving image shooting, continuous shooting, panorama shooting, and the like are selected based on the state of the imaging device and the state of the subject in the peripheral area detected in steps S901 to S904. Decide which to run. For example, when the subject (person) is stationary, still image shooting is performed, and when the subject is moving, moving image shooting or continuous shooting is performed. In addition, when there are multiple subjects surrounding the imaging device, or when it can be determined that the subject is a scenic spot based on the GPS information described above, images shot sequentially while panning and tilting can be displayed. A panorama photographing process may be executed to synthesize and generate a panorama image. It should be noted that, in the same manner as the determination method in <Determining whether to perform automatic shooting>, various information detected before shooting can be determined based on a neural network to determine the shooting method. The determination condition can be changed by learning processing, which will be described later.

また、撮影方法の判定処理において、S908aで行う場合は、ユーザによる手動撮影指示に基づいて行うため、さらにユーザの意図に応じた撮影方法の判定を行うことも可能である。以下、図25を用いて、ユーザ意図を反映した撮影方法の判定処理に関して説明する。 In addition, in the determination processing of the shooting method, when it is performed in S908a, it is performed based on the manual shooting instruction by the user, so it is possible to perform the determination of the shooting method according to the user's intention. The determination processing of the photographing method reflecting the user's intention will be described below with reference to FIG. 25 .

<ユーザによる手動撮影指示に基づく撮影方法の判定>
図25はユーザによる手動撮影指示を行う際の、カメラの構え方、及び被写体の状態の例を表したものである。
<Determination of shooting method based on user's manual shooting instruction>
FIG. 25 shows an example of how to hold the camera and the state of the subject when the user gives a manual photographing instruction.

まず、図25(a)では、目の前にある物の撮影のため、ユーザがカメラを身に着けたまま、少し前方に突き出しながら撮影している状態を示している。これは、例えば訪れた店の外観をメモ程度に撮影するようなシーンが考えられる。このようなシーンにおいては、例えばさっと通常静止画を撮影してくれることが望まれる。それに対し、図25(b)では、景勝地を撮影するため、ユーザが首から下げていたカメラを手持ちに切り替え、前方上方に掲げながら撮影している状態を示している。これは、例えば山の展望台のような開けた景色を撮影するようなシーンが考えられる。このようなシーンでは、例えばパノラマ撮影が期待されていたり、そうでない場合であっても、パノラマ撮影をした画像をユーザに提示することで、ユーザはそのような撮影方法を知り、今後の撮影に生かすことが可能となる。そこで、これらの判別を行うため、例えば保持状態から撮影に至るまでのカメラの移動距離を検出することにより、図25(a)のようなシーンなのか、図25(b)のようなシーンなのかを判別することが可能となる。 First, FIG. 25(a) shows a state in which the user is wearing the camera to take an image of an object in front of him/herself while slightly protruding forward. For example, it is possible to take a picture of the exterior of a shop you have visited as a memo. In such a scene, for example, it is desired that a normal still image be taken quickly. On the other hand, FIG. 25(b) shows a state in which the user switches the camera hanging from the neck to a hand-held camera in order to photograph a scenic spot and holds the camera forward and upward while photographing. For example, this may be a scene in which an open landscape such as a mountain observatory is to be photographed. In such a scene, for example, panoramic photography is expected, and even if that is not the case, by presenting a panoramic image to the user, the user will know such a photography method, and will be able to use it for future photography. It is possible to make use of it. Therefore, in order to make these determinations, for example, by detecting the movement distance of the camera from the held state to the shooting, it is possible to determine whether the scene is as shown in FIG. 25(a) or as shown in FIG. It is possible to determine whether

このように、カメラの構え方によって、好まれる撮影方法が異なる場合があるため、撮影に至る際のカメラの状態に応じて撮影方法を切り替えることが可能となる。 In this way, since the preferred shooting method may differ depending on how the camera is held, it is possible to switch the shooting method according to the state of the camera at the time of shooting.

次に、図25(c)に関して説明する。図25(c)では、カメラの構え方としては図25(b)と類似している。しかし、図25(c)では被写体がやや上方にあり、それを撮影するために上に掲げて撮影するシーンを想定している。このような場合のユーザの目的としては、例えば、図25(a)で示したように、さっと通常静止画を撮影してくれることが望まれる。そこで、これらの判別を行うため、例えば被写体距離を検出することにより、図25(b)のようなシーンなのか、図25(c)のようなシーンなのかを判別することが可能となる。 Next, FIG. 25(c) will be described. In FIG. 25(c), the manner of holding the camera is similar to that in FIG. 25(b). However, in FIG. 25(c), the subject is slightly above, and a scene is assumed in which the camera is held up to capture the subject. In such a case, the user's purpose is, for example, to quickly take a normal still image as shown in FIG. 25(a). Therefore, in order to make these determinations, for example, by detecting the subject distance, it is possible to determine whether the scene is as shown in FIG. 25(b) or as shown in FIG. 25(c).

このように、被写体の状態によって、好まれる撮影方法が異なる場合があるため、撮影に至る際のカメラの状態、及び見えている被写体の状態に応じて撮影方法を切り替えることが可能となる。 In this way, since the preferred shooting method may differ depending on the state of the subject, it is possible to switch the shooting method according to the state of the camera and the state of the visible subject at the time of shooting.

このような判定方法は、さらに図25(d)、(e)のような場合においても適用することが可能である。 Such a determination method can also be applied to the cases shown in FIGS. 25(d) and (e).

図25(d)では、目の前にある縦長の被写体の撮影のため、ユーザが首から下げていたカメラを手持ちに切り替え、上向きに構えながら撮影している状態を示している。これは、例えば観光地で高層建築物を撮影するようなシーンが考えらえる。このようなシーンでは、例えば縦向きのパノラマ撮影が期待されていたり、そうでない場合であっても、縦向きのパノラマ撮影をした画像をユーザに提示することで、ユーザはそのような撮影方法を知り、今後の撮影に生かすことが可能となる。そこで、このような場合においては、例えばカメラの保持角度を検出することにより、図25(a)~(c)のようなシーンなのか、図25(d)のようなシーンなのかを判別することが可能となる。なお、この時の被写体の状態として、例えば被写体までの距離、及び被写体の上下、左右の領域にある被写体までの距離をさらに判定することにより、縦向きのパノラマと横向きのパノラマのどちらが好ましいかという判別の精度を上げることも可能である。すなわち、被写体・及びその上下領域の距離が同程度の距離にあるのであれば、縦方向のパノラマ撮影を行うといった判断をすることが可能となる。 FIG. 25(d) shows a state in which the user switches the camera hanging from the neck to a hand-held camera in order to photograph a vertically long object in front of the user, and holds the camera upward while photographing. For example, a scene of shooting a high-rise building in a tourist spot can be considered. In such a scene, for example, a vertical panorama shot is expected, or even if that is not the case, by presenting a vertically panorama shot image to the user, the user can choose such a shooting method. It will be possible to know and use it for future shooting. Therefore, in such a case, for example, by detecting the holding angle of the camera, it is determined whether the scene is as shown in FIGS. 25(a) to (c) or as shown in FIG. becomes possible. In addition, as the state of the subject at this time, for example, by further determining the distance to the subject and the distance to the subject in the upper, lower, left and right areas of the subject, it is possible to determine which of the vertical panorama and the horizontal panorama is preferable. It is also possible to improve the accuracy of discrimination. That is, if the distance between the subject and its upper and lower regions is approximately the same, it is possible to determine whether to perform vertical panoramic photography.

図25(e)では、360度撮影のため、ユーザが首から下げていたカメラを手持ちに切り替え、真上に構えながら撮影している状態を示している。これは、例えば山頂で周囲を見回す画像を撮影するようなシーンが考えられる。この時、例えばユーザは外部機器を用いて360度撮影モードに設定し、撮影指示を行うことが考えられる。そこで、例えばこのような場合には外部機器を操作しようとした時に、360度撮影への移行を伺うようなUIを提示すれば、ユーザの操作の手間を削減することが可能となる。さらには、そのようなことを何度か繰り返すうちに、ユーザは外部機器を操作するまでもなく、真上に掲げてシャッターボタンを押下するだけで360度撮影が行えることを期待するようになる。そこで、このような場合においては、例えば保持状態から撮影に至るまでのカメラの移動方向が真上方向だった場合は360度撮影を行うといったようにすることで、ユーザの撮影の手間を軽減することが可能なる。 FIG. 25(e) shows a state in which the user switches the camera hanging from the neck to a hand-held camera for 360-degree shooting, and shoots while holding the camera directly upward. For example, this may be a scene in which an image of looking around at a mountaintop is captured. At this time, for example, the user may use an external device to set the 360-degree shooting mode and issue a shooting instruction. Therefore, in such a case, for example, by presenting a UI that prompts the user to switch to 360-degree shooting when trying to operate an external device, it is possible to reduce the user's operation effort. Furthermore, after repeating such a process several times, the user came to expect that 360-degree photography could be performed simply by holding the device upright and pressing the shutter button, without having to operate an external device. . Therefore, in such a case, for example, if the moving direction of the camera from the held state to shooting is the vertical direction, 360-degree shooting is performed, thereby reducing the user's trouble of shooting. possible.

このように、カメラの状態、及び被写体の状態に基づいて撮影方法を切り替えることにより、撮影時・及び撮影画像確認時におけるユーザの手間を軽減することが可能となる。 In this way, by switching the shooting method based on the state of the camera and the state of the subject, it is possible to reduce the user's trouble during shooting and checking of the shot image.

なお、このようなカメラの状態と被写体の状態に応じた、期待される撮影方法の判定においても、<自動撮影を行うかどうかの判定>での判定方法と同様に、ニューラルネットワークに基づく判断によって撮影方法を判定することもできる。また、この判定処理は、後述する学習処理によってユーザごとに判定条件を変更することも可能である。このような場合、学習の初期段階においては複数の撮影方法により複数の画像を記録しておき、後述する学習処理において、ユーザがどの撮影方法の画像を好んだかに応じて、判定条件を変えていくことが可能である。 Also, in determining the expected shooting method according to the state of the camera and the state of the subject, similar to the determination method in <Determining whether to perform automatic shooting>, a determination based on a neural network is used. It is also possible to determine the shooting method. Further, in this determination process, it is also possible to change the determination conditions for each user by a learning process, which will be described later. In such a case, a plurality of images are recorded by a plurality of shooting methods in the initial stage of learning, and in the learning process described later, the determination condition is changed according to which shooting method the user prefers. It is possible to continue

このように、ユーザによる手動撮影指示があった場合において、ユーザの意図に応じた撮影方法の判定に関して説明したが、このような処理はS908bのような、手動撮影指示が無い場合の自動撮影判定処理においても、適用することが可能である。すなわち、カメラを構えたと判定された際に、そのカメラの構え方を検出することにより、同様にユーザ意図を反映した撮影方法の判定を行うことも可能である。このような、カメラの構え方の検出処理を図26を用いて説明する。 In this way, the determination of the shooting method according to the user's intention has been described when the user has issued a manual shooting instruction. It can also be applied in processing. That is, when it is determined that the camera is held, by detecting the manner in which the camera is held, it is possible to similarly determine the photographing method that reflects the user's intention. Such processing for detecting how to hold the camera will be described with reference to FIG. 26 .

図26はライフログカメラにおける、加速度センサの出力の例を示したものである。この図では静止(a)→歩行(b)→静止(c)→カメラを構える(d)→カメラ保持・撮影(e)→カメラ持ち替え(f)→カメラを構える(g)→カメラ保持・撮影(h)の様子と、その時の加速度変化の様子の例を示している。例えば、(a)、(c)の期間はライフログカメラを身につけた状態であるため、体の振動程度の変化となっている。(b)の期間は歩行開始・終了時に大きな加速、及び減速が発生し、その間は歩行時の体の揺れに応じた変化となっている。また、(d)や(g)の期間は撮影のためにカメラを構える期間を表しており、図のようにある程度安定した加速度となり、構え終わった(e)、(h)の期間では再度手振れ程度の振動となっている。また、(f)の期間はライフログカメラを首にかけた状態から手持ちに切り替えている期間であり、この期間は一時的にランダムな動作となるため、乱雑な大きな変化となっている。 FIG. 26 shows an example of output from an acceleration sensor in a life log camera. In this figure, stillness (a)→walking (b)→stillness (c)→holding the camera (d)→holding the camera and photographing (e)→switching the camera (f)→holding the camera (g)→holding the camera and photographing It shows an example of the state of (h) and the state of acceleration change at that time. For example, during the periods of (a) and (c), the life log camera is worn, so the change is in the degree of vibration of the body. During the period (b), large acceleration and deceleration occur at the start and end of walking, and during that time the body changes according to the shaking of the body during walking. Also, the periods (d) and (g) represent the period during which the camera is held for shooting. As shown in the figure, the acceleration becomes somewhat stable. It vibrates to some extent. In addition, the period (f) is a period in which the life log camera is switched from being worn around the neck to being hand-held. During this period, the movement temporarily becomes random, resulting in a large and chaotic change.

なお、「カメラを構える」は、前述の、「カメラを身に着けたまま、少し前方に突き出しながら撮影」を表し、「カメラを構える」は、前述の「首から下げていたカメラを手持ちに切り替え、前方上方に掲げながら撮影」を表している。このような場合において、(e)及び(h)の撮影はユーザ指示に基づかず、前述の自動撮影を行うかどうかの判定により、撮影を行うことも可能となる。この時、前述したカメラの構え方を抽出できるのであれば、前述の、撮影方法の判定を実施することが可能となる。このためには、図26の加速度変化のうち、カメラを構えている期間(d)、(g)を抽出することが必要となる。これには、例えば加速度を監視しておき、閾値以上の加速、及び減速が発生した際に、その期間をカメラを構えている期間として検出することが可能である。なお、この閾値は例えば手振れ、歩行ブレよりも大きい変化を検出するように図中の±Thのような値を設定することが可能である。さらには、精度を向上させるため、以下のような条件を設けることも可能である。 It should be noted that "holding the camera" means "taking a picture while wearing the camera and sticking it out a little forward", and "holding the camera" means "holding the camera hanging from your neck in your hand". Switching, shooting while holding it forward and upward. In such a case, the photographing of (e) and (h) can also be performed by determining whether or not to perform the above-described automatic photographing without being based on the user's instruction. At this time, if the manner of holding the camera described above can be extracted, it is possible to determine the photographing method described above. For this purpose, it is necessary to extract the periods (d) and (g) during which the camera is held from among the changes in acceleration shown in FIG. For this, for example, it is possible to monitor the acceleration and detect the period as the period during which the camera is held when acceleration or deceleration exceeding a threshold value occurs. It should be noted that this threshold value can be set to a value such as ±Th in the drawing so as to detect a change larger than, for example, camera shake or walking shake. Furthermore, in order to improve accuracy, it is possible to set the following conditions.

手振れ程度を閾値とし、閾値以上の加速、及び減速が発生した後、一定期間(図中(e)、(h)程度)の間、閾値以内のブレに収まっているかどうかを判別することで、歩行による加速度変化期間を除外する。 The degree of camera shake is set as a threshold, and after the acceleration and deceleration above the threshold occur, it is determined whether or not the shake is within the threshold for a certain period (approximately (e) and (h) in the figure). Exclude the acceleration change period due to walking.

一定期間(図中(d)(g)以上、(b)未満)内に加速、及び減速が発生しているかどうかを判別することで、歩行による加速度変化期間を除外する。 By determining whether or not acceleration and deceleration occur within a certain period of time (more than (d) (g) and less than (b) in the figure), the acceleration change period due to walking is excluded.

短時間に加速、及び減速が頻発する期間を除外することで、(f)のような持ち替え期間を除外する。 By excluding periods in which acceleration and deceleration occur frequently in a short period of time, the holding change period such as (f) is eliminated.

このように、カメラの加速度を監視することで、自動撮影時においても、カメラの構え方を検出し、ユーザ意図を反映した撮影方法の判定が可能となる。 By monitoring the acceleration of the camera in this way, it is possible to detect the manner in which the camera is held and to determine the shooting method that reflects the user's intention even during automatic shooting.

S909では、S908bの自動撮影判定により撮影する判定が下された場合、S910に進み、下されなかった場合、撮影モード処理終了へと進む。 In S909, if the automatic shooting determination in S908b determines that shooting is to be performed, the process proceeds to S910; otherwise, the process proceeds to the end of shooting mode processing.

S910では、自動撮影を開始する。この時、S908a、またはS908bにて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部204によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部207において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の画像処理を行い、画像を生成する。 In S910, automatic photographing is started. At this time, photographing by the photographing method determined in S908a or S908b is started. At that time, autofocus control is performed by the focus drive control unit 204 . Also, an aperture control unit, a sensor gain control unit, and a shutter control unit (not shown) are used to perform exposure control so that the subject has appropriate brightness. Further, after photographing, the image processing unit 207 performs various image processing such as auto white balance processing, noise reduction processing, and gamma correction processing to generate an image.

なお、この撮影の際に、所定の条件を満たした時、撮像装置が撮影対象となる人物に対し撮影を行う旨を報知処理した上で撮影する手段を取ってもよい。報知の方法は、例えば、音声出力部218からの音声やLED制御部224によるLED点灯光を使用してもよいし、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーション動作をしてもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度・目瞑り度、被写体人物の視線角度や顔角度、顔認証ID番号、個人認証登録されている人物の数党である。また、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、GPS情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か等である。また、振動情報(加速度情報、撮像装置の状態)、環境情報(温度、気圧、照度、湿度、紫外線量)等である。これらの条件に基づき報知撮影を行うことによって、重要性が高いシーンにおいてカメラ目線の好ましい画像を残すことができる。 In this photographing, when a predetermined condition is satisfied, the photographing device may notify the person to be photographed that the photographing is to be performed, and then photograph the person. The notification method may be, for example, the use of sound from the audio output unit 218 or LED lighting light from the LED control unit 224, or a motion operation that visually guides the line of sight of the subject by driving panning and tilting. You may Predetermined conditions are, for example, the number of faces in the angle of view, the degree of smile/closed eyes of the face, the line-of-sight angle or face angle of the subject person, the face authentication ID number, and the number of persons registered for personal authentication. . In addition, the general object recognition result at the time of shooting, the scene discrimination result, the elapsed time since the last shooting, the shooting time, whether the current position based on GPS information is a scenic spot, the sound level at the time of shooting, the voice whether there is a person present or not, whether there is applause or cheers, and so on. In addition, vibration information (acceleration information, state of imaging device), environment information (temperature, air pressure, illuminance, humidity, amount of ultraviolet rays), and the like. By performing notification photography based on these conditions, it is possible to leave a favorable image of the camera's line of sight in a scene of high importance.

また、所定の条件を複数もち、各条件に応じて音声を変更したり、LEDの点灯方法(色や点滅時間など)を変更したり、パン・チルトのモーション方法(動き方や駆動速度)を変更してもよい。 In addition, it has multiple predetermined conditions, and depending on each condition, you can change the sound, change the LED lighting method (color, blinking time, etc.), change the pan/tilt motion method (movement method, drive speed). You can change it.

このような撮影前の報知についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、報知の方法やタイミングを判定することもできる。また、この判定処理は、後述する学習処理によって、判定条件を変更することができる。 As for such notification before photographing, the notification method and timing can also be determined based on the information of the photographed image or various information detected before photographing based on a neural network. Further, in this determination process, the determination conditions can be changed by a learning process, which will be described later.

S911では、S910にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、色変換フィルタ効果などである。画像加工は、S910にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記S910にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。S911での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、画像加工の方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することができる。 In S911, editing processing such as processing the image generated in S910 or adding it to a moving image is performed. Specifically, image processing includes trimming processing based on a person's face and focus position, image rotation processing, HDR (high dynamic range) effect, blurring effect, color conversion filter effect, and the like. Based on the image generated in S910, a plurality of image processing may be generated by combining the above processes and stored separately from the image generated in S910. As for the moving image processing, a process of adding a captured moving image or a still image to a generated edited moving image while applying special effect processing such as slide, zoom, and fade may be performed. As for the editing in S911, the image processing method can be determined based on the information of the captured image or various information detected before shooting based on the neural network. , the judgment conditions can be changed.

S912では撮影画像の学習情報生成処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ID番号、被写体人物の視線角度等である。また、シーン判別結果、前回撮影時からの経過時間、撮影時刻、GPS位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等である。また、振動情報(加速度情報、撮像装置の状態)、環境情報(温度、気圧、照度、湿度、紫外線量)、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。 In S912, learning information generation processing for a captured image is performed. Here, information used for learning processing, which will be described later, is generated and recorded. Specifically, the zoom ratio at the time of shooting, the result of general object recognition at the time of shooting, the result of face detection, the number of faces in the captured image, the degree of smile/closed eyes, the angle of the face, and the face This includes the authentication ID number, the line-of-sight angle of the subject person, and the like. In addition, the scene determination result, elapsed time since the previous shooting, shooting time, GPS position information and amount of change from the previous shooting position, sound level at the time of shooting, person speaking, applause, cheers or not. and so on. In addition, vibration information (acceleration information, state of imaging device), environment information (temperature, atmospheric pressure, illuminance, humidity, amount of ultraviolet rays), video shooting time, whether or not manual shooting is instructed, and the like. Furthermore, a score, which is the output of a neural network that quantifies the user's image preferences, is also calculated.

これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ216へ書き込むか、記録媒体221内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存する、としてもよい。 These pieces of information are generated and recorded as tag information in the captured image file. Alternatively, it may be written in the non-volatile memory 216 or stored in the recording medium 221 as so-called catalog data in a format in which the information of each photographed image is listed.

S913では過去撮影情報の更新を行う。具体的には、S908bの説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを1つ増やす。 In S913, the past shooting information is updated. Specifically, the number of shots for each area described in the explanation of S908b, the number of shots for each person registered for personal authentication, the number of shots for each subject recognized by general object recognition, and the number of shots for each scene in scene discrimination , the count of the number of images corresponding to the image shot this time is incremented by one.

<自動編集モード処理(ハイライト動画)>
次に、本実施形態における自動編集モード処理(ハイライト動画)について説明する。
<Auto Edit Mode Processing (Highlight Movie)>
Next, automatic edit mode processing (highlight moving image) in this embodiment will be described.

図7のステップ704のモード設定判定にて、自動編集処理(ハイライト動画)を行うか否かを判定し、自動編集処理を行う場合、ステップ712の自動編集モード処理を行う。 In step 704 of FIG. 7, it is determined whether or not to perform automatic editing processing (highlight moving image) in mode setting determination.

自動編集モードの判定条件を説明する。自動編集モードに移行するか否かは、前回編集処理を行ってからの経過時間や、前回編集処理を行った時点以降で撮影された各画像のタグ情報(学習情報やユーザの画像の好みを数値化したスコアなど)に基づいて判定される。ステップ704のモード設定判定処理内で判定される、自動編集モードに移行すべきか否かの判定処理フローを図10に示す。 Determination conditions for the automatic edit mode will be described. Whether or not to switch to the automatic editing mode depends on the elapsed time since the previous editing process was performed, and the tag information (learning information and user image preferences) of each image shot after the previous editing process. digitized score, etc.). FIG. 10 shows the processing flow for determining whether or not to shift to the automatic editing mode, which is determined in the mode setting determination processing of step 704 .

ステップ704のモード設定判定処理内で自動編集モード判定が開始指示されると、図10の処理がスタートする。ステップ1001では、前回自動編集処理が行われてからの経過時間TimeDを取得し、ステップ1002に進む。ステップ1002では、前回編集処理を行った時点以降で撮影された各画像に対応した学習情報やスコアなどを取得し、ステップ1003に進む。ステップ1003では、ステップ1002で取得した各データから自動編集を行うべきかどうかを判定するための評価値DBを演算する。評価値の演算方法は、例えば、各画像情報から画像の特徴を抽出し、特徴の種類が多い場合は点数が高くなるようにする。また、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが高い画像が多い場合も点数が高くなるようにする。また、撮影された数が多くても点数は高くなるように計算する。これにより評価値はスコアの点数の高さに依存し、画像の数に依存し、特徴の種類にも異存することになる。ステップ1004に進む。ステップ1004では、TimeDから閾値DAを演算する。例えば、TimeDが所定値よりも小さい場合の閾値DAaが、所定値よりも大きい場合の閾値DAbよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、撮影データが少ない場合においても、時間経過が大きいと自動編集処理を行うようにすることで、使用時間に応じて撮像装置が自動的にハイライト動画を作成してくれるようにしてある。 When the start of automatic edit mode determination is instructed in the mode setting determination process of step 704, the process of FIG. 10 starts. At step 1001, the elapsed time TimeD since the previous automatic editing process was performed is acquired, and the process proceeds to step 1002. FIG. At step 1002 , learning information and scores corresponding to each image captured after the last editing process is acquired, and the process proceeds to step 1003 . At step 1003, an evaluation value DB for determining whether automatic editing should be performed from each data acquired at step 1002 is calculated. The evaluation value is calculated by, for example, extracting image features from each piece of image information, and increasing the number of types of features to increase the score. In addition, as described in the above automatic photographing, each image is given a score determined by the user's preference, and even if there are many images with a high score, the score is increased. In addition, calculation is performed so that even if the number of shots is large, the score will be high. As a result, the evaluation value depends on the score, the number of images, and the type of features. Go to step 1004 . At step 1004, a threshold DA is calculated from TimeD. For example, the threshold DAa when TimeD is smaller than a predetermined value is set to be greater than the threshold DAb when TimeD is greater than the predetermined value, and the threshold is set to decrease over time. As a result, even if the amount of shooting data is small, if the elapsed time is long, automatic editing processing will be performed, so that the imaging device will automatically create a highlight video according to the usage time. .

ステップ1004の処理を終了すると、ステップ1005に進み、評価値DBが、閾値DAより大きい場合、ステップ1006に進む。前回自動編集を行った時点から、自動編集すべきデータを得ることができた、或いは時間経過が大きく、自動編集を行うべきだと判定された場合であるので、自動編集モードをTRUEにして、自動編集モード判定を終了する。ステップ1005で、評価値DBが閾値DA以下である場合は、自動編集すべきデータが揃っていないと判定され、自動編集処理は行わないように自動編集モード判定をFALSEにし、自動編集モード判定処理を終了する。 After completing the process of step 1004, the process proceeds to step 1005, and when the evaluation value DB is greater than the threshold value DA, the process proceeds to step 1006. Since it is determined that data to be automatically edited has been obtained since the last time automatic editing was performed, or it has been determined that automatic editing should be performed because a long time has passed, the automatic editing mode is set to TRUE. End automatic edit mode determination. In step 1005, if the evaluation value DB is equal to or less than the threshold value DA, it is determined that the data to be automatically edited is not complete, and the automatic editing mode determination is set to FALSE so as not to perform the automatic editing process. exit.

次に自動編集モード処理(ステップ712)内の処理について説明する。自動編集モード処理の詳細なフローを図11に示す。 Next, processing within the automatic edit mode processing (step 712) will be described. FIG. 11 shows a detailed flow of automatic edit mode processing.

S1101にて、記録媒体221に保存された静止画像、動画像の選抜処理を第1制御部223で実施し編集に使用する画像を選抜し、S1102へ進む。 In S1101, the first control unit 223 selects still images and moving images stored in the recording medium 221, selects images to be used for editing, and proceeds to S1102.

ここでいう画像選抜処理とは、撮影された静止画像、動画像の中の顔の数、顔のサイズ、色群などのメタデータを画像毎に抽出を行い、評価値に換算し定めた閾値以上のものを列挙する事とする。後述する学習により、静止画像及び動画像の選抜比率を決定し、ユーザの設定、撮影頻度、各設定を顧みて優先的に選抜を行うようにする。 The image selection process referred to here is a threshold value determined by extracting metadata such as the number of faces, face sizes, and color groups in captured still images and moving images for each image and converting them into evaluation values. I will list the above. The selection ratio of still images and moving images is determined by learning, which will be described later, and selection is preferentially performed in consideration of user's settings, photographing frequency, and other settings.

S1102にて、S1101で選抜された画像に対して第1制御部223、画像処理部207で画像効果付与を行いS1103に進む。 In S1102, the image selected in S1101 is given an image effect by the first control unit 223 and the image processing unit 207, and the process proceeds to S1103.

ここでいう画像効果付与とは、静止画像において、人物の顔や合焦位置の中心でのトリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、スライド、ズーム、フェードの特殊効果処理、色フィルタ効果などとする。 The term “imaging effects” as used herein refers to trimming processing at the center of a person's face or focus position, image rotation processing, HDR (high dynamic range) effects, blurring effects, slide, zoom, and fade special effects in still images. Effect processing, color filter effect, etc.

動画像においても同様に色フィルタ付与を行う。 A color filter is applied to a moving image in the same manner.

S1103にて、第1制御部223にて画像再生時間の設定を行いS1104に進む。S1101にて選抜された画像を用いて、S1105で説明するハイライト動画を作成のため、後述する学習に基づいて適切な画像の再生時間を設定する。 In S1103, the image reproduction time is set by the first control unit 223, and the process proceeds to S1104. Using the images selected in S1101, an appropriate image playback time is set based on learning, which will be described later, in order to create a highlight moving image described in S1105.

S1104にて、第1制御部223にてS1105で説明するハイライト動画に付与する音楽(BGM)の設定を行いS1105に進む。音楽(BGM)の設定についても後述する学習した結果よりユーザへ提供する最も適切なものを設定する事とする。 In S1104, music (BGM) to be added to the highlight moving image described in S1105 is set by the first control unit 223, and the process proceeds to S1105. Regarding the setting of music (BGM), the most appropriate one to be provided to the user is set based on the result of learning, which will be described later.

S1105にて、第1制御部223にてS1101からS1104で行った結果を用いて一連のハイライト動画作成を行う。作成したハイライト動画は、記録媒体221に保存する。 In S1105, the first control unit 223 creates a series of highlight moving images using the results of S1101 to S1104. The created highlight moving image is stored in the recording medium 221 .

なお、上記説明した画像の選抜や、画像効果付与や、再生時間やBGM選択は、各画像に付加されているタグ情報(撮影画像の情報、或いは撮影前に検出した各種情報)から、ニューラルネットワークに基づく判断によって、判定することができる。また、この判定処理は、後述する学習処理によって、判定条件を変更することもできる。 It should be noted that the above-described selection of images, application of image effects, playback time, and BGM selection are performed by a neural network based on tag information attached to each image (information on captured images or various information detected before capturing). It can be determined by the judgment based on. Further, in this determination process, the determination conditions can be changed by a learning process, which will be described later.

<学習モード処理>
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。
<Learning mode processing>
Next, learning according to the user's preference in this embodiment will be described.

本実施形態では、図12に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部219にてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。 In this embodiment, a neural network as shown in FIG. 12 is used and a machine learning algorithm is used so that the learning processing unit 219 performs learning according to the user's preference. Neural networks are used to predict output values from input values. values can be estimated. By using a neural network, learning is performed according to the user's preferences for the aforementioned automatic shooting, automatic editing, and subject search.

また、ニューラルネットワークに入力する特徴データともなる被写体登録(顔認証や一般物体認識など)を登録したり、撮影報知制御や低消費電力モード制御やファイル自動削除を学習によって変更することも行う。 In addition, subject registration (face recognition, general object recognition, etc.), which is also the feature data input to the neural network, is registered, and shooting notification control, low power consumption mode control, and automatic file deletion are changed by learning.

本実施形態において、学習処理により、学習される要素は以下である。 In this embodiment, the elements learned by the learning process are as follows.

(1)自動撮影
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、撮影後(ステップS912)に学習情報生成処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法(静止画撮影、動画撮影、連写、パノラマ撮影など)の判定をニューラルネットワークの変更で行われる。
(1) Automatic shooting Learning for automatic shooting will be described. In automatic photographing, learning is performed for automatically photographing an image that matches the user's preference. As described above with reference to the flow of FIG. 9, learning information generation processing is performed after photographing (step S912). An image to be learned is selected by a method described later, and learning is performed by changing the weight of the neural network based on the learning information contained in the image. Learning is performed by changing the neural network that determines the timing of automatic shooting, and by changing the neural network that determines the shooting method (still image shooting, moving image shooting, continuous shooting, panorama shooting, etc.).

(2)自動編集
自動編集に対する学習について説明する。自動編集は、図9のステップ911での撮影直後の編集と、図11で説明したハイライト動画の編集のそれぞれに対して学習が行われる。撮影直後の編集について説明する。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、編集方法(トリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、色変換フィルタ効果など)の判定を行う。ハイライト動画の編集について説明する。ハイライト動画は、ユーザの好みに合ったアルバム動画作成を自動で行うための学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、画像効果付与(トリミング処理、回転処理、HDR効果、ボケ効果、スライド、ズーム、フェード、色変換フィルタ効果、BGM、時間、静止画動画比率)の判定を行う。
(2) Automatic Editing Learning for automatic editing will be explained. Learning for automatic editing is performed for each of the editing immediately after shooting in step 911 in FIG. 9 and the editing of the highlight moving image described with reference to FIG. 11 . Editing immediately after shooting will be explained. An image to be learned is selected by a method described later, and learning is performed by changing the weight of the neural network based on the learning information contained in the image. Various detection information obtained from shooting or information immediately before shooting is input to the neural network to determine the editing method (trimming processing, image rotation processing, HDR (high dynamic range) effect, bokeh effect, color conversion filter effect, etc.) I do. Explain how to edit a highlight video. The highlight moving image performs learning for automatically creating an album moving image that suits the user's taste. An image to be learned is selected by a method described later, and learning is performed by changing the weight of the neural network based on the learning information contained in the image. Various detection information obtained from shooting or information immediately before shooting is input to a neural network, and image effects are applied (trimming, rotation, HDR, blur, slide, zoom, fade, color conversion filter, BGM, time , still image/video ratio).

(3)被写体探索
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、被写体探索処理(ステップS904)において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行っている。学習は撮影画像や探索中の検出情報によって学習され、ニューラルネットワークの重みを変化させることで学習する。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの算出を行い、重要度レベルに基づきパン・チルトの角度を設定することで学習を反映した被写体探索を行う。また、重要度レベルに基づくパン・チルト角度の設定以外にも、例えば、パン・チルト駆動(速度、加速度、動かす頻度)の学習も行う。
(3) Subject Search Learning for subject search will be described. In the subject search, learning is performed to automatically search for a subject that matches the user's preference. As described above with reference to the flow of FIG. 9, in the subject search process (step S904), the importance level of each area is calculated, pan/tilt and zoom are driven, and subject search is performed. Learning is performed using captured images and detection information during search, and learning is performed by changing the weights of the neural network. Various detection information during the search operation is input to the neural network, the importance level is calculated, and the pan/tilt angle is set based on the importance level to perform subject search that reflects the learning. In addition to setting the pan/tilt angle based on the importance level, for example, pan/tilt driving (speed, acceleration, frequency of movement) is also learned.

(4)被写体登録
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動で行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。認証登録は人と物体に対する認証登録を行い、画像取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク設定を行う。登録された情報は、各ニューラルネットワークを用いた判定の入力として登録されることになる。
(4) Subject registration Learning for subject registration will be described. In subject registration, learning is performed to automatically register and rank subjects that match the user's preferences. As learning, for example, face authentication registration, registration of general object recognition, registration of gesture and voice recognition, and registration of scene recognition by sound are performed. Authentication registration is performed for people and objects, and ranking is set based on the number and frequency of image acquisition, the number and frequency of manual photography, and the appearance frequency of the subject being searched. The registered information is registered as an input for determination using each neural network.

(5)撮影報知制御
撮影報知に対する学習について説明する。図9のS910で説明したように、撮影直前に、所定の条件を満たしたとき、撮像装置が撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することも行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーションや、音声出力部218から発するスピーカー音や、LED制御部224によるLED点灯光を使用する。上記報知の直後に被写体の検出情報(例えば、笑顔度、目線検出、ジェスチャー)が得られたか否かで、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。または、後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。画像には、撮影直前にどのように報知動作が行われたかの情報が埋め込まれており、選択された画像に付加された検出情報や上記撮影直前の報知動作情報を教師データとして解析して、規則性を抽出し、抽出結果に応じて学習する。撮影直前の各検出情報をニューラルネットワークに入力し、報知を行うか否かの判定や、各報知動作(音(音レベル/音の種類/タイミング)、LED光(色、点灯時間、点滅間隔)、パン・チルトモーション(動き方、駆動速度))の判定を行う。各報知動作の学習については、予め用意された報知方法(音、LED光、パン・チルトモーションの複合動作)の中からどの報知を行うかを選択する学習を行う方法でもよい。また、音、LED光、パン・チルトモーションの各報知動作それぞれに対して別々のニューラルネットワークを設けてそれぞれの動作を学習する方法でもよい。
(5) Shooting notification control Learning for shooting notification will be described. As described in S910 of FIG. 9, immediately before photographing, when a predetermined condition is satisfied, the imaging apparatus notifies the person to be photographed that the person to be photographed will be photographed. For example, motion that visually guides the subject's line of sight by driving pan/tilt, speaker sound emitted from the audio output unit 218, and LED lighting light from the LED control unit 224 are used. Immediately after the above notification, whether or not detection information of the subject (e.g., degree of smile, gaze detection, gesture) is obtained determines whether the detection information is used for learning, and learning is performed by changing the weight of the neural network. do. Alternatively, an image to be learned is selected by a method described later, and learning is performed by changing the weight of the neural network based on the learning information contained in the image. Information about how the notification operation was performed immediately before the image was captured is embedded in the image. It extracts gender and learns according to the extraction result. Each detection information immediately before shooting is input to the neural network, and it is determined whether or not to notify, each notification operation (sound (sound level / sound type / timing), LED light (color, lighting time, blinking interval) , pan/tilt motion (how to move, drive speed)). Learning of each notification operation may be performed by selecting which notification is to be performed from previously prepared notification methods (sound, LED light, pan/tilt motion combined operation). Alternatively, a method may be used in which separate neural networks are provided for each notification operation of sound, LED light, pan/tilt motion, and each operation is learned.

(6)低消費電力モード制御
図7、図8を用いて、説明したようにMainプロセッサ(第1制御部223)の供給電源をON/OFFする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習が行われる。
(6) Low power consumption mode control As described with reference to FIGS. Conditions and transition conditions to the low power consumption state are learned.

まず、低消費電力モードを解除する条件の学習について説明する。 First, learning of conditions for canceling the low power consumption mode will be described.

[タップ検出]
上述したとおり、所定時間TimeAや所定閾値ThreshAを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かで、TimeAやThreshAのパラメータを検出し易いように設定する。また、タップ検出後の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、TimeAやThreshAのパラメータを検出し難いように設定する。起動時の撮影対象がいるか否かの判定は後述する学習方法により学習された画像に埋め込まれた被写体検出情報により変化することになる。
[Tap detection]
As described above, the predetermined time TimeA and the predetermined threshold ThreshA are changed by learning. Temporary tap detection is also performed with the tap detection threshold lowered, and the parameters TimeA and ThreshA are set to facilitate detection depending on whether or not temporary tap detection was determined before tap detection. Also, if it is determined from the detection information after the tap detection that it was not the activation factor (as a result of the above-described subject search and automatic shooting determination, there is no shooting target), the TimeA and ThreshA parameters are set so that it is difficult to detect. do. Determination of whether or not there is an object to be photographed at startup changes depending on subject detection information embedded in the image learned by the learning method described later.

[揺れ状態検出]
上述したとおり、所定時間TimeBや所定閾値ThreshBや所定回数CountBなど学習により変化させる。揺れ状態により起動条件に入った場合、起動を行うが、起動後所定時間間の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、揺れ状態判定のパラメータを変更し、起動し難いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し易いように設定する。起動時の撮影対象がいるか否かの判定や、揺れが大きい状態での撮影頻度が多いかの判定は、後述する学習方法により学習された画像に埋め込まれた被写体検出情報や撮影時の揺れ情報などにより変化することになる。
[Shaking state detection]
As described above, the predetermined time TimeB, the predetermined threshold ThreshB, the predetermined number of times CountB, and the like are changed by learning. If the activation condition is entered due to the shaking state, it will be activated, but from the detection information for a predetermined time after activation, it is determined that it was not the activation factor (as a result of the above-mentioned subject search and automatic shooting determination, there is no shooting target). Then, it changes the parameters for judging the shaking state and learns to make it difficult to start. Further, when it is determined that the frequency of photographing in a state of large shaking is high, setting is made so that it is easy to start according to the determination of the shaking state. Determination of whether there is a shooting target at startup and determination of whether shooting with large shaking is frequent is based on subject detection information embedded in the image learned by the learning method described later and shaking information at the time of shooting. etc. will change.

[音検出]
ユーザが検出したい特定音声や、特定音シーンや、特定音レベルを、例えば外部機器301の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。また、複数の検出を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる撮影前後の音情報などの学習情報を基に、学習する。これにより、起動要因とする音判定(特定音コマンドや、「歓声」「拍手」などの音シーン)を設定でき、音検出による起動を学習することができる。
[Sound detection]
Learning can be performed by manually setting specific sounds, specific sound scenes, and specific sound levels that the user wants to detect, for example, through communication with a dedicated application of the external device 301 . In addition, a plurality of detections are set in advance in the audio processing unit, an image to be learned is selected by a method described later, and learning is performed based on learning information such as sound information before and after shooting included in the image. As a result, it is possible to set sound determination (a specific sound command, sound scenes such as "cheers" and "applause") as an activation factor, and to learn activation by sound detection.

[環境情報検出]
ユーザが起動したい環境情報変化の条件を、例えば外部機器301の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。例えば、温度や気圧や明るさや湿度や紫外線量の絶対量や変化量の特定条件によって起動させることができる。また、各環境情報に基づく、判定閾値を学習することもできる。環境情報による起動後後の検出情報から、起動要因ではなかった(上述した被写体探索や自動撮影判定の結果、撮影対象がいない)と判定されると、各判定閾値のパラメータを検出し難いように設定したりする。或いは、後述する学習方法により学習された画像に埋め込まれた各環境の情報から学習することで、環境情報による起動を学習することができる。例えば、温度上昇時において撮影された画像を多く学習させた場合、温度上昇時に駆動し易いように学習がされることになる。また、上記各パラメータは、電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に入り難くなり、電池残量が多いときは各種判定に入り易くなる。具体的には、ユーザが必ず撮像装置を起動してほしい要因でない条件である揺れ状態検出結果や、音検出の音シーン検出は、電池残量によって各検出判定のし易さが変化することになる。
[Environment information detection]
Learning can be performed by manually setting the conditions for environmental information change that the user wants to activate, for example, through communication with a dedicated application of the external device 301 . For example, it can be activated by specific conditions such as temperature, atmospheric pressure, brightness, humidity, absolute amount of ultraviolet rays, and amount of change. It is also possible to learn a determination threshold value based on each environmental information. If it is determined from the detection information after activation based on the environment information that it was not the activation factor (as a result of the above-mentioned subject search and automatic shooting determination, there is no shooting target), it will be difficult to detect the parameters of each determination threshold. set. Alternatively, by learning from the information of each environment embedded in the image learned by the learning method described later, it is possible to learn activation based on the environment information. For example, if a large number of images taken when the temperature rises are learned, learning is performed so that driving is easy when the temperature rises. Moreover, each of the above parameters also changes depending on the remaining capacity of the battery. For example, when the remaining battery power is low, it becomes difficult to enter various determinations, and when the remaining battery power is high, it becomes easy to enter various determinations. Specifically, the easiness of each detection and judgment will change depending on the remaining battery level for shaking state detection results and sound scene detection, which are conditions that the user does not want to always start the imaging device. Become.

次に、低消費電力状態への遷移条件の学習について説明する。 Next, learning of transition conditions to the low power consumption state will be described.

図7に示したとおり、モード設定判定704で、「自動撮影モード」「自動編集モード」「画像自動転送モード」「学習モード」「ファイル自動削除モード」の何れでもないと判定されると、低消費電力モードに入る。各モードの判定条件については、上述したとおりであるが、各モードを判定される条件についても学習によって変化する。自動撮影モードについては、上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体がいないと判定されると、自動撮影モードを解除する。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してから経過時間が大きくなるにつれて低消費電力モードへ移行し易くしている。また、電池の残容量によって所定閾値を変化させることで、電池もちを考慮した低消費電力モード制御を行うことができる。例えば、電池残量が少ないときは閾値が大きくなり、電池残量が多いときは閾値が小さくなる。ここで、前回自動撮影モードに遷移してからの経過時間と撮影枚数によって、Subプロセッサに対して、次回低消費電力モード解除条件のパラメータ(経過時間閾値TimeC)を設定する。 As shown in FIG. 7, when it is determined in mode setting determination 704 that none of the "automatic shooting mode", "automatic editing mode", "automatic image transfer mode", "learning mode", and "automatic file deletion mode" is selected, the low Enter power consumption mode. The determination conditions for each mode are as described above, but the conditions for determining each mode also change with learning. Regarding the automatic shooting mode, as described above, the importance level for each area is determined, and automatic shooting is performed while searching for a subject by panning and tilting. release. For example, when the importance level of all areas or the value obtained by adding the importance level of each area becomes equal to or less than a predetermined threshold value, the automatic photographing mode is canceled. At this time, the predetermined threshold is also lowered according to the elapsed time after the transition to the automatic shooting mode. The transition to the low power consumption mode is facilitated as the elapsed time from the transition to the automatic shooting mode increases. Further, by changing the predetermined threshold according to the remaining battery capacity, it is possible to perform low power consumption mode control in consideration of battery life. For example, when the remaining battery power is low, the threshold is large, and when the battery power is high, the threshold is small. Here, a parameter (elapsed time threshold TimeC) for the condition for canceling the next low power consumption mode is set for the Sub processor based on the elapsed time and the number of shots after the previous transition to the automatic shooting mode.

上記の各閾値は学習によって変化する。学習は、例えば外部機器301の専用アプリケーションと通信を介して、手動で撮影頻度や起動頻度などを設定することで、学習ができる。また、撮像装置101電源ボタンをONしてから、電源ボタンをOFFするまでの経過時間の平均値や時間帯ごとの分布データを蓄積し、各パラメータを学習する構成にしてもよい。その場合、電源ONからOFFまでの時間が短いユーザに対しては低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、電源ONからOFFまでの時間が長いユーザに対しては間隔が長くなるように学習される。また、探索中の検出情報によっても学習される。学習によって設定された重要となる被写体が多いと判断されている間は、低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、重要となる被写体が少ない間は、間隔が長くなるように学習される。 Each of the above thresholds changes with learning. Learning can be performed, for example, by manually setting the imaging frequency, activation frequency, and the like via communication with a dedicated application of the external device 301 . Further, the average value of the elapsed time from turning on the power button of the imaging apparatus 101 to turning off the power button and distribution data for each time period may be accumulated, and each parameter may be learned. In that case, the time interval between returning from the low power consumption mode and transitioning to the low power consumption state is shortened for the user whose time from power ON to OFF is short, and for the user whose time from power ON to OFF is long. is learned so that the interval becomes longer. It is also learned by detection information during searching. While it is determined that there are many important subjects set by learning, the time interval between returning from the low power consumption mode and transition to the low power consumption state is shortened, and while there are few important subjects , is learned with increasing intervals.

(7)ファイル自動削除
ファイル自動削除に対する学習について説明する。ファイル自動削除では、ファイルの空き容量や優先して削除する画像の選択などについて学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習することができる。上述したように、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが低い画像が優先して記録媒体221から削除される。また、スコアの点数だけでなく、記録媒体221内の各画像に埋め込まれた撮影日時や、後述する方法で、選択されたハイライト動画(自動編集された動画)の編集内容によって学習する。例えば、取得されたハイライト動画が、短い時間間隔で撮影された画像が多い場合、撮影された日時が古いファイルが優先的に削除されるが、長い時間間隔で撮影された画像を含む場合、日時が古くてもスコアの高いファイルは削除しないように学習される。或いは、逐次所定時間間隔で、記録媒体221内の各画像のスコアを再計算するようにする。スコア算出時のニューラルネットワークには撮影日時情報も入力されており、短い時間間隔で撮影された画像が多い場合、撮影日時が古いファイルはスコアが低くなるように学習される。これにより、優先的に削除されるようになり、長い時間間隔で撮影された画像を含む場合、日時が古くてもスコアは低くならないように学習されることで、日時が古くてもスコアの高いファイルは削除しないように学習される。他の例では、後述する方法で学習させる画像が選択されるが、選択される画像の日時が比較的新しいものを集中して選択されることが多い場合、撮影された日時が古いファイルを優先的に削除される。しかし、選択される画像の日時が古いものも選択されることが多い場合は、日時が古くてもスコアの高いファイルは削除しないように学習する。他の例では、撮影頻度が多くなるように学習されている場合は、ファイルの空き領域を多くとるようにファイルが自動削除され、撮影頻度が少なくなるように学習されている場合は、ファイルの空き領域は少なくていいようにファイルの自動削除が行われる。他の例では、動画の撮影頻度が多くなるように学習されている場合、ファイルの空き領域を多くとるようにファイルが自動削除され、静止画の撮影頻度が多くなるように学習されている場合、ファイルの空き領域は少なくなるようにファイルの自動削除が行われる。
(7) Automatic File Deletion Learning for automatic file deletion will be described. Automatic file deletion learns about the free space of files and the selection of images to be preferentially deleted. Learning can be performed by selecting an image to be learned by a method described later and changing the weight of the neural network based on the learning information contained in the image. As described above, each image has a score determined by the user's preference, and an image with a low score is preferentially deleted from the recording medium 221, as described in the automatic shooting. In addition to the score, learning is performed based on the date and time of photography embedded in each image in the recording medium 221 and the editing content of the selected highlight video (automatically edited video) by a method described later. For example, if the captured highlight video contains many images shot at short time intervals, files with older shooting dates and times are preferentially deleted, but if images shot at long time intervals are included, It learns not to delete files with a high score even if the date and time are old. Alternatively, the score of each image in the recording medium 221 is recalculated at successive predetermined time intervals. Shooting date information is also input to the neural network at the time of score calculation, and when there are many images shot at short time intervals, files with older shooting dates have a lower score. As a result, it will be deleted preferentially, and if it contains images taken at long time intervals, it will learn not to lower the score even if the date and time are old, so that even if the date and time are old, the score will be high. Files are learned not to delete. In another example, images to be learned are selected by the method described later, but if images with relatively recent date and time are often selected, priority is given to files with older shooting dates and times. removed automatically. However, if images with older date and time are often selected, learning is performed so as not to delete files with high scores even if the date and time are older. In another example, if learning is performed to increase the frequency of shooting, files are automatically deleted so that more free space is available for the file, and if learning is performed to decrease the frequency of shooting, files are deleted automatically. Files are automatically deleted so that there is little free space. In another example, if the camera is trained to shoot videos more frequently, files are automatically deleted to free up more file space, and still images are learned to be shot more frequently. , the file is automatically deleted so that the free space of the file is reduced.

(8)像揺れ補正
像揺れ補正に対する学習について説明する。像揺れ補正は、図9のS902で補正量を算出し、補正量に基づいてS905でパン・チルトを駆動することにより、像揺れ補正を行う。像揺れ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、PSF(Point Spread Function)を推定することにより、ブレの方向及び大きさを推定することが可能である。図9のS912の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加されている。図7のステップ716での学習モード処理内では、推定したブレの方向と大きさを出力として、撮影時の各検出情報を入力として、揺れ補正用のニューラルネットワークの重みを学習させる。撮影時の各検出情報とは、撮影前所定時間における画像の動きベクトル情報や、検出した被写体(人や物体)の動き情報、振動情報(ジャイロ出力、加速度出力、撮像装置の状態)等である。他にも、環境情報(温度、気圧、照度、湿度)、音情報(音シーン判定、特定音声検出、音レベル変化)、時間情報(起動からの経過時間、前回撮影時からの経過時間)、場所情報(GPS位置情報、位置移動変化量)なども入力に加えて判定してもよい。S902での補正量算出時において、上記各検出情報をニューラルネットワークに入力することで、その瞬間撮影したときのブレの大きさを推定することができ、推定したブレの大きさが大きいときは、シャッター速度を短くするなどの制御が可能となる。また、推定したブレの大きさが大きいときはブレ画像になってしまうので撮影を禁止するなどの方法もとれる。また、パン・チルト駆動角度には制限があるため、駆動端に到達してしまうとそれ以上補正を行うことができないが、上記のように撮影時のブレの大きさと方向を推定することで、露光中揺れ補正するためのパン・チルト駆動に必要な範囲を推定できる。露光中可動範囲の余裕がない場合は、揺れ補正量を算出するフィルタのカットオフ周波数を大きくして、可動範囲を超えないように設定することで、大きなブレを抑制することもできる。また、可動範囲を超えそうな場合は、露光直前にパン・チルトの角度を可動範囲を超えそうな方向とは逆の方向に回転してから、露光開始することで、可動範囲を確保してブレない撮影を行うこともできる。これにより、ユーザの撮影時の特徴や使い方に合わせて揺れ補正を学習することができるので、ブレのない画像を撮影することができる。また、上述した「撮影方法の判定」において、流し撮り撮影を行うか否かを判定し、撮影前までの検出情報から、被写体がブレなく撮影するためのパン・チルト駆動速度を推定して、被写体ブレ補正を行ってもよい。ここで、流し撮り撮影は、動いている被写体はブレがなく、動いていない背景が流れる撮影である。その場合、上記各検出情報をニューラルネットワークに入力することで、静止画像撮影中の駆動速度を推定する。学習は、画像を各ブロックで分割して、各ブロックのPSFを推定することで、主被写体が位置するブロックでのブレの方向及び大きさを推定し、その情報を基に学習することができる。また、後述する学習方法により、選択された画像の背景の流れ量に基づいて、背景の流し量を学習することもできる。その場合、選択された画像の中で、主被写体が位置しないブロックでのブレの大きさを推定し、その情報を基にユーザの好みを学習することができる。学習した好みの背景流し量に基づいて、撮影時のシャッター速度を設定することで、ユーザの好みにあった流し撮り効果が得られる撮影を自動で行うことができる。
(8) Image Shake Correction Learning for image shake correction will be described. Image shake correction is performed by calculating the amount of correction in S902 of FIG. 9 and driving the pan/tilt in S905 based on the amount of correction. In the image shake correction, learning is performed in order to perform correction in accordance with the characteristics of the user's shake. By estimating, for example, a PSF (Point Spread Function) for a captured image, it is possible to estimate the direction and magnitude of blurring. In the learning information generation in S912 of FIG. 9, the estimated blur direction and magnitude are added to the image as information. In the learning mode process at step 716 in FIG. 7, the direction and magnitude of the estimated blur are output, and each detection information at the time of shooting is input, and weights of the neural network for shake correction are learned. Each detection information at the time of shooting includes motion vector information of an image at a predetermined time before shooting, motion information of a detected subject (person or object), vibration information (gyro output, acceleration output, imaging device state), and the like. . In addition, environmental information (temperature, atmospheric pressure, illuminance, humidity), sound information (sound scene judgment, specific sound detection, sound level change), time information (elapsed time since startup, elapsed time since last shooting), Location information (GPS position information, amount of change in position movement) and the like may also be input and determined. When calculating the correction amount in S902, by inputting each of the above detection information to the neural network, it is possible to estimate the magnitude of blur at the time of shooting at that moment. Control such as shortening the shutter speed becomes possible. In addition, when the magnitude of the estimated blur is large, the image will be blurry, so a method such as prohibiting photographing can be taken. Also, since the pan/tilt drive angle is limited, once it reaches the end of the drive, no further correction can be made. It is possible to estimate the range necessary for pan/tilt driving for correcting shake during exposure. If there is no margin in the movable range during exposure, it is possible to suppress large blurring by increasing the cutoff frequency of the filter that calculates the shake correction amount so as not to exceed the movable range. Also, if the movable range is likely to be exceeded, rotate the pan/tilt angle in the direction opposite to the direction in which the movable range is likely to be exceeded immediately before exposure, and then start exposure to secure the movable range. You can also shoot without blurring. As a result, it is possible to learn shake correction according to the user's shooting characteristics and how to use the camera, so that it is possible to shoot an image without blurring. In addition, in the above-mentioned "judgment of shooting method", it is determined whether or not to perform panning shooting, and from the detection information before shooting, the pan/tilt driving speed for shooting the subject without blurring is estimated, Subject blur correction may be performed. Here, panning photography is photography in which a moving subject does not blur and a background that is not moving flows. In that case, by inputting each of the above detection information to the neural network, the driving speed during still image shooting is estimated. Learning involves dividing an image into blocks and estimating the PSF of each block, estimating the direction and magnitude of blur in the block where the main subject is located, and learning based on that information. . In addition, it is also possible to learn the flow amount of the background based on the flow amount of the background of the selected image by a learning method which will be described later. In this case, it is possible to estimate the magnitude of blurring in blocks in which the main subject is not located in the selected image, and to learn the user's preferences based on that information. By setting the shutter speed at the time of shooting based on the learned preferred amount of background blurring, it is possible to automatically perform shooting with a panning effect that suits the user's preference.

さらに、上述した<ユーザによる手動撮影指示に基づく撮影方法の判定>において、カメラの状態と被写体の状態の情報から、期待される撮影方法を学習することも可能である。この場合は、まずカメラの状態に関する情報として、例えば加速度計107より得られた情報に基づいて算出されたカメラの角度、角速度計106や加速度計107より得られたカメラの振動量をニューラルネットワークの入力とすることが可能である。さらに、撮影の一定時間前におけるカメラの位置に対して、実際に撮影を行ったときのカメラの位置における、移動量や相対位置をニューラルネットワークの入力とすることが可能となる。ライフログカメラにおいてこのような情報を抽出する手法に関して、図26を用いて説明する。 Furthermore, in <determination of photographing method based on user's manual photographing instruction> described above, it is also possible to learn an expected photographing method from information on the state of the camera and the state of the subject. In this case, as information about the state of the camera, for example, the angle of the camera calculated based on the information obtained from the accelerometer 107, the amount of vibration of the camera obtained from the angular velocity meter 106 and the accelerometer 107 are used by the neural network. It can be used as an input. Furthermore, it is possible to input the amount of movement and the relative position of the camera position at the time of actual photographing to the position of the camera a certain time before the photographing as input to the neural network. A technique for extracting such information in a lifelog camera will be described with reference to FIG.

図26はライフログカメラにおいて、加速度センサの出力の例を示したものである。ここでは、前述のように、(e)、及び(h)の期間中に撮影が行われている様子を示している。ここで、カメラの移動量に関しては、カメラを構え始めてから実際に撮影に移るまでの間の移動量、つまり、図26(d)、(g)の領域で移動した量を算出することが可能である。このため、例えば加速度を監視しておき、撮影が行われる際には過去の加速度の変化をさかのぼっていき、安定した加速、及び減速が発生している領域(d)、(g)を検出し、その領域の加速度を元に移動量を算出することが可能である。 FIG. 26 shows an example of the output of the acceleration sensor in the life log camera. Here, as described above, the state in which shooting is being performed during periods (e) and (h) is shown. Here, regarding the amount of movement of the camera, it is possible to calculate the amount of movement from when the camera is held until the actual shooting, that is, the amount of movement in the areas of FIGS. 26(d) and (g). is. For this reason, for example, acceleration is monitored, and when photographing is performed, past changes in acceleration are traced back to detect regions (d) and (g) where stable acceleration and deceleration occur. , the amount of movement can be calculated based on the acceleration of that area.

また、前述したように被写体の情報に関してもニューラルネットワークの入力とすることが可能となる。ここでは、例えば被写体までの距離、及び被写体の上下、左右の領域にある被写体までの距離といった情報が利用可能である。また、GPS受信機405の情報等を用いても良い。 Further, as described above, it is also possible to input the information of the subject to the neural network. Here, for example, information such as the distance to the subject and the distances to the subject in the upper, lower, left, and right areas of the subject can be used. Also, information from the GPS receiver 405 or the like may be used.

これにより、カメラの状態、被写体の状態に応じた撮影方法の学習を行うことが可能となる。 As a result, it becomes possible to learn the shooting method according to the state of the camera and the state of the subject.

(9)画像自動転送
画像自動転送に対する学習について説明する。画像自動転送では、記録媒体221に記録された画像の中から、優先して転送する画像の選択や転送頻度などについて学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習することができる。上述したように、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが高い画像が優先して画像転送する。また、過去に画像転送した画像に対応した学習情報も画像転送判定に使用する。後述する方法で学習させる画像が選択されると、画像に含まれる学習情報(特徴量)の何を重要視するかが設定され、過去に画像転送した画像が同じような特徴量を含むものが多い場合、別の特徴量を含み且つスコアの高い画像を転送するように設定する。また、撮像装置の各状態に応じて、画像転送頻度も変化する。電池の残容量によって変化する。例えば、電池残量が少ないときは、画像転送され難く、電池残量が多いときは、画像転送しやすくなるように設定される。具体的に例えば、前回自動転送された時からの経過時間と、その経過時間の間で撮影された画像の中で最も高いスコアとを乗算し、乗算した値が閾値を超えた時に画像転送するようにしておき、閾値を電池残量によって変化するような構成をとっても実現できる。他の例では、撮像装置101が設定された撮影頻度に応じて、画像自動転送の頻度を変更する。撮影頻度が多くなるように学習されている場合は、画像自動転送の頻度も多くなるように設定され、撮影頻度が少なくなるように学習されている場合は、画像自動転送の頻度も少なくなるように設定される。このとき撮影頻度によって上記閾値を変化させることで撮影頻度設定に応じた画像転送頻度を変更できる。他の例では、ファイル(記録媒体221)の空き容量に応じて、画像自動転送の頻度を変更することも行われる。ファイルの空き容量が多い場合は、画像自動転送の頻度は少なく、ファイルの空き容量が少ない場合は、画像自動転頻度が多くなるように設定される。このときファイル空き容量によって上記閾値を変化させることでファイル空き容量に応じた画像転送頻度を変更できる。
(9) Automatic Image Transfer Learning for automatic image transfer will be described. In the automatic image transfer, learning is performed regarding the selection of images to be preferentially transferred from among the images recorded in the recording medium 221, the transfer frequency, and the like. Learning can be performed by selecting an image to be learned by a method described later and changing the weight of the neural network based on the learning information contained in the image. As described above, as described in the automatic photographing, each image has a score calculated based on user's preference, and an image with a high score is preferentially transferred. Learning information corresponding to images transferred in the past is also used for image transfer determination. When an image to be learned is selected by the method described later, it is set which of the learning information (features) contained in the image should be emphasized, and images transferred in the past that contain similar features are selected. If there are many, it is set to transfer an image that includes another feature amount and has a high score. Further, the image transfer frequency also changes according to each state of the imaging device. Varies depending on remaining battery capacity. For example, when the remaining battery power is low, image transfer is difficult, and when the battery power is high, image transfer is set to be easy. Specifically, for example, the elapsed time since the previous automatic transfer is multiplied by the highest score among the images shot during that elapsed time, and the image is transferred when the multiplied value exceeds the threshold. It is also possible to implement a configuration in which the threshold is changed according to the remaining battery level. In another example, the frequency of automatic image transfer is changed according to the shooting frequency set by the imaging device 101 . If the camera is trained to take more pictures, the frequency of automatic image transfer will also increase. is set to At this time, by changing the threshold according to the shooting frequency, the image transfer frequency can be changed according to the shooting frequency setting. In another example, the frequency of automatic image transfer is also changed according to the free space of the file (recording medium 221). When the free space of the file is large, the frequency of automatic image transfer is low, and when the free space of the file is small, the frequency of automatic image rotation is set to be high. At this time, by changing the threshold according to the file free space, the image transfer frequency can be changed according to the file free space.

次に、学習方法について説明する。 Next, the learning method will be explained.

学習方法としては、「撮像装置内の学習」と「通信機器との連携による学習」がある。 As a learning method, there are "learning within the imaging apparatus" and "learning in cooperation with a communication device".

撮像装置内学習の方法について、以下説明する。 A method of learning within the imaging apparatus will be described below.

本実施形態における撮像装置内学習は、以下方法がある。 The intra-imaging-device learning in this embodiment has the following methods.

(1)ユーザによる撮影指示時の検出情報による学習
図9のステップS907乃至S913で説明したとおり、本実施形態においては、撮像装置101は、手動撮影と自動撮影の2つの撮影を行うことができる。ステップS907で手動操作による撮影指示(上記説明したとおり、3つの判定に基づいて行う。)があった場合は、ステップS912において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップS909にて自動撮影ONと判定されて撮影された場合においては、ステップS912において、撮影画像は自動で撮影された画像であると情報が付加される。
(1) Learning based on detection information when a user instructs to shoot As described in steps S907 to S913 of FIG. . If there is a shooting instruction by manual operation in step S907 (performed based on the three determinations as described above), information is added in step S912 that the shot image is an image shot manually. be. If it is determined that automatic shooting is ON in step S909 and the image is captured, information is added in step S912 that the captured image is an automatically captured image.

ここで手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔を基に撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習情報を基とした学習が行われるようにする。 In the case of manual shooting here, it is very likely that the shooting was performed based on the user's favorite subject, favorite scene, favorite place, or time interval. Therefore, learning is performed based on each feature data obtained during manual photography and learning information of the captured image.

また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。また、図17乃至図22を用いて後述する「ユーザーが手でパンチルトを回転させること」によっても、画角の変化が指示された場合には、回転後に画角内に存在する被写体を学習する。これも、手動操作の検出情報による学習の一部である。 In addition, from the information detected during manual photography, it learns about the extraction of features in captured images, the registration of personal authentication, the registration of facial expressions for each individual, and the registration of combinations of people. Also, from the information detected during subject search, for example, learning is performed to change the degree of importance of nearby people and objects based on the expression of a subject that has been personally registered. Also, when a change in the angle of view is instructed by "the user manually rotates the pan and tilt", which will be described later with reference to FIGS. . This is also a part of the learning based on the detection information of manual operation.

さらに、前述したように撮影方法の判定を行う場合は同様に、S912において、判定に必要な情報を付与する。ここでは、例えば前述したように、カメラの保持形式・保持角度・撮影に至るまでのカメラの移動距離・移動方向といったようなカメラの状態情報を付与することが可能となる。また、被写体距離・被写体の上下、左右の領域にある被写体までの距離といった被写体情報を付与することが可能となる。なお、これら情報に関しては必ずしも画像に付与する必要があるわけではなく、例えば撮像装置内部のメモリ216等に保持するようにしても良いし、画像ファイルとは別のファイル内に、画像と紐づけて保存するといったことも可能である。 Furthermore, in the case of determining the shooting method as described above, similarly, in S912, information necessary for determination is provided. Here, for example, as described above, it is possible to add camera status information such as the camera holding format, holding angle, moving distance and moving direction of the camera until photographing. Further, it is possible to add subject information such as the subject distance and the distance to the subject in the upper, lower, left and right areas of the subject. Note that these pieces of information do not necessarily have to be attached to the image, and may be stored in the memory 216 or the like inside the imaging device, for example, or may be stored in a file separate from the image file and associated with the image. It is also possible to save

(2)被写体探索時の検出情報による学習
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を演算しておく。
(2) Learning based on information detected during subject search During the subject search operation, it determines what kind of person, object, and scene the subject registered for personal authentication is photographed at the same time, and the time during which it is photographed within the angle of view at the same time. Calculate the ratio.

例えば、個人認証登録被写体の人物Aが個人認証登録被写体の人物Bと同時に写っている時間比率が所定閾値よりも高い場合重要度が高いと判定できる。このため、人物Aと人物Bが画角内に入る場合は、自動撮影判定の点数が高くなるように各種検出情報を学習データとして保存して学習モード処理716で学習する。 For example, when the time ratio of person A as a subject for personal authentication registration and person B as a subject for personal authentication registration is higher than a predetermined threshold, it can be determined that the importance is high. For this reason, when person A and person B are within the angle of view, various detection information is stored as learning data and learned in learning mode processing 716 so as to increase the score of automatic photographing determination.

他の例では、個人認証登録被写体の人物Aが一般物体認識により判定された被写体「猫」と同時に写っている時間比率が所定閾値よりも高い場合、重要度が高いと判定できる。このため、人物Aと「猫」が画角内に入る場合は、自動撮影判定の点数が高くなるように各種検出情報を学習データとして保存する。そして、学習モード処理716で学習する。 In another example, when the ratio of time in which person A, who is a subject for personal authentication registration, is photographed together with the subject "cat" determined by general object recognition, is higher than a predetermined threshold value, it can be determined that the importance is high. For this reason, when the person A and the "cat" are within the angle of view, various detection information is stored as learning data so that the score for automatic photographing determination increases. Then, learning is performed in learning mode processing 716 .

このように、探索中の被写体の現れる頻度が高い場合に、自動撮影判定の点数が高くなるようにすると、個人認証登録されている被写体の近くの人や物体の重要度も、高くなるように変更することができる。 In this way, when the frequency of appearance of the subject being searched is high, by increasing the automatic shooting judgment score, the importance of people and objects near the subject registered for personal authentication also increases. can be changed.

また、個人認証登録被写体の人物Aの笑顔度を検出したり、表情を検出により「喜び」「驚き」などが検出されたとき、同時に写っている被写体は重要であるように学習される処理が行われる。また、表情が「怒り」「真顔」などが検出されたときの、同時に写っている被写体は重要である可能性が低いので学習することはしないなどの処理が行われる。 In addition, when the degree of smile of person A, who is a subject for personal authentication registration, is detected, or when "joy", "surprise", etc. are detected by detecting facial expressions, there is processing to learn that the subject in the photograph is important at the same time. done. In addition, when the expression "anger", "straight face", etc. is detected, there is a low possibility that the subject photographed at the same time is important, so processing such as not learning is performed.

次に、本実施形態における外部通信機器との連携による学習を説明する。 Next, learning by cooperation with an external communication device in this embodiment will be described.

本実施形態における外部通信機器との連携による学習には、以下の方法がある。 The following methods are available for learning in cooperation with an external communication device in this embodiment.

(3)外部通信機器で画像を取得したことによる学習
図3で説明したとおり、撮像装置101と外部機器301は、通信302、303の通信手段を有している。主に通信302によって画像の送受信が行われ、外部機器301内の専用のアプリケーションを介して、撮像装置101内の画像を外部機器301に通信取得することができる。また、撮像装置101内の保存されている画像データのサムネイル画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、画像取得指示を操作することで外部機器301に画像取得できる。
(3) Learning by Acquiring Images with External Communication Device As described with reference to FIG. Images are mainly transmitted and received by the communication 302 , and images in the imaging apparatus 101 can be acquired by the external device 301 via a dedicated application in the external device 301 . Further, thumbnail images of image data stored in the imaging apparatus 101 can be browsed via a dedicated application in the external device 301 . As a result, the user can select a favorite image from the thumbnail images, check the image, and operate the image acquisition instruction to acquire the image to the external device 301 .

このとき、ユーザが画像を選んで送信指示し取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像の学習情報を基に学習することでユーザの好みの各種学習を行うことができる。 At this time, since the user selects an image, instructs transmission, and acquires the image, it is very likely that the acquired image is the user's favorite image. Therefore, by determining that the acquired image is an image to be learned and learning based on the learning information of the acquired image, it is possible to perform various kinds of learning that the user likes.

操作例を説明する。スマートデバイスである外部機器301の専用のアプリケーションを介して、撮像装置101内の画像を閲覧している例を図16に示す。表示部407に撮像装置内に保存されている画像データのサムネイル画像(1604乃至1609)を表示してあり、ユーザは自分が気に入った画像を選択し画像取得を行える。このとき、表示方法を変更する表示方法変更部(1601、1602、1603)が設けられている。1601を押下すると表示順序が日時優先表示モードに変更され、撮像装置101内画像の撮影日時の順番で表示部407に画像が表示される。(例えば、1604は日時が新しく、1609が日時は古いように表示される。)1602を押下するとおすすめ画像優先表示モードに変更される。図9ステップS912で演算した各画像に対してユーザの好みを判定したスコアに基づいて、撮像装置101内画像のスコアの高い順番で表示部407に画像が表示される。(例えば、1604はスコアが高く、1609がスコアは低いように表示される。)1603を押下すると人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。 An operation example will be described. FIG. 16 shows an example of viewing images in the imaging apparatus 101 via a dedicated application of the external device 301, which is a smart device. Thumbnail images (1604 to 1609) of image data stored in the imaging apparatus are displayed on the display unit 407, and the user can select a desired image and obtain the image. At this time, display method changing units (1601, 1602, 1603) for changing the display method are provided. When a button 1601 is pressed, the display order is changed to the date/time priority display mode, and images are displayed on the display unit 407 in the order of shooting date/time of the images in the imaging apparatus 101 . (For example, 1604 is displayed as if the date and time are newer, and 1609 is displayed as if the date and time are older.) When 1602 is pressed, the mode is changed to the recommended image priority display mode. The images are displayed on the display unit 407 in descending order of the scores of the images in the imaging apparatus 101 based on the scores obtained by determining the user's preference for each image calculated in step S912 in FIG. (For example, 1604 is displayed as having a high score and 1609 as having a low score.) By pressing 1603, a person or an object subject can be specified. You can also

1601乃至1603は同時に設定をONすることもでき、例えばすべての設定がONされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。 The settings 1601 to 1603 can also be turned on at the same time. For example, when all the settings are turned on, only the specified subject is displayed, and images with new shooting date and time are prioritized and images with high scores are displayed. will be prioritized and displayed.

このように、撮影画像に対してもユーザの好みを学習しているため、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを簡単に抽出することが可能である。 In this way, since the user's preferences are also learned for the captured images, it is possible to easily extract only the user's favorite images from a large number of captured images through a simple confirmation operation. .

(4)外部通信機器を介して、画像に判定値を入力することによる学習
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内の保存されている画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数(例えば5点)を付けたり、好みでないと思った画像に対して低い点数(例えば1点)を付けることができ、ユーザの操作によって、撮像装置が学習していくような構成にする。各画像の点数は、撮像装置内で学習情報と共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
(4) Learning by inputting determination values to images via an external communication device As described above, the imaging device 101 and the external device 301 have communication means. It is a configuration in which the image stored in the external device 301 can be viewed via a dedicated application in the external device 301 . Here, the user may assign a score to each image. A high score (for example, 5 points) can be given to an image that the user thinks is good, and a low score (for example, 1 point) can be given to an image that the user does not like. to learn from each other. The score of each image is used for re-learning together with learning information within the imaging device. Learning is performed so that the output of the neural network, which receives feature data from designated image information as input, approaches the score designated by the user.

本実施形態では、通信機器301を介して、撮影済み画像にユーザが判定値を入力する構成にしたが、撮像装置101を操作して、直接、画像に判定値を入力する構成にしてもよい。その場合、例えば、撮像装置101にタッチパネルディスプレイを設け、タッチパネルディスプレイ画面表示部に表示されたGUIボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザは撮影済み画像を確認しながら、各画像に判定値を入力するなどの方法により、同様の学習を行うことができる。 In this embodiment, the user inputs the determination value to the captured image via the communication device 301, but it may be configured to directly input the determination value to the image by operating the imaging device 101. . In this case, for example, a touch panel display is provided in the imaging apparatus 101, and the user presses a GUI button displayed on the touch panel display screen display unit to set a mode for displaying captured images. Then, the user can perform similar learning by, for example, inputting a determination value to each image while confirming the captured images.

(5)外部通信機器内の保存されている画像を解析することによる学習
外部機器301は、記憶部404を有し、記憶部404には撮像装置101で撮影された画像以外の画像も記録される構成とする。このとき、外部機器301内に保存されている画像は、ユーザが閲覧し易く、公衆回線制御部406を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
(5) Learning by analyzing images stored in the external communication device The external device 301 has a storage unit 404, in which images other than the images captured by the imaging device 101 are also recorded. configuration. At this time, the images stored in the external device 301 are easy for the user to browse, and the images can be easily uploaded to the shared server via the public line control unit 406. Very likely to be included.

外部機器301は専用のアプリケーションを介して、記憶部404に保存されている画像を、撮像装置101内での学習処理部219と同等の学習処理を制御部411により処理可能な構成にしてもよい。この場合、処理された学習用データを撮像装置101に通信することで、学習する構成にできる。また、撮像装置101に学習させたい画像やデータを送信して、撮像装置101内で学習するような構成にしてもよい。 The external device 301 may be configured so that the image stored in the storage unit 404 can be processed by the control unit 411 through a dedicated application, which is equivalent to the learning processing unit 219 in the imaging apparatus 101. . In this case, by communicating the processed data for learning to the imaging device 101, a configuration for learning can be achieved. Alternatively, an image or data desired to be learned by the image capturing apparatus 101 may be transmitted, and the image capturing apparatus 101 may perform learning.

また、専用のアプリケーションを介して、記憶部404に保存されている画像の中から、学習させたい画像をユーザが選択して、学習する構成にすることもできる。 Alternatively, the user can select an image to be learned from among the images stored in the storage unit 404 via a dedicated application, and the image can be learned.

(6)外部通信機器で、SNSのサーバにアップロードされた情報からの学習
人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス(SNS)における情報を学習に使用する方法について説明する。画像をSNSにアップロードする際に、スマートデバイスから画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部機器301を所有するユーザの好みの写真であるかも判定できる。
(6) Learning from information uploaded to SNS servers using external communication devices Social Networking Services (SNS) are services and websites that enable the construction of social networks focused on connections between people. Describe how information in is used for learning. There is a technique of inputting a tag related to an image from a smart device when uploading the image to an SNS, and then transmitting the tag together with the image. There is also a technique of inputting likes and dislikes for images uploaded by other users, and it is possible to determine whether images uploaded by other users are favorite photos of the user who owns the external device 301 .

外部機器301内にダウンロードされた専用のSNSアプリケーションで、上記のようにユーザが自らアップロードした画像と画像についての情報を取得することができる。また、ユーザが他のユーザがアップロードした画像に対して好きかどうかを入力することにより、ユーザの好みの画像やタグ情報を取得することもできる。それらの画像やタグ情報を解析し、撮像装置101内で学習セットできるようにする構成にする。 A dedicated SNS application downloaded into the external device 301 can acquire images uploaded by the user himself and information about the images as described above. Also, by inputting whether or not the user likes images uploaded by other users, it is possible to obtain the user's favorite images and tag information. These images and tag information are analyzed, and a configuration is adopted in which a learning set can be made within the imaging apparatus 101 .

上記のようにユーザがアップロードした画像や、ユーザが好きと判定した画像を取得し、撮像装置101内での学習処理部219と同等の学習処理を制御部411により処理可能な構成にしてもよい。これにより、処理された学習用データを撮像装置101に通信することで、学習する構成にすることもできる。もしくは、撮像装置101に学習させたい画像を送信して、撮像装置101内で学習するような構成にしてもよい。 As described above, an image uploaded by the user or an image determined to be liked by the user may be acquired, and a learning process equivalent to that of the learning processing unit 219 in the imaging apparatus 101 may be performed by the control unit 411. . Accordingly, it is possible to configure learning by communicating the processed data for learning to the imaging device 101 . Alternatively, an image to be learned by the imaging apparatus 101 may be transmitted, and the imaging apparatus 101 may learn.

また、タグ情報から、SNS内に設けられた画像フィルタから、図7の自動編集モード処理712や図9の編集S911の、色変換フィルタ効果が変化するように学習する。
或いは、タグ情報に設定された被写体情報から、ユーザが好みであろう被写体情報を推定し、ニューラルネットワークに入力する検出すべき被写体として登録することによる学習を行う。この被写体情報は、例えば、犬、猫など被写体物体情報や、ビーチなどのシーン情報や、スマイルなどの表情情報などが考えられる。
Further, from the tag information, from the image filter provided in the SNS, it learns so that the color conversion filter effect of the automatic edit mode processing 712 in FIG. 7 and the edit S911 in FIG. 9 changes.
Alternatively, learning is performed by estimating subject information that is likely to be preferred by the user from subject information set in the tag information and registering it as a subject to be detected to be input to the neural network. This subject information may be, for example, subject object information such as a dog or cat, scene information such as a beach, or facial expression information such as a smiley face.

また、上記SNSでのタグ情報(画像フィルタ情報や被写体情報)の統計値から、世の中で今現在流行っている画像情報を推定し、撮像装置101内で学習セットできるようにする構成にすることもできる。 In addition, it is also possible to estimate the image information that is currently popular in the world from the statistical values of the tag information (image filter information and subject information) in the SNS, and to make it possible to make a learning set in the imaging device 101. can.

(7)外部通信機器で、パラメータを変更することによる学習
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内に現在設定されている学習パラメータを外部機器301に通信し、外部機器301の記憶部404に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器301内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御部406を介して取得して、撮像装置101内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器301に保存しておいて、撮像装置101に設定することで学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置101に設定することもできる。
(7) Learning by Changing Parameters Using External Communication Device As described above, the imaging device 101 and the external device 301 have communication means, and learning parameters currently set in the imaging device 101 . can be communicated to the external device 301 and stored in the storage unit 404 of the external device 301 . Examples of learning parameters include the weight of the neural network, the selection of subjects to be input to the neural network, and the like. Also, the learning parameters set in the dedicated server can be acquired via the public line control unit 406 via the dedicated application in the external device 301 and set as the learning parameters in the imaging apparatus 101. and As a result, parameters at a certain point in time can be stored in the external device 301 and set in the imaging apparatus 101 to return the learning parameters, and learning parameters possessed by other users can be retrieved via a dedicated server. It can also be acquired and set in the imaging device 101 itself.

また、外部機器301の専用のアプリケーションを介して、ユーザが登録した音声コマンドや認証登録、ジェスチャーを登録できるようにしてもよいし、重要な場所を登録してもよい。これらの情報は、自動撮影モード処理(図9)で説明した撮影トリガーが自動撮影判定の入力データとして扱われる。 Also, voice commands, authentication registration, and gestures registered by the user may be registered via a dedicated application of the external device 301, and important locations may be registered. These pieces of information are treated as input data for determination of automatic shooting based on the shooting trigger described in the automatic shooting mode processing (FIG. 9).

また、撮影頻度や起動間隔、静止画動画割合や好みの画像など設定することができる構成にし、<低消費電力モード制御>で説明した起動間隔や、<自動編集>で説明した静止画動画割合などの設定を行ってもよい。 In addition, it has a configuration that allows you to set the shooting frequency, activation interval, still image/movie ratio, and your favorite images, etc. You can also make settings such as

(8)外部通信機器で、画像を手動編集された情報からの学習
外部機器301の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与の編集が可能であり、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。画像効果は、例えば、トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、BGMが考えられる。
(8) Learning from information obtained by manually editing an image using an external communication device A dedicated application for the external device 301 may be provided with a function for manual editing by user operation, and the content of editing work may be fed back to learning. can. For example, image effects can be edited, and an automatic editing neural network is trained so that manually edited image effects can be determined for learning information of images. Image effects include, for example, trimming processing, rotation processing, slide, zoom, fade, color conversion filter effect, time, still image/video ratio, and BGM.

ここで、ユーザ自身が撮影(1)や画像選択((3)乃至(8))した学習の場合、ユーザが意図的に操作したことから、ユーザの好みを反映させることに対して信頼性のある学習で可能性が高い。しかし、(2)被写体探索時の検出情報による学習は、ユーザが意図時に操作したことによる学習ではないため、ユーザが望まない学習が行われる可能性が含まれている。例えば、探索中に画像情報から、個人認証登録されている被写体と同時に写っている別の人物や物体やシーンを学習するが、頻繁に同時に写っている被写体が必ずしもユーザの好みであるとは限らない。そこで、ユーザが意図的に操作したことによる学習でない(2)場合よりも、ユーザが意図的に撮影、或いは画像選択した場合の学習((1)、(3)乃至(8))の方を優先的に学習させる。 Here, in the case of learning in which the user himself/herself takes a picture (1) or selects images ((3) to (8)), since the user intentionally operates, it is not reliable to reflect the user's preferences. A certain learning is likely. However, since (2) learning based on detection information during subject search is not learning based on user's intentional operation, there is a possibility that learning that is not desired by the user will be performed. For example, from image information during a search, another person, object, or scene that appears together with a subject registered for personal authentication is learned. Absent. Therefore, the learning ((1), (3) to (8)) when the user intentionally shoots or selects an image is better than the learning (2) which is not based on the user's intentional operation. Prioritize learning.

学習用のデータは、撮影時或いは探索中にタグ情報として記録された各種データ(画像情報や振動情報や環境情報や音情報や場所情報など)であり、学習に反映する場合は、この各種データをリスト化した形式で保存している。学習のためのデータ群の数は固定値で決められた数を持つことにする。学習のためのデータ群は、ユーザが意図的に行った学習データである領域と、ユーザが意図的ではない学習データである領域の2つの領域に分割しており、領域のデータ数の比率は、ユーザが意図的に行った学習データ領域の方が大きくなるような比率にしておく。新しい学習反映指示がされた場合、各領域に対応した学習データから削除し、新たな学習データを追加する。例えば、ユーザが意図的に行った学習データを2つ追加する場合は、ユーザが意図的に行った学習データ領域から2つのデータを削除して、新たな2つのデータを追加して再学習する。 Data for learning is various data (image information, vibration information, environmental information, sound information, location information, etc.) recorded as tag information at the time of shooting or during search, and when reflected in learning, this various data are stored in a list format. It is assumed that the number of data groups for learning has a number determined by a fixed value. The data group for learning is divided into two regions, one for learning data intentionally performed by the user and the other for learning data not intended by the user. , the ratio is set so that the learning data area intentionally performed by the user is larger. When a new learning reflection instruction is given, the learning data corresponding to each area is deleted, and new learning data is added. For example, when adding two pieces of learning data intentionally performed by the user, the two pieces of data are deleted from the area of the learning data intentionally performed by the user, and two new pieces of data are added for re-learning. .

このような構成にすることで、ユーザが意図的に操作したことによる学習でない(2)ときよりも、ユーザが意図的に撮影、或いは画像選択した場合の学習((1)、(3)乃至(8))の方を優先的に学習させることができる。 By adopting such a configuration, learning ((1), (3) to (8)) can be learned preferentially.

或いは、学習用の各種データの中には、学習データが生成された日付時刻が管理されており、学習データが生成された日付時刻からの経過時間に応じた重み付係数Laを計算する。重み付係数Laは経過時間が大きくなるほど小さくなるように更新されていく。また、ユーザが意図的に行った学習データか、ユーザが意図的ではない学習データかによる重み付係数Lbも、各学習データに対応して管理される。重み付係数Lbは、ユーザが意図的に行った学習データの場合、ユーザが意図的ではない学習データよりも大きくなるように設定される。また、ユーザが意図的に行った学習データの中でも、(1)、(3)乃至(8)のどの学習であるかによって重み付係数Lbを変更してもよい。 Alternatively, the date and time when the learning data is generated is managed in various data for learning, and the weighting factor La is calculated according to the elapsed time from the date and time when the learning data is generated. The weighting factor La is updated so as to decrease as the elapsed time increases. Also, the weighting coefficient Lb depending on whether the learning data is intentionally performed by the user or the learning data is unintentional by the user is also managed corresponding to each learning data. The weighting factor Lb is set so that the learning data intentionally performed by the user is larger than the learning data not intentionally performed by the user. Further, the weighting factor Lb may be changed depending on which of (1), (3) to (8) is the learning data intentionally performed by the user.

新たな学習データが追加になる場合、現在の学習データ群の中で、重み付係数LaとLbを乗算した値が最も小さい学習データから優先してデータを削除してから、追加データを挿入し、更新された学習データ群を元に機械学習を行う。 When new learning data is added, the learning data having the smallest value obtained by multiplying the weighting coefficients La and Lb in the current learning data group is preferentially deleted, and then the additional data is inserted. , machine learning is performed based on the updated learning data group.

このような構成にすることで、ユーザが意図的に操作したことによる学習でない(2)ときよりも、ユーザが意図的に撮影、或いは画像選択した場合の学習((1)、(3)乃至(8))の方を優先的に学習させることができる。 By adopting such a configuration, learning ((1), (3) to (8)) can be learned preferentially.

もしも、図1乃至図6の構成では、撮像装置側に画面がなく優先度の設定が難しく、また、外部装置側のメニューで設定する場合にはユーザの手間を要する。しかし、優先度のフラグ付けのための操作ではなく、撮影処理のための操作や編集処理のための操作に基づいて、自動的に優先度のフラグ付けをすれば、ユーザの手間を削減することができる。また、撮影画像を用いて自動で優先度を評価する場合、例えば、所定時間間隔で撮影している画像を評価する場合、同じものばかり撮影してしまうが必ずしも主要な被写体ではない可能性があり、ユーザの意図が反映されない場合がある。これに対して、本実施形態では、ユーザが意図的に行った処理に基づく優先度のフラグ付けのため、ユーザの意図を十分反映したものとなる可能性が高い。 1 to 6, it is difficult to set the priority since there is no screen on the imaging device side, and it takes time and effort for the user to set the priority using the menu on the external device side. However, if priority flags are automatically attached based on the operation for shooting processing or the operation for editing processing instead of the operation for attaching priority flags, the user's work can be reduced. can be done. In addition, when the priority is automatically evaluated using captured images, for example, when evaluating images captured at predetermined time intervals, only the same subject is captured, but it may not necessarily be the main subject. , the user's intention may not be reflected. On the other hand, in the present embodiment, since priority flagging is based on processing intentionally performed by the user, there is a high possibility that the intention of the user is sufficiently reflected.

次に、学習処理シーケンスについて説明する。 Next, the learning processing sequence will be described.

図7のステップ704のモード設定判定にて、学習処理を行うべきか否かを判定し、学習処理を行う場合、学習モードであると判定され、ステップ716の学習モード処理を行う。 In the mode setting determination of step 704 in FIG. 7, it is determined whether or not learning processing should be performed.

学習モードの判定条件を説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。ステップ704のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図14に示す。 The determination conditions for the learning mode will be explained. Whether or not to shift to the learning mode is determined based on the elapsed time since the previous learning process, the number of pieces of information that can be used for learning, and whether or not there is a learning process instruction via a communication device. FIG. 14 shows the processing flow for determining whether or not to shift to the learning mode, which is determined in the mode setting determination processing of step 704 .

ステップ704のモード設定判定処理内で学習モード判定が開始指示されると、図14の処理がスタートする。ステップ1401では、外部機器301からの登録指示があるかどうかを判定する。ここでの登録は、上記説明した学習するための登録指示があったかどうかの判定である。例えば、<通信機器で画像取得された画像情報による学習>や、<通信機器を介して、画像に判定値を入力することによる学習>がある。また、<通信機器内の保存されている画像を解析することによる学習>や、<通信機器内の保存されている画像を解析することによる学習>などがある。ステップ1401で、外部機器からの登録指示があった場合、ステップS1408に進み、学習モード判定をTRUEにして、ステップ716の処理を行うように設定する。ステップS1401で外部機器からの登録指示がない場合、ステップ1402に進む。ステップ1402では外部機器からの学習指示があるかどうかを判定する。ここでの学習指示は<通信機器で、撮像装置パラメータを変更することによる学習>のように、学習パラメータをセットする指示があったかどうかの判定である。ステップ1402で、外部機器からの学習指示があった場合、ステップS1408に進み、学習モード判定をTRUEにして、ステップ716の処理を行うように設定し、学習モード判定処理を終了する。ステップ1402で外部機器からの学習指示がない場合、ステップ1403に進む。 When the instruction to start learning mode determination is given in the mode setting determination process of step 704, the process of FIG. 14 starts. At step 1401, it is determined whether there is a registration instruction from the external device 301 or not. The registration here is a determination as to whether or not there has been a registration instruction for learning as described above. For example, there are <learning based on image information acquired by a communication device> and <learning by inputting a determination value to an image via a communication device>. In addition, there are <learning by analyzing images saved in the communication device> and <learning by analyzing images saved in the communication device>. In step S1401, if there is a registration instruction from the external device, the process advances to step S1408 to set the learning mode determination to TRUE and set to perform the processing of step S716. If there is no registration instruction from the external device in step S1401, the process proceeds to step S1402. At step 1402, it is determined whether or not there is a learning instruction from an external device. Here, the learning instruction is a judgment as to whether or not there is an instruction to set the learning parameter, such as <learning by changing imaging device parameters with communication device>. If there is a learning instruction from the external device in step 1402, the process advances to step S1408 to set the learning mode determination to TRUE, set to perform the processing of step 716, and terminate the learning mode determination processing. If there is no learning instruction from the external device in step 1402 , the process proceeds to step 1403 .

ステップ1403では、前回学習処理(ニューラルネットワークの重みの再計算)が行われてからの経過時間TimeNを取得し、ステップS1404に進む。ステップ1404では、学習する新規のデータ数DN(前回学習処理が行われてからの経過時間TimeNの間で、学習するように指定された画像の数)を取得し、ステップ1405に進む。ステップ1405では、TimeNから閾値DTを演算する。例えば、TimeNが所定値よりも小さい場合の閾値DTaが、所定値よりも大きい場合の閾値DTbよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、学習データが少ない場合においても、時間経過が大きいと再度学習するようにすることで、使用時間に応じて撮像装置が学習変化し易いようにしてある。 In step S1403, the elapsed time TimeN from the previous learning process (recalculation of the neural network weights) is acquired, and the process proceeds to step S1404. At step 1404, the number DN of new data to be learned (the number of images designated to be learned during the elapsed time TimeN from the previous learning process) is obtained, and the process proceeds to step 1405. FIG. At step 1405, a threshold value DT is calculated from TimeN. For example, the threshold DTa when TimeN is smaller than a predetermined value is set to be greater than the threshold DTb when TimeN is greater than the predetermined value, and the threshold is set to decrease as time passes. As a result, even if the amount of learning data is small, learning is performed again when a long period of time has elapsed, so that the imaging apparatus can easily learn and change according to the usage time.

ステップ1405で閾値DTを演算すると、ステップ1406に進み、学習するデータ数DNが、閾値DTよりも大きいか否かを判定する。DNが、閾値DTよりも大きい場合、ステップ1407に進み、DNを0に設定した後、ステップ1408に進み、学習モード判定をTRUEにして、ステップ716の処理を行うように設定し、学習モード判定処理を終了する。 After calculating the threshold DT in step 1405, the process proceeds to step 1406 to determine whether or not the number DN of data to be learned is greater than the threshold DT. If the DN is greater than the threshold value DT, go to step 1407, set DN to 0, go to step 1408, set the learning mode determination to TRUE, set to perform the processing of step 716, and perform the learning mode determination. End the process.

ステップ1406でDNが、閾値DT以下の場合、ステップ1409に進む。外部機器からの登録指示も、外部機器からの学習指示もなく、且つ学習データ数も所定値以下であるので、学習モード判定をFALSEにし、ステップ716の処理は行わないように設定し、学習モード判定処理を終了する。 If DN is less than or equal to the threshold DT in step 1406 , go to step 1409 . Since there is neither a registration instruction from an external device nor a learning instruction from an external device, and the number of learning data is less than a predetermined value, the learning mode determination is set to FALSE, and the processing of step 716 is set not to be performed, and the learning mode is set. End the determination process.

次に、学習モード処理(ステップ716)内の処理について説明する。学習モード処理の詳細なフローを図15に示す。 Next, processing in the learning mode processing (step 716) will be described. FIG. 15 shows a detailed flow of learning mode processing.

図7のステップ715での学習モードと判定され、ステップ716に進むと、図15の処理がスタートする。ステップ1501では、外部機器301からの登録指示があるかどうかを判定する。ステップ1501で、外部機器からの登録指示があった場合、ステップ1502に進む。ステップ1502では、各種登録処理を行う。 When the learning mode is determined in step 715 in FIG. 7 and the process proceeds to step 716, the processing in FIG. 15 starts. At step 1501 , it is determined whether or not there is a registration instruction from the external device 301 . In step 1501, when there is a registration instruction from the external device, the process proceeds to step 1502. At step 1502, various registration processes are performed.

各種登録は、ニューラルネットワークに入力する特徴の登録であり、例えば顔認証の登録や、一般物体認識の登録や、音情報の登録や、場所情報の登録などである。 Various registrations are registrations of features to be input to the neural network, such as registration of face authentication, registration of general object recognition, registration of sound information, and registration of location information.

登録処理を終了すると、ステップ1503に進み、ステップ1502で登録された情報から、ニューラルネットワークへ入力する要素を変更する。 After completing the registration process, the process proceeds to step 1503, and the elements to be input to the neural network are changed from the information registered in step 1502. FIG.

ステップ1503の処理を終了すると、ステップ1507に進む。 After completing the process of step 1503 , the process proceeds to step 1507 .

ステップ1501で外部機器301からの登録指示がない場合、ステップ1504に進み、外部機器301からの学習指示があるかどうかを判定する。外部機器からの学習指示があった場合、ステップ1505に進み、外部機器から通信された学習パラメータを各判定器(ニューラルネットワークの重みなど)に設定し、ステップ1507に進む。 If there is no registration instruction from the external device 301 at step 1501, the process proceeds to step 1504 to determine whether there is a study instruction from the external device 301 or not. If there is a learning instruction from the external device, the process proceeds to step 1505 to set the learning parameters communicated from the external device to each discriminator (neural network weights, etc.), and the process proceeds to step 1507 .

ステップ1504で外部機器からの学習指示がない場合、ステップ1506で学習(ニューラルネットワークの重みの再計算)を行う。ステップ1506の処理に入るのは、図14を用いて説明したように、学習するデータ数DNが閾値を超えて、各判定器の再学習を行える条件である。誤差逆伝搬法或いは、勾配降下法などの方法を使って再学習させ、ニューラルネットワークの重みを再計算して、各判定器のパラメータを変更する。学習パラメータが設定されると、ステップ1507に進む。 If there is no learning instruction from the external device in step 1504, learning (recalculation of neural network weights) is performed in step 1506. FIG. The processing of step 1506 is entered under the condition that the number of data DN to be learned exceeds the threshold value and the re-learning of each decision device can be performed, as described with reference to FIG. Re-learning is performed using a method such as error back propagation or gradient descent, the weights of the neural network are recalculated, and the parameters of each decision device are changed. Once the learning parameters have been set, the process proceeds to step 1507 .

ステップ1507では、ファイル内の画像を再スコア付する。本実施形態においては、学習結果に基づいてファイル(記録媒体221)内に保存されているすべての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部機器からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新を行う必要がある。よって、ステップ1507では、ファイル内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。 At step 1507, the images in the file are rescored. In the present embodiment, all captured images stored in a file (recording medium 221) are scored based on the learning result, and automatic editing and automatic file deletion are performed according to the score. It is configured. Therefore, when re-learning or setting of learning parameters from an external device is performed, it is necessary to update the score of the photographed image. Therefore, in step 1507, recalculation is performed to give a new score to the photographed image saved in the file, and when the processing ends, the learning mode processing ends.

本実施形態においては、ユーザが好んでいると思われるシーンを抽出し、その特徴を学習し、自動撮影や自動編集といった動作に反映させることにより、ユーザの好みの映像を提案する方法を説明したが、本発明はこの用途に限定されない。例えば、あえてユーザ自身の好みとは異なる映像を提案する用途に用いることもできる。その実現方法の例としては、以下のとおりである。 In the present embodiment, a method of extracting scenes that the user seems to like, learning their characteristics, and reflecting them in operations such as automatic shooting and automatic editing, thereby proposing videos that the user likes has been described. However, the invention is not limited to this application. For example, it can be used to propose a video that is different from the user's own preference. An example of the implementation method is as follows.

(1)好みを学習させたニューラルネットワークを用いる方法
学習については、上記説明したとおりユーザの好みの学習を実施する。そして、「自動撮影」のS908において、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値であるときに自動撮影する。例えば、ユーザが好んだ画像を教師画像とし、教師画像と類似する特徴を示すときに高い値が出力されように学習をさせた場合は、逆に出力値が所定以上低いことを条件として自動撮影を行う。また、同様に被写体探索処理や自動編集処理においても、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値となる処理を実行する。
(1) Method Using a Neural Network Having Learned Preferences As for learning, the user's preferences are learned as described above. Then, in S908 of "automatic photographing", automatic photographing is performed when the output value of the neural network is a value indicating that it is different from the user's preference, which is teacher data. For example, if an image that the user likes is used as a training image and training is performed so that a high value is output when a feature similar to that of the training image is shown, on the contrary, the output value will be lower than a predetermined value. take a picture. Similarly, in the subject searching process and the automatic editing process, a process is executed in which the output value of the neural network becomes a value indicating that it is different from the user's preference, which is teacher data.

(2)好みとは異なるシチュエーションを学習させたニューラルネットワークを用いる方法
この方法では、学習処理の時点で、ユーザの好みとは異なるシチュエーションを教師データとして学習を実行する。例えば、手動で撮影した画像はユーザが好んで撮影したシーンであるとして、これを教師データとする学習方法を上述した。これに対し、本実施形態では逆に手動撮影した画像は教師データとして使用せず、所定時間以上手動撮影が行われなかったシーンを教師データとして追加する。あるいは、教師データの中に手動撮影した画像と特徴が類似するシーンがあれば、教師データから削除してもよい。また、外部通信機器で画像取得した画像と特徴が異なる画像を教師データに加えるか、画像取得した画像と特徴が似た画像を教師データから削除してもよい。このようにすることで、教師データには、ユーザの好みと異なるデータが集まり、学習の結果、ニューラルネットワークは、ユーザの好みと異なるシチュエーションを判別することができるようになる。そして、自動撮影ではそのニューラルネットワークの出力値に応じて撮影を行うことで、ユーザの好みとは異なるシーンを撮影できる。また、自動編集では、同様にユーザの好みとは異なる編集画像の提案が可能となる。
(2) Method using a neural network that has learned situations different from the user's preferences In this method, at the time of learning processing, learning is performed using situations different from the user's preferences as teacher data. For example, assuming that manually captured images are scenes that the user likes to capture, the above learning method uses these as teacher data. On the contrary, in the present embodiment, manually shot images are not used as teaching data, and scenes in which manual shooting has not been performed for a predetermined time or longer are added as teaching data. Alternatively, if there is a scene in the training data that has similar features to the manually shot image, it may be deleted from the training data. Also, an image having characteristics different from those of images obtained by an external communication device may be added to the training data, or an image having characteristics similar to those of the images obtained by the image acquisition may be deleted from the training data. By doing so, data different from the user's preference is collected in the teacher data, and as a result of learning, the neural network can discriminate situations different from the user's preference. In the automatic shooting, shooting is performed according to the output value of the neural network, so that a scene different from the user's preference can be shot. Also, in the automatic editing, similarly, it is possible to propose an edited image different from the user's preference.

上記説明したとおり、あえてユーザ自身の好みとは異なる映像を提案することにより、ユーザが手動で撮影をしそびれてしまうシーンにおいて撮影を行うことで撮り逃しを減少させる効果がある。また、ユーザ自身の発想にないシーンでの撮影や編集効果を提案することで、ユーザに気付きを与えたり、嗜好の幅を広げたりといった効果が期待できる。 As described above, daringly proposing a video that is different from the user's own taste has the effect of reducing missed shots by shooting scenes in which the user would be hesitant to shoot manually. Also, by proposing shooting and editing effects for scenes that the user does not think of, effects such as making the user aware and broadening the range of tastes can be expected.

また、上記の手段を組み合わせることで、ユーザの好みと多少似ているが一部違うシチュエーションの提案というように、ユーザの好みに対する適合度合いを調節することも容易である。ユーザの好みに対する適合度合いは、モード設定や、前記各種センサの状態、前記検出情報の状態に応じて変更してもよい。 Also, by combining the above means, it is easy to adjust the degree of conformity to the user's taste, such as proposing a situation somewhat similar to the user's taste but partially different. The degree of conformity to the user's preference may be changed according to mode settings, states of the various sensors, and states of the detected information.

本実施形態においては、撮像装置101内で、学習する構成を基に説明したが、外部機器301側に学習処理をもち、学習に必要なデータを外部機器301に通信し、外部機器側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記<通信機器で、パラメータを変更することによる学習>で説明したように、外部機器側で学習したニューラルネットワークの重みなどのパラメータを撮像装置101に通信により設定することで学習を行う構成にしてもよい。 In the present embodiment, the description is based on the configuration for learning within the imaging apparatus 101. However, the external device 301 has learning processing, communicates the data necessary for learning to the external device 301, and performs the learning only on the external device side. A similar learning effect can also be achieved with a configuration that performs learning. In that case, as described in <Learning by changing parameters using a communication device>, learning is performed by setting parameters such as weights of the neural network learned by the external device to the imaging apparatus 101 through communication. may be configured.

また、撮像装置101内と、外部機器301内の両方に、それぞれ学習処理をもつ構成にしてもよい。例えば撮像装置101内で学習モード処理716が行われるタイミングで外部機器301が持つ学習情報を撮像装置101に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。 Further, both the imaging apparatus 101 and the external device 301 may be configured to have learning processing. For example, learning information held by the external device 301 may be communicated to the imaging apparatus 101 at the timing when the learning mode processing 716 is performed in the imaging apparatus 101, and learning may be performed by merging the learning parameters.

また、上述の自動撮影モード処理(図9)のS907では、ユーザ(手動)による撮影指示があったがどうかを判定し、撮影指示があった場合、S910に進む構成とした。ここで、ユーザ(手動)による撮影指示は、撮像装置が向いている方向(以下撮影方向)を、ユーザが手で回転させることによって指示できるようにしてもよい。図17は鏡筒回転駆動部205の構成を示すブロック図である。図17の1701~1707は、パン軸の駆動に関わる構成である。図17の1708~1714は、チルト軸の駆動制御に関わる構成である。パン軸の駆動とチルトの駆動に関わる基本的な構成は同じであるため、パン軸の駆動に関わる構成のみ説明を行い、チルト軸の駆動に関わる構成の説明については省略する。1701は被写体の画像上での目標位置と現在位置の差からパン軸1706を駆動する際の目標位置を算出するための画像位置-パン位置変換部である。図18は撮像装置で撮像された画像における被写体の現在位置と目標位置の関係を表した図である。1801は、撮像装置が被写体探索中に画像処理部207にて得られたある瞬間の画像である。1802は被写体の現在位置(x1、y1)を示したものである。1803は被写体の目標位置(x0、y0)を示したものである。画像上の被写体の目標位置1803と現在位置1802の差からパンおよびチルトの目標位置を算出する際には、以下の式を用いる。
kp(f)×(x1-x0) (式1)
kt(f)×(y1-y0) (式2)
Further, in S907 of the above-described automatic shooting mode processing (FIG. 9), it is determined whether or not there is a shooting instruction from the user (manually), and if there is a shooting instruction, the process proceeds to S910. Here, the shooting instruction by the user (manually) may be instructed by rotating the direction in which the imaging device is facing (hereinafter referred to as shooting direction) by the user's hand. FIG. 17 is a block diagram showing the configuration of the lens barrel rotation driving section 205. As shown in FIG. Reference numerals 1701 to 1707 in FIG. 17 denote configurations related to driving the pan axis. 1708 to 1714 in FIG. 17 are configurations related to drive control of the tilt axis. Since the basic configuration related to driving the pan axis and driving the tilt is the same, only the configuration related to driving the pan axis will be described, and the description of the configuration related to driving the tilt axis will be omitted. Reference numeral 1701 denotes an image position-pan position conversion unit for calculating a target position when driving the pan axis 1706 from the difference between the target position on the image of the object and the current position. FIG. 18 is a diagram showing the relationship between the current position of the subject and the target position in the image captured by the imaging device. Reference numeral 1801 denotes an image at a certain moment obtained by the image processing unit 207 while the imaging device is searching for an object. 1802 indicates the current position (x1, y1) of the object. 1803 indicates the target position (x0, y0) of the object. The following equations are used to calculate the target positions of panning and tilting from the difference between the target position 1803 and the current position 1802 of the subject on the image.
kp(f)×(x1−x0) (Formula 1)
kt (f) × (y1-y0) (Formula 2)

kp(f)は撮像装置の焦点距離fに応じて変化する被写体の画像上での目標位置と現在位置の差からパンの目標位置算出するための変換係数である。kt(f)は撮像装置の焦点距離fに応じて変化する被写体の画像上での目標位置と現在位置の差からチルトの目標位置算出するための変換係数である。 kp(f) is a conversion coefficient for calculating the pan target position from the difference between the target position and the current position on the image of the subject, which changes according to the focal length f of the imaging device. kt(f) is a conversion coefficient for calculating the tilt target position from the difference between the target position and the current position on the image of the subject, which changes according to the focal length f of the imaging device.

図17の1702は補償器である。補償器1702は、現在のパン位置と画像位置-パン位置変換部1701で算出されたパンの目標位置との差を無くすように、PID制御演算を行うことで制御出力を算出する。1703は撮影方向変更操作検出部であり、パンの目標位置と現在位置の差(以下、位置偏差)と制御出力、パンの移動速度から撮影方向変更操作を検出する。撮影方向変更操作検出部1703で撮影方向の変更を検出した場合には、制御出力をOFFにしてパンの駆動を停止する。一方、撮影方向変更操作検出部1703で撮影方向の変更を検出しなかった場合には、補償器1702にて算出された制御出力に応じてパンの駆動制御を行う。1704は、補償器1702にて算出された制御出力に応じた駆動信号を生成するためのドライバである。1705は、パン軸1706を駆動するためのアクチュエータである超音波モータ(USM)である。1707は、パン位置の時間変化からパンの移動速度を算出するための移動速度検出部である。移動速度検出部1707は、制御サンプリング毎のパン位置の変化量からパンの移動速度を算出する。図19は、ユーザ操作による撮影方向変更操作を検出して、撮影方向変更操作後の撮影エリアを重要な領域として学習情報を更新するフローを示したフローチャートである。 1702 in FIG. 17 is a compensator. The compensator 1702 calculates a control output by performing a PID control calculation so as to eliminate the difference between the current pan position and the pan target position calculated by the image position-pan position conversion unit 1701 . Reference numeral 1703 denotes a shooting direction changing operation detection unit that detects a shooting direction changing operation from the difference between the pan target position and the current position (hereinafter referred to as position deviation), the control output, and the pan moving speed. When the photographing direction change operation detection unit 1703 detects a change of the photographing direction, the control output is turned OFF to stop driving the pan. On the other hand, if the shooting direction change operation detection unit 1703 does not detect a change in the shooting direction, pan drive control is performed according to the control output calculated by the compensator 1702 . A driver 1704 generates a drive signal corresponding to the control output calculated by the compensator 1702 . 1705 is an ultrasonic motor (USM) which is an actuator for driving the pan axis 1706 . Reference numeral 1707 denotes a movement speed detection unit for calculating the movement speed of the pan from the time change of the pan position. A movement speed detection unit 1707 calculates a pan movement speed from the amount of change in the pan position for each control sampling. FIG. 19 is a flowchart showing a flow of detecting an operation for changing the shooting direction by a user operation and updating learning information with the shooting area after the operation for changing the shooting direction as an important area.

S1901において、ユーザによる撮像装置の撮影方向変更操作の有無の判定を行う。ユーザによる撮影方向変更操作の検出は、撮影方向変更操作検出部1703で、後述する制御出力および位置偏差が所定の条件を満たした場合に撮影方向変更有と判定する。S1901で撮影方向変更操作を検出した場合には、S1902に進み、位置制御動作を停止する。被写体追尾中や探索中であった場合には中断したうえで位置制御動作を停止する。一方、S1901で撮影方向変更操作を検出しなかった場合は、撮影方向変更操作の検出を継続する。S1902で位置制御を停止させた後は、S1903に進んでユーザによる撮影方向変更操作の終了判定を行う。 In S1901, it is determined whether or not the user has changed the imaging direction of the imaging apparatus. A shooting direction change operation detection unit 1703 detects a shooting direction change operation by a user when a control output and a positional deviation, which will be described later, satisfy a predetermined condition, determines that the shooting direction has been changed. If an operation to change the shooting direction is detected in S1901, the process advances to S1902 to stop the position control operation. If the subject is being tracked or searched, it is interrupted and the position control operation is stopped. On the other hand, if no shooting direction change operation is detected in S1901, detection of the shooting direction change operation is continued. After the position control is stopped in S1902, the process advances to S1903 to determine whether the user's shooting direction change operation is finished.

撮影方向変更操作の終了判定は、撮影方向変更操作検出部1703で、パンの移動速度により撮影方向変更操作の継続または終了を判定する。撮影方向変更操作が終了したと判定した場合には、S1904に進み、撮影方向変更操作の終了判定後の撮影エリア情報を記憶する。記憶するエリアは、撮像装置の位置、パン位置、チルト位置、焦点距離から決まる画角を各分割エリアと比較して最も近いエリアを記憶する。S1903で撮影方向変更操作中であると判定した場合は、撮影方向変更操作終了の検出を継続する。S1905では、S1904で記憶したエリアを他の分割エリアよりも重要なエリアとして学習情報を更新する。S1906では、被写体追尾および位置制御を有効にしたうえでS1901に進み、撮影方向変更操作の検出を再開する。ユーザが撮影方向変更操作を行う例として、撮像装置101で花を撮影中にユーザが鏡筒102を手で回転させることにより、撮像装置101の光軸が画角外の特定の人物に向くように撮影方向変更操作した時の例を説明する。図20は、撮像装置101で花2001を撮影中に人物2003の方向にユーザの手で鏡筒102を回転させた後に、人物2003が存在するエリアを重要エリアとして学習情報を更新する例を説明するための模式図である。図20の2002は、花2001を撮影中の撮像装置101の光軸である。2004はユーザが手で撮影方向を変更させた後の光軸である。2005は、ユーザが撮影方向を変更した際の鏡筒102の回転方向を示している。図21および図22を用いて、花2001を撮影中にユーザ操作により人物2003の方向に撮影方向を変更した後に人物2003が存在するエリアを重要なエリアとして学習情報を更新するまでの動作について説明する。図21(a)、(b)、(c)、(d)は、花を撮影中から撮影方向を変更して特定人物2003の方向に撮影方向を変化させて学習情報を更新するまでの間に撮像されたある瞬間の画像を示した図である。図22は、花を撮影中にユーザが撮影方向を特定人物2003の方向に変更して、変更後の画角のエリアを重要なエリアとして学習情報を更新するまでの間のパンの制御出力2201、位置偏差2202、移動速度2203の時間変化を示した図である。図22のta、tb、tc、tdはそれぞれ図21(a)、(b)、(c)、(d)に示す画像を撮像した時間である。図22のThCは、ユーザが手で鏡筒102を回転させたことを判定するために使用する制御出力の閾値である。ThDiffは、ユーザが手で鏡筒102を回転させたことを判定するために使用する位置偏差の閾値である。制御出力がThC以上でかつ位置偏差がThDiff以上である時間が所定時間(図22はt2-t1)継続した場合にユーザにより撮影方向の変更がなされたとして、補償器1702の制御出力をOFFする。ThVは、ユーザが撮影方向操作を終了したと判定するために使用するパン軸の移動速度の閾値である。CMaxは補償器1702の制御出力の最大値である。位置制御する際には、制御出力を-CMaxからCMaxの範囲で変更する事によって被写体が画像上の目標位置に位置するようにパン軸の駆動を制御する。図22のt1はユーザが撮影方向操作を開始してから制御出力2201がThC以上でかつ位置偏差がThDiff以上となったときの時間を示している。t2は、制御出力2201がThC以上でかつ位置偏差2202がThDiff以上である時間が撮影方向変更判定時間(t2-t1)経過した時間を示している。t3は時間t2以降にはじめてパン軸の移動速度がThV以下となったときの時間を示している。t4は移動速度が時間t3でThV以下となってからの経過時間が撮影方向変更終了判定時間(t4-t3)となった時間を示している。 The shooting direction changing operation detection unit 1703 determines whether the shooting direction changing operation is to be continued or terminated based on the panning speed. If it is determined that the operation for changing the shooting direction has ended, the process advances to S1904 to store the shooting area information after the determination of the end of the operation for changing the shooting direction. As for the area to be stored, the angle of view determined by the position, pan position, tilt position, and focal length of the imaging device is compared with each divided area and the closest area is stored. If it is determined in S1903 that the operation for changing the shooting direction is in progress, detection of completion of the operation for changing the shooting direction is continued. In S1905, the learning information is updated with the area stored in S1904 as a more important area than the other divided areas. In S1906, subject tracking and position control are enabled, and then the process advances to S1901 to restart detection of a shooting direction change operation. As an example in which the user performs an operation to change the shooting direction, the user manually rotates the lens barrel 102 while shooting a flower with the imaging device 101 so that the optical axis of the imaging device 101 faces a specific person outside the angle of view. An example when the shooting direction is changed will be described. FIG. 20 illustrates an example in which the learning information is updated with the area where the person 2003 exists as an important area after the user manually rotates the lens barrel 102 in the direction of the person 2003 while photographing the flower 2001 with the imaging device 101 . It is a schematic diagram for doing. Reference numeral 2002 in FIG. 20 denotes the optical axis of the imaging device 101 that is photographing the flower 2001 . 2004 is the optical axis after the user manually changes the shooting direction. Reference numeral 2005 indicates the rotation direction of the lens barrel 102 when the user changes the shooting direction. 21 and 22, the operation from changing the shooting direction to the direction of the person 2003 by user operation while shooting the flower 2001 to updating the learning information with the area where the person 2003 is present as an important area will be described. do. FIGS. 21A, 21B, 21C, and 21D show the period from when the flower is being photographed to when the photographing direction is changed to the direction of the specific person 2003 and the learning information is updated. is a diagram showing an image taken at a certain moment in time. FIG. 22 shows a control output 2201 for panning during the period from when the user changes the shooting direction to the direction of the specific person 2003 while shooting flowers and until learning information is updated with the area of the changed angle of view as an important area. , a positional deviation 2202, and a moving speed 2203. FIG. ta, tb, tc, and td in FIG. 22 are the times when the images shown in FIGS. ThC in FIG. 22 is a control output threshold used to determine that the user has manually rotated the lens barrel 102 . ThDiff is a position deviation threshold used to determine that the user has manually rotated the lens barrel 102 . If the control output is ThC or more and the position deviation is ThDiff or more for a predetermined time (t2-t1 in FIG. 22), it is determined that the user has changed the imaging direction, and the control output of the compensator 1702 is turned OFF. . ThV is a pan axis movement speed threshold used to determine that the user has completed the shooting direction operation. CMax is the maximum value of the control output of compensator 1702 . When performing position control, by changing the control output in the range from -CMax to CMax, the driving of the pan axis is controlled so that the subject is positioned at the target position on the image. t1 in FIG. 22 indicates the time when the control output 2201 is greater than or equal to ThC and the positional deviation is greater than or equal to ThDiff after the user starts the shooting direction operation. t2 indicates the time when the control output 2201 is greater than or equal to ThC and the positional deviation 2202 is greater than or equal to ThDiff after the shooting direction change determination time (t2-t1). t3 indicates the time when the movement speed of the pan axis becomes less than ThV for the first time after time t2. t4 indicates the time when the elapsed time after the moving speed becomes less than or equal to ThV at time t3 is the photographing direction change end determination time (t4-t3).

図21(a)は、花2001を撮影中に時間taのタイミングで撮像した画像を示している。図21(a)の2101は追尾、探索または撮影対象となる被写体を示す被写体枠である。2102は、被写体枠2101の中心の画像上の目標位置となる目標点を示したものである。2102の2つ線が交差する点が被写体の画像上での目標位置である。通常の撮影動作中(撮影方向変更操作中でない状態)は、被写体枠2101の中心と目標点2102が重なるように、パン軸またはチルト軸を駆動制御することによって、位置合わせを行う。図21(b)は、図21(a)の状態において時間tbのタイミングでユーザが固定部103に対して鏡筒102を右方向に回転させたときに撮像した画像である。図21(b)の黒塗りの矢印は、位置制御のパンの駆動方向、白抜きの矢印はユーザの撮影方向変更操作による鏡筒102の回転方向である。時間tbにおける制御出力2201、位置偏差2202を見ると、制御出力が最大値のCMaxとなっているにもかかわらず、位置偏差2202は増加傾向にある。このことからユーザが意図的にパン軸を回転させていると判定することができる。本実施形態では、ユーザが手で鏡筒102を回転させている状態である事を検知してから、補償器1702の制御出力をOFFするまでに所定時間(t2-t1)だけ待ってから撮影方向変更の判定を行っている。これは、意図せずにユーザが鏡筒に触れてしまった場合や、探索駆動中のパン軸またはチルト軸の負荷変動による影響で、ユーザが方向変更操作を行ってない場合に撮影方向変更有と判定しないための対策である。ユーザの撮影方向変更操作を開始してから撮影方向変更判定を素早く行うために、確定するまでの時間を短縮したり、無くしてもよい。 FIG. 21(a) shows an image captured at time ta while the flower 2001 is being captured. Reference numeral 2101 in FIG. 21A denotes a subject frame indicating a subject to be tracked, searched, or photographed. Reference numeral 2102 denotes a target point that is the target position of the center of the subject frame 2101 on the image. The point where the two lines 2102 intersect is the target position on the image of the subject. During a normal shooting operation (when the shooting direction is not being changed), alignment is performed by driving and controlling the pan axis or tilt axis so that the center of the subject frame 2101 and the target point 2102 overlap. FIG. 21(b) is an image captured when the user rotates the lens barrel 102 to the right with respect to the fixed unit 103 at the timing of time tb in the state of FIG. 21(a). The black arrow in FIG. 21B indicates the driving direction of the pan of the position control, and the white arrow indicates the rotation direction of the lens barrel 102 according to the user's shooting direction change operation. Looking at the control output 2201 and the positional deviation 2202 at time tb, the positional deviation 2202 tends to increase even though the control output has the maximum value CMax. From this, it can be determined that the user is intentionally rotating the pan axis. In this embodiment, after it is detected that the user is manually rotating the lens barrel 102, the control output of the compensator 1702 is turned off. Determining direction change. This may be due to the user unintentionally touching the lens barrel, or due to load fluctuations on the pan axis or tilt axis during search driving, and if the user does not change the direction, the shooting direction may not be changed. This is a measure to avoid judging that In order to quickly determine whether to change the shooting direction after the user's operation for changing the shooting direction is started, the time until confirmation may be shortened or eliminated.

図21(c)は、時間tcで補償器1702の制御出力をOFFした状態でユーザの撮影方向変更操作によって新しい被写体の近くまでパン軸を回転させて目標となる被写体が画角に入ったときの図である。このように新たな撮影対象となる被写体が画角に入るまでユーザは撮影方向変更操作を継続する必要がある。本実施形態に示す撮像装置101のように撮影方向変更中の画像を直接確認できない場合にはスマートデバイスを使用して変更中の画像を確認しながら操作を行うことで撮影対象となる被写体が画角に入ったことを確認する。その他の撮影対象の被写体が画角内に入った事をユーザが知る手段として、撮影方向変更中に新たな被写体が画角内に入った場合にはLED制御部224によりLEDを発光させるか音声出力部218にて音声出力させることでユーザに報知するようにしてもよい。 FIG. 21(c) shows a state in which the control output of the compensator 1702 is turned off at time tc, and the pan axis is rotated close to a new subject by the user's shooting direction change operation, and the target subject enters the angle of view. is a diagram. In this way, the user needs to continue the operation of changing the shooting direction until a new subject to be shot enters the angle of view. In the case where it is not possible to directly check the image while the shooting direction is being changed, as in the imaging apparatus 101 described in this embodiment, a smart device can be used to perform operations while checking the image being changed so that the subject to be shot can be captured in the image. Make sure you are in the corner. As a means for the user to know that another object to be photographed has entered the angle of view, when a new object enters the angle of view while the direction of photographing is being changed, the LED control unit 224 causes the LED to emit light or emits a sound. The output unit 218 may output audio to notify the user.

図21(d)は、時間t4のタイミングで補償器1702の制御出力をONした状態で撮影方向変更後の新しい被写体を追尾、撮影中の画像である。時間t4は、時間tdでパンの移動速度2203がThV以下となる時間が撮影方向変更操作終了判定時間(t4-t3)以上経過後のタイミングである。時間t4でユーザによる撮影方向変更操作が終了したと判定した場合にはt4の時点での撮影エリアをユーザの好みのエリアとして他のエリアよりも重要度を高く設定したうえで学習情報を更新する。また、このエリアに存在する被写体を重要な被写体として追尾、撮影、認証登録のいずれか一つ以上の動作を行うようにしてもよい。たとえば、図21(d)に示すように、ユーザによる撮影方向変更操作が終わったことを検出したタイミングで人物2003が画角内に存在する場合には、人物2003を重要な被写体として追尾、撮影、認証登録のいずれかの動作を行う。学習情報更新処理は、自動的に行わずにユーザによる学習指示があった場合のみ行うようにしてもよい。例えば、画角に被写体が入ったことを撮像装置がユーザに報知した後に、事前に登録しておいた学習指示用の特定音声コマンドを入力した場合のみ学習情報の更新を行うようにするなど、ユーザから学習指示があった場合のみ学習情報を更新するようにしてもよい。 FIG. 21(d) shows an image of a new subject being tracked and captured after the imaging direction is changed with the control output of the compensator 1702 turned ON at time t4. Time t4 is the timing after the time at which the pan movement speed 2203 becomes less than or equal to ThV at time td exceeds the imaging direction change operation end determination time (t4-t3). When it is determined at time t4 that the user's operation for changing the shooting direction is completed, the learning information is updated after setting the shooting area at time t4 as the user's favorite area with a higher degree of importance than other areas. . Further, one or more operations of tracking, photographing, and authentication registration may be performed with a subject existing in this area as an important subject. For example, as shown in FIG. 21D, when a person 2003 exists within the angle of view at the timing when it is detected that the user has finished changing the shooting direction, the person 2003 is tracked and shot as an important subject. , or perform authentication registration. The learning information update process may not be automatically performed, but may be performed only when a user instructs learning. For example, after the imaging device notifies the user that a subject has entered the angle of view, the learning information is updated only when a specific voice command for instructing learning that has been registered in advance is input. The learning information may be updated only when there is a learning instruction from the user.

本実施形態では、ユーザによる撮像装置の撮影方向変更操作の開始および終了の検出を補償器の制御出力、位置偏差、駆動軸の移動速度によって検出する例を示したが、ユーザによる撮影方向操作を検出可能であれば他の方法で検出してもよい。例えば、装置揺れ検出部209からのジャイロセンサや加速度センサの信号の時間変化に基づいてユーザによる撮影方向変更の有無を検出するようにしてもよい。図23は、ユーザ操作により撮像装置の撮影方向を変更した際の装置揺れ検出部209の加速度センサの出力変化を示している。2301は、加速度の時間変化を示している。ThA1は、ユーザが撮影方向変更操作を開始したと判定する際に使用する加速度の閾値である。ThA2は、ユーザが撮影方向変更操作を終了したと判定する加速度の閾値である。これらの閾値と加速度を比較して、撮影方向変更操作の開始および終了を検出するようにしてもよい。このとき、撮影方向変更操作の誤検知防ぐために、事前に撮影方向変更操作時の加速度の時間変化パターンを学習させておいて、検出した加速度の時間変化が学習した時間変化パターンとの類似度が所定値以上の場合に撮影方向変更されたと判定してもよい。同様に、撮像装置により撮像した画像の動きベクトルの変化に応じて撮影方向操作の有無を検出するようにしてもよい。 In the present embodiment, an example is shown in which detection of the start and end of the imaging direction change operation of the imaging device by the user is detected based on the control output of the compensator, the positional deviation, and the movement speed of the drive shaft. Other methods may be used as long as they are detectable. For example, whether or not the user has changed the shooting direction may be detected based on the time change of the signal from the gyro sensor or the acceleration sensor from the device shake detection unit 209 . FIG. 23 shows changes in the output of the acceleration sensor of the device shake detection unit 209 when the imaging direction of the imaging device is changed by user operation. 2301 indicates the change in acceleration over time. ThA1 is an acceleration threshold used when determining that the user has started the shooting direction change operation. ThA2 is an acceleration threshold for determining that the user has completed the shooting direction change operation. These thresholds and acceleration may be compared to detect the start and end of the shooting direction changing operation. At this time, in order to prevent erroneous detection of the operation for changing the shooting direction, the time change pattern of the acceleration at the time of the operation for changing the shooting direction is learned in advance. It may be determined that the shooting direction has been changed when the value is equal to or greater than a predetermined value. Similarly, the presence or absence of the shooting direction operation may be detected according to the change in the motion vector of the image captured by the imaging device.

また、上述の記載では、撮影方向変更操作後に画角内となる撮影エリアを重要なエリアとして学習する処理を説明した。しかしながら、これに限らず、ズーム変更や外部機器へのユーザ操作による撮影エリアの変更があった場合に、変更操作後の撮影エリアを重要なエリアとして学習する処理をしてもよい。 Also, in the above description, the processing of learning the shooting area within the angle of view after the shooting direction change operation as an important area has been described. However, without being limited to this, when there is a change in the shooting area due to a zoom change or a user operation on an external device, a process of learning the shooting area after the change operation as an important area may be performed.

〔その他の実施形態〕
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Webカメラ、携帯電話などの撮像装置にも搭載できる。 The present invention is applicable not only to digital cameras and digital video cameras, but also to imaging devices such as surveillance cameras, web cameras, and mobile phones.

101 撮像装置
301 スマートデバイス
501 ウエアラブルデバイス
104 チルト回転ユニット
105 パン回転ユニット
REFERENCE SIGNS LIST 101 imaging device 301 smart device 501 wearable device 104 tilt rotation unit 105 pan rotation unit

Claims (9)

装置の状態が、乗り物移動状態、置き撮り状態、手持ち状態、首にかけた状態の少なくとも何れかであることを検出する第1の検出手段と、
被写体の距離に関連する状態を検出する第2の検出手段と、
前記装置の状態の検出結果と前記被写体の距離に関連する状態の検出結果に基づいて、撮影処理を決定する決定手段と、
前記装置の状態の検出結果、前記被写体の距離に関連する状態の検出結果、および前記決定された撮影処理の少なくとも何れかにおいて得られた複数のデータを解析して、規則性を抽出し、抽出結果に応じてユーザの好みを学習する学習手段を有し、
前記学習手段による学習により、前記決定手段の前記撮影処理の決定が変更されることを特徴とする撮像装置。
a first detection means for detecting that the device is in at least one of a vehicle moving state, a paused shooting state, a hand-held state, and a state hung around the neck;
second detection means for detecting a condition related to subject distance;
determining means for determining a photographing process based on the detection result of the state of the apparatus and the detection result of the state related to the distance of the subject;
Analyzing a plurality of data obtained in at least one of the detection result of the state of the device, the detection result of the state related to the distance of the subject, and the determined photographing process, extracting and extracting regularity Having a learning means for learning the user's preference according to the result,
An imaging apparatus, wherein the determination of the photographing process by the determination means is changed by learning by the learning means.
前記決定手段は、撮影方処理の判定をするためのパラメータに基づいて決定された撮影処理を決定し、
前記学習手段は、前記装置の状態の検出結果、前記被写体の距離に関連する状態の検出結果、および前記決定された撮影処理の少なくとも何れかにおいて得られた複数のデータを用いて前記パラメータを更新することを特徴とする請求項1に記載の撮像装置。
The determining means determines the shooting process determined based on the parameters for determining the shooting method process ,
The learning means updates the parameters using a plurality of data obtained in at least one of the detection result of the state of the device, the detection result of the state related to the distance of the subject, and the determined photographing process. 2. The imaging apparatus according to claim 1, wherein:
前記第1の検出手段は、装置の角度、装置の移動距離、装置の移動方向の少なくとも何れか1つを更に検出することを特徴とする請求項1または2に記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein said first detection means further detects at least one of an angle of the apparatus, a moving distance of the apparatus, and a moving direction of the apparatus. 前記第2の検出手段は、被写体までの距離、被写体の周辺領域にある被写体までの距離の少なくとも何れか1つを検出することを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。 4. The method according to any one of claims 1 to 3, wherein said second detection means detects at least one of a distance to a subject and a distance to a subject in a peripheral area of the subject. Imaging device. 前記第1の検出手段で検出された情報、前記第2の検出手段で検出された情報の少なくとも何れか1つを記録することを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。 5. The recording medium according to any one of claims 1 to 4, wherein at least one of information detected by said first detection means and information detected by said second detection means is recorded. Imaging device. 前記撮影処理として、静止画撮影、静止画の連続撮影、動画撮影、横方向のパノラマ撮影、縦方向のパノラマ撮影、360度のパノラマ撮影の少なくとも何れか1つを決定することを特徴とする請求項1乃至5の何れか1項に記載の撮像装置。 At least one of still image shooting, continuous shooting of still images, moving image shooting, horizontal panorama shooting, vertical panorama shooting, and 360-degree panorama shooting is determined as the shooting process. Item 6. The imaging device according to any one of Items 1 to 5. 前記装置の状態は、所定時間内の加速度変化に基づいて検出されることを特徴とする請求項1乃至請求項6の何れか1項に記載の撮像装置。 7. The imaging apparatus according to any one of claims 1 to 6, wherein the state of the apparatus is detected based on changes in acceleration within a predetermined period of time. 撮像装置の制御方法であって、
装置の状態が、乗り物移動状態、置き撮り状態、手持ち状態、首にかけた状態の少なくとも何れかであることを検出する第1の検出工程と、
被写体の距離に関連する状態を検出する第2の検出工程と、
前記装置の状態の検出結果と前記被写体の距離に関連する状態の検出結果に基づいて、撮影処理を決定する決定工程と、
前記装置の状態の検出結果、前記被写体の距離に関連する状態の検出結果、および前記決定された撮影処理の少なくとも何れかにおいて得られた複数のデータを解析して、規則性を抽出し、抽出結果に応じてユーザの好みを学習する学習工程を有し、
前記学習工程による学習により、前記決定工程の前記撮影処理の決定が変更されることを特徴とする制御方法。
A control method for an imaging device,
a first detecting step for detecting that the state of the device is at least one of a moving vehicle state, a pause state, a hand-held state, and a state worn around the neck;
a second detection step of detecting a condition related to subject distance;
a determination step of determining a photographing process based on the detection result of the state of the device and the detection result of the state related to the distance of the subject;
Analyzing a plurality of data obtained in at least one of the detection result of the state of the device, the detection result of the state related to the distance of the subject, and the determined photographing process, extracting and extracting regularity Having a learning step of learning the user's preferences according to the result,
A control method, wherein the determination of the photographing process in the determining step is changed by learning in the learning step.
コンピュータにより請求項8に記載の制御方法を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to execute the control method according to claim 8 .
JP2017254232A 2017-12-28 2017-12-28 Imaging device and its control method Active JP7199808B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017254232A JP7199808B2 (en) 2017-12-28 2017-12-28 Imaging device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017254232A JP7199808B2 (en) 2017-12-28 2017-12-28 Imaging device and its control method

Publications (2)

Publication Number Publication Date
JP2019121855A JP2019121855A (en) 2019-07-22
JP7199808B2 true JP7199808B2 (en) 2023-01-06

Family

ID=67305608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254232A Active JP7199808B2 (en) 2017-12-28 2017-12-28 Imaging device and its control method

Country Status (1)

Country Link
JP (1) JP7199808B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152711A1 (en) * 2020-01-28 2021-08-05 マクセル株式会社 Interval imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209140A (en) 2000-11-13 2002-07-26 Hewlett Packard Co <Hp> Basic adaptive learning setting/selecting process for image pickup device
JP2009118135A (en) 2007-11-06 2009-05-28 Sony Corp Imaging apparatus and imaging method
JP2009207134A (en) 2008-01-31 2009-09-10 Panasonic Corp Image apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209140A (en) 2000-11-13 2002-07-26 Hewlett Packard Co <Hp> Basic adaptive learning setting/selecting process for image pickup device
JP2009118135A (en) 2007-11-06 2009-05-28 Sony Corp Imaging apparatus and imaging method
JP2009207134A (en) 2008-01-31 2009-09-10 Panasonic Corp Image apparatus

Also Published As

Publication number Publication date
JP2019121855A (en) 2019-07-22

Similar Documents

Publication Publication Date Title
JP7077376B2 (en) Image pickup device and its control method
JP6799660B2 (en) Image processing device, image processing method, program
CN111294488B (en) Image pickup apparatus, control method thereof, and storage medium
CN109981976B (en) Image pickup apparatus, control method thereof, and storage medium
JP7233162B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
JP6641446B2 (en) Image processing method, image processing device, imaging device, program, storage medium
KR102475999B1 (en) Image processing apparatus and method for controling thereof
WO2019124055A1 (en) Image capturing device, control method therefor, program, and storage medium
JP2023057157A (en) Image capturing apparatus, method for controlling the same, and program
JP7403218B2 (en) Imaging device, its control method, program, storage medium
JP7267686B2 (en) Imaging device and its control method
CN111105039A (en) Information processing apparatus, control method thereof, and memory
JP7199808B2 (en) Imaging device and its control method
JP6896818B2 (en) Information processing equipment, information processing methods, and programs
JP2021057815A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2020145556A (en) Imaging device and control method thereof, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R151 Written notification of patent or utility model registration

Ref document number: 7199808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151