JP7156356B2 - Control device, control method, program - Google Patents
Control device, control method, program Download PDFInfo
- Publication number
- JP7156356B2 JP7156356B2 JP2020213806A JP2020213806A JP7156356B2 JP 7156356 B2 JP7156356 B2 JP 7156356B2 JP 2020213806 A JP2020213806 A JP 2020213806A JP 2020213806 A JP2020213806 A JP 2020213806A JP 7156356 B2 JP7156356 B2 JP 7156356B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- detection
- imaging
- recording
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
本技術は制御装置、制御方法、プログラムに関し、特に撮像装置等の使用中の状況・状態に応じた撮像処理動作が行われるようにする技術に関する。 TECHNICAL FIELD The present technology relates to a control device, a control method, and a program , and more particularly to a technology for performing an imaging processing operation according to the situation/state during use of an imaging device or the like.
例えば上記特許文献１，２，３に開示されるように、撮像装置がユーザの操作によらずに所定の条件に応じて自動的に撮像を行うようにする技術が知られている。
For example, as disclosed in
ところで近年、撮像装置の小型化、高性能化に伴って、より多様な撮像環境におけるデジタルビデオカメラの使用が広がっている。
一例として、耐衝撃性・耐水性を持った“アクションカメラ“と呼ばれるジャンルのカメラが登場している。このジャンルのカメラはその特徴からウェアラブルカメラなどとも呼ばれ、マウントを介して身に着けて使用することで旧来のカメラでは撮像できなかったアングルや状況での撮像を可能とする点で有用とされている。
By the way, in recent years, along with the miniaturization and high performance of imaging devices, the use of digital video cameras in more diverse imaging environments is spreading.
As an example, cameras of the genre called "action cameras" with shock resistance and water resistance have appeared. Cameras of this genre are also called wearable cameras due to their characteristics, and they are said to be useful in that they can be used by wearing them on the body via a mount, enabling them to capture images at angles and in situations that cannot be captured with conventional cameras. ing.
このジャンルのカメラの特徴として、身体への装身具、あるいはアクティビティを楽しむためのギア（例えばスノーボード、サーフボード、バイク、ヘルメット等）等といった部材に取り付けた状態で使用されることが多い。また小型化により操作スイッチ類や表示部等のユーザインターフェース部分が乏しい傾向にある。これらのことから、ユーザ（アクティビティを行っている人自身）は録画開始・停止操作を行いづらい。 A feature of cameras in this genre is that they are often used while attached to a member such as a body accessory or gear for enjoying activities (for example, snowboards, surfboards, motorcycles, helmets, etc.). In addition, due to the miniaturization, user interfaces such as operation switches and display units tend to be lacking. For these reasons, it is difficult for the user (the person performing the activity) to start/stop recording.
さらに、操作性の低下に伴って、いわゆる重要シーンのみを撮像したり、重要シーンのみを特殊なモードとすること等が難しい。例えば近年の高機能化により、高画質や特殊効果を付加した映像を撮像することも容易となっているが、アクティビティの途中でそのようなモードに切り換えることはほとんど無理である。例えばスノーボーダーが身体にカメラを装着してしようしているときに、ジャンプの瞬間にモードを切り換えるというようなことはできない。そのため機能を生かせなかったり、記憶容量を費やすモードの状態で無駄に長時間の録画を強いられたりする状況がある。 Furthermore, as the operability deteriorates, it is difficult to image only so-called important scenes or set only important scenes to a special mode. For example, recent advances in functionality have made it easy to capture images with high image quality and special effects, but it is almost impossible to switch to such a mode during an activity. For example, when a snowboarder is wearing a camera and using it, it is not possible to switch modes at the moment of a jump. As a result, there are situations in which the function cannot be utilized, or in a state in which the storage capacity is used up, recording for a long period of time unnecessarily.
そこで本技術は、ユーザインターフェースの乏しい機器や、使用中の操作が困難な状況で使用される機器などにおいて、ユーザにとって望ましい撮像を可能とする手法を提供することを目的とする。 Accordingly, an object of the present technology is to provide a technique that enables imaging that is desirable for a user in a device with a poor user interface, a device that is used in a situation where it is difficult to operate while in use, or the like.
本技術に係る制御装置は、撮像環境が第１ステートになること検出する第１検出と、前記第１ステートから第２ステートになることを検出する第２検出とを行う検出部と、前記第１ステートの検出に基づいて第１モードの撮像処理動作を指示し、前記第２ステートの検出に基づいて第２モードの撮像処理動作を指示する指示部とを備える。
撮像環境とは、撮像装置、又は撮像装置を遠隔制御する遠隔制御装置についての使用中の被装着体又は被写体の状況・状態をいう。「モード」は撮像装置の撮像処理動作としての動作が異なる状態を指す。
検出部が撮像環境についての第１ステート、第２ステートを検出する。第１ステート、第２ステート毎に所定の撮像処理動作を設定しておき、検出部が検出したステートに応じた制御を指示部が行う。即ち第１ステートが検出された場合、指示部は、その検出時点、もしくはその後の時点で、第１モードの指示を行い、第２ステートが検出された場合、指示部は、その検出時点やその後の所定の時点で第２モードの指示を行う。
A control device according to the present technology includes a detection unit that performs a first detection that detects that an imaging environment changes to a first state and a second detection that detects that the imaging environment changes from the first state to a second state; an instruction unit that instructs an imaging processing operation in a first mode based on the detection of one state, and instructs an imaging processing operation in a second mode based on the detection of the second state.
The imaging environment refers to the situation/state of the wearable object or the subject in use with respect to the imaging device or the remote control device that remotely controls the imaging device. "Mode" refers to a state in which the imaging processing operation of the imaging apparatus is different.
A detection unit detects a first state and a second state of the imaging environment. A predetermined imaging processing operation is set for each of the first state and the second state, and the instruction section performs control according to the state detected by the detection section . That is, when the first state is detected, the instruction unit instructs the first mode at the time of detection or after that, and when the second state is detected, the instruction unit instructs at the time of detection or after The second mode is instructed at a predetermined point of time.
上記した本技術に係る制御装置においては、前記検出部は、前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第１ステート又は前記第２ステートとなることの検出を行うことが考えられる。
即ち撮像環境として、撮像装置や遠隔制御装置を使用する人、装着した人、装着した動物、装着した物体、さらには撮像装置の被写体の状況、状態の検出を行うようにする。例えば被装着体としての人が、或る競技を開始する状態を第１ステート、競技中の特定の動作状態になることを第２ステートなどとする。
In the above-described control device according to the present technology, the detection unit is configured such that, as the imaging environment, the mounted body of the imaging device or the subject, or the mounted body of the device capable of communicating with the imaging device is in the first state or the It is conceivable to detect the transition to the second state.
That is, as an imaging environment, a person using an imaging device or a remote control device, a person wearing the device, an animal wearing the device, an object wearing the device, and further, conditions and states of subjects of the imaging device are detected. For example, a state in which a person as an object to be worn starts a certain competition is defined as a first state, and a specific movement state during a competition is defined as a second state.
上記した本技術に係る制御装置においては、前記検出部は、前記第２検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行うことが考えられる。
第１ステートに至った状態で行う第２検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第２ステートとしての特定の動作を検出するようにする。
In the above-described control device according to the present technology, the detection unit detects, as the second detection, a non-operating action of an imaging device mounted body or a subject, or a mounted body of a device capable of communicating with the imaging device. can be considered.
The second detection, which is performed in the first state, detects the movement of the wearable body or the subject, but the movement is not the movement for the operation related to imaging, but the specific operation as the second state. detect it.
上記した本技術に係る制御装置においては、前記検出部は、前記第１検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行うことが考えられる。
第１ステートに至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断する。例えばスポーツ、アクティビティなどとしての動作の開始を第１ステートとした場合、その開始をユーザの操作により検知することで、第１モードの撮像処理動作をユーザ意思に基づいて開始する。
In the above-described control device according to the present technology, it is conceivable that the detection unit detects an operation action of a person who is an object to which the imaging device is attached or a subject as the first detection.
Whether or not the first state is reached is determined by the user's intentional operation of the imaging device or the remote control device. For example, if the start of an action such as a sport or an activity is set to the first state, the start of the action is detected by the user's operation, and the imaging processing operation in the first mode is started based on the user's intention.
上記した本技術に係る制御装置においては、前記検出部は、前記第２ステートから第３ステートになることを検出する第３検出を行い、前記指示部は、前記第３ステートの検出に基づいて、少なくとも前記第２モードで実行される撮像処理動作の終了を指示することが考えられる。
即ち第３ステートを検出することで、第２ステートにおいて実行指示する第２モードの終了制御を行う。
In the above-described control device according to the present technology, the detection unit performs third detection for detecting that the state changes from the second state to the third state, and the instruction unit performs the third detection based on the detection of the third state. , to instruct the end of the imaging processing operation executed at least in the second mode.
That is, by detecting the third state, end control of the second mode instructed to be executed in the second state is performed.
上記した本技術に係る制御装置においては、前記指示部が指示する前記第１モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、前記指示部が指示する前記第２モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含むことが考えられる。
つまり第１ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第２ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、所定の記録媒体に転送し保存させる画像の範囲を設定する。
In the above-described control device according to the present technology, the imaging processing operation in the first mode instructed by the instruction unit includes a processing operation of buffering captured image data in a ring memory format in a memory, and the instruction unit instructs It is conceivable that the imaging processing operation in the second mode includes a processing operation for setting a range of captured image data buffered in the memory to be saved as a recorded image.
That is, the buffering of the captured image data is started in response to the detection of the first state. Then, in response to the detection of the second state, the range of the image that is buffered or buffered is set as the image to be transferred and saved in a predetermined recording medium.
上記した本技術に係る制御装置においては、前記指示部が指示する前記第１モードの撮像処理動作は、前記第１ステートとされた期間の撮像画像データを第１のフレームレートで記録画像として保存するための処理動作を含み、前記指示部が指示する前記第２モードの撮像処理動作は、前記第２ステートとされた期間の撮像画像データを前記第１のフレームレートよりは高いフレームレートである第２のフレームレートで記録画像として保存するための処理動作を含むことが考えられる。
つまり第１ステートとされた期間の撮像画像データについては第１のフレームレートで記録され、第２ステートとされた期間の撮像画像データは第２のフレームレート（ハイフレームレート）で記録される。
In the above-described control device according to the present technology, the imaging processing operation in the first mode instructed by the instruction unit stores the captured image data in the first state period as a recorded image at a first frame rate. and the imaging processing operation in the second mode instructed by the instruction unit is a frame rate higher than the first frame rate for the captured image data during the period in which the second state is set. It is conceivable to include a processing operation for saving as a recorded image at a second frame rate.
That is, captured image data during the first state period is recorded at a first frame rate, and captured image data during the second state period is recorded at a second frame rate (high frame rate).
上記した本技術に係る制御装置においては、前記検出部は、前記第２ステートから第３ステートになることを検出する第３検出を行い、前記指示部が指示する前記第１モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、前記指示部が指示する前記第２モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、前記指示部は、前記第３ステートの検出に基づいて撮像装置の電源オフを指示することが考えられる。
つまり第１ステートとされた期間の撮像画像データについては記録され、第２ステート検出に応じて記録が終了される。さらに第３ステート検出で撮像装置が電源オフとされる。
In the above-described control device according to the present technology, the detection unit performs third detection to detect that the state changes from the second state to the third state, and the imaging processing operation in the first mode instructed by the instruction unit . includes a processing operation for saving the captured image data as a recorded image; the imaging processing operation in the second mode instructed by the instruction unit includes a processing operation for stopping recording of the captured image data; It is conceivable that the instruction unit instructs to turn off the power of the imaging device based on the detection of the third state.
That is, the captured image data during the period in which the state is set to the first state is recorded, and the recording is terminated when the second state is detected. Furthermore, the power supply of the imaging device is turned off upon detection of the third state.
上記した本技術に係る制御装置においては、前記検出部は、撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第１検出、前記第２検出の一方又は両方を行うことが考えられる。
撮像装置や撮像装置と通信可能な機器（例えば遠隔制御装置）に搭載されるセンサとしては、例えば振動センサ、加速度センサ、角速度センサ、重力センサ、位置センサ、音声センサ（マイクロホン）音圧センサ、照度センサ、光センサ、温度センサ、その他各種考えられる。これらのセンサにより第１ステート、第２ステートとしての撮像環境を検出する。
In the above-described control device according to the present technology, the detection unit performs one of the first detection and the second detection, or It is conceivable to do both.
Sensors installed in imaging devices and devices that can communicate with imaging devices (e.g., remote control devices) include, for example, vibration sensors, acceleration sensors, angular velocity sensors, gravity sensors, position sensors, audio sensors (microphones), sound pressure sensors, and illuminance sensors. A sensor, an optical sensor, a temperature sensor, and various others are conceivable. These sensors detect imaging environments as the first state and the second state.
上記した本技術に係る制御装置においては、前記検出部は、撮像装置によって得られた撮像画像データに基づいて、前記第１検出、前記第２検出の一方又は両方を行うことが考えられる。
撮像画像データの画像解析により被写体の各種状況としての撮像環境（第１ステート、第２ステート）を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてＡＦ（オートフォーカス）、ＡＥ（オートアイリス）、ＡＷＢ（オートホワイトバランス）などの制御が行われるが、これらは被写体の状況に応じた制御であるため、ＡＦ，ＡＥ，ＡＷＢ等の制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
In the above-described control device according to the present technology, it is conceivable that the detection unit performs one or both of the first detection and the second detection based on captured image data obtained by an imaging device.
The imaging environment (first state, second state) as various situations of the subject is detected by image analysis of the captured image data. For example, it is possible to sense the gesture of the subject from the captured image data. Controls such as AF (auto focus), AE (auto iris), and AWB (auto white balance) are performed based on captured image data. These control values also serve as values for detecting the imaging environment as the subject situation. It is also possible to determine the imaging environment by detecting the motion vector of the subject from the image.
上記した本技術に係る制御装置においては、前記検出部は、撮像装置と通信可能な機器の間における通信状態に基づいて、前記第１検出、前記第２検出の一方又は両方を行うことが考えられる。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
In the above-described control device according to the present technology, it is conceivable that the detection unit performs one or both of the first detection and the second detection based on the communication state between the imaging device and the communicable device. be done.
For example, it may be determined that there is a change in the imaging environment when communication between the imaging device and a communicable device such as a remote control device has been interrupted for a predetermined period of time.
上記した本技術に係る制御装置においては、前記検出部は、被装着体の行動種別に応じて、前記第１検出、前記第２検出の一方又は両方についての検出条件を設定することが考えられる。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第１ステートのトリガ、第２ステートのトリガを設定する。
In the above-described control device according to the present technology, it is conceivable that the detection unit sets detection conditions for one or both of the first detection and the second detection according to the action type of the wearable body. .
For example, the type of sport or activity is determined, and the trigger of the first state and the trigger of the second state are set accordingly.
上記した本技術に係る制御装置においては、前記検出部は、前記第１検出として複数の検出条件を設定し、前記第１検出で第１ステートを検出した際の検出条件種別に応じて、前記第２検出の検出条件を設定することが考えられる。
第１ステートを検出した際の検出条件が多様であるとした場合に、第１ステートを検出した際の検出条件に応じて、第２ステートの検出条件を選択する。
In the control device according to the present technology described above, the detection unit sets a plurality of detection conditions as the first detection, and according to the detection condition type when the first state is detected in the first detection, the It is conceivable to set detection conditions for the second detection.
Assuming that the detection conditions for detecting the first state are diverse, the detection conditions for the second state are selected according to the detection conditions for detecting the first state.
本技術に係る制御方法は、撮像装置を制御する制御装置の制御方法として、撮像環境が第１ステートになること検出する第１検出手順と、前記第１ステートの検出に基づいて第１モードの撮像処理動作を指示する第１指示手順と、前記第１ステートから第２ステートになることを検出する第２検出手順と、前記第２ステートの検出に基づいて第２モードの撮像処理動作を指示する第２指示手順と、を備える。
この制御方法により撮像装置の動作を撮像環境に応じて的確に制御できる。
本技術に係るプログラムは、以上の各手順を演算処理装置に実行させるプログラムである。このプログラムにより本開示の技術を実行する装置を広く実現することができる。
A control method according to the present technology includes, as a control method for a control device that controls an imaging device, a first detection procedure for detecting that an imaging environment enters a first state; a first instruction procedure for instructing an imaging processing operation; a second detection procedure for detecting that the state changes from the first state to the second state; and an instruction for the imaging processing operation in the second mode based on the detection of the second state. and a second instruction procedure.
With this control method , the operation of the imaging apparatus can be accurately controlled according to the imaging environment.
A program according to the present technology is a program that causes an arithmetic processing device to execute each of the above procedures. This program can widely realize a device that executes the technique of the present disclosure.
本技術によれば、使用中の操作が困難な状況で使用される機器などにおいて、使用者の状況等の撮像環境の変化に応じて望ましい撮像動作を撮像装置に実行させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
According to the present technology, it is possible to cause an imaging device to perform a desirable imaging operation in accordance with changes in imaging environment such as the user's situation in a device that is used in a situation where operation during use is difficult.
Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態の撮像制御装置＞
＜２．撮像装置及び遠隔制御装置＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
＜８．第７の実施の形態＞
＜９．まとめ及び変形例＞
Hereinafter, embodiments will be described in the following order.
<1. Imaging Control Apparatus According to First Embodiment>
<2. Imaging Device and Remote Control Device>
<3. Second Embodiment>
<4. Third Embodiment>
<5. Fourth Embodiment>
<6. Fifth Embodiment>
<7. Sixth Embodiment>
<8. Seventh Embodiment>
<9. Summary and Modifications>
＜１．第１の実施の形態の撮像制御装置＞
図１により第１の実施の形態の撮像制御装置１と、その制御対象となる構成を説明する。
図１では撮像制御装置１と撮像装置１０を示している。
撮像制御装置１は、単体の機器として構成されてもよいし、撮像装置１０に内蔵されてもよい。また撮像制御装置１は撮像装置１０と通信可能な機器に内蔵されてもよい。撮像装置１０と通信可能な機器の一例としては、後述する遠隔制御装置（リモートコントローラ等）があるが、通信可能な機器としては他にも画像再生装置、画像記録装置、画像編集装置、情報処理装置その他の各種の機器が想定される。
<1. Imaging Control Apparatus According to First Embodiment>
An
FIG. 1 shows an
The
図１の例では、撮像装置１０は撮像部２、撮像信号処理部３、表示部４、記録部５、通信部６を有する。
撮像部２は被写体光を光電変換し、撮像画像データＤＴを得る。
撮像信号処理部３は撮像画像データＤＴに対して各種の信号処理を行う。
表示部４はユーザインターフェースのための文字や画像の表示、撮像画像（スルー画）の表示、再生画の表示などに用いられる。後述するアクションカメラ等としての撮像装置の場合、表示部４は設けられないこともある。
記録部５は撮像画像としての動画データ又は静止画データを記録する。
通信部６は動画データ、静止画データ、或いは他の付随情報を外部機器に送信する。
In the example of FIG. 1 , the
The
The imaging
The
The
The
センサ部７は、撮像制御装置１に検出情報を供給できる部位としている。特にセンサ部７は撮像環境（ステート）の判断のための検出情報を撮像制御装置１に供給する。
センサ部７は撮像装置１０に内蔵されてもよいし、撮像制御装置１に内蔵されてもよい。どのような形態であれ、検出情報を撮像制御装置１に送信できればよい。
The
The
実施の形態に係る撮像制御装置１は、一例として撮像装置１０その他の機器に内蔵されるマイクロコンピュータ等により実現されることが考えられる。或いは撮像制御装置１はパーソナルコンピュータや携帯端末（例えばスマートフォン、タブレット端末）等の情報処理装置においてソフトウエア（アプリケーションプログラム）により実現される。
いずれにしても撮像制御装置１は、図示するように状態検出部１ａ、モード処理指示部１ｂとしての機能を有する。
As an example, the
In any case, the
状態検出部１ａは、撮像環境が第１ステートとなること検出する第１検出と、第１ステートから第２ステートになることを検出する第２検出とを行う。
モード処理指示部１ｂは、第１ステートの検出に基づいて撮像装置１０に第１モードの撮像処理動作を指示し、また第２ステートの検出に基づいて、撮像装置１０に第２モードの撮像処理動作を指示する。
即ち第１ステート、第２ステート毎に所定の撮像処理動作を設定しておき、状態検出部１ａが検出したステートに応じてモード処理指示部１ｂが制御を行う。ただし、第２ステートとは、第１ステートに移行した後の撮像環境である。
そして第１ステートが検出された場合、モード処理指示部１ｂは、その検出時点、もしくはその後の時点で、例えば撮像信号処理部３に第１モードの指示を行い、第２ステートが検出された場合、モード処理指示部１ｂは、その検出時点やその後の所定の時点で撮像信号処理部３に対して第２モードの指示を行う。
The
The mode
That is, a predetermined imaging processing operation is set for each of the first state and the second state, and the mode
Then, when the first state is detected, the mode
ここで「撮像環境」とは、撮像装置、又は撮像装置を遠隔制御する遠隔制御装置についての使用中の被装着体又は被写体の状況・状態（例えば動作状態）をいう。具体的には、撮像装置や遠隔制御装置を使用する人、装着した人、装着した動物、装着した物体の状況、状態である。さらには撮像装置の被写体の状況、状態も含まれる。
このような撮像環境、つまり被装着者、被装着体、被写体の状況としての撮像環境について、或る状態を「第１ステート」「第２ステート」とする。
但しこの「ステート」は撮像装置１０内の撮像処理動作についての動作状態を意味するものではない。撮像処理動作とは、撮像部１や撮像信号処理部３が行う処理、例えば撮像画像データＤＴの生成処理、撮像画像データＤＴに対する各種信号処理、撮像画像データＤＴの転送、送信、記録等に関する処理である。
一方「モード」は撮像装置１０における以上の例のような撮像処理動作としての動作が異なる状態を指す。
Here, the "imaging environment" refers to the situation/state (for example, operating state) of the wearable object or subject in use with respect to the imaging device or the remote control device that remotely controls the imaging device. Specifically, it is the situation and state of the person using the imaging device or the remote control device, the person wearing it, the animal wearing it, and the object wearing it. Furthermore, the situation and state of the subject of the imaging device are also included.
Regarding such an imaging environment, that is, the imaging environment as the situation of the wearer, the wearable body, and the subject, certain states are referred to as a "first state" and a "second state."
However, this "state" does not mean the operating state of the image pickup processing operation within the
On the other hand, "mode" refers to a state in which the imaging processing operation in the
図２に撮像制御装置１、即ち状態検出部１ａ及びモード処理指示部１ｂの機能による処理例を示す。
ステップＳ１で撮像制御装置１はセンサ部７の検出情報において、撮像環境が第１ステートに至ったと判定するトリガ（第１ステートとしての所定の検出条件を満たす信号もしくは値）が得られたか否かを判断する。
第１ステート判定のトリガが検出されない場合は、ステップＳ３に進み、現在第１ステートに至っていなければ、図２の処理を終え、ステップＳ１に戻る。
FIG. 2 shows an example of processing by the functions of the
In step S1, the
If the trigger for the determination of the first state is not detected, the process proceeds to step S3, and if the current state has not reached the first state, the process of FIG. 2 is terminated and the process returns to step S1.
撮像制御装置１は第１ステートと判定するトリガが得られた場合は、第１ステートとなったことが検出されたとしてステップＳ２に進み、撮像装置１０に対して第１モードの処理を指示する。
第１ステートに至ったと判定した後は、撮像制御装置１はステップＳ３からＳ４に進み、撮像環境が第２ステートに至ったと判定するトリガ（第２ステートとしての所定の検出条件を満たす信号もしくは値）が得られたか否かを判断する。第２ステート判定のトリガが得られていないときは、そのまま処理を終え、ステップＳ１に戻る。従って第１ステートの期間は、ステップＳ４の第２ステート判定を継続する。
撮像制御装置１は第２ステート判定のトリガが得られた場合は、第１ステートから第２ステートに至ったと判断し、ステップＳ４からＳ５に進み、撮像装置１０に対して第２モードの処理を指示する。
When a trigger for determining the first state is obtained, the
After determining that the state has reached the first state, the
When a trigger for second state determination is obtained, the
この図２のように、撮像制御装置１は、撮像環境が第１ステートになること検出する第１検出手順（Ｓ１）と、第１ステートの検出に基づいて第１モードの撮像処理動作を指示する第１指示手順（Ｓ２）を行う。また第１ステートから第２ステートになることを検出する第２検出手順（Ｓ３，Ｓ４）と、第２ステートの検出に基づいて第２モードの撮像処理動作を指示する第２指示手順（Ｓ５）を行う。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第１ステートに至った後に、第２ステートに至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
より具体的な実施の形態を以下で説明していく。
As shown in FIG. 2, the
With this configuration, the imaging processing operation is executed according to changes in the imaging environment. That is, it is possible to automatically perform the imaging processing operation under the condition that the second state is reached after the imaging environment reaches the first state. As a result, the usability and operability of imaging can be improved.
A more specific embodiment will be described below.
＜２．撮像装置及び遠隔制御装置＞
以下では、図３に示すような撮像装置１０単体、或いは撮像装置１０と遠隔制御装置５０を使用する例として実施の形態を説明する。
<2. Imaging Device and Remote Control Device>
In the following, an embodiment will be described using an
上述のように近年、耐衝撃性・耐水性を持った“アクションカメラ“と呼ばれるジャンルのカメラが登場しており、マウントを介して身に着けて使用することで多様なアングルや状況での撮像が可能とされている。
図３にアクションカメラと呼ばれる撮像装置１０の一例を示している。この撮像装置１０は小型軽量とされ、対応するマウント用アタッチメント等を利用して、ユーザの身体や衣服に装着したり、スポーツ、アクティビティ等で用いるギアに装着することができる。ここでいうギアとは、例えばスノーボード、サーフボード、スキー板、モータバイク、自転車、ラケット、ヘルメット、シューズ、ゴーグル、潜水器具等である。
As mentioned above, in recent years, cameras of the genre called "action cameras" with shock resistance and water resistance have appeared, and by using them with a mount, you can shoot from various angles and situations. is possible.
FIG. 3 shows an example of an
このような撮像装置１０をユーザが身体やギアに装着することで、ユーザがスポーツ、アクティビティ、遊技等の各種活動（以下「アクティビティ」と総称する）を行っている際の迫力のある映像を記録することができる。
By attaching such an
また、撮像装置１０を身体やギアに装着した状態によっては、撮像装置１０の操作が困難な場合もある。そのため遠隔制御装置５０が用意されている。遠隔制御装置５０は図示のように、ベルト付きで腕や脚部に装着可能とされたり、スマートフォン等の携帯機器に実装されたり、ウォッチ型などとして装着できるようにされるものがある。
例えばアクティビティを実行する本人が、所持したり、腕等の操作可能な位置に装着した遠隔制御装置５０を操作して、撮像装置１０を制御することができる。
ところが、このようなアクションカメラの分野では、実際には多様な操作が困難となる事情がある。
Further, depending on the state in which the
For example, the person who performs the activity can control the
However, in the field of such action cameras, various operations are actually difficult.
このジャンルのカメラの多くは、耐衝撃性・耐水性などを保つために、超小型かつハウジング入りで使う前提であったり、ユーザの身体や物に装着して撮影するため、そもそも撮像画像の表示装置が搭載されていないものが多い。例えば図３に示す撮像装置１０は表示部が存在しない。
仮に撮像画像の表示装置が搭載されてあったとしても、サイズ維持のため記録画質と比較して相当低い解像度・サイズ・品位の表示装置を使っており、どの辺りが写っているかが確認できる程度の役割しか持っていない。
また記録用ボタンなども旧来からの民生用ビデオカメラに比べて操作しづらい形状・配置となっていることが多い。
即ちユーザインターフェースとしての機能が充実していないことが余儀なくされている。
さらには、前述の通り身体への装身具、あるいはアクティビティを楽しむためのギア等といった部材に取り付けた状態で使用されることが多く、上記のユーザインターフェース上の理由と相まって録画開始・停止操作を、アクティビティを行っている人自身が行いづらい。
そのうえ、アクティビティの実行中は、ユーザはそのアクティビティ自体に集中するため、カメラ操作を失念することも多々ある。
以上の操作性の事情は、撮像装置１０自体の操作のみならず、遠隔制御装置５０を利用した操作に関しても、同様である。
Most of the cameras in this genre are premised on being ultra-compact and used in a housing in order to maintain shock resistance and water resistance. Many do not have equipment. For example, the
Even if there is a display device for captured images, in order to maintain the size, the resolution, size, and quality of the display device are considerably lower than the recorded image quality, and it is possible to confirm which part is captured. has only the role of
In addition, recording buttons and the like often have shapes and arrangements that are difficult to operate compared to conventional consumer video cameras.
In other words, it is unavoidable that the function as a user interface is not sufficient.
Furthermore, as mentioned above, it is often used in a state where it is attached to a member such as a body accessory or a gear for enjoying an activity. It is difficult for the person who is doing
Moreover, during the execution of the activity, the user concentrates on the activity itself and often forgets to operate the camera.
The operability described above applies not only to the operation of the
また、このような操作性の事情は、撮像装置１０の機能を有効に発揮できないことにもつながる。
従来、撮像記録時に通常のテレビフレームレートである例えば６０ｆｐｓ（frames per second）以上の速さのフレームレートで撮像し、再生時にテレビフレームレートで再生することで高画質かつ印象的な映像表現が実現できるスローモーション記録再生機能（ＨＦＲ記録）を備えた撮像装置が業務用を中心に存在していた。近年の技術の発展により民生用カメラでもこの撮像機能が登場している。上記の「アクションカメラ」と呼ばれる超小型カメラにおいても実現されつつある。例えばハイフレームレート（以下「ＨＦＲ」と表記する）としては、９６０ｆｐｓ、２４０ｆｐｓでの撮像などが可能とされる。
In addition, such circumstances of operability lead to the inability to effectively exhibit the functions of the
In the past, images were recorded at a frame rate faster than the normal TV frame rate, such as 60 fps (frames per second), and played back at the TV frame rate to achieve high image quality and impressive visual expression. There have been imaging apparatuses mainly for business use that have a slow-motion recording/reproducing function (HFR recording). With the recent development of technology, this imaging function has also appeared in consumer cameras. It is also being realized in the ultra-compact camera called the "action camera" mentioned above. For example, as a high frame rate (hereinafter referred to as “HFR”), imaging at 960 fps and 240 fps is possible.
このようなＨＦＲ撮像では、通常撮像よりも多くの記録領域を必要とすること、また視聴性、映像表現からいってその記録開始や記録停止のタイミングがとても重視される。
しかしながら上記した操作性の理由から、適切なタイミングでのＨＦＲ撮像が非常に困難である。結果的にユーザの希望するタイミングに対してずれたタイミングでの記録が開始・停止指示となってしまうことがとても多い。
記録タイミングについては遠隔制御装置５０を使った操作も考えられるが、そもそもアクティビティの種類によっては遠隔制御装置５０の利用さえも難しいというユースケースも多い。
In such HFR imaging, a larger recording area is required than in normal imaging, and the timing of recording start and stop is very important in terms of viewing and video expression.
However, due to the operability reasons described above, it is very difficult to perform HFR imaging at appropriate timing. As a result, there are many cases in which recording is instructed to start or stop at a timing that is different from the timing desired by the user.
Operation using the
また撮像開始のためにユーザは意識的に電源オン操作、録画開始操作を行うのだが、アクティビティ中に撮像動作状態が判りづらい上に、撮像を開始させた本人がアクティビティに夢中になっているうちに、希望する録画期間が終わったとしても、録画停止、電源オフ操作を忘れてしまいがちで結果的に無駄なメモリ消費、そしてバッテリの消費をしてしまうケースが非常に多い。そのため、いざ次の撮像を行おうと思った時にはメモリ不足が生じたり、バッテリ残量不足になっているといった事態となることも頻発する。 Also, in order to start shooting, the user consciously performs the power on operation and recording start operation, but it is difficult to understand the shooting operation state during the activity. In addition, even if the desired recording period is over, there are many cases where people tend to forget to stop recording and turn off the power, resulting in wasted memory consumption and battery consumption. Therefore, when it is time to take the next image, a memory shortage or a battery shortage often occurs.
そこで実施の形態では、ユーザ自身がＨＦＲ録画タイミングを制御しなくても、あらかじめ定められた条件を検知した場合には自動的に記録開始・停止を行う撮像装置を提供することで、アクションカメラにおけるＨＦＲ記録を快適に実現する。
あるいはユーザ自身が録画停止・電源オフしなくても、あらかじめ定められた条件を検知した場合には自動的に録画停止、電源オフを行う撮像装置を提供することで、アクションカメラならではの不要メモリ消費、電源消費、あるいは電源・録画系の操作性にまつわる不満点を解消する。
Therefore, in the embodiment, even if the user himself/herself does not control the HFR recording timing, by providing an imaging device that automatically starts and stops recording when predetermined conditions are detected, To comfortably realize HFR recording.
Alternatively, even if the user does not stop recording or turn off the power, by providing an imaging device that automatically stops recording and turns off the power when predetermined conditions are detected, unnecessary memory consumption unique to action cameras can be provided. , power consumption, or power supply / recording system operability to solve the dissatisfaction point.
実施の形態の撮像装置１０の構成例を図４に示す。また遠隔制御装置５０の構成例を図５に示す。
この撮像装置１０や遠隔制御装置５０としての実施の形態は、図１に示した撮像制御装置１としての構成（状態検出部１ａ、モード処理指示部１ｂ）が、撮像装置１０、遠隔制御装置５０の一方又は両方に内蔵されている例とする。
FIG. 4 shows a configuration example of the
In the embodiment of the
図４の撮像装置１０はいわゆるデジタルビデオカメラとされ、動画や静止画の撮像／記録を行う機器である。
撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、無線通信部１６、音声検出部１７、電源部１８、デジタル信号処理部２０、コントローラ３０、表示部３４、操作部３５を有する。
The
The
光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型、ＣＣＤ（Charge Coupled Device）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号（撮像画像データＤＴ）を、後段のデジタル信号処理部２０に出力する。
The
The
The
光学系駆動部１３は、コントローラ３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、コントローラ３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、コントローラ３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じてコントローラ３０が光学系駆動部１３の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じてコントローラ３０が光学系駆動部１３の動作を制御するマニュアルフォーカスとしての駆動も行われる。
The optical
Note that the focus lens is driven as autofocus in which the
デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データＤＴ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、カメラ信号処理部２１、解像度変換部２２、コーデック部２３、カメラ制御用検波処理部２４、内蔵メモリ２５、メモリコントローラ２６等を備えている。
The digital
For example, the digital
カメラ信号処理部２１は、イメージャ１２からの撮像画像データＤＴに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。またカメラ信号処理部２１は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２２は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２３は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
The camera
The
The
カメラ制御用検波処理部２４は、オートフォーカス制御やオートアイリス制御等のための検波処理や、後述するステート判定その他のための画像解析等を行う。
例えばオートフォーカス制御のためには、カメラ制御用検波処理部２４は、撮像画像データＤＴ、例えばカメラ信号処理部２１の処理過程又は処理を経た撮像画像データＤＴを入力し、この撮像画像データＤＴとしての１フレーム内で、合焦領域と非合焦領域を識別し、合焦領域を示す合焦領域情報をコントローラ３０に出力する。
The camera control
For example, for autofocus control, the camera control
具体的にはカメラ制御用検波処理部２４は、例えば図６Ａのように１つのフレームＦＲの撮像画像データＤＴを多数の領域に分割する。図示する例はあくまでも説明上の一例であるが、例えば領域ｗ１～ｗ３６のように各領域を設定する。実際の領域分割数は適宜適切に設定されればよい。
そして各領域ｗ１～ｗ３６について、それぞれが合焦領域か非合焦領域かを判定する。
例えば１つの領域ｗ（ｎ）について、図６Ｂのような処理を行う。即ち領域ｗ（ｎ）を構成する各画素データについて、Ｙ生成部４１から積分器４６までの処理を行う。
Ｙ生成部４１では簡易的にＹ信号を生成する。そして生成したＹ信号についてＨＰＦ（ハイパスフィルタ）４２で高域抽出を行い、さらに絶対値化部４３で絶対値化する。即ち高域成分を絶対値として抽出する。そしてコアリング部４４で高域成分ノイズ除去を、さらにリミッタ４５でリミッタ処理を行った後、積分器４６で積分処理を行う。
つまり、各領域ｗ（ｎ）について、その領域ｗ（ｎ）を構成する画素データの高域成分を積算していき、その結果として評価値ＣＳを得る。合焦領域ではエッジ成分が顕著に表れることで高域成分の積算値としての評価値ＣＳが高い値となる。従って評価値ＣＳを所定の合焦領域判定閾値と比較することで、その領域ｗ（ｎ）が合焦領域か非合焦領域かの判定情報が得られることになる。
カメラ制御用検波処理部２４は例えばこのように、各領域ｗ１～ｗ３６についてそれぞれ合焦領域か非合焦領域かの判定を行い、判定結果としての合焦領域情報をコントローラ３０に出力する。
なお、合焦領域の判定は、方形の領域毎ではなく、例えば円形、多角形などの領域や、不定形領域を設定して行ってもよい。
Specifically, the camera control
Then, it is determined whether each of the regions w1 to w36 is in focus or out of focus.
For example, the processing shown in FIG. 6B is performed for one region w(n). That is, the processing from the
The
That is, for each area w(n), the high-frequency components of the pixel data forming that area w(n) are integrated, and as a result the evaluation value CS is obtained. Since the edge component appears prominently in the in-focus region, the evaluation value CS as the integrated value of the high-frequency component becomes a high value. Therefore, by comparing the evaluation value CS with a predetermined in-focus area determination threshold value, it is possible to obtain determination information as to whether the area w(n) is in-focus area or out-of-focus area.
For example, the camera control
Note that the in-focus area may be determined by setting, for example, a circular or polygonal area, or an indefinite area instead of each square area.
以上はフォーカス制御のための処理であるが、露出制御のためにカメラ制御用検波処理部２４は、図６Ａの各領域ｗ１～ｗ３６のそれぞれについて、輝度を積分した値を算出する。
またカメラ制御用検波処理部２４はホワイトバランス調整のためには、図６Ａの各領域ｗ１～ｗ３６のそれぞれについて、Ｒ、Ｇ、Ｂ信号別に積分した値を算出する。
The above processing is for focus control. For exposure control, the camera control
For white balance adjustment, the camera control
またカメラ制御用検波処理部２４は、画像における動きベクトルの検出も行う。
例えばブロックマッチングを用いて２フレーム間の動きベクトルを検出する。２フレーム間の動きベクトルを検出するに当たって、元フレームについて、複数個のターゲットフレームを設定して、その複数個のターゲットフレームのそれぞれについてブロックマッチングを施す。
一例として、元フレームに、例えば１６個のターゲットブロックＴＧｉ（ｉ＝１，２，・・・，１６）を設定し、参照フレーム１０２には、図７に示すように、元フレームの１６個のターゲットブロックに対応する１６個の射影イメージ１０４ｉ（ｉ＝１，２，・・・，１６）を設定する。そして、それぞれの射影イメージに対するサーチ範囲１０５ｉ（ｉ＝１，２，・・・，１６）を設定し、それぞれのサーチ範囲１０５ｉ（ｉ＝１，２，・・・，１６）において、対応するターゲットブロックについてのＳＡＤテーブルＴＢＬｉ（ｉ＝１，２，・・・，１６）を作成する。
The camera control
For example, block matching is used to detect motion vectors between two frames. In detecting a motion vector between two frames, a plurality of target frames are set for the original frame, and block matching is performed for each of the plurality of target frames.
As an example, 16 target blocks TGi (i=1, 2, . . . , 16) are set in the original frame, and 16 target blocks TGi (i=1, 2, . Set up 16
そして、作成した１６個のターゲットブロックのＳＡＤテーブルＴＢＬｉについて、図７に示すように、１６個のＳＡＤテーブルＴＢＬｉを重ね合わせるように縦方向に並べたときに、ＳＡＤテーブルＴＢＬｉのそれぞれを求めるサーチ範囲内で互いに対応する参照ブロック位置のＳＡＤ値を合算し、合算差分絶対値和（合算ＳＡＤ値という）を求める。そして、その合算ＳＡＤ値からなるＳＡＤテーブルとして、一つのサーチ範囲内の複数参照ブロック位置分についての合算ＳＡＤテーブルＳＵＭ＿ＴＢＬを生成する。 Then, for the SAD tables TBLi of the created 16 target blocks, as shown in FIG. 7, when the 16 SAD tables TBLi are arranged in the vertical direction so as to overlap each other, the search range for obtaining each of the SAD tables TBLi is The SAD values of the reference block positions corresponding to each other are summed up within, and the sum of sum of sum of absolute difference values (referred to as summed SAD value) is obtained. Then, as a SAD table composed of the summed SAD values, a summed SAD table SUM_TBL for a plurality of reference block positions within one search range is generated.
ここで、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの座標位置（ｘ，ｙ）の合算ＳＡＤ値ＳＵＭ＿ＴＢＬ（ｘ，ｙ）は、各ＳＡＤテーブルＴＢＬｉの対応する座標位置（ｘ，ｙ）のＳＡＤ値をＴＢＬｉ（ｘ，ｙ）とすると、
ＳＵＭ＿ＴＢＬ（ｘ，ｙ）＝ＴＢＬ１（ｘ，ｙ）＋ＴＢＬ２（ｘ，ｙ）＋・・・
＋ＴＢＬ１６（ｘ，ｙ）
＝ΣＴＢＬｉ（ｘ，ｙ）
となる。
そして、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬから、元画面に対する参照画面の動きベクトル（グローバル動きベクトル；撮像装置における手ぶれベクトルとなる）を検出する。
Here, the sum SAD value SUM_TBL(x, y) at the coordinate position (x, y) of the sum SAD table SUM_TBL is obtained by converting the SAD value at the coordinate position (x, y) corresponding to each SAD table TBLi to TBLi(x, y). ), then
SUM_TBL(x,y)=TBL1(x,y)+TBL2(x,y)+...
+TBL16(x, y)
= ΣTBLi(x, y)
becomes.
Then, a motion vector (global motion vector; used as a camera shake vector in the imaging device) of the reference screen with respect to the original screen is detected from the summation SAD table SUM_TBL.
合算ＳＡＤテーブルＳＵＭ＿ＴＢＬからグローバル動きベクトルを算出する方法としては、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬにおいて合算ＳＡＤ値の最小値の位置を検出し、その検出した合算ＳＡＤ値の最小値位置に対応する参照ベクトルを、グローバル動きベクトルとして検出する従来の方法を用いることができる。
しかし、この最小値の合算ＳＡＤ値を用いる方法では、１画素単位の精度の動きベクトルしか得られないので、例えば合算ＳＡＤ値の最小値位置の合算ＳＡＤ値およびその近傍の複数個の合算ＳＡＤ値を用いて、近似曲面補間を行うことで、グローバル動きベクトルを検出することが考えられる。すなわち、合算ＳＡＤ値の最小値位置の合算ＳＡＤ値およびその近傍の複数個の合算ＳＡＤ値を用いて、近似高次曲面を生成し、その近似高次曲面の極小値位置を検出することで、１画素単位以下の小数点精度で、グローバル動きベクトルを検出する。
As a method of calculating a global motion vector from the summed SAD table SUM_TBL, the position of the minimum summed SAD value is detected in the summed SAD table SUM_TBL, and the reference vector corresponding to the detected minimum summed SAD value position is transferred to the global motion vector. Conventional methods of detection as motion vectors can be used.
However, with this method using the summed SAD value of the minimum value, only a motion vector with accuracy in units of one pixel can be obtained. It is conceivable to detect a global motion vector by performing approximate curved surface interpolation using . That is, by generating an approximate high-order surface using the sum SAD value at the minimum value position of the sum SAD value and a plurality of sum SAD values in the vicinity thereof, and detecting the minimum value position of the approximate high-order surface, A global motion vector is detected with a decimal precision of one pixel or less.
図４に戻って、デジタル信号処理部２０における内蔵メモリ２５は、例えばカメラ信号処理部２１の処理を経た撮像画像データＤＴとしてのフレームデータのバファリングを行う記憶領域とされる。内蔵メモリ２５は、例えばＤ－ＲＡＭ（Dynamic Random Access Memory）、Ｓ－ＲＡＭ（Static Random Access Memory）、ＮＶ－ＲＡＭ（Non-Volatile RAM）等の半導体メモリとして形成される。この内蔵メモリ２５を用いたバファリングについては後述する。
メモリコントローラ２６は、内蔵メモリ２５に対するデータの書き込み/／読み出しを制御する。例えばデータ転送の制御や、ライトポインタ、リードポインタ等による書込／読出アドレスの管理等を行う。
Returning to FIG. 4, the built-in
The
コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、ステート検出及びそれに応じたモード制御のための処理を実行するためのプログラムも記憶される。
The
The overall control of the
The RAM is used for temporary storage of data, programs, etc. as a work area for various data processing of the CPU.
ROM and flash memory (non-volatile memory) store the OS (Operating System) for the CPU to control each part, content files such as image files, application programs for various operations, firmware, etc. Used. Particularly in this example, a program for executing processing for state detection and corresponding mode control is also stored.
このようなコントローラ３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
また本実施の形態の場合、コントローラ３０は、状態検出部１ａ、モード処理指示部１ｂとしての機能を備える。即ち図１で説明した撮像制御装置１としての機能である。
Such a
Further, in the case of the present embodiment, the
表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
なお、上述のアクションカメラとしての撮像装置１０の場合、表示部３４は設けられないことが多い。
撮像装置１０に表示部３４が設けられる場合、表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、コントローラ３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、デジタル信号処理部２０からの表示データ（例えば解像度変換された撮像画像データ）に応じて、記録待機中や記録中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。
また表示ドライバはコントローラ３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
The
In addition, in the case of the
When the
In addition, the display driver executes various operation menus, icons, messages, etc., that is, displays as a GUI (Graphical User Interface) on the screen based on instructions from the
操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号をコントローラ３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、タッチパッド、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）、フォーカスリング等が考えられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いはタッチパッド等によりユーザのタップ操作を検出する形態もある。
但し、上述のアクションカメラとしての撮像装置１０の場合、操作部３５として十分な操作キー等を配置することは困難であり、少数のキーやタッチパッド程度とされることが想定される。
The
The
As operating elements on the housing, a playback menu activation button, enter button, cross key, cancel button, zoom key, slide key, shutter button (release button), focus ring, and the like can be considered.
Further, various operations may be enabled by touch panel operation using icons, menus, and the like displayed on the touch panel and the
Alternatively, there is also a form in which a user's tap operation is detected using a touch pad or the like.
However, in the case of the
記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において撮像制御装置１（状態検出部１ａとモード処理指示部１ｂ）としての処理をコントローラ３０に実行させるためのプログラムは、記録部１５に記憶されてもよい。
The
Image files are stored in formats such as JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), and GIF (Graphics Interchange Format).
Various actual forms of the
Further, in this example, the
無線通信部１６は、外部機器との間の無線通信を行う。例えばＷＩＦＩ（Wireless Fidelity）やブルートゥース（登録商標）等の無線通信規格等の通信方式による通信を行う。本例の場合、例えば遠隔制御装置５０との間で通信を行うものとする。
なお、図示していないが、撮像装置１０には、他にも外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う部位が設けられてもよい。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行うようにしたり、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
The
Although not shown, the
For example, communication of captured image data (still image files and moving image files) is performed between external display devices, recording devices, playback devices, etc., and as a network communication unit, for example, the Internet, a home network, a LAN (Local Area Network) ), etc., and various data transmission/reception may be performed with a server, a terminal, or the like on the network.
音声検出部１７は撮像装置１０の周囲の音声を検出する。特には状態検出部１ａが撮像環境としてのステート判定のための周囲音声検出を行う。
音声検出部１７はマイクロホンにより形成されればよいが、より簡易には、対応する周波数帯域が狭い音圧感知素子などでもよい。
音声検出部１７として専用のマイクロホン等を備えてもよいが、通常、撮像装置１０には動画記録の際の音声集音のためのマイクロホンが搭載されている（図４では図示省略）。そこで録音音声集音用のマイクロホンをステート判定のための周囲音声検出を行う音声検出部１７として兼用してもよい。
The
The
A dedicated microphone or the like may be provided as the
センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
またセンサ部１４としてＧＰＳ（Global Positioning System）受信器などの位置センサを設けることも考えられる。
さらにセンサ部１４としては、重力センサ、光センサ、温度センサ、その他各種のセンサが考えられる。
The
Further, an illuminance sensor for detecting external illuminance for exposure adjustment and the like, and a distance measuring sensor for measuring subject distance may be provided.
As the
Further, as the
It is also conceivable to provide a position sensor such as a GPS (Global Positioning System) receiver as the
Furthermore, as the
センサ部１４の各種センサは、それぞれ検出した情報をコントローラ３０に伝達する。コントローラ３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。
コントローラ３０の状態検出部１ａは、センサ部１４からの検出情報を撮像環境としてのステート判断に用いることができる。
Various sensors of the
The
続いて図５で遠隔制御装置５０の構成例を説明する。
遠隔制御装置５０は無線通信部５１、デジタル信号処理部５２、表示部５３、操作部５４、音声検出部５５、センサ部５６、コントローラ６０を備える。
Next, a configuration example of the
The
無線通信部５１は撮像装置１０の無線通信部１６との間で無線通信を行う。無線通信部５１、１６間では、例えば制御データや撮像画像データの通信が行われる。
デジタル信号処理部５２は、撮像装置１０との無線通信により受信されたデータのデコードや表示用の処理などを行う。例えば撮像装置１０から撮像画像データその他の情報が送信されてきた場合に、その撮像画像データについての表示のための処理を行い、表示部５３で表示させる。
表示部５３では、デジタル信号処理部５２で処理された撮像画像の表示データや各種通知情報を表示する。例えば撮像装置１０の動作状態等の表示も行う。
操作部５４は各種操作子を示している。上述した撮像装置１０の操作部３５と同様に各種の操作子の態様が想定される。
The
The digital
The
An
コントローラ６０は、遠隔制御装置５０内の各種動作を制御する。主にコントローラ６０は操作部５４での操作内容に応じた指示信号（制御コマンド等）を無線通信部５１から撮像装置１０に送信する。撮像装置１０のコントローラ３０は、無線通信部１６によって受信した指示信号を受け取ることで、遠隔制御装置５０による操作に応じた処理を実行できる。
またコントローラ６０も、図１で説明した撮像制御装置１としての機能、即ち状態検出部１ａ、モード処理指示部１ｂの機能を備えている。
The
The
音声検出部５５は遠隔制御装置５０の周囲の音声を検出する。特には状態検出部１ａが撮像環境としてのステート判定のための周囲音声検出を行う。この音声検出部５５もマイクロホン等により形成されればよい。
The
センサ部５６は撮像装置１０のセンサ部１４で説明したものと同様に各種センサを包括的に示している。このセンサ部５６の検出情報は、コントローラ６０が状態検出部１ａの機能により撮像環境（ステート）を判定するために用いる。
例えばセンサ部５６としては、遠隔制御装置５０に加わった衝撃や、遠隔制御装置５０を装着したユーザ等の動きを検出するため振動センサ、ジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。また外部照度を検出する照度センサ、温度センサ等が設けられてもよい。
さらには装着者の身体状況を検出する生体センサ（脈拍、発汗、体温、血圧等のセンサ）とされていてもよい。また位置センサが設けられてもよい。
A
For example, the
Furthermore, it may be a biosensor (sensor for pulse, perspiration, body temperature, blood pressure, etc.) that detects the physical condition of the wearer. A position sensor may also be provided.
＜３．第２の実施の形態＞
以上の撮像装置１０や遠隔制御装置５０を用いる場合として、第２の実施の形態の動作を説明する。
図８は第２の実施の形態で撮像装置１０が行う動作を模式的に示している。これは第２ステートＳＴ２としての期間にＨＦＲ撮像記録を行う例とする。
<3. Second Embodiment>
The operation of the second embodiment will be described assuming that the
FIG. 8 schematically shows operations performed by the
なお、以下の各実施の形態の説明における撮像装置１０のコントローラ３０の処理は、状態検出部１ａ及びモード処理指示部１ｂとしての機能による処理である。
また以下はコントローラ３０の処理として説明するが、その処理は、遠隔制御装置５０におけるコントローラ６０の処理としてもよい。その場合、コントローラ６０は無線通信により撮像装置１０のコントローラ３０に指示信号を送信し、コントローラ３０が受信した指示信号に応じてイメージャ１２やデジタル信号処理部２０の動作を制御することになる。
Note that the processing of the
Further, although the processing of the
時点ｔ１でコントローラ３０が第１ステートＳＴ１としてのトリガ（所定の検出条件を満たす信号もしくは値）を検出したとする。この場合に、撮像装置１０では、撮像画像データＤＴとしてＨＦＲでのフレーム取り込み及びバファリングを開始する（図８Ａ）。
そして第１ステートＳＴ１の検出後は、コントローラ３０は第２ステートＳＴ２としてのトリガ（所定の検出条件を満たす信号もしくは値）を監視する。
時点ｔ２においてコントローラ３０は第２ステートＳＴ２としてのトリガを検知したとする。コントローラ３０は、これに応じて、ＨＦＲ撮像の記録範囲（記録する先頭フレームから最終フレームのタイミング）を設定し、さらに可能な時点で、デジタル信号処理部２０に対して当該記録範囲の撮像画像データについて記録部１５での記録のための処理を指示する。
Assume that the
After detecting the first state ST1, the
Assume that the
例えばコントローラ３０は、図８Ｂのように、第２ステートＳＴ２を検知した時点ｔ２において得られたフレームより所定時間前の時点ｔａのフレームから、一定時間ＴＬ後の時点ｔｂまでの範囲のフレームを、ＨＦＲ記録するフレームの範囲（記録範囲ＲＬ１）とする。
或いは、コントローラ３０は、図８Ｃのように、第２ステートＳＴ２を検知した時点ｔ２において得られたフレームから、一定時間ＴＬ後の時点ｔｃまでの範囲のフレームを、ＨＦＲ記録するフレームの範囲（記録範囲ＲＬ２）とする。
或いは、コントローラ３０は、図８Ｄのように、第２ステートＳＴ２を検知した時点ｔ２において得られたフレームを最終フレームとし、一定時間ＴＬ前の時点ｔｄのフレームを先頭フレームとするように、ＨＦＲ記録するフレーム範囲を設定する（記録範囲ＲＬ３）。
For example, as shown in FIG. 8B, the
Alternatively, the
Alternatively, as shown in FIG. 8D, the
そしてコントローラ３０は、所定の時点で、これらの記録範囲のフレームデータについて記録処理を実行させる。
例えばコントローラ３０は図８Ｂのように記録範囲ＲＬ１を設定した場合、図８Ｅのように時点ｔ２から記録処理を開始させてもよい。記録処理とは、バッファリングされたフレームデータを読み出して記録のためのエンコードを行い、記録部１５に転送して記録媒体に記録させる処理である。或いは、記録範囲ＲＬ１についての記録処理は、図８Ｆのように記録範囲ＲＬ１のバファリングを終えた時点ｔｂから開始させてもよい。
またコントローラ３０は、例えば図８Ｃのように記録範囲ＲＬ２を設定した場合、図８Ｅのように時点ｔ２から記録処理を開始させてもよい。つまりその時点からバファリングされたフレームを即座に読み出して記録処理に供する。或いは図８Ｆのように記録範囲ＲＬ２の途中までバファリングした時点ｔｂから記録処理を開始させてもよいし、図８Ｇのように記録範囲ＲＬ２のバファリングを終えた時点ｔｃから記録処理を開始させてもよい。
またコントローラ３０は、例えば図８Ｄのように記録範囲ＲＬ３を設定した場合、すでに時点ｔ２で記録範囲ＲＬ３のバファリングは完了しているので、図８Ｅのように時点ｔ２から記録処理を開始させればよい。
The
For example, when the recording range RL1 is set as shown in FIG. 8B, the
For example, when the recording range RL2 is set as shown in FIG. 8C, the
Further, when the recording range RL3 is set as shown in FIG. 8D, the
図９は時点ｔ１以降のバファリングの様子を示している。
図９Ａは時点ｔ１以降に撮像されるフレームを示している。例えば９６０ｂｐｓ等のＨＦＲで各フレームを構成する撮像画像データＤＴが得られる。
内蔵メモリ２５は上述のようにリングメモリ形態で使用される。図９ＢのようにアドレスＡｄＳからアドレスＡｄＥまでがバファリングエリアとされているとする。
撮像される各フレームは、順次アドレスＡｄＳ～ＡｄＥの範囲に記憶されていく。あるフレームの記憶がアドレスＡｄＥに達したら、次のフレームはアドレスＡｄＳに記憶される。即ち、過去のフレームデータが上書きされながらバファリングされていく。
FIG. 9 shows the state of buffering after time t1.
FIG. 9A shows frames captured after time t1. For example, captured image data DT forming each frame with HFR such as 960 bps is obtained.
The built-in
Each frame to be imaged is sequentially stored in the range of addresses AdS to AdE. When storage of a frame reaches address AdE, the next frame is stored at address AdS. That is, buffering is performed while past frame data is overwritten.
第２ステートＳＴ２が検知された時点ｔ２のフレームデータが、図９Ｂの矢印で示すアドレスに記憶されたフレームであるとすると、上記した記録範囲ＲＬ１、ＲＬ２，ＲＬ３は図示するように内蔵メモリ２５のアドレス範囲にバファリングされた（又はその後バファリングされる）フレーム範囲となる。 Assuming that the frame data at time t2 when the second state ST2 is detected is the frame stored at the address indicated by the arrow in FIG. This results in a range of frames buffered (or subsequently buffered) to the address range.
なおＨＦＲ記録において以上のようにバファリングを行い、その中である期間の撮像画像データについてのみ記録処理を行うことの理由の１つは、ＨＦＲのリアルタイム記録処理は処理負担が過大となることである。
例えば９６０ｆｐｓで撮像を行う場合、その各フレームをリアルタイムでエンコードして記録していくことは処理負担が大きい。そこで、バファリングされた中で記録処理することで、デジタル信号処理部２０の負担を軽減している。
One of the reasons why buffering is performed in HFR recording as described above and recording processing is performed only for the captured image data for a certain period of time is that the HFR real-time recording processing has an excessive processing load. be.
For example, when imaging at 960 fps, encoding and recording each frame in real time imposes a heavy processing load. Therefore, the load on the digital
また第１ステートＳＴ１の検出に伴ってバファリングを開始し、第２ステートＳＴ２の検出に応じてＨＦＲの記録範囲を設定するのは、第２ステートＳＴ２の検出時点において過去の時点を含めてＨＦＲ記録することができるようにしたり（記録範囲ＲＬ１やＲＬ３）、或いは記録範囲ＲＬ２のように、その時点ｔ２の瞬間のフレームを先頭とするときに頭切れが生じないようにするためである。 The reason why the buffering is started upon detection of the first state ST1 and the HFR recording range is set upon detection of the second state ST2 is that the HFR including the past point of time when the second state ST2 is detected. This is to enable recording (recording ranges RL1 and RL3), or to prevent truncation when the frame at the moment of time t2 is set as the head as in the recording range RL2.
またバファリングを、内蔵メモリ２５における所定範囲の領域をリングメモリとして用いて行うのは、あまり長い時間のフレーム範囲をバファリングする必要性が乏しいためである。上記のようにＨＦＲ記録は、通常レートでの再生時にスローモーション画像となる。そのためユーザにとっては、本当に重要な場面（スローモーションに適した場面）のみがＨＦＲ記録されればよいと通常考え、逆にあまり長時間のＨＦＲ録画は、再生時に冗長になるとしてユーザが欲しないことが想定されるためである。
また、リングメモリ形態とすることで、ＨＦＲのフレームデータのバファリングによってメモリ容量を圧迫されないようにする目的もある。
Buffering is performed by using a predetermined range of area in the built-in
Further, by adopting a ring memory form, there is also an object to prevent pressure on the memory capacity due to buffering of HFR frame data.
当然ながら、バファリングをアドレスＡｄＳ～ＡｄＥの範囲で行うことで、記録範囲ＲＬ１～ＲＬ３としての一定期間ＴＬは、最大でバッファ容量で規定される期間（フレーム数）となる。
なお実施の形態の説明では一定時間ＴＬをＨＦＲ記録するものとして説明するが、当然ながら、必ずしも一定時間ＴＬとして記録する時間長を固定する必要はない。
As a matter of course, by performing buffering in the range of addresses AdS to AdE, the fixed period TL as the recording range RL1 to RL3 becomes a period (the number of frames) defined by the buffer capacity at maximum.
In the description of the embodiment, HFR recording is performed for the fixed time TL, but it is of course not necessary to fix the recording time length of the fixed time TL.
また記録範囲ＲＬ（ＲＬ１，ＲＬ２，ＲＬ３等）の設定は、例えばフレームナンバの指定（フレームのタイムコードの指定）として行ってもよいし、バファリングしている内蔵メモリ２５のアドレス範囲での指定として行ってもよい。
或いは、フレームに対応してタグを付加するようにしてもよい。
The setting of the recording range RL (RL1, RL2, RL3, etc.) may be performed, for example, by specifying the frame number (specifying the time code of the frame), or by specifying the address range of the
Alternatively, a tag may be added corresponding to the frame.
図８の例では、バファリングはユーザによってＨＦＲ撮像の終了の操作が行われる時点ｔ５まで継続するようにしている。
例えば第２ステートＳＴ２とされた機会が複数回発生することもあり得るため、一旦第２ステートＳＴ２を検出し、さらに記録範囲ＲＬとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろん記録範囲ＲＬとしての最終フレームまでバファリングを完了した時点でバファリングを終了するという処理方式も考えられる。
In the example of FIG. 8, the buffering continues until time t5 when the user performs an operation to end the HFR imaging.
For example, since the second state ST2 may occur multiple times, the buffering continues even after the second state ST2 is once detected and buffering is completed up to the final frame of the recording range RL. do it. However, of course, a processing method is also conceivable in which the buffering is terminated when the buffering is completed up to the last frame as the recording range RL.
第１ステートＳＴ１や第２ステートＳＴ２の判定のトリガについて各種例を説明する。
撮像環境としての第１ステートＳＴ１や第２ステートＳＴ２は、例えば撮像装置１０や遠隔制御装置５０を装着したユーザの状況である。例えばスノーボードやモータバイクで発進する状態を第１ステートＳＴ１、ある地点でジャンプする状態が第２ステートＳＴ２などとする。
少なくとも発進時は、ユーザは撮像に関する操作を行うことができる。例えば発進直前にタッピング操作を行うことなどは可能なため、これを第１ステートＳＴ１のトリガとしてもよい。しかし第２ステートＳＴ２（ジャンプに至った状態）では操作は困難である。そこで少なくとも第２ステートＳＴ２の検知のためのトリガは、ユーザの意識的な操作ではないものとすることが望ましい。もちろん発進した状態（第１ステートＳＴ１）を振動等により検知してもよい。
Various examples of triggers for determination of the first state ST1 and the second state ST2 will be described.
The first state ST1 and the second state ST2 as imaging environments are situations of the user wearing the
At least when the vehicle starts moving, the user can perform operations related to imaging. For example, since it is possible to perform a tapping operation just before starting, this may be used as a trigger for the first state ST1. However, the operation is difficult in the second state ST2 (the state of jumping). Therefore, it is desirable that at least the trigger for detecting the second state ST2 should not be a user's intentional operation. Of course, the starting state (first state ST1) may be detected by vibration or the like.
図１０では、第１ステートＳＴ１や第２ステートＳＴ２の検知の例を示している。
図１０Ａは、予め登録した振動パタンの検出をトリガとする例である。
コントローラ３０は、センサ部１４におけるジャイロセンサや加速度センサの検出信号を検知する（ＰＨ１）。例えば５回のノッキングについての振動パタンが登録されているとするときに、検出信号として、５回の振動に応じた波形が得られたとする。
この検出信号についてＡＤ（Analog to Digital）変換し（ＰＨ２）、さらにコアリング（ローパスフィルタ処理）や、閾値判定による２値パルス化処理等を行う（ＰＨ３）。そして得られた２値パルスの波形を登録された各種パタンと比較照合する（ＰＨ４）。例えば所定時間ＴＲＧ内のパルス発生数やパルス間隔を比較し、類似しているパタンが存在するか否かを判定する。そして類似しているパタンが存在していることをステート検出のトリガとする。
例えばユーザが意識的に５回タッピングする動作を第１ステートＳＴ１検出のトリガと判定することが考えられる。
或いはアクティビティ開始時の特有の振動パタンを第１ステートＳＴ１検出のトリガとしたり、アクティビティの過程の特有の振動パタンを第２ステートＳＴ２検出のトリガとすることが考えられる。
FIG. 10 shows an example of detection of the first state ST1 and the second state ST2.
FIG. 10A shows an example in which detection of a pre-registered vibration pattern is used as a trigger.
The
This detection signal is subjected to AD (Analog to Digital) conversion (PH2), and further subjected to coring (low-pass filter processing), binary pulsing processing by threshold determination, etc. (PH3). Then, the obtained binary pulse waveform is compared with various registered patterns (PH4). For example, the number of pulse occurrences and pulse intervals within a predetermined time TRG are compared to determine whether or not a similar pattern exists. The presence of similar patterns is used as a trigger for state detection.
For example, it is conceivable that the action of the user intentionally tapping five times is determined as the trigger for detecting the first state ST1.
Alternatively, it is conceivable to use a peculiar vibration pattern at the start of the activity as a trigger for detecting the first state ST1, or use a peculiar vibration pattern in the course of the activity as a trigger for detecting the second state ST2.
図１０Ｂは、予め登録した音声パタンの検出をトリガとする例である。
コントローラ３０は音声検出部１７としてのマイクロホンからの音声信号を入力する（ＰＨ１１）。そして当該音声信号をＡＤ変換し（ＰＨ１２）、デジタルデータ化した状態で音声認識処理を行う（ＰＨ１３）。そして音声認識処理でキーワード抽出を行い、抽出したキーワードが予め登録した音声パタンとマッチングして、一致（又は類似）しているか否かを判定する（ＰＨ１４）。一致又は類似する音声パタンが存在することをステート検出のトリガとする。
例えば「Ｌｅｔ’ｓ Ｇｏ」等のユーザが発声した際の音声パタンを第１ステートＳＴ１のトリガと判定することが考えられる。
またアクティビティ開始時の特有の音声パタンを第１ステートＳＴ１検出のトリガとしたり、アクティビティの過程の特有の音声（ユーザのかけ声、ジャンプ等の特定の状態で得られる周囲音声、歓声等）を第２ステートＳＴ２検出のトリガとすることが考えられる。
FIG. 10B is an example in which detection of a pre-registered voice pattern is used as a trigger.
The
For example, it is conceivable to determine a voice pattern when the user utters "Let's Go" as a trigger for the first state ST1.
Also, the unique voice pattern at the start of the activity is used as a trigger for detecting the first state ST1, and the unique voice in the process of the activity (user shout, ambient voice obtained in a specific state such as jumping, cheers, etc.) is used as the second state. It is conceivable to use it as a trigger for state ST2 detection.
図１０Ｃは、予め登録したジェスチャの検出をトリガとする例である。
例えばコントローラ３０は、センサ部１４におけるジャイロセンサや加速度センサの検出信号を検知する（ＰＨ２１）。この検出信号についてＡＤ変換し（ＰＨ２２）、デジタルデータ化した状態でジェスチャ解析を行う（ＰＨ２３）。即ち、ジェスチャに伴って生ずる振動のパタンを解析する。そして予め登録してある各種ジェスチャに応じた振動パタンとマッチングして、一致（又は類似）しているパタンが存在するか否かを判定する（ＰＨ２４）。一致又は類似するパタンが存在することをステート検出のトリガとする。
また、画像からジェスチャを検知してもよい。コントローラ３０はイメージャ１２で撮像されデジタル信号処理部２０で処理される各フレームデータを取り込む（ＰＨ３１）。そして各フレームデータから被写体となっているジェスチャを解析する（ＰＨ３２）。そして解析したジェスチャのパタンを、予め登録してある各種ジェスチャパタンとマッチングして、一致（又は類似）しているパタンが存在するか否かを判定する（ＰＨ３３）。一致又は類似するパタンが存在することをステート検出のトリガとする。
例えばユーザが撮像装置１０の被写体として映り込むようにして行った手や腕の特定の動作等を第１ステートＳＴ１検出のトリガとすることが考えられる。またアクティビティ開始時の特有のジェスチャ（例えばスタートのポーズなど）を第１ステートＳＴ１検出のトリガとしたり、アクティビティの過程の特有のジェスチャ（ジャンプ姿勢等）を第２ステートＳＴ２検出のトリガとすることが考えられる。
FIG. 10C is an example in which the detection of a pre-registered gesture is used as a trigger.
For example, the
Also, a gesture may be detected from an image. The
For example, it is conceivable that a specific action of a hand or arm performed by the user so as to be reflected as a subject of the
以上は一例である。第１ステートＳＴ１や第２ステートＳＴ２としての判定のトリガは、他にも考えられる。上記も含めて各種例示すると、撮像装置１０或いは遠隔制御装置５０に加わる事象として検知できるトリガとしては、
・所定パタンの振動の検知
・所定パタンの音（音声）の検知
・所定パタンのジェスチャの検知
・所定領域内への進入の検知
・遠隔制御装置５０とのＷＩＦＩ等の無線接続の切断の検知
等が考えられる。
所定領域内への進入とは、撮像装置１０又は遠隔制御装置５０を装着するユーザなどが或るエリアに進入したことを検知して、第１又は第２ステート検出を行うことである。例えばスキー、レース等で特定の場所の走行中であることを第２ステートＳＴ２とするなどが想定される。
遠隔制御装置５０とのＷＩＦＩ等の無線接続の切断の検知とは、撮像装置１０と遠隔制御装置５０との通信切断により、状況が変化したことを検知するものである。無線通信が切断するのは、撮像装置１０と遠隔制御装置５０との距離が離れた状況である。このような状況を或るステートとする。
The above is just an example. Other triggers for determination as the first state ST1 and the second state ST2 are conceivable. To give various examples including the above, as a trigger that can be detected as an event applied to the
・Detection of vibration in a predetermined pattern ・Detection of sound (voice) in a predetermined pattern ・Detection of gesture in a predetermined pattern ・Detection of entry into a predetermined area ・Detection of disconnection of wireless connection such as WIFI with the
Entry into a predetermined area means detecting that a user or the like wearing the
The detection of disconnection of the wireless connection such as WIFI with the
また、撮像装置１０が撮像しているシーン（被写体）の状態によるトリガとして
・所定パタンのオートアイリス制御用検波値変化の検知
・所定パタンのオートホワイトバランス制御用検波値の変動検知
・所定パタンの画面内動きベクトル（グローバルベクトル）の変動検知
・所定パタンのジェスチャ検知
などが考えられる。
アイリス状態、ホワイトバランス状態の制御値の変化によっては、被写体の大きな変化を検知することができる。例えばアクティビティ中のジャンプによって被写体が地上の周囲風景から空一面に切り替わるような状態である。
また画面内のグローバルベクトルの変動とは、被写体の全体的な動きを表すため、グローバルベクトルを監視することで被写体の大きな変化を生じたことが検知できる。
Triggers based on the state of the scene (subject) being imaged by the
Depending on changes in the control values of the iris state and white balance state, it is possible to detect a large change in the subject. For example, a jump during an activity causes the subject to switch from the surrounding scenery on the ground to the entire sky.
In addition, since the fluctuation of the global vector within the screen represents the overall movement of the subject, it is possible to detect that the subject has undergone a large change by monitoring the global vector.
図１１でステート判定の具体例を説明する。
図１１Ａはセンサ部１４による検出信号に基づく検波値の推移を示している。また図１１Ｂは検波値を微分及びコアリングした信号値ＳＪ、図１１Ｃは信号値ＳＪに基づくカウント制御フラグＣＴＦ、図１１Ｄはステート判定のためのカウンタのカウント値ＣＪを示している。
閾値範囲ｓｊＴＨは信号値ＳＪについての安定／変動の判定のための閾値範囲である。
カウント制御フラグＣＴＦは、信号値ＳＪが閾値範囲ｓｊＴＨの範囲内、つまり安定しているとする範囲内のときに“１”、閾値範囲ｓｊＴＨを越えた場合、つまり大きく変動しているときに“０”とするフラグである。
カウンタ値ＣＪは、カウント制御フラグＣＴＦが“０”のときにカウントアップされ、カウント制御フラグＣＴＦが“１”のときにリセットされるカウンタのカウント値である。
A specific example of state determination will be described with reference to FIG.
FIG. 11A shows the transition of the detection value based on the detection signal by the
The threshold range sjTH is the threshold range for determination of stability/variation for the signal value SJ.
The count control flag CTF is set to "1" when the signal value SJ is within the threshold range sjTH, that is, within the stable range, and is set to "1" when it exceeds the threshold range sjTH, that is, when it fluctuates greatly. 0”.
The counter value CJ is a count value of a counter which is incremented when the count control flag CTF is "0" and reset when the count control flag CTF is "1".
図１１Ｅは第１ステート判定タイミングを示している。このタイミングはＨＦＲ撮像及びバファリングを開始するタイミングとなる。
図１１Ｆは第２ステート判定タイミングを示している。これはバファリングしたフレームデータのうちの記録範囲の設定及び記録処理が可能となるタイミングを示したものである。
FIG. 11E shows the first state determination timing. This timing is the timing to start HFR imaging and buffering.
FIG. 11F shows the second state determination timing. This indicates the timing at which setting of the recording range and recording processing of the buffered frame data are possible.
ここではモータバイクのオフロード走行を行うユーザが撮像装置１０又は遠隔制御装置５０を装着しており、コントローラ３０（又はコントローラ６０）が振動の検出信号によりステート判断を行う例で説明する。
時点ｔ０において撮像装置１０（或いはさらに遠隔制御装置５０）が電源オンとされたとする。コントローラ３０にとっては時点ｔ０からセンサ部１４の検出信号を取り込んで検波値を監視可能となる。
時点ｔ１に、ユーザのタッピング操作パタンが検出されたり、バイク発車時の振動パタンが検出されたとする。コントローラ３０はこれにより第１ステートＳＴ１になったと判断し、ＨＦＲ撮像及びバファリングを開始させる。
Here, an example will be described in which a user riding a motorcycle off-road wears the
Assume that the imaging device 10 (or the remote control device 50) is powered on at time t0. From time t0, the
Assume that the user's tapping operation pattern or the vibration pattern at the time of starting the motorcycle is detected at time t1. The
時点ｔ１以降は、コントローラ６０は第２ステートＳＴ２に至ったか否かの判定を行う。この判定は、カウント値ＣＪがカウント閾値ｒＴＨを越えたことを条件とするものとする（換言すればＣＪ＞ｒＴＨをトリガとして第２ステートＳＴ２の判定を行う）。
振動の検波値としてはバイク走行時の振動に応じて大きな変動が観測される。このためカウント値ＣＪはリセットが繰り返され、閾値ｒＴＨに達しない状態が続く。
ある時点ｔｊでバイクがジャンプしたとする。空中にある間、振動の検波値としては、ある値に張り付くような状態が観測される。そして検波値の変動がほとんど無くなることから微分値の変化が小さくなり、信号値ＳＪが安定する。これによってカウント値ＣＪのリセットがある程度の時間行われず、時点ｔ２でカウント値ＣＪが閾値ｒＴＨを越えたとする。
コントローラ３０は、この時点ｔ２において第１ステートＳＴ１から第２ステートＳＴ２に至ったと判定する。そしてこのタイミング以降に第２モードの処理を指示する。具体的には、例えば図８Ｂのように時点ｔ２で一定時間ＴＬの記録範囲ＲＬ１を設定する。図１１では、時点ｔｊから時点ｔ４までの一定時間ＴＬが記録範囲とされた例を示している。そしてコントローラ３０はその後所定の時点でデジタル信号処理部２０にＨＦＲ記録処理を開始させる。
バイクが着地した時点ｔ４以降では、再び大きな振動が加わることで信号ＳＪの変化が大きくなり、カウント値ＣＪはリセットが繰り返される状態となる。
After time t1, the
As for the vibration detection value, a large fluctuation is observed according to the vibration during riding on the motorcycle. Therefore, the count value CJ is repeatedly reset and continues to fail to reach the threshold value rTH.
Suppose the bike jumps at some point in time tj. While in the air, the vibration detection value is observed to stick to a certain value. Since there is almost no change in the detected value, the change in the differential value is small, and the signal value SJ is stabilized. As a result, the count value CJ is not reset for a certain amount of time, and the count value CJ exceeds the threshold value rTH at time t2.
The
After time t4 when the motorcycle lands on the ground, a large vibration is applied again, and the change in the signal SJ increases, and the count value CJ is repeatedly reset.
例えばこのような処理としてコントローラ３０がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図１２、図１３、図１４、図１５で説明する。
図１２はコントローラ３０の撮像制御装置１としての機能（状態検出部１ａ及びモード処理指示部１ｂ）による全体処理を示している。
コントローラ３０は、この図１２の処理をフレームタイミング毎に繰り返す。
For example, processing examples in which the
FIG. 12 shows the overall processing by the functions of the
The
コントローラ３０は、ステップＳ１０１で本機能（撮像制御装置１としての機能）がオンであるか否かを確認する。状態検出部１ａ及びモード処理指示部１ｂによる本機能は、例えばユーザが所定の操作により機能オン／オフを選択できるものとする。
機能オフとされている期間は、コントローラ３０は常にステップＳ１０２の処理のみを行って図１２の１回の処理を終える。
ステップＳ１０２では、ＨＦＲ撮像指示フラグＦｂのオフ（“０”）、ＨＦＲ記録指示フラグＦｒをオフ（“０”）、第１ステート検出フラグＦ１のオフ（“０”）、第２ステート検出フラグＦ２のオフ（“０”）を行う。
ＨＦＲ撮像指示フラグＦｂは、第１ステート検出に伴った第１モードの撮像処理動作の指示が可能な状態（もしくは指示すべき状態）を示すフラグである。コントローラ３０は、ＨＦＲ撮像指示フラグＦｂがオン（“１”）となることに応じて第１モード動作の指示制御、具体的にはＨＦＲでの撮像及びバファリングの指示を行う。
ＨＦＲ記録指示フラグＦｒは、第２ステート検出に伴った第２モードの撮像処理動作の指示が可能な状態（もしくは指示すべき状態）を示すフラグである。コントローラ３０は、ＨＦＲ記録指示フラグＦｒがオン（“１”）となることに応じて所定のタイミングで第２モード動作の指示制御、具体的にはＨＦＲ撮像データの記録範囲の設定及び記録処理の指示を行う。
第１ステート検出フラグＦ１は、第１ステートＳＴ１の検出状態を示すフラグであり、第１ステート検出に応じてオン（“１”）とされる。
第２ステート検出フラグＦ２は、第２ステートＳＴ２の検出状態を示すフラグであり、第２ステート検出に応じてオン（“１”）とされる。
In step S101, the
During the period in which the function is turned off, the
In step S102, the HFR imaging instruction flag Fb is turned off (“0”), the HFR recording instruction flag Fr is turned off (“0”), the first state detection flag F1 is turned off (“0”), and the second state detection flag F2 is turned off (“0”). is turned off ("0").
The HFR imaging instruction flag Fb is a flag indicating a state in which it is possible (or a state in which an instruction should be given) to perform an imaging processing operation in the first mode following detection of the first state. When the HFR imaging instruction flag Fb is turned on (“1”), the
The HFR recording instruction flag Fr is a flag indicating a state in which it is possible (or a state in which an instruction should be given) for the imaging processing operation in the second mode following the detection of the second state. When the HFR recording instruction flag Fr is turned on (“1”), the
The first state detection flag F1 is a flag indicating the detection state of the first state ST1, and is turned on (“1”) in response to detection of the first state.
The second state detection flag F2 is a flag indicating the detection state of the second state ST2, and is turned on (“1”) in response to detection of the second state.
撮像制御装置１としての機能オンが選択されているときは、コントローラ３０はステップＳ１０３に進み、第１ステートＳＴ１が検出済みであるか否かを確認する。即ち第１ステート検出フラグＦ１＝１であるか否かを確認する。
第１ステート検出フラグＦ１＝０であって第１ステート未検出の状態であれば、コントローラ３０はステップＳ１０４に進み、第１ステート検出処理を行う。例えば図１１の時点ｔ０～ｔ１は、このステップＳ１０４の処理を行うことになる。
When the function ON as the
If the first state detection flag F1=0 and the first state has not been detected, the
第１ステート検出処理の例を図１３に示す。
コントローラ３０はセンサ部１４の検出信号や音声検出部１７からの入力音声信号、或いはイメージャ１２による撮像画像データＤＴを対象に第１ステート検出処理を行う。一例として図１３では、図１０Ａで説明したセンサ部１４の検出信号を対象とする例を示している。
コントローラ３０はまずステップＳ２０１で検波値を取得する。そしてステップＳ２０２で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップＳ２０３で微小振幅カットのためのコアリング処理を行い、ステップＳ２０４で閾値を用いた判定を行う。そしてコントローラ３０はステップＳ２０５で、以上の処理で得られたパルスについて、所定時間内のパルスパタン（パルス発生数やパルス間隔）を、予め登録されているパルスパタンと比較する。
この比較の結果として、コントローラ３０は、第１ステート検出フラグＦ１＝０であって、かつ事前登録されているパタンと一致するパルスパタンが検出されたという条件が満たされなかったら、ステップＳ２０６からＳ２０９に進み、第１ステート検出フラグＦ１＝０の状態を維持する。
上記の条件が満たされた場合は、コントローラ３０は、ステップＳ２０６からＳ２０７に進み、第１ステート検出フラグＦ１＝１とする。つまり第１ステートＳＴ１としてのトリガが検出されたとする。
FIG. 13 shows an example of the first state detection process.
The
The
As a result of this comparison, if the conditions that the first state detection flag F1=0 and that a pulse pattern matching a pre-registered pattern is detected are not satisfied, the
If the above conditions are satisfied, the
以上の第１ステート検出処理によって第１ステートＳＴ１が検出され、第１ステート検出フラグＦ１＝１となった後の図１２の処理では、コントローラ３０はステップＳ１０３からＳ１０５に進む。
この場合、さらにコントローラ３０はＨＦＲ撮像指示フラグＦｂ＝１とする。これに伴ってコントローラ３０は、第１モードの指示、即ちイメージャ１２でＨＦＲ撮像の開始及びデジタル信号処理部２０でのバファリング開始の指示を行う。図１１では時点ｔ１以降の状態となる。
In the process of FIG. 12 after the first state ST1 is detected by the above first state detection process and the first state detection flag F1 is set to 1, the
In this case, the
そしてこの期間、コントローラ３０はステップＳ１０６で第２ステート検出処理を行う。
第２ステート検出処理の例を図１４に示す。ここでは図１１で説明した動作に対応する処理例としている。
コントローラ３０はまずステップＳ３０１でセンサ部１４からの検出信号の検波値を取得する。そしてステップＳ３０２で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップＳ３０３で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図１１で述べた信号値ＳＪとなる
コントローラ３０はステップＳ３０４で信号値ＳＪが閾値範囲ｓｊＴＨ以内であるか否かを確認する。そして信号値ＳＪが閾値範囲ｓｊＴＨ内であればステップＳ３０５でカウント制御フラグＣＴＦ＝１とし、信号値ＳＪが閾値範囲ｓｊＴＨ内でなければステップＳ３０６でカウント制御フラグＣＴＦ＝０とする。
During this period, the
FIG. 14 shows an example of the second state detection process. Here, a processing example corresponding to the operation described with reference to FIG. 11 is used.
The
続いてコントローラ３０はステップＳ３０７で、カウント制御フラグＣＴＦに応じて処理を分岐する。カウント制御フラグＣＴＦ＝０のときは、ステップＳ３０８に進んでカウント値ＣＪをカウントアップする。一方、カウント制御フラグＣＴＦ＝１のときは、ステップＳ３０９に進んでカウント値ＣＪをリセットする。
なおステップＳ３０９では、カウント値ＣＪのカウントダウンを行うという処理例も考えられる。
Subsequently, in step S307, the
Note that in step S309, a processing example of counting down the count value CJ is also conceivable.
次にコントローラ３０はステップＳ３１０で、カウント値ＣＪと閾値ｒＴＨを比較する。
ＣＪ＞ｒＴＨでなければ、ステップＳ３１２において、ＨＦＲ記録指示フラグＦｒ＝０を維持するとともに、第２ステート検出フラグＦ２＝０を維持する。
この場合、図１２の処理はステップＳ１０７から１回の処理を終了することになる。
Next, in step S310, the
If CJ>rTH, in step S312, the HFR recording instruction flag Fr=0 is maintained and the second state detection flag F2=0 is maintained.
In this case, the processing of FIG. 12 ends from step S107 once.
ステップＳ３１０の段階でＣＪ＞ｒＴＨであれば、コントローラ３０はステップＳ３１１において、ＨＦＲ記録指示フラグＦｒ＝１とし、また第２ステート検出フラグＦ２＝１とする。
ＨＦＲ記録指示フラグＦｒ＝１に応じてコントローラ３０は第２モードの指示を所定のタイミングで行う。例えばこの時点で、図８Ｂ、図８Ｃ、図８ＤのようにＨＦＲでの記録範囲ＲＬ（ＲＬ１，ＲＬ２，ＲＬ３のいずれか）を設定する。
また図８Ｅ、図８Ｆ、図８Ｇのいずれかのタイミングで、バファリングされた記録範囲のフレームについてのＨＦＲ記録処理、具体的には記録用のエンコード処理や記録部１５への転送をデジタル信号処理部２０に実行させる制御を行う。（但し図１２の処理例では記録範囲ＲＬのバファリング完了後にステップＳ１０９で記録処理を指示する例としている。）
If CJ>rTH at the stage of step S310, the
The
8E, 8F, and 8G, the HFR recording process for the frames in the buffered recording range, specifically, the encoding process for recording and the transfer to the
以上のように第２ステートＳＴ２を検出した後のフレームタイミングでの図１２の処理では、第２ステート検出フラグＦ２＝１となっているため、コントローラ３０はステップＳ１０７からステップＳ１０８に進める。
ステップＳ１０８でコントローラ３０は、一定時間ＴＬの経過を確認する。この確認は、記録範囲ＲＬして設定した先頭のフレームから一定時間ＴＬ後のフレームまでのバファリングが完了したか否かを確認する処理となる。つまり記録範囲ＲＬとしての全フレームのバファリングを待機する処理である。
バファリングが完了していなければ、図１２の処理を終える。
In the process of FIG. 12 at the frame timing after detecting the second state ST2 as described above, the second state detection flag F2=1, so the
In step S108, the
If the buffering has not been completed, the process of FIG. 12 ends.
ある時点で記録範囲ＲＬのバファリングが完了したときは、コントローラ３０は図１２の処理をステップＳ１０８からＳ１０９に進め、デジタル信号処理部２０に対してＨＦＲ記録処理を指示する。つまりバファリングされた記録範囲ＲＬのフレームについて、記録用のエンコード処理及び記録部１５への転送をデジタル信号処理部２０に実行させる。これにより、第２ステート検出時点から一定時間ＴＬの期間のＨＦＲ映像が記録されることになる。
When the buffering of the recording range RL is completed at a certain time, the
当該指示の後、コントローラ３０はステップＳ１１０で第１ステート検出フラグＦ１＝０、第２ステート検出フラグＦ２＝０とする。
この場合、第１ステート検出フラグＦ１＝０に応じてＨＦＲ撮像及びバファリングを停止させればよい。
或いは、第１ステート検出フラグＦ１＝１を継続し、ＨＦＲ撮像及びバファリングも継続する例も考えられる。その場合は、再び第２ステート検出が行われ、第２ステート検出に応じてＨＦＲ記録が実行されることになる。
After the instruction, the
In this case, HFR imaging and buffering may be stopped according to the first state detection flag F1=0.
Alternatively, an example of continuing the first state detection flag F1=1 and continuing HFR imaging and buffering is also conceivable. In that case, the second state detection is performed again, and HFR recording is performed in response to the second state detection.
なお、以上の処理例では、ＨＦＲ記録指示フラグＦｒ＝１とした後に直ぐに記録処理を指示せず、バファリング完了を待機してからステップＳ１０９で記録処理を指示するようにしている。これは、例えば図８Ｂの記録範囲ＲＬ１を設定した場合に図８Ｆのタイミングで記録処理を実行させる例、或いは図８Ｃの記録範囲ＲＬ２を設定した場合に図８Ｇのタイミングで記録処理を実行させる例、さらには図８Ｄの記録範囲ＲＬ３設定した場合に図８Ｅのタイミングで記録処理を実行させる例に相当する。
これ以外に、例えば図８Ｂ又は図８Ｃのように記録範囲ＲＬ１又はＲＬ２を設定し、図８Ｅのタイミングで即座に（バファリング完了を待たずに）記録処理を開始させてもよい。その場合コントローラ３０は、図１４のステップＳ３１１でＨＦＲ記録指示フラグＦｒ＝１とした時点で、すぐにデジタル信号処理部２０に対して記録処理を指示するようにすればよい。
In the above processing example, the recording process is not instructed immediately after the HFR recording instruction flag Fr is set to 1, but the recording process is instructed in step S109 after waiting for the completion of buffering. This is an example of executing the recording process at the timing of FIG. 8F when the recording range RL1 of FIG. 8B is set, or an example of executing the recording process at the timing of FIG. 8G when the recording range RL2 of FIG. 8C is set. Furthermore, it corresponds to an example in which the recording process is executed at the timing of FIG. 8E when the recording range RL3 of FIG. 8D is set.
Alternatively, for example, the recording range RL1 or RL2 may be set as shown in FIG. 8B or 8C, and the recording process may be started immediately (without waiting for completion of buffering) at the timing shown in FIG. 8E. In this case, the
ところで第２ステート検出処理としての図１４の例は、振動による判定のみの例で示したが、上述したように多様な検出態様で第２ステート検出を行うことができる。そこで複数の条件で第２ステート検出を行うことも考えられる。図１５に複数の要素で検出を行う第２ステート検出処理の例を示す。 By the way, the example of FIG. 14 as the second state detection processing is shown as an example of determination only by vibration, but the second state detection can be performed in various detection modes as described above. Therefore, it is conceivable to detect the second state under a plurality of conditions. FIG. 15 shows an example of the second state detection processing that performs detection using a plurality of elements.
コントローラ３０は例えばセンサ部１４のジャイロセンサの出力の取得（Ｓ３２０－１）、カメラ制御用検波処理部２４からのオートアイリス検波値の取得（Ｓ３２０－２）、カメラ制御用検波処理部２４からのオートホワイトバランス検波値の取得（Ｓ３２０－３）等を並行して行う。
そして各検波値に対して処理Ｘを行う。処理Ｘとは図１４に示したステップＳ３０２～Ｓ３０９の処理（もしくはそれと同等の処理）である。
例えばジャイロセンサの検出信号について検波値について処理Ｘ（ステップＳ３０２～Ｓ３０９）としての処理を行い、カウント値ＣＪ１を得る（Ｓ３２１－１）。
またオートアイリス検波値や、オートホワイトバランス検波値についても処理Ｘと同等の処理を行い、カウント値ＣＪ２，ＣＪ３を得る（Ｓ３２１－２，Ｓ３２１－３）。
For example, the
Then, processing X is performed on each detected value. Processing X is the processing of steps S302 to S309 shown in FIG. 14 (or processing equivalent thereto).
For example, the detection value of the detection signal of the gyro sensor is processed as processing X (steps S302 to S309) to obtain a count value CJ1 (S321-1).
Also, the auto iris detection value and the auto white balance detection value are processed in the same manner as the processing X to obtain count values CJ2 and CJ3 (S321-2, S321-3).
そしてステップＳ３２２でコントローラ３０は、それぞれのカウント値ＣＪ１，ＣＪ２，ＣＪ３を、それぞれ対応する閾値ｒＴＨ１，ｒＴＨ２，ｒＴＨ３と比較する。閾値ｒＴＨ１，ｒＴＨ２，ｒＴＨ３は、それぞれ各検出要素について、第２ステートＳＴ２としての特徴に応じて設定された値である。
コントローラ３０は、例えばステップＳ３２２において、Ｃｊ１＞ｒＴＨ１、Ｃｊ２＞ｒＴＨ２、Ｃｊ３＞ｒＴＨ３の条件が全て揃えば、第２ステートと判断する（ＡＮＤ条件）。
或いは、いずれかが満たされれば第２ステートＳＴ２に至ったと判断してもよい（ＯＲ条件）。
さらには、全部でなくとも、一部（例えば３つのうち２つ）が満たされれば、第２ステートＳＴ２と判断することも考えられる。
Then, in step S322, the
For example, in step S322, the
Alternatively, it may be determined that the state has reached the second state ST2 if either one of them is satisfied (OR condition).
Furthermore, it is conceivable to determine the second state ST2 if not all but some (for example, two out of three) are satisfied.
コントローラ３０は、ステップＳ３２２の条件が満たされないときはステップＳ３２４でＨＦＲ記録指示フラグＦｒ＝０を維持するとともに、第２ステート検出フラグＦ２＝０を維持する。
一方、ステップＳ３２２の条件が満たされたら、コントローラ３０はステップＳ３２３において、ＨＦＲ記録指示フラグＦｒ＝１とし、また第２ステート検出フラグＦ２＝１とする。
このように複数の検出要素を用いて第２ステートＳＴ２の検出を行うようにすることで、多様な状況に対応して第２ステート検出を行うことができる。
When the condition of step S322 is not satisfied, the
On the other hand, if the condition of step S322 is satisfied, the
By detecting the second state ST2 using a plurality of detection elements in this manner, the second state detection can be performed in response to various situations.
図１５では３つの要素（振動、露光状態、色状態）を例示したが、もちろん上述した他の要素、例えば音、位置、動きベクトルなども加えてもよい。より多数の検出要素を用いることで、第２ステート検出の精度や多様性を調整できる。
例えばアンド条件により、第２ステート検出精度を向上できる。
またオア条件、複数条件の一部充足条件により、第２ステートＳＴ２としての多様な状態、状況に対応できる。
さらに、アクティビティの種別、或いは第２ステートＳＴ２としたい状態の選択に応じて、第２ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーン、フィギュアスケートの回転シーン、剣道の打ち込みのシーン、野球、テニス等の球技の打撃シーン、サッカーのキーパー視線のシュートボール接近シーンなど、アクティビティ種別やシーン種別によって、第２ステートＳＴ２としたい状況が異なる。そこで、第２ステートＳＴ２としたいシーンに合わせて、第２ステート検出条件を切り換えることができるようにするとよい。
Although three elements (vibration, exposure state, color state) are illustrated in FIG. 15, of course, the other elements described above, such as sound, position, motion vector, etc., may also be added. By using a larger number of detection elements, the precision and variety of second state detection can be adjusted.
For example, the AND condition can improve the second state detection accuracy.
Moreover, various states and situations as the second state ST2 can be handled by the OR condition and the partial satisfaction condition of a plurality of conditions.
Furthermore, the second state detection condition may be switched according to the type of activity or the selection of the state desired to be the second state ST2. For example, jump scenes such as motorcycles and snowboards, spinning scenes in figure skating, scenes of hitting kendo, hitting scenes in ball games such as baseball and tennis, and shooting ball approach scenes from the goalkeeper's line of sight in soccer. The situation in which the 2-state ST2 is desired is different. Therefore, it is preferable to switch the second state detection condition according to the scene desired to be the second state ST2.
また第１ステートＳＴ１の検出についても、ユーザ操作に応じたトリガだけでなく、アクティビティに特有の要素（振動パタンや音声等）トリガを用いてもよいし、複数の要素により判定してもよい。 In detecting the first state ST1, not only a trigger corresponding to a user's operation, but also an activity-specific element (vibration pattern, sound, etc.) trigger may be used, or a plurality of elements may be used for determination.
以上、第２の実施の形態によれば、アクションカメラとしての撮像装置１０や遠隔制御装置５０の使用において、通常より備わっているデバイス群の利用のみで、追加的なハードウエアコスト無しに、ユーザ自身がＨＦＲ記録トリガ用ボタンを押下しなくても、あらかじめ定められた条件を検知した場合に自動的にＨＦＲ記録開始・停止を行う撮像装置１０を提供できる。これにより、アクションカメラならではの記録操作性（特にＨＦＲ撮像）にまつわるユーザの不満を解消し、かつユーザにとって望ましい動画撮像が可能となる。
As described above, according to the second embodiment, when using the
＜４．第３の実施の形態＞
第３の実施の形態の動作を説明する。図１６は第３の実施の形態で撮像装置１０が行う動作を模式的に示している。これは第２ステートＳＴ２としての期間にＨＦＲ撮像記録を行うまでは第２の実施の形態の図８と同様であるが、第３ステートＳＴ３に至ったことを検出することに応じて、ＨＦＲ記録を終了させる（記録範囲ＲＬの終点を決める）例である。
<4. Third Embodiment>
The operation of the third embodiment will be explained. FIG. 16 schematically shows operations performed by the
時点ｔ１でコントローラ３０が第１ステートＳＴ１としてのトリガを検出したとする。この場合に、撮像装置１０では、撮像画像データＤＴとしてＨＦＲでのフレーム取り込み及びバファリングを開始する（図１６Ａ）。そして第１ステートＳＴ１の検出後は、コントローラ３０は第２ステートＳＴ２としてのトリガを監視する。
時点ｔ２においてコントローラ３０は第２ステートＳＴ２としてのトリガを検知したとする。コントローラ３０は、これに応じて、ＨＦＲ撮像の記録範囲ＲＬの先頭フレームを設定する。この例ではまだ記録範囲ＲＬとしての最終フレームは設定されない。
例えばコントローラ３０は、図１６Ｂのように、第２ステートＳＴ２を検知した時点ｔ２において得られたフレームを、ＨＦＲ記録する記録範囲ＲＬ４の先頭フレームとする。
或いは、コントローラ３０は、図１６Ｃのように、第２ステートＳＴ２を検知した時点ｔ２において得られたフレームより所定時間前に得られたフレームを、ＨＦＲ記録する記録範囲ＲＬ５の先頭フレームとする。
Assume that the
Assume that the
For example, as shown in FIG. 16B, the
Alternatively, as shown in FIG. 16C, the
時点ｔ２以降、コントローラ３０は第３ステートＳＴ３に至ったか否かの検出を行う。
時点ｔ３においてコントローラ３０は第３ステートＳＴ３としてのトリガを検知したとすると、コントローラ３０は、これに応じて、ＨＦＲ撮像の記録範囲ＲＬの最終フレームを設定する。
例えば時点ｔ３のタイミングで撮像されたフレームを記録範囲ＲＬ（ＲＬ４又はＲＬ５）の最終フレームとする。
After time t2, the
Assuming that the
For example, the frame imaged at the timing of time t3 is set as the last frame of the recording range RL (RL4 or RL5).
コントローラ３０は、第２ステートＳＴ２を検出した時点ｔ２以降に、デジタル信号処理部２０に対して当該記録範囲ＲＬの撮像画像データについて記録部１５での記録のための処理を指示する。
例えばコントローラ３０は、図１６Ｄのように時点ｔ２から記録処理を開始させる。
或いはコントローラ３０は、図１６Ｅのように第３ステートＳＴ３の検出により最終フレームが決まった時点ｔ３以後に、記録処理を開始させてもよい。
After the time t2 when the second state ST2 is detected, the
For example, the
Alternatively, the
図１６の例では、バファリングはユーザによってＨＦＲ撮像の終了の操作が行われる時点ｔ６まで継続するようにしている。
例えば第３ステートＳＴ３を検知した後、再び第１ステートＳＴ１，第２ステートＳＴ２と進行することもあり得るため、第３ステートＳＴ３を検出し、記録範囲ＲＬとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろんステートＳＴ３の検出時点でバファリングを終了するという処理方式も考えられる。
In the example of FIG. 16, the buffering continues until time t6 when the user performs an operation to end the HFR imaging.
For example, after detecting the third state ST3, it is possible that the state progresses to the first state ST1 and the second state ST2 again. Continue buffering afterwards. However, of course, a processing method of ending buffering at the time of detection of state ST3 is also conceivable.
なお、第１ステートＳＴ１や第２ステートＳＴ２の判定のトリガについては第１の実施の形態と同様に各種考えられる。
また第３ステートＳＴ３の検出のトリガも、同様に各種考えられるが、第３ステートＳＴ３検出のトリガとしては、バファリング容量がフルになることが加わる。
これは、バファリングを図９で説明したようにリングメモリ形態で行うため、記録範囲ＲＬとしては、最大でリングメモリ容量限度のフレーム数とするためである。
但し、ＨＦＲ記録処理の速度とＨＦＲの値にもよるが、上書きしてもよいアドレス領域、つまりすでに記録処理を終えたフレームをバファリングしていたメモリ範囲が存在する場合は、まだバッファフルとしない（第３ステートＳＴのトリガとしない）ような処理も考えられる。
Various triggers for the determination of the first state ST1 and the second state ST2 can be considered as in the first embodiment.
Various triggers for the detection of the third state ST3 are similarly conceivable, but the trigger for the detection of the third state ST3 is that the buffering capacity becomes full.
This is because buffering is performed in the form of a ring memory as described with reference to FIG. 9, so that the maximum number of frames in the recording range RL is the ring memory capacity limit.
However, depending on the speed of HFR recording processing and the value of HFR, if there is an address area that can be overwritten, that is, if there is a memory range buffering frames that have already been recorded, the buffer may still be full. A process that does not (does not trigger the third state ST) is also conceivable.
図１７でステート判定の具体例を説明する。
図１７Ａ、図１７Ｂ、図１７Ｃ、図１７Ｄは、図１１と同様に、センサ部１４による検出信号に基づく検波値、検波値を微分及びコアリングした信号値ＳＪ、信号値ＳＪに基づくカウント制御フラグＣＴＦ、ステート判定のためのカウンタのカウント値ＣＪを示している。
また図１７Ｅは第１ステート判定タイミング、図１７Ｆは第２ステート判定タイミング、図１７Ｇは第３ステート判定タイミングを示している。図１７では図１１と同様にモータ
イクのオフロード走行のようなシーンを想定する。
A specific example of state determination will be described with reference to FIG.
Similar to FIG. 11, FIGS. 17A, 17B, 17C, and 17D show a detection value based on a detection signal by the
Also, FIG. 17E shows the first state determination timing, FIG. 17F shows the second state determination timing, and FIG. 17G shows the third state determination timing. In FIG. 17, as in FIG. 11, a scene such as off-road driving of a motorbike is assumed.
時点ｔ０～ｔ２は図１１と同様である、
第１ステートＳＴ１となった時点ｔ１以降に第２ステートＳＴ２に至ったか否かの判定処理を行い、時点ｔ２でカウント値ＣＪが閾値ｒＴＨに達したとする。
コントローラ３０は、この時点ｔ２において第１ステートＳＴ１から第２ステートＳＴ２に至ったと判定する。そして例えば図１６Ｃのように記録範囲ＲＬ４を設定する。図１１では、時点ｔ２より所定時間ＴＬ２前の時点ｔｘのフレームを開始フレームとする。そしてコントローラ３０はその後所定の時点でデジタル信号処理部２０にＨＦＲ記録処理を開始させる。
バイクが着地した時点ｔ３以降では、再び大きな振動が加わることで信号ＳＪの変化が大きくなり、カウント値ＣＪはリセットされる。
コントローラ３０は、このようにカウント値ＣＪがリセットされ、ＣＪ＜ｒＴＨとなることをトリガとして、第３ステートＳＴ３に至ったと判定する。そしてコントローラ３０は、この時点ｔ３のフレームを記録範囲ＲＬの最終フレームと設定する。
Time points t0-t2 are the same as in FIG.
It is assumed that after the time t1 when the first state ST1 is reached, it is determined whether or not the state has reached the second state ST2, and the count value CJ reaches the threshold value rTH at the time t2.
The
After the time t3 when the motorcycle lands, a large vibration is applied again and the change in the signal SJ becomes large, and the count value CJ is reset.
The
例えばこのような処理としてコントローラ３０がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図１８、図１９で説明する。
図１８はコントローラ３０の撮像制御装置１としての機能（状態検出部１ａ及びモード処理指示部１ｂ）による全体処理を示している。コントローラ３０は、この図１８の処理をフレームタイミング毎に繰り返す。
なお、図１２と同一の処理は同一のステップ番号を付して詳細な説明を避ける。
For example, as such processing, a processing example in which the
FIG. 18 shows the overall processing by the functions of the
The same step numbers are assigned to the same processes as in FIG. 12, and detailed description thereof is omitted.
コントローラ３０は、ステップＳ１０１で本機能（撮像制御装置１としての機能）がオンであるか否かを確認する。機能オフとされている期間は、コントローラ３０は常にステップＳ１０２Ａの処理のみを行って図１２の１回の処理を終える。
ステップＳ１０２Ａでは、ＨＦＲ撮像指示フラグＦｂのオフ（“０”）、ＨＦＲ記録指示フラグＦｒをオフ（“０”）、ＨＦＲ記録終了フラグＦｅのオフ（“０”）、第１ステート検出フラグＦ１のオフ（“０”）、第２ステート検出フラグＦ２のオフ（“０”）、第３ステート検出フラグＦ３のオフ（“０”）を行う。
ＨＦＲ記録終了フラグＦｅはＨＦＲ記録範囲ＲＬの終了フレームを指定するタイミングとなったことを示すフラグである。
第３ステート検出フラグＦ３は、第３ステートＳＴ３の検出状態を示すフラグであり、第３ステート検出状態においてオン（“１”）とされる。
In step S101, the
In step S102A, the HFR imaging instruction flag Fb is turned off (“0”), the HFR recording instruction flag Fr is turned off (“0”), the HFR recording end flag Fe is turned off (“0”), and the first state detection flag F1 is turned off (“0”). It is turned off ("0"), the second state detection flag F2 is turned off ("0"), and the third state detection flag F3 is turned off ("0").
The HFR recording end flag Fe is a flag indicating that it is time to specify the end frame of the HFR recording range RL.
The third state detection flag F3 is a flag indicating the detection state of the third state ST3, and is turned on (“1”) in the third state detection state.
撮像制御装置１としての機能オンが選択されているときは、コントローラ３０はステップＳ１０３に進み、第１ステートＳＴ１が検出済みであるか否か、即ち第１ステート検出フラグＦ１＝１であるか否かを確認する。第１ステート検出フラグＦ１＝０であれば、コントローラ３０はステップＳ１０４に進み、第１ステート検出処理（例えば図１３の処理）を行う。
When the function ON as the
ステップＳ１０４の第１ステート検出処理によって第１ステートＳＴ１が検出され、第１ステート検出フラグＦ１＝１となった後の図１８の処理では、コントローラ３０はステップＳ１０３からＳ１０５に進む。ここでコントローラ３０はＨＦＲ撮像指示フラグＦｂ＝１とし、第１モードの指示、即ちイメージャ１２でＨＦＲ撮像の開始及びデジタル信号処理部２０でのバファリング開始の指示を行う。
In the process of FIG. 18 after the first state ST1 is detected by the first state detection process of step S104 and the first state detection flag F1=1, the
そしてこの期間、コントローラ３０はステップＳ１０６で第２ステート検出処理を行う。
第２ステートＳＴ２が検出されていない期間は、コントローラ３０はステップＳ１０７から１回の処理を終える。
ステップＳ１０６で第２ステートが検出された場合は、第２ステート検出フラグＦ２＝１とされる。その場合コントローラ３０は、ステップＳ１０７からＳ１２０に進み、第３ステート検出処理を行う。
During this period, the
During the period in which the second state ST2 is not detected, the
If the second state is detected in step S106, the second state detection flag F2=1. In that case, the
このステップＳ１０６、Ｓ１０７、Ｓ１２０の部分の詳しい処理を図１９に示す。
ステップＳ１０６の第２ステート検出処理が図１９のステップＳ３０１～Ｓ３１２として行われる。この処理は図１４と同様である。従って第２ステートＳＴ２としてのトリガが検出された場合、ステップＳ３１１でＨＦＲ記録フラグＦｒ＝１、第２ステート検出フラグＦ２＝１とされる。
第２ステートＳＴ２が検出され、第２ステート検出フラグＦ２＝１となった以後は、ステップＳ１０７からＳ１２０の第３ステート検出処理に進む。
Detailed processing of steps S106, S107, and S120 is shown in FIG.
The second state detection process of step S106 is performed as steps S301 to S312 of FIG. This process is the same as in FIG. Therefore, when the trigger as the second state ST2 is detected, the HFR recording flag Fr=1 and the second state detection flag F2=1 are set in step S311.
After the second state ST2 is detected and the second state detection flag F2 is set to 1, the process advances from step S107 to the third state detection processing of step S120.
この場合、図１９に示すように、まずコントローラ３０はステップＳ３５１で、ＨＦＲ記録フラグＦｒ＝１であって、かつカウント値ＣＪ＜閾値ｒＴＨとなったか否かを確認する。つまりカウント値ＣＪが閾値ｒＴＨを越えていた状態から、リセットされて閾値ｒＴＨより小さい値になったか否かを確認する。
この条件が満たされていないときは、コントローラ３０はステップＳ３５２でバファリング容量がフル状態となっているか否かを確認する。つまり記録範囲ＲＬの先頭フレームのバファリングを行ったアドレスを上書きしなければ次のフレームがバファリングできない状態であるか否かを確認する。
バファリング容量がフルでなければ、コントローラ３０はステップＳ３５４に進み、ＨＦＲ記録終了フラグＦｅ＝０を維持し、また第３ステート検出フラグＦ３＝０を維持する。
この場合コントローラ３０は、第３ステート検出フラグＦ３＝０であるためステップＳ１２１から図１８の１回の処理を終える。
In this case, as shown in FIG. 19, first, in step S351, the
If this condition is not satisfied, the
If the buffering capacity is not full, the
In this case, since the third state detection flag F3=0, the
ステップＳ３５１でカウント値ＣＪ＜閾値ｒＴＨとなった場合、もしくはステップＳ３５２でバファリング容量フルと判断した場合に、コントローラ３０は第３ステートＳＴ３のトリガ発生と判断し、ステップＳ３５３へ進む。そしてＨＦＲ記録終了フラグＦｅ＝１、第３ステート検出フラグＦ３＝１とする。
その場合、第３ステート検出フラグＦ３＝１となることにより図１８の処理はステップＳ１２１からＳ１２２に進むことになる。
ステップＳ１２２でコントローラ３０は、記録範囲ＲＬの最終フレームを特定し、またデジタル信号処理部２０に対してＨＦＲ記録処理を指示する。つまりバファリングされた記録範囲ＲＬのフレームについて、記録用のエンコード処理及び記録部１５への転送をデジタル信号処理部２０に実行させる。これにより、第２ステート検出時点から第３ステート検出時点までの期間のＨＦＲ映像が記録されることになる。
If the count value CJ<threshold value rTH in step S351, or if it is determined that the buffering capacity is full in step S352, the
In that case, the processing in FIG. 18 proceeds from step S121 to step S122 because the third state detection flag F3=1.
In step S122, the
当該指示の後、コントローラ３０はステップＳ１２３で第１ステート検出フラグＦ１＝０、第２ステート検出フラグＦ２＝０、第３ステート検出フラグＦ３＝０とする。
この場合、第１ステート検出フラグＦ１＝０に応じてＨＦＲ撮像及びバファリングを停止させればよい。
或いは、第１ステート検出フラグＦ１＝１を継続し、ＨＦＲ撮像及びバファリングも継続する例も考えられる。その場合は、再び第２ステート検出が行われ、第２ステート検出時点のフレームから、その後の第３ステート検出時点のフレームまでのＨＦＲ記録が実行されることになる。
After the instruction, the
In this case, HFR imaging and buffering may be stopped according to the first state detection flag F1=0.
Alternatively, an example of continuing the first state detection flag F1=1 and continuing HFR imaging and buffering is also conceivable. In that case, the second state detection is performed again, and HFR recording is performed from the frame at the second state detection point to the subsequent frame at the third state detection point.
なお、第３ステートＳＴ３の検出を行ってからステップＳ１２２で記録処理を指示するのは、例えば図１６Ｂ又は図１６Ｃの記録範囲ＲＬ４又はＲＬ５について、図１６Ｅのタイミングで記録処理を実行させる例に相当する。つまり図１９のステップＳ３１１でＨＦＲ記録指示フラグＦｒ＝１とした時点で直ぐには記録処理を指示しない例である。
これ以外に、例えば記録範囲ＲＬ４又はＲＬ５について、図１６Ｄのタイミングで記録処理を開始させてもよい。つまり最終フレームの特定を待たずに記録処理を開始する。その場合コントローラ３０は、図１９のステップＳ３１１でＨＦＲ記録指示フラグＦｒ＝１とした時点で、すぐにデジタル信号処理部２０に対して記録処理を指示するようにすればよい。
Note that instructing the recording process in step S122 after detecting the third state ST3 corresponds to an example of executing the recording process at the timing of FIG. 16E for the recording range RL4 or RL5 in FIG. 16B or 16C. do. That is, this is an example in which the recording process is not instructed immediately when the HFR recording instruction flag Fr is set to 1 in step S311 of FIG.
In addition to this, for example, the recording process may be started for the recording range RL4 or RL5 at the timing shown in FIG. 16D. That is, the recording process is started without waiting for the identification of the final frame. In this case, the
なお、この第３の実施の形態も、図１５で説明したように複数の要素で第２ステート検出を行い、また第３ステートＳＴ３の検出も行うようにすることが考えられる。
さらに、アクティビティの種別、或いは第２ステート（ＨＦＲ記録）を終了させたい状態の選択に応じて、第３ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーンにおける着地の状態、フィギュアスケートの回転シーンが終了したときのパタンなどを選択できるようにする。
また、ＨＦＲ記録の終了タイミングを規定するという意味では、第３ステートＳＴ３の検出のトリガは、撮像装置１０と遠隔制御装置５０の無線通信状況を用いてもよい。即ち、ユーザがバイク等に撮像装置１０を取り付け、腕時計型の遠隔制御装置５０を装着している場合、ＷＩＦＩ等の近距離無線通信は通常継続される。ところがユーザがバイクから離れた場合は、ＷＩＦＩ通信が途絶えることになる。これはユーザにとってはもはや第２ステートＳＴ２としてＨＦＲ記録を行う状態ではないと判断できる。そこで、無線接続が解除されたことで、第３ステートＳＴ３に至ったと判断することも好適である。
また第１ステートＳＴ１の検出についても、多様なトリガ、或いは複数の要素から得られるトリガにより判定してもよい。
In this third embodiment, as described with reference to FIG. 15, it is conceivable that the second state detection is performed by a plurality of elements, and the detection of the third state ST3 is also performed.
Furthermore, the third state detection condition may be switched according to the type of activity or the selection of the state to end the second state (HFR recording). For example, it is possible to select a landing state in a jump scene of a motorcycle or a snowboard, a pattern when a rotation scene of figure skating is finished, and the like.
Further, in terms of defining the end timing of HFR recording, the wireless communication status between the
Detection of the first state ST1 may also be determined based on various triggers or triggers obtained from a plurality of factors.
以上、第３の実施の形態によっても、アクションカメラとしての撮像装置１０や遠隔制御装置５０の使用において、特定のシーン等を、その特有の動作の終了タイミングまでの期間において、ユーザ自身が操作を行わなくともＨＦＲ記録ができるようになる。
第２の実施の形態は、第２ステートＳＴ２の開始から一定時間ＴＬの期間がＨＦＲ記録されるものとしたが、その場合、アクティビティの特有のシーンが終了してからある程度ＨＦＲ記録が続いてしまうこともある。第３の実施の形態では、終了タイミングがその動作状況に応じて規定されることで、動作に適した時間長の録画が可能となる。
As described above, according to the third embodiment, when using the
In the second embodiment, HFR recording is performed for a certain period of time TL from the start of the second state ST2. Sometimes. In the third embodiment, by defining the end timing according to the operation status, recording can be performed for a length of time suitable for the operation.
＜５．第４の実施の形態＞
第４の実施の形態の動作を図２０で説明する。
これは第２ステートＳＴ２でＨＦＲ記録を行うが、第１ステートＳＴ１の期間に通常記録を行うようにした例である。ここでいう通常記録とは、ＨＦＲよりも低い一般的なフレームレートでの撮像画像データＤＴの記録処理のことである。例えば６０ｆｐｓの記録とする。
<5. Fourth Embodiment>
The operation of the fourth embodiment will be explained with reference to FIG.
This is an example in which HFR recording is performed in the second state ST2, but normal recording is performed during the period of the first state ST1. The normal recording here means recording processing of the captured image data DT at a general frame rate lower than HFR. For example, recording at 60 fps.
図２０Ａに示すように、第２，第３の実施の形態と同様に、コントローラ３０は、第１ステートＳＴ１としてのトリガを検出した時点ｔ１からＨＦＲ撮像を指示する。つまりイメージャ１２及びデジタル信号処理部２０では、撮像画像データＤＴとしてＨＦＲでのフレーム取り込み及びバファリングを開始する。ただし本例の場合コントローラ３０は、この時点ｔ１でデジタル信号処理部２０に通常記録の処理（記録用のエンコード及び記録部５への転送）も開始させる（図２０Ｂ）。
そして第１ステートＳＴ１の検出後は、コントローラ３０は第２ステートＳＴ２としてのトリガを監視する。
時点ｔ２においてコントローラ３０は第２ステートＳＴ２としてのトリガを検知したとする。コントローラ３０は、これに応じて、記録動作をＨＦＲ記録処理に切り替える指示を行う。デジタル信号処理部２０は、時点ｔ２において得られたフレーム以降は、ＨＦＲ記録として処理する。
As shown in FIG. 20A, similarly to the second and third embodiments, the
After detecting the first state ST1, the
Assume that the
ＨＦＲ記録するフレームは時点ｔ７までのフレームとする。
この時点ｔ７とは、第２の実施の形態のように、一定時間ＴＬのフレームをＨＦＲ記録するものとして設定してもよいし、第３の実施の形態のように、第３ステート検出時点としてもよい。
時点ｔ７においてコントローラ３０は、再び通常記録が行われるようにデジタル信号処理部２０を制御する。そして、その後の時点ｔ８においてＨＦＲ撮像を終了させる。通常記録の処理は、その時点ｔ８までのフレームについての記録処理を終えた時点で終了することになる。
Frames to be HFR-recorded are frames up to time t7.
This time point t7 may be set to HFR-record a frame for a certain period of time TL as in the second embodiment, or may be set as the third state detection time point as in the third embodiment. good too.
At time t7, the
この場合、記録範囲ＲＬ６として通常記録されるフレームは、時点ｔ１～ｔ２にＨＦＲ撮像されたフレームのうちで、６０ｆｐｓとなるように抽出されたフレームとなる。
また記録範囲ＲＬ７でＨＦＲ記録されるフレームは、時点ｔ２～ｔ７にＨＦＲ撮像で得られた各フレームとなる。
また記録範囲ＲＬ８として通常記録されるフレームは、時点ｔ７～ｔ８にＨＦＲ撮像されたフレームのうちで、６０ｆｐｓとなるように抽出されたフレームとなる。
In this case, the frames normally recorded as the recording range RL6 are the frames extracted at 60 fps among the frames HFR-captured from time t1 to t2.
Also, the frames HFR-recorded in the recording range RL7 are the frames obtained by HFR imaging from time t2 to t7.
Also, the frames normally recorded as the recording range RL8 are the frames extracted at 60 fps among the frames captured by HFR during the time t7 to t8.
図２１にバファリング及び記録処理の様子を模式的に示している。
図２１Ａはイメージャ１２で撮像されるフレームを、また図２１Ｂは内蔵メモリ２５にバファリングされるフレームを示している。図２１Ｃは記録処理（必要なカメラ信号処理やエンコード等）を示している。記録処理は、一定のフレームレート、例えば６０ｆｐｓでエンコードが行われる。
なお図２１に示す時点ｔ１，ｔ２，ｔ７，ｔ８は図２０に対応している。
FIG. 21 schematically shows the state of buffering and recording processing.
21A shows frames captured by the
Note that times t1, t2, t7, and t8 shown in FIG. 21 correspond to FIG.
図２０で述べたように第１ステートＳＴ１が検出された時点ｔ１からはＨＦＲ撮像が開始されるが、これにより図２１に示すように、例えば９６０ｂｐｓ等のＨＦＲで得られるフレームがすべてバファリングされていく。
時点ｔ１～ｔ２では通常記録が行われるが、この期間にバファリングされたフレームに対しては、例えば６０ｆｐｓに相当するフレーム間隔でフレームが抽出され、記録処理に供される。従って、６０ｆｐｓの動画データが記録されていくことになる。
時点ｔ２～ｔ７において撮像されたフレームについては、バファリングされた全フレームが記録処理に供される。但し、９６０ｆｐｓの各フレームも、記録処理上は６０ｆｐｓにおける１フレームとされる。従って、この間の記録映像は、通常再生時にスローモーション映像となる。
時点ｔ７～ｔ８において撮像されバファリングされたフレームについては、通常記録の対象となるため、期間にバファリングされたフレームに対しては、例えば６０ｆｐｓに相当するフレーム間隔でフレームが抽出され、記録処理に供される。
As described with reference to FIG. 20, HFR imaging is started from time t1 when the first state ST1 is detected. As a result, all frames obtained with HFR such as 960 bps are buffered as shown in FIG. To go.
Normal recording is performed from time t1 to t2, and the frames buffered during this period are extracted at frame intervals corresponding to, for example, 60 fps and subjected to recording processing. Therefore, moving image data of 60 fps will be recorded.
All buffered frames are subjected to the recording process for the frames captured at times t2 to t7. However, each frame at 960 fps is also treated as one frame at 60 fps in terms of recording processing. Therefore, the video recorded during this period becomes a slow-motion video during normal playback.
Frames imaged and buffered between times t7 and t8 are normally recorded, and therefore, frames buffered during this period are extracted at frame intervals corresponding to, for example, 60 fps, and recorded. served to
このような処理で動画データが記録される。従って、時点ｔ１～ｔ８の動画映像データが記録されるとともに、当該動画映像データは通常の再生時に、時点ｔ１からのシーンが通常速度で再生され、第２ステートとされた時点ｔ２～ｔ７の間のシーンがスローモーション映像とされ、さらにその後の時点ｔ８までは通常速度で再生される映像コンテンツとなる。
つまりこの第４の実施の形態によれば、ユーザが困難な操作を行うこと無しに、或るアクティビティにおいて最も注目したい第２ステートのシーンをスローモーション映像として記録でき、その前後は通常映像として記録された映像コンテンツを得ることができる。
Moving image data is recorded by such processing. Therefore, moving image data from time points t1 to t8 are recorded, and the moving image data are reproduced at normal speed from time point t1 during normal reproduction, and are set to the second state during time points t2 to t7. , is a slow-motion video, and video content is played back at normal speed until time t8.
In other words, according to the fourth embodiment, the scene in the second state that the user wants to pay the most attention to in a certain activity can be recorded as slow-motion video, and the scenes before and after that can be recorded as normal video without the user having to perform any difficult operations. You can get the video content that has been processed.
＜６．第５の実施の形態＞
第５の実施の形態の動作を図２２で説明する。第５の実施の形態は、第１ステートＳＴ１とされた期間の撮像画像データについては記録を行い、第２ステート検出に応じて記録を終了する。さらに第３ステート検出で撮像装置を電源オフとする処理例である。
<6. Fifth Embodiment>
The operation of the fifth embodiment will be explained with reference to FIG. In the fifth embodiment, the captured image data during the period set to the first state ST1 is recorded, and the recording is terminated when the second state is detected. Furthermore, it is an example of processing for turning off the imaging device when the third state is detected.
図２２では、コントローラ３０がセンサ部１４からの検波値に基づいてステート判断を行う例を挙げて、各ステートに応じた動作例を示している。
図２２Ａ、図２２Ｂ、図２２Ｃ、図２２Ｄは、図１１と同様に、センサ部１４による検出信号に基づく検波値、検波値を微分及びコアリングした信号値ＳＪ、信号値ＳＪに基づくカウント制御フラグＣＴＦ、ステート判定のためのカウンタのカウント値ＣＪを示している。
また図２２Ｅは第２ステート判定タイミング及び撮像記録期間を示し、図２２Ｆは第３ステート判定タイミング及び電源オン期間を示している。
この場合、第１ステートＳＴ１はユーザ操作に基づく例とする。時点ｔ１１でユーザが撮像記録開始の操作を行ったとすると、コントローラ３０はそのタイミングがユーザの欲する撮像環境となったタイミングと判断し、第１ステートに至ったと判断する。なお、もちろん第１ステート判断を、センサ部１４からの検波値等に応じて行ってもよい。
FIG. 22 shows an example of the state determination by the
22A, 22B, 22C, and 22D show, similarly to FIG. 11, a detection value based on a detection signal by the
Also, FIG. 22E shows the second state determination timing and image recording period, and FIG. 22F shows the third state determination timing and power-on period.
In this case, the first state ST1 is an example based on a user's operation. Assuming that the user performs an operation to start shooting and recording at time t11, the
時点ｔ１１でユーザの撮像記録操作が行われ、コントローラ３０が第１ステートＳＴ１に至ったと判断した場合、コントローラ３０は撮像及び記録処理を開始制御する。つまりイメージャ１２で撮像やデジタル信号処理部２０における記録処理、記録部１５での記録処理等を実行させる。なお、この実施の形態ではフレームレートは任意である。例えば６０ｆｐｓなどデフォルト設定されたフレームレートや、或いはユーザが指定した２４ｆｐｓ、３０ｆｐｓ、９６ｆｐｓ、２４０ｆｐｓ等のフレームレートで継続して撮像及び記録処理が行われれば良い。
When the user performs an image capturing and recording operation at time t11 and the
コントローラ３０は、第１ステートＳＴ１となって撮像記録を開始させた時点ｔ１１以降に第２ステートＳＴ２に至ったか否かの判定処理を行う。信号値ＳＪ、カウント制御フラグＣＴＦ、カウント値ＣＪが、検波値の状態に応じて図示のように変動する。
この場合、振動がほとんどなくなった状態がある程度の時間継続することで第２ステートＳＴ２を検出するものとしている。
コントローラ３０はカウント値ＣＪと比較する閾値ｒｓＴＨを設定しており、カウント値ＣＪが閾値ｒｓＴＨを越えた時点ｔ１４で第２ステートＳＴ２に至ったことを判定する。
コントローラ３０は第２ステートＳＴ２を検出したタイミング（時点ｔ１４）で、撮像記録動作の停止制御を行う。
The
In this case, the second state ST2 is detected when the state in which the vibration is almost eliminated continues for a certain amount of time.
The
The
さらにその後コントローラ３０は、カウント値ＣＪが閾値ｐｆＴＨを越えるか否かを監視する。閾値ｐｆＴＨ＞閾値ｒｓＴＨとしている。つまり閾値ｐｆＴＨは、振動がほとんどなくなった状態が、さらにある程度の時間継続することを検出する値である。コントローラ３０はカウント値ＣＪが閾値ｐｆＴＨを越えた時点ｔ１５で第３ステートＳＴ３に至ったことを判定する。
コントローラ３０は第３ステートＳＴ３を検出したタイミング（時点ｔ１５）で、電源部１８を制御し、撮像装置１０の電源オフを実行させる。
Furthermore, after that, the
The
以上の第２，第３ステートの判断及びそれに応じた制御により、次のような動作が実現される。
例えばユーザが或るアクティビティの開始の際に録画スタートとしての操作を行ったとする。ユーザは、アクティビティの途中の時点ｔ１２や、或いはアクティビティの終了時点ｔ１３などで録画を停止させるつもりであったところ、その停止操作を失念してしまった状況を考える。例えば時点ｔ１３以降は、ユーザが録画停止操作を忘れたまま或る場所に撮像装置１０を放置したような状況である。
このような状況では、記録される映像コンテンツの無用な長時間化、記録部１５の無駄な容量消費、さらには無駄なバッテリ消費が生じている。
そこでコントローラ３０は、放置されたような状態を第２ステートＳＴ２とし、時点ｔ１４で第２ステートＳＴ２を検出したら、撮像記録停止制御を行う。また撮像記録停止状態で、まだ放置状態が継続することを第３ステートＳＴ３とし、コントローラ３０は時点ｔ１５で第３ステートＳＴ３を検出したら電源オフ制御を行うものである。
The following operations are realized by the determination of the second and third states and the control corresponding thereto.
For example, assume that the user performs an operation to start recording at the start of a certain activity. Consider a situation where the user intended to stop recording at time t12 in the middle of the activity or at time t13 at the end of the activity, but forgets to stop the recording. For example, after time t13, the situation is such that the user forgets to stop recording and leaves the
In such a situation, the video content to be recorded is unnecessarily long, the capacity of the
Therefore, the
例えばこのような処理としてコントローラ３０がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図２３で説明する。
図２３はコントローラ３０の撮像制御装置１としての機能（状態検出部１ａ及びモード処理指示部１ｂ）による全体処理を示している。
For example, as such processing, a processing example in which the
FIG. 23 shows the overall processing by the functions of the
コントローラ３０は、ステップＳ４０１でユーザによる操作部３５を用いた録画操作（撮像記録処理の開始を指示する操作）を監視する。録画操作がされていない期間（図２２の時点ｔ１１以前）では、コントローラ３０はステップＳ４０３でフラグFuncONを“０”とする。フラグFuncONはユーザの手動操作に応じた撮像記録動の実行状態を示すフラグである。但し後述のようにフラグFuncONはコントローラ３０による自動的な撮像記録の停止の際にはオフにしない。
In step S401, the
撮像記録開始前においては、続いてステップＳ４２１でコントローラ３０は、ユーザによる操作部３５を用いた電源オフ操作を監視する。電源オフ操作が検知されなければ、ステップＳ４２２でフラグFuncON＝０を確認し、ステップＳ４０１に戻る。
なお、電源オフ操作を検知した場合、コントローラ３０はステップＳ４２０に進み、電源部１８に電源オフを指示する。
Before the start of image recording, the
Note that when the power-off operation is detected, the
ステップＳ４０１でユーザによる録画操作が検知された場合は、コントローラ３０はステップＳ４０２で、撮像記録の開始制御を行うとともに、フラグFuncONを“１”とする。
そして撮像記録が開始された以降は、コントローラ３０は、ステップＳ４０４以降の処理をフレームタイミング毎に繰り返す。
ステップＳ４０４でコントローラ３０はユーザによる操作部３５を用いた録画停止操作（撮像記録処理の終了を指示する操作）を監視する。録画停止操作が検知されなければステップＳ４０６でフラグFuncON＝１を維持する。
When the recording operation by the user is detected in step S401, the
After the imaging recording is started, the
In step S<b>404 , the
ステップＳ４０７では、コントローラ３０は撮像制御装置１（状態検出部１ａ及びモード処理指示部１ｂ）としての機能がオンであるか否かを確認する。機能オフとされている期間は、コントローラ３０は特にステート検出に応じたモード制御を行わない。
本例では、コントローラ３０は撮像記録中にステート検出に応じたモード制御を行うため、ステップＳ４０７では、撮像制御装置１としての機能オンであり、かつフラグFuncON＝１である場合に、ステップＳ４０８に進む。機能オフ、又は撮像記録の停止中は、ステップＳ４０７からＳ４２１に進むことになる。
In step S407, the
In this example, since the
ステップＳ４０４で録画停止操作を検知した場合は、コントローラ３０はステップＳ４０５で撮像記録の停止制御を行うとともに、フラグFuncON＝０とする。これは、ユーザが通常に操作を行った場合の処理となる。
その場合は、ステップＳ４０７からＳ４２１に進み、ユーザによる操作部３５を用いた電源オフ操作を監視する。電源オフ操作が検知されなければ、ステップＳ４２２でフラグFuncON＝０であるためステップＳ４０１に戻ることになる。
When the recording stop operation is detected in step S404, the
In that case, the process proceeds from step S407 to step S421 to monitor the user's power-off operation using the
撮像制御装置１としての機能がオンとされており、かつ撮像記録動作中には、フレームタイミング毎の処理においてステップＳ４０７からＳ４０８以降の第２ステート検出のための処理に進むことになる。
ステップＳ４０８でコントローラ３０はセンサ部１４からの検出信号の検波値を取得する。そしてステップＳ４０９で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップＳ４１０で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図２２で述べた信号値ＳＪとなる
コントローラ３０はステップＳ４１１で信号値ＳＪが閾値範囲ｓｊＴＨ以内であるか否かを確認する。そして信号値ＳＪが閾値範囲ｓｊＴＨ内であればステップＳ４１２でカウント制御フラグＣＴＦ＝１とし、信号値ＳＪが閾値範囲ｓｊＴＨ内でなければステップＳ４１３でカウント制御フラグＣＴＦ＝０とする。
When the function of the
In step S<b>408 , the
続いてコントローラ３０はステップＳ４１４で、カウント制御フラグＣＴＦに応じて処理を分岐する。カウント制御フラグＣＴＦ＝０のときは、ステップＳ４１５に進んでカウント値ＣＪをカウントアップする。一方、カウント制御フラグＣＴＦ＝１のときは、ステップＳ４１６に進んでカウント値ＣＪをリセットする。
Subsequently, in step S414, the
次にコントローラ３０はステップＳ４１７で、カウント値ＣＪと閾値ｒｓＴＨを比較する。ＣＪ＞ｒｓＴＨでなければ、第２ステートＳＴ２はまだ検出されていないことになる。この場合、ステップＳ４１９でもＣＪ＞ｐｆＴＨとはならない。上述のようにｒｓＴＨ＜ｐｆＴＨであるためである。そのためステップＳ４２１に進み、さらにフラグFuncON＝１であるためステップＳ４２２からＳ４０４に戻って、次のフレームタイミングでの処理を継続する。
Next, in step S417, the
ステップＳ４１７で、カウント値ＣＪ＞閾値ｒｓＴＨとなった場合、コントローラ３０は第２ステートＳＴ２を検出したとして、ステップＳ４１８に進み、撮像記録の停止制御を行う。これによりユーザの停止操作がなくとも、撮像記録が停止される。
その場合、ステップＳ４１９→Ｓ４２１→Ｓ４２２と進む。この時点では、手動操作に応じてステップＳ４０５でオフされるフラグFuncONは“１”のままであるので、ステップＳ４２２からＳ４０４に戻って、次のフレームタイミングでの処理を継続する。
そして引き続きステップＳ４０７からＳ４０８に進むことになる。
In step S417, when the count value CJ>threshold value rsTH, the
In that case, the process proceeds to steps S419→S421→S422. At this point, the flag FuncON, which is turned off in step S405 in response to manual operation, remains "1", so the process returns from step S422 to S404 to continue processing at the timing of the next frame.
Then, the process proceeds from step S407 to step S408.
この自動停止以降は、ステップＳ４１９でカウント値ＣＪが閾値ｐｆＴＨを越えることを監視するものとなる。
カウント値ＣＪ＞閾値ｐｆＴＨとなった時点で、コントローラ３０はステップＳ４１９からＳ４２０に進み、電源オフ制御を行うことになる。
またカウント値ＣＪ＞閾値ｐｆＴＨに至る前に、ユーザが電源オフ操作を行った場合は、ステップＳ４２１からＳ４２０に進み、コントローラ３０はユーザ操作に応じた電源オフ制御を行うことになる。
なお、フローチャートでの図示は省略したが、ステップＳ４１８で自動的に撮像記録停止制御が行われた後の電源オン状態において、ユーザが録画操作を行う場合もあり得る。その場合は、ステップＳ４０２に進むようにすればよい。
以上の図２３の処理により、図２２で説明した処理動作が実行される。
＜７．第６の実施の形態＞
第６の実施の形態を図２４で説明する。
この例は、遠隔制御装置５０と複数の撮像装置１０Ａ、１０Ｂ、１０Ｃを用いることを想定したものである。
After this automatic stop, step S419 monitors whether the count value CJ exceeds the threshold pfTH.
When the count value CJ>the threshold value pfTH, the
If the user turns off the power before the count value CJ>the threshold value pfTH, the process proceeds from step S421 to step S420, and the
Although not shown in the flowchart, the user may perform a recording operation in the power-on state after the imaging recording stop control is automatically performed in step S418. In that case, the process should proceed to step S402.
The processing operation described with reference to FIG. 22 is executed by the processing of FIG. 23 described above.
<7. Sixth Embodiment>
A sixth embodiment will be described with reference to FIG.
This example assumes that a
例えば遠隔制御装置５０は、図５の構成とされ、コントローラ６０は撮像制御装置１として状態検出部１ａ，モード処理指示部１ｂとしての機能を有するものとする。そしてアクティビティを行うユーザは、身体等に遠隔制御装置５０を装着する。
各撮像装置１０Ａ、１０Ｂ、１０Ｃは図４の構成であるが、コントローラ３０は状態検出部１ａ、モード処理指示部１ｂとしての機能は有さないか、もしくは状態検出部１ａ、モード処理指示部１ｂとしての機能をオフにしているとする。
この撮像装置１０Ａ、１０Ｂ、１０Ｃは、アクティビティを行うユーザやギアに装着されても良いが、ここでは或る場所に設置されているような例を考える。
For example, the
Each of the
The
遠隔制御装置５０は、第１ステートＳＴ１、第２ステートＳＴ２の検出に応じて、例えば第２の実施の形態のようにＨＦＲ撮像及びバファリングの指示や、ＨＦＲ記録処理の指示を、各撮像装置１０Ａ、１０Ｂ、１０Ｃに対して送信する。各撮像装置１０Ａ、１０Ｂ、１０Ｃは、遠隔制御装置５０からの指示を受信し、ＨＦＲ撮像及びバファリングを実行し、またＨＦＲ記録処理を実行する。
In response to the detection of the first state ST1 and the second state ST2, the
つまりこの例では、アクティビティを行うユーザを、複数の撮像装置１０で多様なアングルで撮像するような場合に、各撮像装置１０Ａ、１０Ｂ、１０Ｃで、それぞれ共通のタイミングでＨＦＲ撮像を行うことができるようにした例である。これによりアクティビティ中の特別なシーンを多様なアングルで同期してＨＦＲ撮像できる。
もちろん第３，第４，第５の実施の形態の動作を各撮像装置１０Ａ、１０Ｂ、１０Ｃに実行させるようにすることもできる。
In other words, in this example, when a user performing an activity is imaged at various angles by a plurality of
Of course, the operations of the third, fourth and fifth embodiments can also be executed by the
なお、遠隔制御装置５０に代えて、ユーザが装着する撮像装置１０を用い、その撮像装置１０をマスターとして、他の撮像装置１０に動作指示を行うようにしてもよい。
Instead of the
＜８．第７の実施の形態＞
第７の実施の形態として、第１ステートＳＴ１，第２ステートＳＴ２の検出条件（トリガ種別）の設定の例について各種説明する。
先に、所定パタンの振動、音、ジェスチャ、画像解析や撮像制御動作等の検出値等についてトリガとなる状態を監視する例を述べた。これらの１又は複数をステート検出条件として固定しても良いが、アクティビティに応じて設定されるようにすることも考えられる。
<8. Seventh Embodiment>
Various examples of setting the detection conditions (trigger types) of the first state ST1 and the second state ST2 will be described as the seventh embodiment.
An example of monitoring a trigger state for a predetermined pattern of vibration, sound, gesture, detection value of image analysis, imaging control operation, or the like has been described above. One or more of these may be fixed as the state detection conditions, but it is also conceivable to set them according to the activity.
図２５Ａにコントローラ３０の検出条件設定処理例を示す。なお、これまでの実施の形態の説明と同じく、以下でいうコントローラ３０の処理は遠隔制御装置５０のコントローラ６０と読み替えてもよい。その場合、表示部３４は表示部５３、操作部３５は操作部５４と読み替えれば良い。
FIG. 25A shows an example of detection condition setting processing of the
ステップＳ５０１でコントローラ３０は行動種別選択の操作入力を監視する。
例えば行動種別選択操作として、ユーザがアクティビティ種別を入力できるようにしておく。例えばコントローラ３０は、表示部３４に選択メニューを表示させ、バイク競技、スノーボード、スキージャンプ、フィギュアスケート、ダイビング、サーフィン、テニス、野球、サッカーなどをユーザが選択できるようにする。
ユーザが操作部３５の操作により、或る行動種別を選択入力した場合、コントローラ３０はステップＳ５０２に進み、選択された行動種別に応じて、第１，第２ステートの検出条件を設定する。
In step S501, the
For example, as an action type selection operation, the user can input the activity type. For example, the
When the user selects and inputs a certain action type by operating the
例えば第１ステート検出条件［Ｄ１］、第２ステート検出条件［Ｄ２］を、それぞれ次のように設定する。
・バイク競技
［Ｄ１］ユーザのタッピング操作による振動パタン検知
［Ｄ２］ジャンプ時の振動パタン検知
・ダイビング
［Ｄ１］加速度センサのジャンプ時のパタン検知
［Ｄ２］オートホワイトバランスの検波値の変動検知
・テニス
［Ｄ１］所定パタンのジェスチャ検知
［Ｄ２］打球時の衝撃による振動パタン検知
For example, the first state detection condition [D1] and the second state detection condition [D2] are set as follows.
・Bicycle competition [D1] Vibration pattern detection by user's tapping operation [D2] Vibration pattern detection when jumping ・Diving [D1] Accelerometer pattern detection when jumping [D2] Auto white balance detection value fluctuation detection ・Tennis [D1] Predetermined pattern gesture detection [D2] Vibration pattern detection due to impact when hitting a ball
以上は一例であるが、行動種別だけでなく、撮像装置１０又は遠隔制御装置５０の装着位置も選択できるようにし、その組み合わせに応じてステート検出条件を設定することも考えられる。例えば腕、手首、脚部、腰、腹部、頭部、ギア、ギア種別などを選択可能とする。これに応じてステート検出条件を設定することで、装着位置に適したステート検出が可能となる。
Although the above is an example, it is conceivable to allow selection of not only the action type but also the mounting position of the
図２５Ｂは行動種別判定を自動で行う例である。
コントローラ３０はステップＳ５１０で行動種別判定を行う。これはセンサ部７の検出信号、被写体画像の解析結果、音声検出部１７による入力音声の解析などにより、アクティビティの種別を判定する処理である。各アクティビティに特有の振動、音、画像パタン等を記憶し、マッチングを採ることで、現在実行中のアクティビティの種別を自動判定することができる。
FIG. 25B is an example of automatically performing action type determination.
The
コントローラ３０は判定できた場合、ステップＳ５１１からＳ５１２に進み、判定した行動種別に応じて、第１，第２ステートの検出条件を設定する。即ち上記の［Ｄ１］［Ｄ２］のような設定である。
なお、何らかのユーザ操作が行われた場合、或いは行動種別が不明のまま一定時間を経過した場合などにタイムオーバーとして、判定中止とする。判定中止の場合は、コントローラ３０はステップＳ５１３からＳ５１４に進み、デフォルトの第１，第２ステートの検出条件を設定する。
When the
Note that if some user operation is performed, or if a certain period of time elapses while the action type is unknown, it is determined that the time is over and the determination is stopped. In the case of canceling the determination, the
例えばこのような処理を行うことで、ユーザ操作がなくとも、アクティビティ種別に適したステート判断が行われ、それに応じた撮像動作制御が可能となる。従ってアクティビティに応じた特徴的なシーンの撮像やＨＦＲ撮像などが、より容易に行われる。
なお、以上図２５Ａ、図２５Ｂのような行動種別に応じたステート検出条件の設定は、第１ステートＳＴ１、第２ステートＳＴ２の両方ではなく、一方のみでもよい。また上記第３の実施の形態のように第３ステートＳＴ３を検出する場合、第３ステートＳＴ３の検出条件もアクティビティ種別に応じて設定することも考えられる。
また条件種別の切替ではなく複数条件についてのＯＲ条件、ＡＮＤ条件を切り替えることも考えられる。
For example, by performing such processing, state determination suitable for the activity type is performed without user operation, and imaging operation control can be performed accordingly. Therefore, it is easier to capture characteristic scenes according to the activity, HFR capture, and the like.
It should be noted that the setting of the state detection conditions according to the action type as shown in FIGS. 25A and 25B may be performed for only one of the first state ST1 and the second state ST2 instead of both. Further, when detecting the third state ST3 as in the third embodiment, it is conceivable to set the detection conditions for the third state ST3 according to the activity type.
It is also conceivable to switch OR conditions and AND conditions for a plurality of conditions instead of switching the condition types.
またコントローラ３０は第１ステートＳＴ１を検出した際の検出条件種別に応じて、第２検出の検出条件を設定するようにしてもよい。
例えば第１ステートＳＴ１の検出条件として、所定の振動パタン、ジェスチャパタン、音声パタンなど、複数の検出条件を設定し、いずれか１つが検出されたら第１ステートＳＴ１と判定するものとする。
そしてコントローラ３０は、図２５Ｃの処理を行う。即ちステップＳ５２０で第１ステートＳＴ１を検出したか否かを判定し、第１ステートＳＴ１を検出した際にステップＳ５２１に進む。そしてコントローラ３０は第１ステートＳＴ１の検出条件の種別に応じて第２ステートＳＴ２の検出条件を設定する。
例えばタッピング操作の振動パタンにより第１ステートＳＴ１を検出したときは、加速度センサの検波値の変動を第２ステートＳＴ２の検出条件とするが、ジェスチャパタンを第１ステートＳＴ１を検出したときは、グローバルベクトルの変動を第２ステートＳＴ２の検出条件とするなどである。
Further, the
For example, as detection conditions for the first state ST1, a plurality of detection conditions such as a predetermined vibration pattern, gesture pattern, and voice pattern are set, and if any one of them is detected, the first state ST1 is determined.
The
For example, when the first state ST1 is detected by the vibration pattern of the tapping operation, the change in the detection value of the acceleration sensor is used as the detection condition for the second state ST2. For example, vector fluctuation is used as a detection condition for the second state ST2.
これにより、第１ステートＳＴ１に応じた第２ステートＳＴ２の検出が可能となる。
もちろん第３ステートＳＴ３の検出条件を第１ステートＳＴ１の検出条件種別に応じて設定しても良い。
また第２ステートＳＴ２の検出条件が複数設定されているときは、第３ステートＳＴ３の検出条件を第２ステートＳＴ２の検出条件種別に応じて設定することも考えられる。
This enables detection of the second state ST2 in accordance with the first state ST1.
Of course, the detection condition for the third state ST3 may be set according to the detection condition type for the first state ST1.
Further, when a plurality of detection conditions for the second state ST2 are set, it is conceivable to set the detection condition for the third state ST3 according to the detection condition type for the second state ST2.
＜９．まとめ及び変形例＞
以上の第１の実施の形態の撮像制御装置１や、第２～第５の実施の形態の撮像装置１０、遠隔制御装置５０によれば、次のような効果が得られる。
<9. Summary and Modifications>
According to the
実施の形態では、撮像環境が第１ステートＳＴ１になること検出する第１検出と、第１ステートＳＴ１から第２ステートＳＴ２になることを検出する第２検出とを行う状態検出部１ａを備える。また第１ステートＳＴ１の検出に基づいて第１モードの撮像処理動作を指示し、第２ステートＳＴ２の検出に基づいて第２モードの撮像処理動作を指示するモード処理指示部１ｂを備える。
つまり状態検出部１ａが撮像環境についての第１ステートＳＴ１、第２ステートＳＴ２を検出するが、モード処理指示部１ｂは第１ステートＳＴ１、第２ステートＳＴ２毎に所定の撮像処理動作を設定しておき、検出されたステートに応じた制御を行う。即ち第１ステートＳＴ１が検出された場合、モード処理指示部１ｂは、その検出時点、もしくはその後の時点で、第１モードの指示を行い、第２ステートＳＴ２が検出された場合、モード処理指示部１ｂは、その検出時点やその後の所定の時点で第２モードの指示を行う。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第１ステートＳＴ１に至った後に、第２ステートＳＴ２に至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
特に使用中の操作が困難な状況で使用される機器などにおいて、使用者の状況等の撮像環境の変化に応じて望ましい撮像動作を撮像装置に実行させることができる。
In the embodiment, the
That is, the
With this configuration, the imaging processing operation is executed according to changes in the imaging environment. That is, it is possible to automatically perform the imaging processing operation under the condition that the imaging environment reaches the first state ST1 and then the second state ST2. As a result, the usability and operability of imaging can be improved.
In particular, it is possible to cause an imaging device to perform a desirable imaging operation in response to changes in imaging environment such as the user's situation, for example, in a device that is difficult to operate during use.
また実施の形態では、状態検出部１ａは、撮像環境として、撮像装置１０の被装着体もしくは被写体、又は撮像装置１０と通信可能な遠隔制御装置５０の被装着体が、第１ステートＳＴ１や第２ステートＳＴ２となることの検出を行う。
即ち撮像環境として、撮像装置１０や遠隔制御装置５０を装着した人や装着したギア、被写体人物等の動的な状況を検出する。例えば被装着体としての人が、或る競技を開始する状態を第１ステート、競技中の特定の動作状態になることを第２ステートなどとする。
これにより撮像装置、遠隔制御装置の被装着体や被写体の動作等をトリガとして撮像処理動作を制御できる。
なお被装着体は多様に想定される。例えば移動体、自動車、列車、船舶、飛行体、例えば飛行機、気球、ヘリコプター、グライダー、凧、アドバルーン、遠隔コントロールによる模型飛行体、人工衛星、動物、構造物、自然物などでもよい。
Further, in the embodiment, the
That is, as the imaging environment, dynamic situations such as the person wearing the
As a result, the imaging processing operation can be controlled by triggering the movement of the object to which the imaging device or the remote control device is mounted, or the like.
It should be noted that the object to be worn is assumed to be various. For example, mobile objects, automobiles, trains, ships, flying objects such as airplanes, balloons, helicopters, gliders, kites, advertising balloons, remote-controlled model flying objects, artificial satellites, animals, structures, and natural objects may be used.
実施の形態では、状態検出部１ａは、第２検出として、撮像装置１０の被装着体もしくは被写体、又は撮像装置１０と通信可能な遠隔制御装置５０の被装着体の非操作アクションの検出を行うようにしている。つまりユーザの意識した操作としての動作ではなく、アクティビティの過程における動作である。例えばバイク競技のジャンプなどを例に挙げた。
第１ステートＳＴ１に至った状態で行う第２検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第２ステートＳＴ２としての特定の動作を検出することが好適である。これによりアクティビティを実行している被装着体や被写体の第２ステートとしての特徴的な動作に応じた撮像処理動作の制御が可能となる。また被装着体としてのユーザは、操作を意識しなくて良い。
In the embodiment, as the second detection, the
The second detection performed after reaching the first state ST1 detects the movement of the wearable body or the subject. It is preferred to detect motion. This makes it possible to control the imaging processing operation according to the characteristic operation of the second state of the wearable body or the subject performing the activity. Moreover, the user as the wearable body does not have to be conscious of the operation.
実施の形態では、状態検出部１ａが、第１検出として、撮像装置１０の被装着体もしくは被写体である人の操作アクションの検出を行う例を挙げた。例えばタッピング操作などである。
第１ステートＳＴ１に至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断することが好適な場合もある。例えばスポーツ、アクティビティなどとしての動作の開始を第１ステートＳＴ１とした場合、その開始をユーザの操作により検知することで、第１モードの撮像処理動作をユーザ意思に基づいて開始する。
これにより第１モードの撮像処理動作はユーザの意思に応じて確実に実行しつつ、第２ステートＳＴ２は、ユーザが開始したスポーツ、アクティビティなどにおける特徴的な動作の状態とし、そのような状態に応じて第２モードの撮像処理動作を行うことができる。
ユーザにとっては、アクティビティ等の開始の際に第１モードを指示するのみで、望ましい動画記録が実現できる。
In the embodiment, an example is given in which the
In some cases, it may be preferable to determine whether the first state ST1 is reached by operating the imaging device or the remote control device based on the user's intention. For example, if the start of an action such as a sport or an activity is set to the first state ST1, the start of the action is detected by the user's operation, and the imaging processing operation in the first mode is started based on the user's intention.
As a result, the imaging processing operation in the first mode is reliably executed according to the user's intention, and the second state ST2 is set to a characteristic operation state in sports, activities, etc. initiated by the user. Accordingly, the imaging processing operation in the second mode can be performed.
For the user, desired moving image recording can be achieved simply by instructing the first mode at the start of an activity or the like.
第３の実施の形態では状態検出部１ａが、第２ステートＳＴ２から第３ステートＳＴ３になることを検出する第３検出を行い、モード処理指示部１ｂは、第３ステートＳＴ３の検出に基づいて、少なくとも第２モードで実行される撮像処理動作の終了を指示する例を挙げた。
これによりユーザが意識しなくとも、第２モードの撮像処理動作、例えばＨＦＲ撮像記録を適切な時点（もしくは適切な時点の撮像画像で）終了させることができる。
In the third embodiment, the
As a result, the imaging processing operation in the second mode, for example, the HFR imaging recording can be terminated at an appropriate point in time (or at an appropriate point in time of the captured image) without the user being aware of it.
第２，第３，第４の実施の形態では、モード処理指示部１ｂが指示する第１モードの撮像処理動作は、撮像画像データをリングメモリ形態で内蔵メモリ２５へバファリングする処理動作を含む。またモード処理指示部１ｂが指示する第２モードの撮像処理動作は、内蔵メモリ２５にバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む。
つまり第１ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第２ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、記録部１５に転送し保存させる画像の範囲を設定する。
例えば上述のように通常のフレームレートより高いＨＦＲの動画撮像記録を目的とする場合、第２ステートＳＴ２とはＨＦＲ撮像に適した撮像シーンとする。ＨＦＲの場合、その実際のフレームレートと撮像装置のデータ転送速度や処理能力の関係、或いは記録媒体の容量などにもよるが、ＨＦＲ撮像画像を常時記録していくことは負担が大きく、またユーザにとっても必要ではないことが多い。またＨＦＲ画像は、通常の再生装置で再生することでスローモーション画像となる。
そこで、第１ステートＳＴ１の際に撮像画像データをバファリングし、第２ステートＳＴ２で記録範囲を設定し、その範囲だけＨＦＲ画像として記録に残すことは、非常に適切な処理となる。なぜならユーザにとっては、スローモーションで見たいような重要な場面のみ、ＨＦＲ画像として記録されるためである。また撮像装置にとってもリングメモリ形態でバファリングしていくことで、無用にメモリ容量を圧迫することもなく、さらに記録のためのエンコードや転送、記録媒体への書込等の処理負担が過大になることはないためである。
またこのようなＨＦＲ撮像において実施の形態の処理をおこなうことで、ユーザ自身がＨＦＲ録画タイミングを制御しなくてもよく、アクションカメラとしての使用態様においてＨＦＲ記録を快適に実現できる。
In the second, third, and fourth embodiments, the imaging processing operation in the first mode instructed by the mode
That is, the buffering of the captured image data is started in response to the detection of the first state. Then, in accordance with the detection of the second state, the range of the image to be transferred and stored in the
For example, as described above, when the purpose is to capture and record a moving image with HFR having a higher frame rate than the normal frame rate, the second state ST2 is an imaging scene suitable for HFR imaging. In the case of HFR, depending on the relationship between the actual frame rate and the data transfer speed and processing capability of the imaging device, or the capacity of the recording medium, it is a heavy burden to constantly record HFR captured images, and the user is also required to do so. It is often unnecessary for Also, the HFR image becomes a slow-motion image by reproducing it with a normal reproducing device.
Therefore, buffering captured image data in the first state ST1, setting a recording range in the second state ST2, and recording only that range as an HFR image is a very appropriate process. This is because only important scenes that the user wants to see in slow motion are recorded as HFR images. Also, buffering in the form of a ring memory for the imaging device does not unnecessarily put pressure on the memory capacity, and the processing load such as encoding and transfer for recording and writing to the recording medium becomes excessive. for it will not be.
Further, by performing the processing of the embodiment in such HFR imaging, the user does not have to control the HFR recording timing, and HFR recording can be comfortably realized in the mode of use as an action camera.
第４の実施の形態では、モード処理指示部１ｂが指示する第１モードの撮像処理動作は、第１ステートＳＴ１とされた期間の撮像画像データを第１のフレームレートで記録画像として保存するための処理動作を含む。またモード処理指示部１ｂが指示する第２モードの撮像処理動作は、第２ステートＳＴ２とされた期間の撮像画像データを第１のフレームレートよりは高いフレームレートである第２のフレームレート（ＨＦＲ）で記録画像として保存するための処理動作を含むようにしている。
つまり第１ステートとされた期間の撮像画像データについては第１のフレームレートで記録され、第２ステートとされた期間の撮像画像データは第２のフレームレート（ＨＦＲ）で記録される。
従って撮像環境に応じて異なるフレームレートが混在する動画コンテンツが生成できる。例えば６０ｆｐｓなどの一般的なフレームレートで撮像画像記録が行われ、第２ステート検出に応じた期間の撮像画像記録は、２４０ｆｐｓや９６０ｆｐｓなどのハイフレームレートで撮像画像記録が行われたようなコンテンツである。この場合、通常の再生を行うと、通常の動画の途中に、特定の動作のシーンとしてスローモーション映像が挿入されたようなコンテンツとなる。第２ステートＳＴ２をスポーツ、アクティビティ等における重要なシーンとなる撮像環境とすることで、ＨＦＲ撮像を有効利用したコンテンツが自動生成できることになる。
In the fourth embodiment, the imaging processing operation in the first mode instructed by the mode
That is, captured image data during the first state period is recorded at a first frame rate, and captured image data during the second state period is recorded at a second frame rate (HFR).
Therefore, it is possible to generate moving image content in which different frame rates are mixed according to the imaging environment. For example, the captured image is recorded at a general frame rate such as 60 fps, and the captured image is recorded at a high frame rate such as 240 fps or 960 fps for the period corresponding to the detection of the second state. is. In this case, when normal reproduction is performed, the content becomes such that a slow-motion video is inserted as a scene of a specific action in the middle of a normal moving image. By setting the second state ST2 as an imaging environment that is an important scene in sports, activities, etc., it is possible to automatically generate content that makes effective use of HFR imaging.
第５の実施の形態では、状態検出部１ａは、第２ステートＳＴ２から第３ステートＳＴ３になることを検出する第３検出を行う。そしてモード処理指示部１ｂが指示する第１モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、第２モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含む。さらにモード処理指示部１ｂは、第３ステートＳＴ３の検出に基づいて撮像装置１０の電源オフを指示するようにしている。
つまり第１ステートとされた期間の撮像画像データについては記録され、第２ステート検出に応じて記録が終了される。さらに第３ステート検出で撮像装置が電源オフとされる。
従って撮像環境に応じて撮像や撮像記録の停止、電源オフが行われるようにすることができる。例えばユーザにとって不要な映像の撮像記録が延々と続くようなことが回避され、また不要な撮像、或いは電源オン状態が継続してしまうことが回避される。特にスポーツ等を行っているユーザにとっては、撮像装置に関する操作として録画停止や電源オフは忘れがちである。そして操作忘れによって記録媒体の容量圧迫やバッテリ容量の低下などを生じさせてしまうことが多々ある。本構成によればこのような事態が防止される。
In the fifth embodiment, the
That is, the captured image data during the period in which the state is set to the first state is recorded, and the recording is terminated when the second state is detected. Furthermore, the power supply of the imaging device is turned off upon detection of the third state.
Therefore, it is possible to stop image capturing and image recording, and turn off the power according to the image capturing environment. For example, it is possible to avoid the continuous shooting and recording of images that are unnecessary for the user, and to avoid unnecessary shooting or the continuation of the power-on state. In particular, users who participate in sports or the like tend to forget to stop recording or turn off the power as operations related to the imaging device. In addition, forgetting to perform operations often causes pressure on the capacity of a recording medium, a decrease in battery capacity, and the like. This configuration prevents such a situation.
各実施の形態では、状態検出部１ａは、撮像装置１０又は撮像装置１０と通信可能な遠隔制御装置５０に搭載されたセンサの検出信号に基づいて、第１検出、第２検出の一方又は両方を行う。ここでいうセンサとは、センサ部１４、５６における例えば振動センサ、加速度センサ、角速度センサ、重力センサ、位置センサ、照度センサ、光センサ、温度センサであったり、音声検出部１７、５５の音声センサ（マイクロホン）音圧センサである。
これらのセンサにより、被装着体の動き、音、ジェスチャ等として、スポーツ等の動作状態を検出でき、第１ステートＳＴ１又は第２ステートＳＴ２として撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
In each embodiment, the
These sensors can detect the movement of the wearable body, sounds, gestures, and the like, such as sports, and automatically create an imaging environment suitable for controlling the imaging processing operation as the first state ST1 or the second state ST2. detectable.
各実施の形態のでは、状態検出部１ａは、撮像装置１０によって得られた撮像画像データに基づいて、第１検出、前記第２検出の一方又は両方を行う。
即ち撮像画像データの画像解析により被写体の各種状況としての撮像環境を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてＡＦ（オートフォーカス）、ＡＥ（オートアイリス）、ＡＷＢ（オートホワイトバランス）などの制御が行われるが、これらは被写体の状況に応じた制御であるため、ＡＦ，ＡＥ，ＡＷＢの制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
これにより、被写体の動き、ジェスチャ等として、スポーツ等における動作状態を検出でき、第１ステート又は第２ステートとして撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
In each embodiment, the
That is, the imaging environment as various situations of the subject is detected by image analysis of the captured image data. For example, it is possible to sense the gesture of the subject from the captured image data. Controls such as AF (auto focus), AE (auto iris), and AWB (auto white balance) are performed based on captured image data. The control value of is also a value for detecting the imaging environment as the subject situation. It is also possible to determine the imaging environment by detecting the motion vector of the subject from the image.
As a result, it is possible to detect the motion state in sports or the like as the movement of the subject, the gesture, or the like, and automatically detect the imaging environment suitable for controlling the imaging processing operation as the first state or the second state.
各実施の形態では、状態検出部１ａは、撮像装置１０と通信可能な遠隔制御装置５０との間における通信状態に基づいて、第１検出、第２検出の一方又は両方を行う。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
これにより撮像環境の変化の検出に応じた撮像処理動作の制御が可能となる。
In each embodiment, the
For example, it may be determined that there is a change in the imaging environment when communication between the imaging device and a communicable device such as a remote control device has been interrupted for a predetermined period of time.
This makes it possible to control the imaging processing operation according to detection of a change in the imaging environment.
また第７の実施の形態では、状態検出部１ａが被装着体の行動種別に応じて、第１検出、第２検出の一方又は両方についての検出条件を設定する例を述べた（図２５Ａ、図２５Ｂ）。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第１ステートのトリガ、第２ステートのトリガを設定する。
これにより実行する行動種別に応じて、第１ステートＳＴ１、第２ステートＳＴ２を適切に検出できるようになる。
Further, in the seventh embodiment, the example in which the
For example, the type of sport or activity is determined, and the trigger of the first state and the trigger of the second state are set accordingly.
This makes it possible to appropriately detect the first state ST1 and the second state ST2 according to the action type to be executed.
また第７の実施の形態では、状態検出部１ａが第１検出として複数の検出条件を設定し、第１検出で第１ステートＳＴ１を検出した際の検出条件種別に応じて、第２検出の検出条件を設定する例を述べた（図２５Ｃ）。
第１ステートＳＴ１を検出した際の検出条件が多様であるとした場合に、第１ステートＳＴ１を検出した際の検出条件に応じて、第２ステートＳＴ２の検出条件を選択することで、行動における第１ステートＳＴ１の検出条件に関連して第２検出の検出条件を設定できる。従って第２ステートＳＴ２を適切に検出できる可能性を高めることができる。
In the seventh embodiment, the
Assuming that the detection conditions for detecting the first state ST1 are diverse, by selecting the detection conditions for the second state ST2 according to the detection conditions for detecting the first state ST1, A detection condition for the second detection can be set in relation to the detection condition for the first state ST1. Therefore, it is possible to increase the possibility of appropriately detecting the second state ST2.
実施の形態のプログラムは、撮像環境が第１ステートＳＴ１となること検出する第１検出手順と、第１ステートＳＴ１の検出に基づいて第１モードの撮像処理動作を指示する第１指示手順と、第１ステートＳＴ１から第２ステートＳＴ２になることを検出する第２検出手順と、第２ステートＳＴ２の検出に基づいて第２モードの撮像処理動作を指示する第２指示手順とを演算処理装置に実行させるプログラムである。
このプログラムにより、実施の形態の撮像制御装置１としての機能を備えた演算処理装置、例えばマイクロコンピュータやＤＳＰによるコントローラ３０、６０を実現できる。ひいては撮像制御装置１としての機能を備えた撮像装置１０や遠隔制御装置５０を実現できる。
The program of the embodiment includes a first detection procedure for detecting that the imaging environment is in the first state ST1, a first instruction procedure for instructing the imaging processing operation in the first mode based on the detection of the first state ST1, A second detection procedure for detecting a transition from the first state ST1 to a second state ST2 and a second instruction procedure for instructing the imaging processing operation in the second mode based on the detection of the second state ST2 are transmitted to the arithmetic processing unit. This is the program to run.
With this program, the
このようなプログラムは各種の記録媒体に記録しておくことができる。またプログラムはコンピュータ装置などの機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭなどに予め記録しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的或いは永続的に記録しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータなどにインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
Such programs can be recorded in various recording media. Further, the program can be recorded in advance in an HDD as a recording medium built in equipment such as a computer device, or in a ROM in a microcomputer having a CPU. Alternatively, it can be temporarily or permanently recorded in a removable recording medium such as a semiconductor memory, memory card, optical disk, magneto-optical disk, or magnetic disk. Also, such a removable recording medium can be provided as so-called package software.
Moreover, such programs can be installed from a removable recording medium to a personal computer or the like, or can be downloaded from a download site via a network such as LAN or the Internet.
本技術は実施の形態で言及した以外にも多様な変形例、適用例が考えられる。
第１ステートＳＴ１や第２ステートＳＴ２としての判定のトリガ（検出条件）は、他にも考えられる。第３ステートＳＴ３についても同様である。
第１ステートＳＴ１や第２ステートＳＴ２としての検出条件となる「所定パタン」をユーザが事前に登録できるようにしてもよい。例えばタッピング操作の回数や間隔等を登録するなどである。
また、この時の第１ステートＳＴ１や第２ステートＳＴ２に対応する第１モード、第２モードの撮像処理動作をユーザが事前に登録できるようにしてもよい。例えば２回のタッピング操作で第１ステートＳＴ１を指示した際には第２の実施の形態のような第２ステートＳＴ２でのＨＦＲ撮像、３回のタッピング操作で第１ステートＳＴ１を指示した際には第４の実施の形態のような通常撮像とＨＦＲ撮像の混合動作を行うなどである。
Various modifications and application examples are conceivable for the present technology in addition to those mentioned in the embodiments.
Other triggers (detection conditions) for determination as the first state ST1 and the second state ST2 are conceivable. The same applies to the third state ST3.
A user may be allowed to register in advance a "predetermined pattern" that serves as a detection condition for the first state ST1 and the second state ST2. For example, the number of tapping operations, intervals, and the like are registered.
In addition, the user may register in advance the imaging processing operations in the first mode and the second mode corresponding to the first state ST1 and the second state ST2 at this time. For example, when the first state ST1 is instructed by two tapping operations, HFR imaging is performed in the second state ST2 as in the second embodiment, and when the first state ST1 is instructed by three tapping operations, is a mixed operation of normal imaging and HFR imaging as in the fourth embodiment.
第１，第２ステートに応じたモードの撮像処理動作の制御例としては、例えばフレーム範囲を示すタグの付加、各種メタデータの付加なども考えられる。
例えば第１ステートＳＴ１検出時から通常記録を行って、これを第２ステートＳＴ２となっても継続するが、第２ステートＳＴ２に該当するフレーム範囲を示すタグを付加する。或いは第２ステートの検出条件、検出時間などの情報を付加する。これにより後の動画再生時や編集時に、第２ステートＳＴ２の期間を容易に動画上で検索できたり、第２ステートＳＴ２の検出内容（どのような状況を第２ステートＳＴ２としたか）を把握できるため、再生や編集に便利となる。
Examples of control of the imaging processing operation in modes corresponding to the first and second states include, for example, addition of tags indicating frame ranges, addition of various types of metadata, and the like.
For example, normal recording is performed from the time of detection of the first state ST1, and this is continued even in the second state ST2, but a tag indicating the frame range corresponding to the second state ST2 is added. Alternatively, information such as the second state detection condition and detection time is added. As a result, the period of the second state ST2 can be easily searched on the moving image when reproducing or editing the moving image later, and the detection contents of the second state ST2 (what kind of situation is the second state ST2) can be grasped. This makes it convenient for playback and editing.
また実施の形態ではＨＦＲ記録等の動画データ記録を、記録部１５に転送してフラッシュメモリ等に記録するとしたが、これ以外に、バファリングされた記録範囲を外部機器に送信して記録させたり、記録部１５に記録されたコンテンツをあらかじめ設定した通信先へ自動的に送信するようにすることも考えられる。
例えば撮像画像データを外部機器に送信することで、アクティビティを離れて見ている同行者に撮像画像を即時チェックしてもらえるなどの使用態様が可能となる。
また遠隔制御装置５０に記録部を設け、撮像画像データを遠隔制御装置５０に転送して記録部の記録媒体に記録するようにしてもよい。
In the embodiment, moving image data recording such as HFR recording is transferred to the
For example, by transmitting captured image data to an external device, it is possible to have a companion who is watching the activity from a distance immediately check the captured image.
Alternatively, a recording unit may be provided in the
本技術はアクティビティの際にユーザが使用する撮像装置１０以外にも各種装置で適用できる。
上記のように被装着体は自動車や飛行体なども想定される。
例えば車載カメラに適用した場合、急ブレーキで第１ステートＳＴ１検出、エアバック発動で第２ステートＳＴ２の検出等が考えられる。
また医療機器、手術用の撮像装置などでも好適である。この場合、医師の動作、或いは映像から判定される状況により、ステート判断を行い、撮像処理動作のモードを制御することが考えられる。
従って本技術の撮像制御装置は、民生機器や放送その他の業務用機器において広く適用できる。例えば動画撮像機能を備えたカメラ機器、携帯端末機器、携帯電話機、監視カメラ機器、定点カメラ機器、ドライブレコーダ等の車載用カメラ機器、走行環境判定のためのカメラ機器、医療機器、電子内視鏡等に内蔵したり、これらの機器とシステム化することも好適である。
The present technology can be applied to various devices other than the
As described above, the mounted body may be an automobile, an aircraft, or the like.
For example, when applied to an in-vehicle camera, the first state ST1 may be detected when a sudden brake is applied, and the second state ST2 may be detected when an air bag is activated.
It is also suitable for medical devices, imaging devices for surgery, and the like. In this case, it is conceivable to perform state determination and control the mode of the imaging processing operation based on the doctor's actions or the situation determined from the video.
Therefore, the imaging control device of the present technology can be widely applied to consumer equipment, broadcast equipment, and other commercial equipment. For example, camera equipment with a video imaging function, mobile terminal equipment, mobile phones, surveillance camera equipment, fixed point camera equipment, in-vehicle camera equipment such as drive recorders, camera equipment for determining the driving environment, medical equipment, electronic endoscopes It is also preferable to incorporate it into a device such as a device or systematize it with these devices.
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。 Note that the effects described in this specification are merely examples and are not limited, and other effects may also occur.
本技術は以下のような構成も採ることができる。
（１）撮像環境が第１ステートになること検出する第１検出と、前記第１ステートから第２ステートになることを検出する第２検出とを行う状態検出部と、
前記第１ステートの検出に基づいて第１モードの撮像処理動作を指示し、前記第２ステートの検出に基づいて第２モードの撮像処理動作を指示するモード処理指示部と、を備えた
撮像制御装置。
（２）前記状態検出部は、
前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第１ステート又は前記第２ステートとなることの検出を行う
上記（１）に記載の撮像制御装置。
（３）前記状態検出部は、
前記第２検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
上記（１）又は（２）に記載の撮像制御装置。
（４）前記状態検出部は、
前記第１検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
上記（３）に記載の撮像制御装置。
（５）前記状態検出部は、前記第２ステートから第３ステートになることを検出する第３検出を行い、
前記モード処理指示部は、前記第３ステートの検出に基づいて、少なくとも前記第２モードで実行される撮像処理動作の終了を指示する
上記（１）乃至（４）のいずれかに記載の撮像制御装置。
（６）前記モード処理指示部が指示する前記第１モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、
前記モード処理指示部が指示する前記第２モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む
上記（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）前記モード処理指示部が指示する前記第１モードの撮像処理動作は、前記第１ステートとされた期間の撮像画像データを第１のフレームレートで記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第２モードの撮像処理動作は、前記第２ステートとされた期間の撮像画像データを前記第１のフレームレートよりは高いフレームレートである第２のフレームレートで記録画像として保存するための処理動作を含む
上記（１）乃至（６）のいずれかに記載の撮像制御装置。
（８）前記状態検出部は、前記第２ステートから第３ステートになることを検出する第３検出を行い、
前記モード処理指示部が指示する前記第１モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第２モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
前記モード処理指示部は、前記第３ステートの検出に基づいて撮像装置の電源オフを指示する
上記（１）乃至（４）のいずれかに記載の撮像制御装置。
（９）前記状態検出部は、
撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第１検出、前記第２検出の一方又は両方を行う
上記（１）乃至（８）のいずれかに記載の撮像制御装置。
（１０）前記状態検出部は、
撮像装置によって得られた撮像画像データに基づいて、前記第１検出、前記第２検出の一方又は両方を行う
上記（１）乃至（９）のいずれかに記載の撮像制御装置。
（１１）前記状態検出部は、撮像装置と通信可能な機器の間における通信状態に基づいて、前記第１検出、前記第２検出の一方又は両方を行う
上記（１）乃至（１０）のいずれかに記載の撮像制御装置。
（１２）前記状態検出部は、
被装着体の行動種別に応じて、前記第１検出、前記第２検出の一方又は両方についての検出条件を設定する
上記（１）乃至（１１）のいずれかに記載の撮像制御装置。
（１３）前記状態検出部は、
前記第１検出として複数の検出条件を設定し、
前記第１検出で第１ステートを検出した際の検出条件種別に応じて、前記第２検出の検出条件を設定する
上記（１）乃至（１１）のいずれかに記載の撮像制御装置。
（１４）撮像装置を制御する撮像制御装置の撮像制御方法として、
撮像環境が第１ステートになること検出する第１検出手順と、
前記第１ステートの検出に基づいて第１モードの撮像処理動作を指示する第１指示手順と、
前記第１ステートから第２ステートになることを検出する第２検出手順と、
前記第２ステートの検出に基づいて第２モードの撮像処理動作を指示する第２指示手順と、を備えた
撮像制御方法。
（１５）撮像環境が第１ステートになること検出する第１検出手順と、
前記第１ステートの検出に基づいて第１モードの撮像処理動作を指示する第１指示手順と、
前記第１ステートから第２ステートになることを検出する第２検出手順と、
前記第２ステートの検出に基づいて第２モードの撮像処理動作を指示する第２指示手順とを
演算処理装置に実行させるプログラム。
The present technology can also adopt the following configuration.
(1) a state detection unit that performs first detection for detecting that the imaging environment changes to a first state, and second detection that detects that the imaging environment changes from the first state to a second state;
a mode processing instruction unit that instructs an imaging processing operation in a first mode based on detection of the first state, and instructs an imaging processing operation in a second mode based on detection of the second state. Device.
(2) The state detection unit
According to (1) above, it is detected that, as the imaging environment, an object to be mounted of an imaging device or a subject, or an object to be mounted of a device capable of communicating with the imaging device is in the first state or the second state. imaging control device.
(3) The state detection unit
The imaging control device according to (1) or (2) above, wherein as the second detection, a non-operating action of a mounted body of an imaging device or a subject, or a mounted body of a device capable of communicating with the imaging device is detected.
(4) The state detection unit
The imaging control device according to (3) above, wherein as the first detection, an operation action of a person who is an object to which the imaging device is attached or a subject is detected.
(5) the state detection unit performs a third detection for detecting that the state changes from the second state to the third state;
The imaging control according to any one of the above (1) to (4), wherein the mode processing instructing section instructs termination of the imaging processing operation executed in at least the second mode based on the detection of the third state. Device.
(6) the imaging processing operation in the first mode instructed by the mode processing instruction unit includes a processing operation of buffering the captured image data in a ring memory format in a memory;
The imaging processing operation in the second mode instructed by the mode processing instruction unit includes a processing operation for setting a range of captured image data buffered in the memory to be saved as a recorded image. (5) The imaging control device according to any one of the above.
(7) The imaging processing operation in the first mode instructed by the mode processing instruction unit is a processing operation for saving the captured image data in the period in which the first state is set as a recorded image at a first frame rate. including
The imaging processing operation in the second mode instructed by the mode processing instructing unit is to process the captured image data in the second state period at a second frame rate higher than the first frame rate. The imaging control apparatus according to any one of (1) to (6) above, including a processing operation for saving as a recorded image.
(8) the state detection unit performs a third detection for detecting that the state changes from the second state to the third state;
The imaging processing operation in the first mode instructed by the mode processing instruction unit includes a processing operation for saving captured image data as a recorded image,
The imaging processing operation in the second mode instructed by the mode processing instruction unit includes a processing operation for stopping recording of captured image data,
The imaging control device according to any one of (1) to (4) above, wherein the mode processing instructing section instructs power-off of the imaging device based on the detection of the third state.
(9) The state detection unit
According to any one of (1) to (8) above, one or both of the first detection and the second detection are performed based on a detection signal from a sensor mounted on an imaging device or a device capable of communicating with the imaging device. imaging control device.
(10) The state detection unit
The imaging control device according to any one of (1) to (9) above, wherein one or both of the first detection and the second detection are performed based on captured image data obtained by an imaging device.
(11) The state detection unit performs one or both of the first detection and the second detection based on the communication state between the imaging device and the communicable device. The imaging control device according to 1.
(12) The state detection unit
The imaging control device according to any one of (1) to (11) above, wherein detection conditions for one or both of the first detection and the second detection are set according to the action type of the wearable body.
(13) The state detection unit
setting a plurality of detection conditions as the first detection;
The imaging control device according to any one of (1) to (11) above, wherein the detection condition for the second detection is set according to a detection condition type when the first state is detected in the first detection.
(14) As an imaging control method for an imaging control device that controls an imaging device,
a first detection procedure for detecting that the imaging environment is in a first state;
a first instruction procedure for instructing an imaging processing operation in a first mode based on the detection of the first state;
a second detection procedure for detecting transition from the first state to the second state;
an imaging control method comprising: a second instruction procedure for instructing an imaging processing operation in a second mode based on detection of the second state.
(15) a first detection procedure for detecting that the imaging environment is in a first state;
a first instruction procedure for instructing an imaging processing operation in a first mode based on the detection of the first state;
a second detection procedure for detecting transition from the first state to the second state;
A program for causing an arithmetic processing unit to execute a second instruction procedure for instructing an imaging processing operation in a second mode based on the detection of the second state.
１…撮像制御装置、１ａ…状態検出部、１ｂ…モード処理指示部、２…撮像部、３…撮像信号処理部、４，３４，５３…表示部、５，１５…記録部、６…通信部、７，１４，５６…センサ部、１１…光学系、１２…イメージャ、１６，５１…無線通信部、１７，５５…音声検出部、３０，６０…コントローラ
DESCRIPTION OF
Claims (17)
を備え、
前記検出部は、被装着体の行動種別の判定結果又は選択された行動種別に基づいて、前記第１検出、前記第２検出の一方又は両方についての検出条件を設定し、
前記指示部が指示する前記第２モードの撮像処理動作は、メモリにバファリングされていく撮像画像データのうち記録画像として保存する範囲を設定する処理動作を含む
制御装置。 a detection unit that performs first detection for detecting that the imaging environment is in a first state, and second detection that detects that the imaging environment is in a second state after detecting the first state; an instruction unit that instructs the imaging processing operation in the second mode based on the detection of the second state;
with
The detection unit sets detection conditions for one or both of the first detection and the second detection based on the determination result of the behavior type of the wearable body or the selected behavior type,
The imaging processing operation in the second mode instructed by the instruction unit includes a processing operation for setting a range of captured image data buffered in a memory to be saved as a recorded image.
請求項１に記載の制御装置。 The imaging processing operation in the second mode instructed by the instruction unit is such that the range to be saved as a recorded image includes the captured image data buffered in the memory at a point in time past the detection timing of the second state. 2. The control device according to claim 1, further comprising a processing operation for setting.
前記指示部が指示する前記第１モードの撮像処理動作は、撮像画像データを前記メモリへバッファリングする処理動作を含む
請求項１又は請求項２に記載の制御装置。 The instruction unit instructs an imaging processing operation in a first mode based on the detection of the first state,
3. The control device according to claim 1, wherein the imaging processing operation in the first mode instructed by the instruction unit includes a processing operation of buffering captured image data in the memory.
請求項１から請求項３のいずれかに記載の制御装置。 The control device according to any one of claims 1 to 3, wherein the captured image data is buffered in the memory in a ring memory format.
請求項１から請求項４のいずれかに記載の制御装置。 5. The control according to any one of claims 1 to 4, wherein the detection unit performs one or both of the first detection and the second detection based on a communication state between the imaging device and a communicable device. Device.
前記指示部は、前記第３ステートの検出に基づいて、少なくとも前記第２モードで実行される撮像処理動作の終了を指示する
請求項１から請求項５のいずれかに記載の制御装置。 The detection unit performs a third detection for detecting that the state changes from the second state to the third state,
6. The control device according to any one of claims 1 to 5, wherein the instructing section instructs termination of the imaging processing operation executed in at least the second mode based on the detection of the third state.
前記指示部は、前記第３ステートの検出に基づいて、少なくとも前記第２モードで実行される撮像処理動作の終了を指示する
請求項１から請求項６のいずれかに記載の制御装置。 The detection unit performs a third detection for detecting that the state changes from the second state to the third state when a predetermined time elapses while wireless communication between the imaging device and the communicable device is interrupted,
7. The control device according to any one of claims 1 to 6, wherein the instructing section instructs termination of the imaging processing operation performed at least in the second mode based on the detection of the third state.
前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第１ステート又は前記第２ステートとなることの検出を行う
請求項１から請求項７のいずれかに記載の制御装置。 The detection unit is
1. Detecting that the mounted object or subject of the imaging device or the mounted object of the device capable of communicating with the imaging device is in the first state or the second state as the imaging environment. 8. The control device according to any one of 7.
前記第２検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
請求項１から請求項８のいずれかに記載の制御装置。 The detection unit is
9. The control device according to any one of claims 1 to 8, wherein as the second detection, a non-operating action of a mounted body of an imaging device or a subject, or a mounted body of a device capable of communicating with the imaging device is detected. .
前記第１検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
請求項９に記載の制御装置。 The detection unit is
10. The control device according to claim 9, wherein as the first detection, an operation action of a person who is a subject or an object to which the imaging device is attached is detected.
前記指示部が指示する前記第１モードの撮像処理動作は、前記第１ステートとされた期間の撮像画像データを第１のフレームレートで記録画像として保存するための処理動作を含み、
前記指示部が指示する前記第２モードの撮像処理動作は、前記第２ステートとされた期間の撮像画像データを前記第１のフレームレートよりは高いフレームレートである第２のフレームレートで記録画像として保存するための処理動作を含む
請求項１から請求項１０のいずれかに記載の制御装置。 The instruction unit instructs an imaging processing operation in a first mode based on the detection of the first state,
The imaging processing operation in the first mode instructed by the instruction unit includes a processing operation for saving the captured image data in the period set to the first state as a recorded image at a first frame rate,
In the imaging processing operation in the second mode instructed by the instruction unit, the captured image data in the period in which the second state is set is recorded as an image at a second frame rate higher than the first frame rate. 11. A controller as claimed in any preceding claim, comprising a processing operation for saving as a .
前記検出部は、前記第２ステートから第３ステートになることを検出する第３検出を行い、
前記指示部が指示する前記第１モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
前記指示部が指示する前記第２モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
前記指示部は、前記第３ステートの検出に基づいて撮像装置の電源オフを指示する
請求項１から請求項１１のいずれかに記載の制御装置。 The instruction unit instructs an imaging processing operation in a first mode based on the detection of the first state,
The detection unit performs a third detection for detecting that the state changes from the second state to the third state,
The imaging processing operation in the first mode instructed by the instruction unit includes a processing operation for saving captured image data as a recorded image,
The imaging processing operation in the second mode instructed by the instruction unit includes a processing operation for stopping recording of captured image data,
12. The control device according to any one of claims 1 to 11, wherein the instructing unit instructs power off of the imaging device based on the detection of the third state.
撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第１検出、前記第２検出の一方又は両方を行う
請求項１から請求項１２のいずれかに記載の制御装置。 The detection unit is
13. The method according to any one of claims 1 to 12, wherein one or both of the first detection and the second detection are performed based on a detection signal from an imaging device or a sensor mounted on a device capable of communicating with the imaging device. Control device.
撮像装置によって得られた撮像画像データに基づいて、前記第１検出、前記第２検出の一方又は両方を行う
請求項１から請求項１２のいずれかに記載の制御装置。 The detection unit is
The control device according to any one of claims 1 to 12, wherein one or both of the first detection and the second detection are performed based on captured image data obtained by an imaging device.
前記第１検出として複数の検出条件を設定し、
前記第１検出で前記第１ステートを検出した際の検出条件種別に応じて、前記第２検出の検出条件を設定する
請求項１から請求項１４のいずれかに記載の制御装置。 The detection unit is
setting a plurality of detection conditions as the first detection;
The control device according to any one of claims 1 to 14, wherein a detection condition for said second detection is set according to a detection condition type when said first state is detected in said first detection.
撮像環境が第１ステートになることを検出する前記第１検出処理と、
前記第１ステートを検出した後に、前記撮像環境が第２ステートになることを検出する前記第２検出処理と、
前記第２ステートの検出に基づいて、メモリにバファリングされていく撮像画像データのうち記録画像として保存する範囲を設定する処理動作を含む第２モードの撮像処理動作を指示する指示処理とを、
制御装置が行う制御方法。 A process of setting detection conditions for one or both of the first detection process and the second detection process based on the determination result of the action type of the wearable body or the selected action type;
the first detection process for detecting that the imaging environment is in a first state;
the second detection process for detecting that the imaging environment changes to a second state after detecting the first state;
an instruction process for instructing an imaging processing operation in a second mode including a processing operation for setting a range to be saved as a recorded image among the captured image data buffered in the memory based on the detection of the second state;
A control method performed by a control device.
撮像環境が第１ステートになることを検出する前記第１検出処理と、
前記第１ステートを検出した後に、前記撮像環境が第２ステートになることを検出する前記第２検出処理と、
前記第２ステートの検出に基づいて、メモリにバファリングされていく撮像画像データのうち記録画像として保存する範囲を設定する処理動作を含む第２モードの撮像処理動作を指示する指示処理とを、
制御装置に実行させるプログラム。 A process of setting detection conditions for one or both of the first detection process and the second detection process based on the determination result of the action type of the wearable body or the selected action type;
the first detection process for detecting that the imaging environment is in a first state;
the second detection process for detecting that the imaging environment changes to a second state after detecting the first state;
an instruction process for instructing an imaging processing operation in a second mode including a processing operation for setting a range to be saved as a recorded image among the captured image data buffered in the memory based on the detection of the second state;
A program to be run by a controller.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020213806A JP7156356B2 (en) | 2020-12-23 | 2020-12-23 | Control device, control method, program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020213806A JP7156356B2 (en) | 2020-12-23 | 2020-12-23 | Control device, control method, program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016005453A Division JP6819042B2 (en) | 2016-01-14 | 2016-01-14 | Imaging control device, imaging control method, program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021061626A JP2021061626A (en) | 2021-04-15 |
| JP7156356B2 true JP7156356B2 (en) | 2022-10-19 |
Family
ID=75381537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020213806A Active JP7156356B2 (en) | 2020-12-23 | 2020-12-23 | Control device, control method, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7156356B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118526A (en) | 2006-11-07 | 2008-05-22 | Sony Corp | Imaging apparatus and imaging method |
| JP2015082817A (en) | 2013-10-24 | 2015-04-27 | ソニー株式会社 | Information processing device, recording medium and information processing method |
-
2020
- 2020-12-23 JP JP2020213806A patent/JP7156356B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118526A (en) | 2006-11-07 | 2008-05-22 | Sony Corp | Imaging apparatus and imaging method |
| JP2015082817A (en) | 2013-10-24 | 2015-04-27 | ソニー株式会社 | Information processing device, recording medium and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021061626A (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6819042B2 (en) | Imaging control device, imaging control method, program | |
| KR102415637B1 (en) | Electronic apparatus and method for controlling same | |
| US11696016B2 (en) | Imaging apparatus and display control method thereof | |
| US7995794B2 (en) | Remote control of an image capturing unit in a portable electronic device | |
| US9088721B2 (en) | Imaging apparatus and display control method thereof | |
| US9179031B2 (en) | Content acquisition apparatus and storage medium | |
| JP7156356B2 (en) | Control device, control method, program | |
| KR20160057971A (en) | Image processing apparatus, image processing method, and program | |
| JP2014123853A (en) | Imaging apparatus and image display device | |
| JP5027069B2 (en) | Imaging device | |
| US10334160B2 (en) | Imaging apparatus capable of automatic photography, image playback apparatus which plays back automatically photographed image, image playback method, and imaging method | |
| WO2017169499A1 (en) | Control device, control method and computer program | |
| JP2017158144A (en) | Imaging apparatus and control method of imaging apparatus | |
| JP2018006797A (en) | Electronic apparatus, electronic apparatus system, wearable apparatus, control program, still picture acquisition method and operation method for wearable apparatus | |
| JP2010199926A (en) | Image extraction device and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220919 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7156356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |