JP5743396B2 - Imaging apparatus, imaging control method, and computer program - Google Patents

Imaging apparatus, imaging control method, and computer program Download PDF

Info

Publication number
JP5743396B2
JP5743396B2 JP2009270670A JP2009270670A JP5743396B2 JP 5743396 B2 JP5743396 B2 JP 5743396B2 JP 2009270670 A JP2009270670 A JP 2009270670A JP 2009270670 A JP2009270670 A JP 2009270670A JP 5743396 B2 JP5743396 B2 JP 5743396B2
Authority
JP
Japan
Prior art keywords
shooting
photographing
imaging
path
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009270670A
Other languages
Japanese (ja)
Other versions
JP2011114713A (en
Inventor
ひろみ 別所
ひろみ 別所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009270670A priority Critical patent/JP5743396B2/en
Publication of JP2011114713A publication Critical patent/JP2011114713A/en
Application granted granted Critical
Publication of JP5743396B2 publication Critical patent/JP5743396B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮影装置、撮影制御方法、及びコンピュータプログラムに関し、特に、動画像を撮影するために用いて好適なものである。   The present invention relates to a photographing apparatus, a photographing control method, and a computer program, and is particularly suitable for use in photographing a moving image.

動画像の撮影で、ある被写体から別の被写体に向けて、カメラポジション、カメラアングル、画角、露出、ズーム値等の撮影パラメータを変更しながら撮影を実施する場合がある。その際、被写体の状態を分析して最適なカメラワークを指示したり、被写体を画角から取り漏らさないように指示したりする従来技術がある。
従来、次に撮影する可能性のある画角外にある被写体を予め知らしめて的確な撮影指示を与えるものとしては、パンチルト撮影動作時にカメラの移動先の状況を予め確認できる技術が知られている（特許文献１を参照）。具体的にこの技術では、まず、撮影装置の動きを検知し、撮影装置の移動方向に延長される拡張領域を取得する。そして、撮影時のパンチルト時においては、ビデオカメラの液晶画面等から実際の記録領域よりも大きい前記拡張領域を表示することによってパンチルト撮影時の撮影失敗を防ぐことができる。 When shooting a moving image, shooting may be performed while changing shooting parameters such as camera position, camera angle, field angle, exposure, and zoom value from one subject to another. In this case, there is a conventional technique for analyzing the state of the subject and instructing an optimal camera work, or instructing the subject not to be missed from the angle of view.
Conventionally, as a technique for informing a subject outside the angle of view that is likely to be photographed next and giving an accurate photographing instruction, there is known a technique capable of confirming in advance a situation of a camera movement destination during a pan / tilt photographing operation. (See Patent Document 1). Specifically, in this technique, first, the movement of the photographing apparatus is detected, and an extended region extended in the moving direction of the photographing apparatus is acquired. Then, during pan / tilt at the time of shooting, shooting failure at the time of pan / tilt shooting can be prevented by displaying the extended area larger than the actual recording area from the liquid crystal screen or the like of the video camera.

また、従来、２点以上の撮影ポイントにおける撮影パラメータを滑らかに遷移させる技術が知られている（特許文献２を参照）。具体的にこの技術では、予め２点以上の白色点等の撮影パラメータを指定し、２点間の撮影パラメータの遷移速度を滑らかに変化させることを、２点間の距離にかかわらず任意に指定された時間で行う。   Conventionally, a technique for smoothly transitioning shooting parameters at two or more shooting points is known (see Patent Document 2). Specifically, in this technique, shooting parameters such as two or more white points are designated in advance, and the transition speed of the shooting parameters between the two points is smoothly changed regardless of the distance between the two points. In the time given.

特開２００６−２５４１１６号公報JP 2006-254116 A 特開２００６−７４４０１号公報JP 2006-74401 A

特許文献１に記載の技術では、被写体の周辺を広めに確認しながら的確な画角を選択することができる。しかしながら、撮影したい被写体が複数点在していて、被写体を経由しながら撮影するような長いカット撮影や撮影シナリオに基づく撮影には必ずしも有効ではないという課題があった。即ち、特許文献１に記載の技術では、複数の被写体を経由して撮影する場合、拡張領域に次の被写体が同時に存在しないと、或いは、次の被写体に移動する撮影経路上に被写体が映らない状態が存在すると、撮影経路は未定となる。このような確固たるガイドがない撮影によって、スムーズなカメラワークによる撮影結果が得られなかったり、迷いながら撮影することによって、手ぶれを招いたりする可能性がある。
さらに、特許文献２に記載の技術では、２点間の混合率を所定の時間で設定しているため、撮影経路やその他の撮影状況に対応していないという課題があった。
本発明は、このような問題点に鑑みてなされたものであり、被写体を変えながら動画像を撮影する場合に、可及的に適切な撮影経路で良好な撮影を進行させることができるようにすることを目的とする。 With the technique described in Patent Document 1, it is possible to select an accurate angle of view while confirming the periphery of the subject wider. However, there are a plurality of subjects to be photographed, and there is a problem that it is not always effective for photographing based on a long cut photographing or photographing scenario in which photographing is performed via the subject. In other words, in the technique described in Patent Document 1, when shooting is performed via a plurality of subjects, the next subject does not exist in the extended area at the same time, or the subject does not appear on the shooting path moving to the next subject. If the state exists, the shooting route is undetermined. Shooting without such a solid guide may not provide a smooth camerawork shooting result, or shooting while straying may cause camera shake.
Furthermore, the technique described in Patent Document 2 has a problem that the mixing ratio between two points is set for a predetermined time, so that it does not correspond to the shooting path and other shooting situations.
The present invention has been made in view of such a problem, and when shooting a moving image while changing a subject, it is possible to make good shooting progress through an appropriate shooting route as much as possible. The purpose is to do.

本発明の撮影装置は、撮影している位置の移動に伴う複数の撮影ポイントを含む動画像の撮影経路を、該撮影経路における事前撮影の結果に基づいて決定する撮影経路決定手段と、前記事前撮影が行われた後の本撮影を行っているときの撮影装置の現在の撮影している位置を取得する位置取得手段と、前記撮影経路と、前記撮影装置の現在の撮影している位置に基づいて、該撮影装置を移動させる方向を導出する移動方向導出手段と、前記撮影装置を移動させる方向を表示装置に表示する移動方向表示手段と、を有し、前記移動方向導出手段は、前記撮影装置の現在の撮影している位置が前記撮影経路上にある場合は、前記撮影経路における前記撮影装置の現在の撮影している位置の接線が表す方向を、前記撮影装置を移動させる方向とし、前記撮影装置の現在の撮影している位置が前記撮影経路からずれている場合は、前記撮影装置の現在の撮影している位置から、前記撮影装置の現在の撮影している位置から所定距離にある前記撮影経路上の点までを結ぶベクトルと、前記撮影装置の現在の撮影している位置から最小距離にある前記撮影経路上の点の接線ベクトルとを合成したベクトルが表す方向を、前記撮影装置を移動させる方向とすることを特徴とする。 Imaging apparatus of the present invention, the imaging path of a moving image including a plurality of photographic points with the movement of the position where the photographing, a photographing path determining means for determining based on the results of the preparatory photographing in the photographing path, before Article Position acquisition means for acquiring the current shooting position of the shooting apparatus when performing the main shooting after the previous shooting, the shooting path, and the current shooting position of the shooting apparatus A moving direction deriving unit for deriving a direction in which the photographing apparatus is moved, and a moving direction display unit for displaying a direction in which the photographing apparatus is moved on a display device, and the moving direction deriving unit includes: current when the photographer to have located is on the imaging path, the direction represented by the tangent of the current taken by that the position of the imaging device in the imaging path of the photographing apparatus, a direction for moving the imaging device age, If the current taken by that the position of the serial imaging apparatus is deviated from the imaging path, the current taken by that position before Symbol imaging apparatus, a predetermined distance from the current shooting to have the position of the imaging device A direction represented by a vector that combines a vector connecting to a point on the shooting path in the image and a tangent vector of the point on the shooting path at a minimum distance from the current shooting position of the shooting device, It is characterized by the direction in which the photographing apparatus is moved.

本発明によれば、可及的に適切な撮影経路で良好な撮影を進行させることができる。 According to the present invention, it is possible to advance the good shot with appropriate imaging path variable retroactively.

画像処理装置（撮影装置）を示す図である。It is a figure which shows an image processing apparatus (imaging device). 第１の実施形態における撮影シーンを説明する図である。It is a figure explaining the imaging | photography scene in 1st Embodiment. 撮影装置における全体の処理を説明するフローチャートである。It is a flowchart explaining the whole process in an imaging device. 第１の実施形態におけるステップＳ４０１を示すフローチャートである。It is a flowchart which shows step S401 in 1st Embodiment. 撮影シーンで得られる動きベクトルを示す図である。It is a figure which shows the motion vector obtained by an imaging | photography scene. 撮影ポイントを経由する撮影時間を説明する図である。It is a figure explaining the imaging | photography time which passes through an imaging | photography point. カメラワーク設定画面を示す図である。It is a figure which shows a camera work setting screen. 撮影経路を示す図である。It is a figure which shows an imaging | photography route. 第１の実施形態におけるステップＳ４０２を示すフローチャートである。It is a flowchart which shows step S402 in 1st Embodiment. 全撮影経路を示す図である。It is a figure which shows all the imaging | photography paths. 撮影パラメータ示す図である。It is a figure which shows a photography parameter. 第１の実施形態における本撮影の処理を示すフローチャートである。3 is a flowchart illustrating main imaging processing according to the first embodiment. 撮影ポイント間における移動方向と撮影パラメータを示す図である。It is a figure which shows the moving direction and imaging | photography parameter between imaging | photography points. 現在の撮影位置が撮影経路上に位置している場合の中間撮影ベクトルを示す図である。It is a figure which shows the intermediate | middle imaging | photography vector in case the present imaging | photography position is located on an imaging | photography path | route. 現在の撮影位置が撮影経路からずれている場合の中間撮影ベクトルを示す図である。It is a figure which shows an intermediate | middle imaging | photography vector when the present imaging | photography position has shifted | deviated from the imaging | photography route. 現在位置における撮影パラメータの他の例を説明する図である。It is a figure explaining the other example of the imaging | photography parameter in a present position. 方向ベクトルの表示例を示す図である。It is a figure which shows the example of a display of a direction vector. 第２の実施形態におけるステップＳ４０１を示すフローチャートである。It is a flowchart which shows step S401 in 2nd Embodiment. 第２の実施形態における撮影シーンを説明する図である。It is a figure explaining the photography scene in a 2nd embodiment. 第２の実施形態における本撮影の処理を示すフローチャートである。10 is a flowchart illustrating a process of main photographing in the second embodiment.

（第１の実施形態）
まず、第１の実施形態について説明する
図１は、画像処理装置（撮影装置１００）の一例を示す図である。撮影装置１００はデジタルカメラ等である。
撮像部１０１は、被写体の光量を検知する。撮像部１０１は、例えば、ズームレンズと、フォーカスレンズと、ぶれ補正レンズと、絞りと、シャッターと、光学ローパスフィルタと、ｉＲカットフィルタと、カラーフィルタと、CMOSセンサやCCDセンサ等のセンサ等を備えて構成される。
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、Ａ／Ｄ変換部１０２で得られたデジタル値に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理等を行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、信号処理部１０３で得られたデジタル画像に対しアナログ変換を行う。 (First embodiment)
First, the first embodiment will be described. FIG. 1 is a diagram illustrating an example of an image processing apparatus (imaging apparatus 100). The photographing apparatus 100 is a digital camera or the like.
The imaging unit 101 detects the amount of light of the subject. The imaging unit 101 includes, for example, a zoom lens, a focus lens, a shake correction lens, a diaphragm, a shutter, an optical low-pass filter, an iR cut filter, a color filter, a sensor such as a CMOS sensor and a CCD sensor, and the like. It is prepared for.
The A / D conversion unit 102 converts the light amount of the subject into a digital value. The signal processing unit 103 performs demosaicing processing, white balance processing, gamma processing, and the like on the digital value obtained by the A / D conversion unit 102 to generate a digital image. The D / A conversion unit 104 performs analog conversion on the digital image obtained by the signal processing unit 103.

エンコーダ部１０５は、信号処理部１０３で得られたデジタル画像を、JPEG・MPEG・H.264等のファイルフォーマットに変換する処理を行う。メディアインターフェース（メディアＩ／Ｆ）１０６は、ＰＣ、その他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
ＣＰＵ１０７は、各構成の処理の全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み出して解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。 The encoder unit 105 performs processing for converting the digital image obtained by the signal processing unit 103 into a file format such as JPEG / MPEG / H.264. The media interface (media I / F) 106 is an interface for connecting to a PC or other media (for example, a hard disk, a memory card, a CF card, an SD card, a USB memory).
The CPU 107 is related to all the processes of each configuration, reads and interprets the instructions stored in the ROM 108 and RAM 109 in order, and executes the processes according to the results. The ROM 108 and the RAM 109 provide the CPU 107 with programs, data, work areas, and the like necessary for the processing.

撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節する等、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤル等を備え、ＣＰＵ１０７は、これらを介して入力されたユーザからの指示を受け取る。キャラクタージェネレーション部１１２は、文字やグラフィック等を生成する。
表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受け取った撮影画像や文字の表示を行う。また、表示部１１３は、タッチスクリーン機能を有していても良く、その場合は、表示部１１３（タッチスクリーン）に対するユーザからの指示を操作部１１１の入力として扱うことも可能である。
尚、撮影装置１００の構成要素は、図１に示したもの以外にも存在するが、本実施形態の主眼ではないので、ここではその詳細な説明を省略する。 The imaging system control unit 110 controls the imaging system instructed by the CPU 107 such as focusing, opening a shutter, and adjusting an aperture. The operation unit 111 includes buttons, a mode dial, and the like, and the CPU 107 receives an instruction from the user input via these buttons. The character generation unit 112 generates characters, graphics, and the like.
In general, a liquid crystal display is widely used as the display unit 113 and displays captured images and characters received from the character generation unit 112 and the D / A conversion unit 104. In addition, the display unit 113 may have a touch screen function. In that case, an instruction from the user to the display unit 113 (touch screen) can be handled as an input of the operation unit 111.
The constituent elements of the image capturing apparatus 100 exist other than those shown in FIG. 1, but are not the main points of the present embodiment, and thus detailed description thereof is omitted here.

図２は、撮影シーンの一例を説明する図である。
図２において、撮影者の描く撮影シナリオは、最初に人物３０１を撮影し、続けて空の三日月３０３を撮影し、最後に複数の人物３０５をスムーズな流れで撮影することである。また、撮影者の各被写体を撮影する際の撮影パラメータに関する要望は、以下の通りである。撮影領域３０２のように人物３０１の肩から上の頭部をアップで撮影し、次に、ズームインして撮影領域３０４のように撮影画角いっぱいに三日月３０３を撮影し、最後に、ズームアウトして撮影領域３０６のように複数の人物３０５の全身を撮影することである。しかも、人物３０１は比較的明るい場所にいるが、三日月３０３は暗い夜空にあり、複数の人物３０５は光を背にしている。このため、それぞれの被写体を撮影する際の適正露出やピントやホワイトバランスは、各撮影ポイントでそれぞれ異なる。撮影シナリオによると、各被写体を撮影する際に撮影パラメータをスムーズに変更しなければならない。即ち、複数の被写体をスムーズな撮影経路で、適正な補正値・その他撮影パラメータで撮影しなければならない。また、図２（ｂ）に示すように、この撮影シナリオでは、人物３０１を３秒間撮影した後、１０秒間で三日月３０３に移動し、三日月３０３を１秒間撮影した後、５秒間で複数の人物３０５に移動し、複数の人物３０５を３秒間撮影することとしている。 FIG. 2 is a diagram illustrating an example of a shooting scene.
In FIG. 2, the shooting scenario drawn by the photographer is to first shoot a person 301, then shoot an empty crescent moon 303, and finally shoot a plurality of persons 305 in a smooth flow. In addition, the demand regarding the shooting parameters when shooting each subject of the photographer is as follows. The head above the shoulder of the person 301 is photographed up like the photographing region 302, then zoomed in and the crescent moon 303 is photographed to the full photographing angle as the photographing region 304, and finally zoomed out. In other words, the whole body of a plurality of persons 305 is photographed as in the photographing region 306. In addition, although the person 301 is in a relatively bright place, the crescent moon 303 is in the dark night sky, and the plurality of persons 305 are behind the light. For this reason, the proper exposure, focus and white balance when shooting each subject are different at each shooting point. According to the shooting scenario, the shooting parameters must be changed smoothly when shooting each subject. That is, a plurality of subjects must be photographed with an appropriate correction value and other photographing parameters through a smooth photographing route. Also, as shown in FIG. 2 (b), in this shooting scenario, the person 301 was shot for 3 seconds, then moved to the crescent moon 303 in 10 seconds, the crescent moon 303 was shot for 1 second, and then a plurality of persons were shot in 5 seconds. Moving to 305, a plurality of persons 305 are photographed for 3 seconds.

図３は、撮影装置１００における全体の撮影制御処理の概要の一例を説明するフローチャートである。
ステップＳ４０１において、撮影装置１００は、本撮影の前に事前撮影を行う。撮影装置１００は、事前撮影において、本撮影と同じ２つ以上の被写体を各々適切な撮影パラメータによって撮影し、さらに被写体間の事前撮影経路を記録する。事前撮影が終了すると、ステップＳ４０２において、撮影装置１００は、本撮影用の撮影経路を決定し、且つ、決定した撮影経路上での被写体の撮影パラメータの値を決定する。これら撮影経路と撮影パラメータの値とを合わせたものをカメラワークと呼ぶ。次に、撮影装置１００は、ステップＳ４０３において本撮影を開始し、ステップＳ４０４において実際の撮影状態と予め作成したカメラワークを比較し、カメラワークの指示（撮影パラメータの設定や撮影装置１００の移動方向の表示）をする。撮影装置１００は、ステップＳ４０５で全撮影が終了したと判定するまで、ステップＳ４０４の処理を継続して行う。 FIG. 3 is a flowchart illustrating an example of an overview of the entire shooting control process in the shooting apparatus 100.
In step S401, the image capturing apparatus 100 performs pre-photographing before the main photographing. In the pre-shooting, the shooting apparatus 100 shoots two or more subjects that are the same as the main shooting with appropriate shooting parameters, and records a pre-shooting path between the subjects. When the pre-shooting is completed, in step S402, the shooting apparatus 100 determines a shooting path for main shooting, and determines the shooting parameter value of the subject on the determined shooting path. A combination of these shooting paths and shooting parameter values is called camera work. Next, the photographing apparatus 100 starts main photographing in step S403, compares the actual photographing state with the camera work created in advance in step S404, and instructs camera work (setting of photographing parameters and the moving direction of the photographing apparatus 100). Display). The imaging apparatus 100 continues the process of step S404 until it is determined in step S405 that all imaging has been completed.

＜事前撮影＞
図４は、図３で説明したステップＳ４０１の事前撮影の詳細を示すフローチャートである。
先ず、図１に示した操作部１１１により、プログラムを実施する信号がＣＰＵ１０７に送信され、ＣＰＵ１０７の命令によりＲＯＭ１０８或いはＲＡＭ１０９に格納されたプログラムの事前撮影プログラムがロードされ、実行される。
ステップＳ５０１：事前撮影プログラムは、必ず撮影する２つ以上の被写体の数を入力するように構成されている。よって、ＣＰＵ１０７は、操作部１１１の操作に基づいて、必ず撮影する被写体の数を入力する。必ず撮影する被写体を撮影ポイントと呼ぶ。また、この被写体の数を撮影ポイント数max＿pointとする。図２に示した撮影シーンの例では、撮影ポイントは、被写体である人物３０１、３０５、及び三日月３０３であり、撮影ポイント数は３となる。 <Pre-shoot>
FIG. 4 is a flowchart showing details of the pre-shooting in step S401 described in FIG.
First, a signal for executing a program is transmitted to the CPU 107 by the operation unit 111 illustrated in FIG. 1, and a pre-shooting program stored in the ROM 108 or the RAM 109 is loaded and executed in accordance with an instruction from the CPU 107.
Step S501: The pre-shooting program is configured to always input the number of two or more subjects to be shot. Therefore, the CPU 107 always inputs the number of subjects to be photographed based on the operation of the operation unit 111. A subject to be photographed is called a photographing point. Further, the number of subjects is defined as the number of shooting points max_point. In the example of the shooting scene shown in FIG. 2, the shooting points are the subjects 301 and 305 and the crescent moon 303 as subjects, and the number of shooting points is three.

ステップＳ５０２：ＣＰＵ１０７は、撮影ポイント数を識別する変数countに１を入力する。
ステップＳ５０３：ＣＰＵ１０７は、事前撮影プログラムで使用するその他の変数や配列の初期化を行う。
ステップＳ５０４：ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、事前撮影を指示するボタンが押下されるまで待機する。事前撮影を指示するボタンが押下されると、次のステップＳ５０５に進む。
ステップＳ５０５：ＣＰＵ１０７は、開始撮影ポイントの被写体を、適正露出、ホワイトバランス、ズームと言った撮影パラメータに基づいて撮影することを撮像系制御部１１０等に指示する。そして、ＣＰＵ１０７は、撮影された画像image[count]と、当該画像を撮影したときの撮影パラメータparameters[count]とを記憶メディアに記憶する。図２に示した撮影シーンの例では、開始撮影ポイントは、被写体である人物３０１に相当する。前述したように、人物３０１については、肩から上の頭部を画角一杯に撮影する。さらに人物３０１は明るい場所にいるため、露出は抑え目で撮影する必要がある。よって、撮影画角（即ちズーム率）、適正露出値等が開始撮影ポイントにおける撮影パラメータになる。 Step S502: The CPU 107 inputs 1 to a variable count for identifying the number of shooting points.
Step S503: The CPU 107 initializes other variables and arrays used in the pre-shooting program.
Step S504: The CPU 107 stands by until a button for instructing pre-shooting is pressed based on the content of the operation of the operation unit 111 by the user. When the button for instructing pre-shooting is pressed, the process proceeds to the next step S505.
Step S505: The CPU 107 instructs the imaging system control unit 110 and the like to shoot the subject at the start shooting point based on shooting parameters such as appropriate exposure, white balance, and zoom. Then, the CPU 107 stores the captured image image [count] and the imaging parameter parameters [count] when the image is captured in the storage medium. In the example of the shooting scene shown in FIG. 2, the start shooting point corresponds to the person 301 who is the subject. As described above, for the person 301, the head above the shoulder is photographed with a full angle of view. Furthermore, since the person 301 is in a bright place, it is necessary to shoot with the eyes while suppressing exposure. Therefore, the shooting angle of view (that is, the zoom ratio), the appropriate exposure value, and the like become shooting parameters at the start shooting point.

ステップＳ５０６：ＣＰＵ１０７は、開始撮影ポイントにおける撮影時間point＿time[count]を記憶メディアに記憶する。
ステップＳ５０７：ＣＰＵ１０７は、本ステップ以降で次の撮影ポイントに対する処理を行うため、撮影ポイント数を識別する変数countに１を加算する（インクリメントする）。
ステップＳ５０８：ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、撮影ポイント間経路記憶ボタンが押下されるまで待機する。撮影ポイント間経路記憶ボタンは、撮影ポイント間の経路の記憶するためボタンである。撮影ポイント間経路記憶ボタンが押下されると、次のステップＳ５０９に進む。 Step S506: The CPU 107 stores the shooting time point_time [count] at the start shooting point in the storage medium.
Step S507: The CPU 107 adds 1 to the variable count for identifying the number of shooting points in order to perform processing for the next shooting point after this step.
Step S508: The CPU 107 stands by until the inter-shooting point path storage button is pressed based on the content of the operation of the operation unit 111 by the user. The shooting point route storage button is a button for storing a route between shooting points. When the shooting point path storage button is pressed, the process proceeds to the next step S509.

ステップＳ５０９：ＣＰＵ１０７は、現在の撮影ポイントから次の撮影ポイントまでの動きベクトルを記憶メディアに記憶する。動きベクトルとは、ある基準となるフレームからの動きをベクトルとして表現したものである。本実施形態では、信号処理部１０３は、撮像部１０１において撮影された動画像の映像信号に基づいて、前画面及び現画面を、フレーム又はフィールド単位で比較して動きベクトルを検出し、ＲＡＭ１０９等に記憶する。図５は、図２に示した撮影シーンで得られる動きベクトルの一例を概念的に示す図である。例えば、図５において、現在の撮影ポイントが人物３０１であり、次の撮影ポイントが三日月３０３である場合、事前撮影のラフな撮影経路６０４上の各基準フレームからの動きベクトルは矢印６０３で現される。尚、図５において、三日月３０３と複数の人物３０５との間における、事前撮影のラフな撮影経路６０９においても同様に動きベクトルが得られる。   Step S509: The CPU 107 stores the motion vector from the current shooting point to the next shooting point in the storage medium. A motion vector represents a motion from a certain reference frame as a vector. In the present embodiment, the signal processing unit 103 detects the motion vector by comparing the previous screen and the current screen in units of frames or fields based on the video signal of the moving image captured by the imaging unit 101, and the RAM 109 or the like. To remember. FIG. 5 is a diagram conceptually showing an example of a motion vector obtained in the shooting scene shown in FIG. For example, in FIG. 5, when the current shooting point is the person 301 and the next shooting point is the crescent moon 303, the motion vector from each reference frame on the rough shooting path 604 of the previous shooting is represented by an arrow 603. The In FIG. 5, a motion vector is also obtained in a rough shooting path 609 of pre-shooting between the crescent moon 303 and a plurality of persons 305.

ステップＳ５１０：ＣＰＵ１０７は、現在の撮影ポイントから次の撮影ポイントまでの撮影時間（移動時間）を測定する。
ステップＳ５１１：次の撮影ポイントに到達したら、ユーザは、撮影ポイント間経路記憶ボタンの押下が終了する。そこで、ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、撮影ポイント間経路記憶ボタンの押下が終了したか否かを判定する。この判定の結果、撮影ポイント間経路記憶ボタンの押下が終了していない場合には、ステップＳ５０９に戻る。一方、撮影ポイント間経路記憶ボタンの押下が終了した場合には、次のステップＳ５１２に進む。
ステップＳ５１２：ＣＰＵ１０７は、次の撮影ポイントの画像image[count]と撮影パラメータparameters[count]とを記憶メディアに記憶する。例えば、現在の撮影ポイントが人物３０１であり、次の撮影ポイントが三日月３０３である場合、三日月３０３の画像と撮影パラメータとを記憶する。三日月３０３は遠方にあり、暗い夜空にあるため、ズームインし、露出を上げる必要がある。よって、ズーム率、適正露出値等が、次の撮影ポイントにおける撮影パラメータになる。 Step S510: The CPU 107 measures the shooting time (movement time) from the current shooting point to the next shooting point.
Step S511: When the next shooting point is reached, the user finishes pressing the shooting point path storage button. Therefore, the CPU 107 determines whether or not the pressing of the shooting point path storage button has ended based on the content of the operation of the operation unit 111 by the user. If the result of this determination is that the pressing of the shooting point path storage button has not been completed, processing returns to step S509. On the other hand, if the pressing of the shooting point path storage button is finished, the process proceeds to the next step S512.
Step S512: The CPU 107 stores the image image [count] of the next shooting point and the shooting parameters parameters [count] in the storage medium. For example, when the current shooting point is the person 301 and the next shooting point is the crescent moon 303, the image of the crescent moon 303 and the shooting parameters are stored. Since the crescent moon 303 is far away and in the dark night sky, it is necessary to zoom in and increase the exposure. Therefore, the zoom ratio, the appropriate exposure value, and the like become shooting parameters at the next shooting point.

ステップＳ５１３：ＣＰＵ１０７は、撮影ポイント間の動きベクトルの総和から撮影ポイント間の撮影経路ベクトルを算出し、記憶メディアに記憶する。例えば、現在の撮影ポイントが人物３０１であり、次の撮影ポイントが三日月３０３である場合、ＣＰＵ１０７は、図５に示した矢印６０３で表される動きベクトルの水平及び垂直方向の各成分６１１、６１２をそれぞれ累算する。そして、ＣＰＵ１０７は、計数開始時点である撮影ポイント（人物３０１）から、計数終了時点である次の撮影ポイント（三日月３０３）までの画面の移動方向又は移動量を検出する。この移動方向又は移動量が撮影ポイント間の撮影経路ベクトル６０５となる。尚、三日月３０３と複数の人物３０５との間においても、同様に、撮影ポイント間の撮影経路ベクトル６１０が得られる。   Step S513: The CPU 107 calculates a shooting path vector between shooting points from the sum of motion vectors between shooting points, and stores it in a storage medium. For example, when the current shooting point is the person 301 and the next shooting point is the crescent moon 303, the CPU 107 performs horizontal and vertical components 611 and 612 of the motion vector represented by the arrow 603 shown in FIG. Is accumulated. Then, the CPU 107 detects the moving direction or moving amount of the screen from the shooting point (person 301) at the start of counting to the next shooting point (crescent moon 303) at the end of counting. This moving direction or moving amount is a shooting path vector 605 between shooting points. Similarly, a shooting route vector 610 between shooting points is obtained between the crescent moon 303 and the plurality of persons 305.

ステップＳ５１４：ＣＰＵ１０７は、撮影ポイント間の最終的な撮影時間（移動時間）を記憶メディアに記憶する。図６は、撮影ポイントを経由する撮影時間の一例を概念的に説明する図である。図６においては、撮影ポイント数max＿pointが５である場合を例に挙げて示す。撮影ポイント７０１〜７０５は、便宜上、二次元平面上にプロットしたもので示す。撮影時間は、各撮影ポイントで静止した状態で撮影する時間と撮影ポイント間で移動しながら撮影する時間との総計で示される。
即ち、各撮影ポイントにおける撮影時間を格納する配列をpoint＿time[]、撮影ポイント間で移動しながら撮影する時間を格納する配列をmoving＿time[]とすると、総撮影時間（Photo＿Time）は、以下の（１）式で計算される。 Step S514: The CPU 107 stores the final shooting time (movement time) between the shooting points in the storage medium. FIG. 6 is a diagram conceptually illustrating an example of a shooting time passing through a shooting point. FIG. 6 shows an example where the number of shooting points max_point is 5. The shooting points 701 to 705 are shown as plotted on a two-dimensional plane for convenience. The shooting time is indicated by the total of the time for shooting in a stationary state at each shooting point and the time for shooting while moving between shooting points.
That is, if the array for storing the shooting time at each shooting point is point_time [] and the array for storing the shooting time while moving between shooting points is moving_time [], the total shooting time (Photo_Time) is (1) ).

Figure 0005743396
Figure 0005743396

ステップＳ５１５：ＣＰＵ１０７は、撮影ポイント数を識別する変数countが、初期値としてステップＳ５０１で入力された撮影ポイント数max＿point未満であるか否かを判定する。この判定の結果、撮影ポイント数を識別する変数countが、撮影ポイント数max＿point未満である場合には、ステップＳ５０７に戻る。一方、撮影ポイント数を識別する変数countが、撮影ポイント数max＿pointになると、図４のフローチャートによる処理を終了する。   Step S515: The CPU 107 determines whether or not the variable count for identifying the number of shooting points is less than the shooting point number max_point input in step S501 as an initial value. As a result of this determination, if the variable count for identifying the number of shooting points is less than the number of shooting points max_point, the process returns to step S507. On the other hand, when the variable count for identifying the number of shooting points becomes the number of shooting points max_point, the processing according to the flowchart of FIG. 4 ends.

次に、図３のステップＳ４０２において、事前撮影からカメラワークを決定する方法を説明する。本実施形態で述べるカメラワークとは、以下の要素を含むものとする。
・２つ以上の撮影ポイントを経由する撮影経路
・撮影ポイントにおける撮影パラメータを用いた撮影方法
・撮影ポイント間の撮影経路のおける撮影パラメータの遷移
また、以下の要素が含まれていてもよい。
・撮影ポイント及び撮影経路における撮影時間、
このような要素を含む撮影指示をカメラワーク又は撮影指示と呼ぶ。 Next, a method for determining camera work from pre-shooting in step S402 in FIG. 3 will be described. The camera work described in the present embodiment includes the following elements.
-Shooting route via two or more shooting points-Shooting method using shooting parameters at shooting points-Transition of shooting parameters in shooting route between shooting points In addition, the following elements may be included.
・ Shooting point and shooting time in shooting route,
An imaging instruction including such elements is referred to as camera work or imaging instruction.

本実施形態では、カメラワークは、事前撮影によって自動的に決定される場合もあるが、ユーザによって選択することも可能である。
図７は、カメラワークをユーザが選択設定するカメラワーク設定画面の一例を示す図である。図７において、カメラワーク設定画面８０１は、図１に示した表示部１１３（具体的には、例えば撮影装置１００の背面にある液晶モニタ）に表示された画面である。ユーザーインターフェース８０２は、どの撮影経路を設定するかをポップアップメニュー等で選択させるユーザーインターフェースである。例えば、ユーザーインターフェース８０２で選択されている経路１とは、図６の撮影ポイント７０１（撮影ポイント１）から、それに続く撮影ポイント７０２（撮影ポイント２）までの間の経路を示す。
また、ユーザーインターフェース８０３は、撮影経路設定に対する選択肢を提示してユーザに選択させるユーザーインターフェースである。この選択肢は、図７で示されている曲線（上凸）であったり、その他の曲線（下凸）であったり、平滑化曲線であったり、直線等であったりする。撮影経路設定は、ユーザーインターフェース８０２で設定された撮影経路（図７では経路１）を、前記選択肢のどのラインで進行させるか決定するものである。 In this embodiment, the camera work may be automatically determined by pre-shooting, but can be selected by the user.
FIG. 7 is a diagram illustrating an example of a camera work setting screen on which the user selects and sets camera work. In FIG. 7, a camera work setting screen 801 is a screen displayed on the display unit 113 shown in FIG. 1 (specifically, for example, a liquid crystal monitor on the back of the photographing apparatus 100). A user interface 802 is a user interface that allows a user to select which shooting route is set by using a pop-up menu or the like. For example, the route 1 selected on the user interface 802 indicates a route from the shooting point 701 (shooting point 1) in FIG. 6 to the subsequent shooting point 702 (shooting point 2).
A user interface 803 is a user interface that presents options for shooting route setting and allows the user to select. This option may be the curve (upward convex) shown in FIG. 7, another curve (downward convex), a smoothing curve, a straight line, or the like. The shooting route setting determines which line of the options the shooting route set in the user interface 802 (route 1 in FIG. 7) proceeds.

図８は、撮影経路の一例を概念的に示す図である。図８では、撮影ポイント２００１から撮影ポイント２００２までの撮影経路を、水平成分と垂直成分のｈｖ平面で表している。直線２００３は、撮影経路設定のユーザーインターフェース８０３で「直線」を選択した場合の撮影経路であり、撮影ポイント間の撮影経路ベクトル（図５の撮影ポイント間の撮影経路ベクトル６０５、６１０）と一致する。また、撮影経路設定のユーザーインターフェース８０３で「曲線（上凸）」を選択した場合には、曲線２００４が撮影経路として決定され、「曲線（下凸）」を選択した場合には、曲線２００５が撮影経路として決定される。また、「平滑化曲線」を選択した場合は、平滑化曲線２００６が撮影経路として決定される。直線２００３、曲線２００４〜２００６は、以下の（２）式等で近似される。
ｈｖ平面の２次曲線（又は直線）：
ａｈ2＋ｂｈｖ＋ｃｙ2＋ｄｈ＋ｅｖ＋ｆ＝０ ・・・（２）
ただし、ａ，ｂ，ｃの全てが０でないものとする。
尚、（２）式では、二次曲線を示すが、撮影経路は、三次以上の曲線であっても構わない。 FIG. 8 is a diagram conceptually illustrating an example of an imaging route. In FIG. 8, the shooting path from the shooting point 2001 to the shooting point 2002 is represented by the hv plane of the horizontal component and the vertical component. A straight line 2003 is a shooting path when “straight line” is selected in the shooting path setting user interface 803, and matches a shooting path vector between shooting points (shooting path vectors 605 and 610 between shooting points in FIG. 5). . Further, when “curve (upward convex)” is selected in the user interface 803 of the photographing path setting, the curve 2004 is determined as the photographing path, and when “curve (downward convex)” is selected, the curve 2005 is It is determined as a shooting route. When “smoothing curve” is selected, the smoothing curve 2006 is determined as the imaging path. The straight line 2003 and the curves 2004 to 2006 are approximated by the following equation (2) and the like.
A quadratic curve (or straight line) in the hv plane:
ah 2 + bhv + cy 2 + dh + ev + f = 0 (2)
However, it is assumed that all of a, b, and c are not 0.
In addition, although (2) Formula shows a quadratic curve, the photographing path may be a cubic or higher curve.

図７の説明に戻り、ユーザーインターフェース８０４は、ユーザーインターフェース８０２で設定された撮影経路（図７では経路１）における撮影時間（移動時間）をユーザに選択させるユーザーインターフェースである。図７に示す例では、４．０秒で撮影ポイント間を移動することが設定されているが、図６を参照して説明した通り、事前撮影で実際にかかった撮影時間（移動時間）をこれに設定させても構わない。
ユーザーインターフェース８０５は、ユーザーインターフェース８０２で設定された撮影経路（図７では経路１）上での撮影パラメータの遷移をユーザに選択させるユーザーインターフェースである。即ち、ユーザーインターフェース８０５は、撮影ポイントで記録された撮影パラメータが次の撮影ポイントの撮影パラメータと撮影経路上でどう遷移するかを選択させるユーザーインターフェースである。ユーザーインターフェース８０５に設定される撮影パラメータの詳細については後述する。
図７における、ユーザーインターフェース８０２〜８０５のいずれの選択肢にも、最初はデフォルト値が設定されているものとする。 Returning to the description of FIG. 7, the user interface 804 is a user interface that allows the user to select a shooting time (movement time) in the shooting route (route 1 in FIG. 7) set by the user interface 802. In the example shown in FIG. 7, it is set to move between shooting points in 4.0 seconds. However, as described with reference to FIG. 6, the shooting time (movement time) actually taken in advance shooting is set. This may be set.
A user interface 805 is a user interface that allows the user to select a shooting parameter transition on the shooting route (route 1 in FIG. 7) set by the user interface 802. In other words, the user interface 805 is a user interface for selecting how the shooting parameter recorded at the shooting point changes on the shooting parameter of the next shooting point on the shooting path. Details of the shooting parameters set in the user interface 805 will be described later.
It is assumed that a default value is initially set for any of the user interfaces 802 to 805 in FIG.

図９は、図３で説明したステップＳ４０２の事前撮影からカメラワークを決定する方法の詳細を示すフローチャートである。
ステップＳ９０１：ＣＰＵ１０７は、図４のステップＳ５１３で記憶された各撮影ポイント間の撮影経路ベクトル（図５の撮影ポイント間の撮影経路ベクトル６０５、６１０）から全撮影経路Photo＿Traceを決定し、記憶メディアに記憶する。
図１０は、図６に示した撮影ポイントを経由する場合の全撮影経路の一例を概念的に説明する図である。撮影ポイント７０１〜７０２、７０２〜７０３、７０３〜７０４、７０４〜７０５間の撮影経路ベクトル１００１、１００２、１００３、１００４によって、全撮影経路ベクトルの推移が示される。各撮影経路ベクトルは、撮影ポイント間の移動距離distance[]と、移動方向direction[]とを用いて表すことができる。図７に示したカメラワーク設定画面８０１における撮影経路設定のユーザーインターフェース８０３の選択肢で全ての経路を「直線」を選択した場合、全撮影経路は、前記全撮影経路ベクトルの軌跡と一致する。 FIG. 9 is a flowchart showing details of a method of determining camera work from the pre-shooting in step S402 described in FIG.
Step S901: The CPU 107 determines all shooting paths Photo_Trace from the shooting path vectors between the shooting points (shooting path vectors 605 and 610 between shooting points in FIG. 5) stored in step S513 in FIG. 4, and stores them in the storage medium. Remember.
FIG. 10 is a diagram for conceptually explaining an example of all the photographing routes in the case of passing through the photographing points shown in FIG. Transitions of all shooting path vectors are indicated by shooting path vectors 1001, 1002, 1003, and 1004 between the shooting points 701 to 702, 702 to 703, 703 to 704, and 704 to 705. Each shooting path vector can be expressed using a moving distance distance [] between shooting points and a moving direction direction []. When “straight line” is selected for all routes in the selection options of the shooting route setting user interface 803 on the camera work setting screen 801 shown in FIG. 7, the entire shooting route coincides with the trajectory of the entire shooting route vector.

ステップＳ９０２：ＣＰＵ１０７は、撮影時間を決定し、記憶メディアに記憶する。即ち、例えば、図７に示したように、経路１を「４秒」で移動するよう設定されている場合、経路１での撮影時間moving＿time[]と、経路１の各々の撮影ポイントの撮影時間point＿time[]はこの設定値に従う。また、ユーザーインターフェース８０４で「事前撮影時間に合わせる」に設定された経路の撮影時間は、図６で説明した経路の撮影時間と、撮影ポイントの撮影時間に設定される。尚、全撮影時間をPhoto＿Timeと称す。   Step S902: The CPU 107 determines the shooting time and stores it in a storage medium. That is, for example, as shown in FIG. 7, when the route 1 is set to move in “4 seconds”, the shooting time moving_time [] in the route 1 and the shooting time of each shooting point in the route 1 point_time [] follows this setting value. Further, the shooting time of the route set to “adjust in advance shooting time” in the user interface 804 is set to the shooting time of the route described in FIG. 6 and the shooting time of the shooting point. Note that the total shooting time is referred to as Photo_Time.

ステップＳ９０３：ＣＰＵ１０７は、２点の撮影ポイントの撮影パラメータparameters[]から、２点間の撮影経路上の撮影パラメータの遷移方法を決定し、記憶メディアに記憶する。図１１は、図６に示した撮影ポイントを経由する場合の撮影パラメータの一例を概念的に説明する図である。図１１に示す撮影ポイント７０１〜７０５に対して、それぞれ撮影パラメータparameters[0]〜parameters[4]が記憶される。撮影パラメータは、カメラアングル・カメラの高さといったカメラポジション、画角、露出補正値、ＩＳＯ感度値、ホワイトバランス値、ピント値、その他絵作りに関するパラメータ等の撮影条件に相当する。ＣＰＵ１０７は、撮影ポイント７０１から撮影ポイント７０２に推移する際、各撮影ポイントの撮影パラメータparameters[0]、parameters[1]を滑らかに遷移させるように撮影パラメータの遷移を設定する。撮影パラメータの遷移の方法については実撮影のフローチャートを参照しながら後述する。撮影パラメータの全遷移情報をParameter＿Transitionと称す
ステップＳ９０４：ＣＰＵ１０７は、以上の全撮影経路Photo＿Trace、全撮影時間Photo＿Time、撮影パラメータの全遷移情報Parameter＿Transitionを統合した撮影指示をカメラワークとし、記憶メディアに記憶する。 Step S903: The CPU 107 determines a shooting parameter transition method on the shooting path between the two shooting points from the shooting parameter parameters [] of the two shooting points, and stores it in the storage medium. FIG. 11 is a diagram conceptually illustrating an example of shooting parameters when passing through the shooting point illustrated in FIG. 6. Shooting parameters parameters [0] to parameters [4] are stored for the shooting points 701 to 705 shown in FIG. The shooting parameters correspond to shooting conditions such as camera position such as camera angle and camera height, field angle, exposure correction value, ISO sensitivity value, white balance value, focus value, and other parameters relating to picture creation. When the CPU 107 transitions from the shooting point 701 to the shooting point 702, the CPU 107 sets the shooting parameter transition so that the shooting parameters parameters [0] and parameters [1] of each shooting point are smoothly transitioned. The method of transition of shooting parameters will be described later with reference to a flowchart of actual shooting. The entire transition information of the shooting parameters is referred to as Parameter_Transition. Step S904: The CPU 107 stores, in the storage medium, a shooting instruction that integrates all the shooting paths Photo_Trace, the total shooting time Photo_Time, and the entire shooting parameter transition information Parameter_Transition as camera work. .

＜本撮影＞
次に、図１２のフローチャートを参照しながら、図３のステップＳ４０３で本撮影が開始し、ステップＳ４０４でカメラワークを指示する本撮影の流れを説明する。
ステップＳ１２０１：ＣＰＵ１０７は、記憶メディアから撮影ポイント数max＿pointの値を読み出す。
ステップＳ１２０２：ＣＰＵ１０７は、撮影ポイントを順次処理するためのカウンタ変数countを「１」に初期化する。
ステップＳ１２０３：ＣＰＵ１０７は、本撮影プログラムで使用するその他の変数、定数、及び配列を初期化する。
ステップＳ１２０４：ＣＰＵ１０７は、記憶メディアから、開始撮影ポイントの画像image[count]と撮影パラメータparameters[count]を読み出す。 <Main shooting>
Next, referring to the flowchart of FIG. 12, the flow of the main shooting in which the main shooting starts in step S403 in FIG. 3 and the camera work is instructed in step S404 will be described.
Step S1201: The CPU 107 reads the value of the shooting point number max_point from the storage medium.
Step S1202: The CPU 107 initializes a counter variable count for sequentially processing photographing points to “1”.
Step S1203: The CPU 107 initializes other variables, constants, and arrays used in this photographing program.
Step S1204: The CPU 107 reads the image image [count] of the start shooting point and the shooting parameter parameters [count] from the storage medium.

ステップＳ１２０５：ＣＰＵ１０７は、記憶メディアから、開始撮影ポイントにおける撮影時間point＿time[count]を読み出す。
ステップＳ１２０６：ＣＰＵ１０７は、カウンタ変数countに１を加算する（インクリメントする）。
ステップＳ１２０７：ＣＰＵ１０７は、撮影ポイントからの現在の相対位置と、現在までにかかった撮影時間を更新する。相対位置の決定方法については後述する。
ステップＳ１２０８：ＣＰＵ１０７は、前の撮影ポイントからの現在の相対位置と、次の撮影ポイントの位置とに基づいて、移動方向と撮影パラメータとを算出する。
図１３は、撮影ポイント間における移動方向と撮影パラメータの一例を概念的に説明する図である。具体的に図１３の上図は、撮影ポイント１３０１（撮影ポイント１）から撮影ポイント１３０２（撮影ポイント２）までの撮影経路ベクトル１３０３を示す。図１３の下図は、撮影経路ベクトル１３０３の水平成分を横軸に、撮影パラメータを縦軸にとったグラフ１３０４を表す。図１３の下図では、撮影パラメータとしてズーム値を例に挙げて示している。撮影ポイント１３０１（撮影ポイント１）のズーム値１３０５はparameter[0]＝zoom＿aであり、撮影ポイント１３０２（撮影ポイント２）のズーム値１３０６はparameter[0]=zoom＿bである。図７に示したカメラワーク設定画面８０１における撮影パラメータの補間方法としてユーザーインターフェース８０５の選択肢のように「線形補間」が選ばれた場合、撮影ポイント間の撮影パラメータ１３０７は線形になる。即ち、現在の位置１３０８における撮影パラメータ（ズーム値）１３０９はzoom＿cになる。また、現在の移動方向１３１０はＤになる。 Step S1205: The CPU 107 reads the shooting time point_time [count] at the start shooting point from the storage medium.
Step S1206: The CPU 107 adds 1 to the counter variable count (increment).
Step S1207: The CPU 107 updates the current relative position from the shooting point and the shooting time taken so far. A method for determining the relative position will be described later.
Step S1208: The CPU 107 calculates a moving direction and shooting parameters based on the current relative position from the previous shooting point and the position of the next shooting point.
FIG. 13 is a diagram for conceptually explaining an example of a moving direction and photographing parameters between photographing points. Specifically, the upper diagram of FIG. 13 shows a shooting path vector 1303 from the shooting point 1301 (shooting point 1) to the shooting point 1302 (shooting point 2). The lower diagram of FIG. 13 represents a graph 1304 in which the horizontal component of the shooting path vector 1303 is taken on the horizontal axis and the shooting parameter is taken on the vertical axis. In the lower part of FIG. 13, a zoom value is shown as an example of the shooting parameter. The zoom value 1305 of the shooting point 1301 (shooting point 1) is parameter [0] = zoom_a, and the zoom value 1306 of the shooting point 1302 (shooting point 2) is parameter [0] = zoom_b. When “linear interpolation” is selected as an option of the user interface 805 as the shooting parameter interpolation method on the camera work setting screen 801 shown in FIG. 7, the shooting parameter 1307 between shooting points becomes linear. That is, the shooting parameter (zoom value) 1309 at the current position 1308 is zoom_c. The current moving direction 1310 is D.

＜現在の相対位置と移動方向の決定方法＞
図１４は、現在の撮影位置が、指示された撮影経路上に位置している場合に、前の撮影ポイントからの現在の相対位置と次撮影ポイントの位置から移動方向（中間撮影ベクトル）を決定する方法の一例を説明する図である。図１４では、図８と同様に、撮影ポイント２００１から撮影ポイント２００２までの撮影経路を、水平成分と垂直成分のｈｖ平面で表している。
現在の撮影位置が撮影経路上に位置している場合、撮影位置における撮影経路の接線を求めることで中間撮影ベクトルの方向を求める。ベクトルの大きさは、撮影経路ベクトルと、撮影経路間の撮影時間とフレームレートとの関係とに基づいて割り出すことができる。例えば、撮影経路が直線２００３であり、現在の撮影位置が位置２１０９である場合、中間撮影ベクトル２１１３が得られる。撮影経路が上に凸の曲線２００４であり、現在の撮影位置が位置２１０８である場合、中間撮影ベクトル２１１２が得られる。撮影経路が下に凸の曲線であり、現在の撮影位置が位置２１１１である場合、中間撮影ベクトル２１１５が得られる。また、撮影経路が平滑化曲線２００６であり、現在の撮影位置が位置２１１０である場合、中間撮影ベクトル２１１４が得られる。 <Determining the current relative position and moving direction>
FIG. 14 shows that the moving direction (intermediate shooting vector) is determined from the current relative position from the previous shooting point and the position of the next shooting point when the current shooting position is on the designated shooting path. It is a figure explaining an example of the method to do. In FIG. 14, as in FIG. 8, the shooting path from the shooting point 2001 to the shooting point 2002 is represented by the hv plane of the horizontal component and the vertical component.
When the current shooting position is located on the shooting path, the direction of the intermediate shooting vector is obtained by obtaining the tangent of the shooting path at the shooting position. The magnitude of the vector can be determined based on the shooting path vector and the relationship between the shooting time and the frame rate between the shooting paths. For example, if the shooting path is a straight line 2003 and the current shooting position is a position 2109, an intermediate shooting vector 2113 is obtained. If the shooting path is an upwardly convex curve 2004 and the current shooting position is a position 2108, an intermediate shooting vector 2112 is obtained. If the shooting path is a downward convex curve and the current shooting position is the position 2111, an intermediate shooting vector 2115 is obtained. If the shooting path is the smoothing curve 2006 and the current shooting position is the position 2110, an intermediate shooting vector 2114 is obtained.

図１５は、現在の撮影位置が、指示された撮影経路からずれている場合に、前撮影ポイントからの現在の相対位置と次撮影ポイントの位置から移動方向（中間撮影ベクトル）を決定する方法の一例を説明する図である。図１５でも、図１４と同様に、撮影ポイント２００１から撮影ポイント２００２までの撮影経路を、水平成分と垂直成分のｈｖ平面で表している。
図１５では、上に凸の曲線２００４が撮影経路であり、現在の撮影位置が撮影位置２２０１である場合を例に挙げて説明する。
まず、現在の撮影位置２２０１を中心とする所定半径の円２２０８と曲線２００４との交点２２０２を求め、現在の撮影位置２２０１から、交点２２０２に向かう単位ベクトル２２０３を求める。次に、現在の撮影位置２２０１から最短距離となる曲線２００４（撮影経路）上の点２２０４を求め、点２２０４での単位接線ベクトル２２０５を求める。 FIG. 15 shows a method of determining a moving direction (intermediate shooting vector) from the current relative position from the previous shooting point and the position of the next shooting point when the current shooting position is deviated from the designated shooting path. It is a figure explaining an example. In FIG. 15, as in FIG. 14, the shooting path from the shooting point 2001 to the shooting point 2002 is represented by the hv plane of the horizontal component and the vertical component.
In FIG. 15, the case where the upwardly convex curve 2004 is the shooting path and the current shooting position is the shooting position 2201 will be described as an example.
First, an intersection 2202 between a circle 2208 having a predetermined radius centered on the current photographing position 2201 and the curve 2004 is obtained, and a unit vector 2203 directed from the current photographing position 2201 toward the intersection 2202 is obtained. Next, a point 2204 on the curve 2004 (shooting path) that is the shortest distance from the current shooting position 2201 is obtained, and a unit tangent vector 2205 at the point 2204 is obtained.

次に、現在の撮影位置２２０１と点２２０４との最短距離に応じて、単位ベクトル２２０３と単位接線ベクトル２２０５とをブレンディングし、中間撮影ベクトル２２０６を算出する。中間撮影ベクトル２２０６の大きさは、撮影経路ベクトルと、撮影経路間の撮影時間とフレームレートとの関係とに基づいて割り出してもよい。また、ブレンディングの比率は、現在の撮影位置２２０１と点２２０４との最短距離が大きくなるほど、単位ベクトル２２０３の比率を大きくしてもよい。尚、現在の撮影位置が撮影位置２２０７にある場合、進行方向において、現在の撮影位置２２０７を中心とする所定半径の円２２０９と曲線２００４との交点が求まらない場合がある。この場合は、円上の点の代わりに撮影ポイント２００２を用い、中間撮影ベクトルが撮影ポイント２００２に向かうようにする。
図１４に示した下に凸の曲線２００５、平滑化曲線２００６を撮影経路とする場合においても、図１５に示したものと同じ方法で、撮影経路の補正を行う。ただし、撮影経路の補正方法は前述したものとは別の方法であっても構わない。 Next, in accordance with the shortest distance between the current shooting position 2201 and the point 2204, the unit vector 2203 and the unit tangent vector 2205 are blended to calculate an intermediate shooting vector 2206. The size of the intermediate shooting vector 2206 may be determined based on the shooting path vector and the relationship between the shooting time between the shooting paths and the frame rate. The blending ratio may be such that the ratio of the unit vector 2203 increases as the shortest distance between the current shooting position 2201 and the point 2204 increases. When the current shooting position is at the shooting position 2207, there may be a case where the intersection point between the circle 2209 having a predetermined radius centered on the current shooting position 2207 and the curve 2004 is not obtained in the traveling direction. In this case, the shooting point 2002 is used instead of the point on the circle so that the intermediate shooting vector is directed toward the shooting point 2002.
Even when the downwardly convex curve 2005 and the smoothing curve 2006 shown in FIG. 14 are used as the shooting path, the shooting path is corrected by the same method as shown in FIG. However, the photographing path correction method may be different from the method described above.

図１６は、現在位置における撮影パラメータの他の例を概念的に説明する図である。具体的に図１６の上図は、撮影パラメータとして露出を算出するグラフ１４１０を示す。撮影ポイント１４０１の露出値はparameter[0]=value＿a、撮影ポイント１４０２の露出値はparameter[1]=value＿bである。図１６の上図に示す例では、撮影経路上の撮影パラメータの遷移は、グラフ１４１０のような非直線で表される。現在位置が、図１３で示した水平成分（horizontal＿width）と同じであるとすると、現在位置での撮影パラメータ１４０５は、value＿cとなる。
一方、図１６の下図は、撮影パラメータとしてホワイトバランスを算出するグラフ１４１１を示す。撮影ポイント１４０６のホワイトバランス値はparameter[0]=value＿a、撮影ポイント１４０７のホワイトバランス値は、parameter[1]=value＿bである。図１６の下図に示す例では、撮影経路上の撮影パラメータの遷移は、グラフ１４１１のような曲線で表される。現在位置が、図１３で示した水平成分（horizontal＿width）と同じであるとすると、現在位置での撮影パラメータ１４０９は、value＿cとなる。 FIG. 16 is a diagram conceptually illustrating another example of the imaging parameter at the current position. Specifically, the upper diagram of FIG. 16 shows a graph 1410 for calculating the exposure as the shooting parameter. The exposure value of the shooting point 1401 is parameter [0] = value_a, and the exposure value of the shooting point 1402 is parameter [1] = value_b. In the example shown in the upper diagram of FIG. 16, the transition of the imaging parameter on the imaging path is represented by a non-linear line such as a graph 1410. If the current position is the same as the horizontal component (horizontal_width) shown in FIG. 13, the imaging parameter 1405 at the current position is value_c.
On the other hand, the lower part of FIG. 16 shows a graph 1411 for calculating white balance as a shooting parameter. The white balance value of the shooting point 1406 is parameter [0] = value_a, and the white balance value of the shooting point 1407 is parameter [1] = value_b. In the example shown in the lower part of FIG. 16, the transition of the imaging parameter on the imaging path is represented by a curve like a graph 1411. If the current position is the same as the horizontal component (horizontal_width) shown in FIG. 13, the imaging parameter 1409 at the current position is value_c.

ステップＳ１２０９：ＣＰＵ１０７は、ステップＳ１２０７で更新された撮影時間から、次の撮影ポイントへ至る残り時間を算出し、移動速度Ｖを算出する。
ステップＳ１２１０：ＣＰＵ１０７は、現在の撮影パラメータ（例えばズーム値＝zoom＿c）を設定し、その撮影パラメータに応じて撮影装置１００の撮影動作を設定（制御）する（例えば、撮像部１０１のズームレンズを操作する）。尚、ここでは、撮影パラメータを自動的に設定するようにしたが、撮影パラメータをユーザが手動で設定しても構わない。
ステップＳ１２１１：ＣＰＵ１０７は、表示部１１３に移動方向Ｄを表示する。移動方向Ｄとは、撮影位置における撮影装置１００の移動方向を撮影者（ユーザ）に指示する方向ベクトルであり、図１４に示した中間撮影ベクトル２１１２〜２１１５がこれに相当する。 Step S1209: The CPU 107 calculates the remaining time from the shooting time updated in step S1207 to the next shooting point, and calculates the moving speed V.
Step S1210: The CPU 107 sets the current shooting parameter (for example, zoom value = zoom_c), and sets (controls) the shooting operation of the shooting apparatus 100 according to the shooting parameter (for example, operates the zoom lens of the imaging unit 101). To do). Although the shooting parameters are automatically set here, the shooting parameters may be set manually by the user.
Step S1211: The CPU 107 displays the moving direction D on the display unit 113. The moving direction D is a direction vector for instructing the photographer (user) the moving direction of the photographing apparatus 100 at the photographing position, and corresponds to the intermediate photographing vectors 2112 to 2115 shown in FIG.

図１７は、方向ベクトルの表示例を示す図である。表示部１１３の液晶モニタ１５０１に撮影領域１５０２と共に、方向ベクトルが矢印１５０３で表示される。図１７に示す例では、撮影者は、右上の方向に撮影装置１００を動かせばよいと判断できる。尚、表示部１１３には、方向ベクトル以外にも、撮影位置、撮影時間、及び撮影パラメータの少なくとも何れか１つを示してもよい。   FIG. 17 is a diagram illustrating a display example of the direction vector. A direction vector is displayed with an arrow 1503 on the liquid crystal monitor 1501 of the display unit 113 together with an imaging region 1502. In the example illustrated in FIG. 17, the photographer can determine that the photographing apparatus 100 should be moved in the upper right direction. In addition to the direction vector, the display unit 113 may indicate at least one of a shooting position, a shooting time, and a shooting parameter.

ステップＳ１２１２：撮影装置１００は、動画撮影を行う。
ステップＳ１２１３：ＣＰＵ１０７は、例えば、事前撮影された画像と撮影された画像とに基づいて、現在位置が次の撮影ポイントに達したか否かを判定する。この判定の結果、現在位置が次の撮影ポイントに達していない場合には、ステップＳ１２０７に戻る。一方、現在位置が次の撮影ポイントに達した場合には、次のステップＳ１２１４に進む。
ステップＳ１２１４：ＣＰＵ１０７は、撮影ポイントを順次処理するためのカウンタ変数countが、初期値としてステップＳ１２０１で入力された撮影ポイント数max＿point未満であるか否かを判定する。この判定の結果、カウンタ変数countが撮影ポイント数max＿point未満である場合には、ステップＳ１２０６に戻る。一方、カウンタ変数countが撮影ポイント数max＿pointになると、図１２のフローチャートによる処理を終了する。 Step S1212: The photographing apparatus 100 performs moving image photographing.
Step S1213: The CPU 107 determines whether or not the current position has reached the next shooting point based on, for example, the previously captured image and the captured image. If the result of this determination is that the current position has not reached the next shooting point, processing returns to step S1207. On the other hand, if the current position has reached the next shooting point, the process proceeds to the next step S1214.
Step S1214: The CPU 107 determines whether or not the counter variable count for sequentially processing the shooting points is less than the shooting point number max_point input in step S1201 as an initial value. As a result of the determination, if the counter variable count is less than the shooting point number max_point, the process returns to step S1206. On the other hand, when the counter variable count reaches the number of shooting points max_point, the processing according to the flowchart of FIG.

以上のように本実施形態では、複数の撮影ポイント７０１〜７０５の事前撮影を行い、各撮影ポイント７０１〜７０５の画像・撮影パラメータ、各撮影ポイント間の撮影経路を示す撮影経路ベクトル、撮影時間を取得する。前記複数の撮影ポイントを経由した本撮影において、撮影ポイントからの現在の相対的な位置を導出し、導出した位置と、次の撮影ポイントの位置と、撮影経路ベクトルとに基づいて、撮影装置１００の移動方向を導出して表示する。また、撮影ポイントからの現在の相対的な位置と、次の撮影ポイントの位置と、それらの撮影ポイントにおける撮影パラメータとに基づいて、撮影装置１００における撮影条件を決定し、決定した撮影条件で撮影する。   As described above, in the present embodiment, a plurality of shooting points 701 to 705 are pre-shooted, and the image / shooting parameter of each shooting point 701 to 705, the shooting path vector indicating the shooting path between the shooting points, and the shooting time are set. get. In the main photographing via the plurality of photographing points, the current relative position from the photographing point is derived, and the photographing apparatus 100 is based on the derived position, the position of the next photographing point, and the photographing route vector. The movement direction of is derived and displayed. Further, based on the current relative position from the shooting point, the position of the next shooting point, and shooting parameters at those shooting points, shooting conditions in the shooting device 100 are determined, and shooting is performed with the determined shooting conditions. To do.

このように、撮影時に、予め設定された撮影指示を提示することによって、撮影ミスを防ぎ、撮影シナリオ通りの撮影結果を得ることが可能となる。また、現在の撮影状況を判断しながら撮影指示を提示することによって、想定外の状況が発生しても、撮影シナリオに適合した撮影結果を得ることが可能となる。さらに、撮影ポイントを経由しながらもスムーズな撮影経路、撮影時間による撮影結果を得ることが可能となる。さらに、撮影ポイント毎に異なる撮影パラメータで撮影したい場合でもその切り替えをスムーズに行うことが可能となる。
具体的には、例えば、以下のようなことが可能になる。（１）撮影ガイドライン無しで撮影する本番一発勝負のような撮影時に起きる撮影ミスを防止することができる。（２）カメラのファインダーに映し出された映像を頼りに撮影する際に発生する被写体サイズと画角の不一致や撮影経路の選択ミスを防止することができる。（３）撮影ポイントから撮影ポイントに撮影が進行する際に、撮影条件が変わった場合にスムーズに撮影条件を移行することができる。（４）撮影者が意図する撮影シナリオどおりに撮影を実施することができる。（５）事前撮影と本番撮影時の撮影状況の変化を比較しながら撮影することができる。撮影記録を残すことができる。 In this way, by presenting a preset shooting instruction at the time of shooting, it is possible to prevent a shooting mistake and obtain a shooting result according to the shooting scenario. In addition, by presenting a shooting instruction while determining the current shooting situation, it is possible to obtain a shooting result suitable for a shooting scenario even if an unexpected situation occurs. Furthermore, it is possible to obtain a photographing result based on a smooth photographing route and photographing time while passing through the photographing point. Furthermore, even when it is desired to shoot with different shooting parameters for each shooting point, it is possible to switch smoothly.
Specifically, for example, the following becomes possible. (1) It is possible to prevent a shooting mistake that occurs during shooting, such as a real-time shooting without shooting guidelines. (2) It is possible to prevent a mismatch between the subject size and the angle of view and an imaging route selection error that occur when shooting is performed using the video displayed on the camera finder. (3) When shooting progresses from the shooting point to the shooting point, the shooting condition can be smoothly transferred when the shooting condition changes. (4) Photographing can be performed according to the photographing scenario intended by the photographer. (5) It is possible to shoot while comparing changes in shooting conditions between pre-shooting and actual shooting. Shooting records can be kept.

尚、本実施形態では、撮影装置１００の現在の撮影位置を算出する際に、撮影ポイントからの相対位置を求める場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、ジャイロセンサー或いはＧＰＳといった位置を測定するセンサ等を用いて、撮影装置１００の現在の位置を取得するようにしてもよい。
また、本実施形態では、撮影ポイント間の撮影パラメータの遷移度を、撮影ポイントからの水平移動成分に基づいて得る場合を例に挙げて説明した。しかしながら、撮影ポイント間の撮影パラメータの遷移は、必ずしもこのようにして決定する必要はない。例えば、撮影ポイントからの垂直成分等に基づいて、撮影ポイント間の撮影パラメータの遷移を決定するようにしてもよい。 In the present embodiment, the case where the relative position from the shooting point is calculated when calculating the current shooting position of the shooting apparatus 100 has been described as an example. However, this is not always necessary. For example, the current position of the photographing apparatus 100 may be acquired using a gyro sensor or a sensor that measures a position such as GPS.
Further, in the present embodiment, the case where the degree of transition of the shooting parameter between the shooting points is obtained based on the horizontal movement component from the shooting point has been described as an example. However, the transition of shooting parameters between shooting points does not necessarily have to be determined in this way. For example, the transition of the shooting parameter between the shooting points may be determined based on the vertical component from the shooting point.

さらに、本実施形態では、撮影ポイントの位置合わせをユーザに目視で判断させるようにした。しかしながら、必ずしもこのようにする必要はない。例えば、事前撮影で記憶した撮影ポイントの画像を本撮影時に半透明にして撮影装置１００の表示部１１３（液晶モニタ）に表示して本撮影の被写体と、半透明の画像とをマッチングさせて、撮影ポイントの位置合わせを行わせるようにしてもよい。
また、事前撮影やカメラワーク設定画面８０１で設定した撮影時間（移動時間）に対する、本撮影時の撮影時間（移動時間）のズレに関する情報をユーザに報知するようにしてもよい。例えば、図１７に示した矢印１５０３の表示態様を異ならせることにより、この情報を報知することができる。 Furthermore, in the present embodiment, the user can visually determine the alignment of the shooting point. However, this is not always necessary. For example, the image of the shooting point stored in advance shooting is made translucent at the time of main shooting and displayed on the display unit 113 (liquid crystal monitor) of the shooting apparatus 100 to match the subject of main shooting with the translucent image, You may make it perform alignment of a photography point.
In addition, the user may be notified of information regarding a deviation of the shooting time (moving time) at the time of the main shooting with respect to the shooting time (moving time) set on the pre-shooting or camera work setting screen 801. For example, this information can be notified by changing the display mode of the arrow 1503 shown in FIG.

尚、本実施形態では、例えば、図９のステップＳ９０１の処理を行うことにより撮影経路決定手段の一例が実現され、ステップＳ９０３の処理を行うことにより撮影パラメータ取得手段の一例が実現される。また、例えば、図１２のステップＳ１２０７の処理を行うことにより位置取得手段の一例が実現され、ステップＳ１２０８の処理を行うことにより、移動方向導出手段と撮影パラメータ決定手段の一例が実現される。また、例えば、ステップＳ１２１０の処理を行うことにより動作設定手段の一例が実現され、ステップＳ１２１１の処理を行うことにより移動方向表示手段の一例が実現される。   In the present embodiment, for example, an example of an imaging route determination unit is realized by performing the process of step S901 in FIG. 9, and an example of an imaging parameter acquisition unit is realized by performing the process of step S903. Further, for example, an example of a position acquisition unit is realized by performing the process of step S1207 in FIG. 12, and an example of a moving direction deriving unit and an imaging parameter determination unit is realized by performing the process of step S1208. Further, for example, an example of the operation setting unit is realized by performing the process of step S1210, and an example of the moving direction display unit is realized by performing the process of step S1211.

（第２の実施形態）
次に、第２の実施形態について説明する。
第１の実施形態では、事前撮影時に記録した動きベクトル（撮影経路ベクトル）から撮影経路を算出する方法について説明した。これに対し、本実施形態では、事前撮影時に記録した動画像からスティッチ画像を作成し、そのスティッチ画像から撮影経路を算出する場合について説明する。このように本実施形態と第１の実施形態とは、撮影経路の取得方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、画像処理装置（撮影装置１００）のブロック図は、図１と同じである。また、撮影装置１００の全体の処理の流れを示すフローチャートは、図３と同じである。 (Second Embodiment)
Next, a second embodiment will be described.
In the first embodiment, the method for calculating the shooting path from the motion vector (shooting path vector) recorded at the time of the previous shooting has been described. In contrast, in the present embodiment, a case will be described in which a stitch image is created from a moving image recorded at the time of pre-shooting, and a shooting route is calculated from the stitch image. As described above, the present embodiment and the first embodiment are mainly different in the acquisition method of the photographing route. Therefore, in the description of the present embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals as those in FIGS. For example, the block diagram of the image processing apparatus (imaging apparatus 100) is the same as FIG. Further, the flowchart showing the overall processing flow of the photographing apparatus 100 is the same as FIG.

＜事前撮影＞
図１８は、図３で説明したステップＳ４０１の事前撮影の詳細を示すフローチャートである。図１９は、撮影シーンの一例を示す図である。
ステップＳ１６０１：ＣＰＵ１０７は、操作部１１１の操作に基づいて、撮影ポイント数max＿pointを入力する。図１９に示す撮影シーンの例では、撮影ポイントは、被写体である人物１７０１、１７０３及び三日月１７０２であり、撮影ポイント数は３となる。
ステップＳ１６０２：ＣＰＵ１０７は、撮影ポイント数を識別する変数countに１を入力する。 <Pre-shoot>
FIG. 18 is a flowchart showing details of the pre-shooting in step S401 described with reference to FIG. FIG. 19 is a diagram illustrating an example of a shooting scene.
Step S1601: The CPU 107 inputs the number of shooting points max_point based on the operation of the operation unit 111. In the example of the shooting scene shown in FIG. 19, the shooting points are the subjects 1701 and 1703 and the crescent moon 1702 as subjects, and the number of shooting points is 3.
Step S1602: The CPU 107 inputs 1 to a variable count for identifying the number of shooting points.

ステップＳ１６０３：ＣＰＵ１０７は、事前撮影プログラムで使用するその他の変数や配列の初期化を行う。
ステップＳ１６０４：ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、事前撮影を指示するボタンが押下されるまで待機する。事前撮影を指示するボタンが押下されると、次のステップＳ１６０５に進む。
ステップＳ１６０５：ＣＰＵ１０７は、開始撮影ポイントの被写体を、適正露出、ホワイトバランス、ズームと言った撮影パラメータによって撮影することを撮像系制御部１１０等に指示する。そして、ＣＰＵ１０７は、撮影された画像image[count]と、当該画像を撮影したときの撮影パラメータparameters[count]とを記憶メディアに記憶する。図１９に示す撮影シーンの例では、開始撮影ポイントは、被写体１７０１の人物に相当する。人物１７０１については、肩から上の頭部を画角一杯に撮影する。さらに人物１７０１は明るい場所にいるため、露出は抑え目で撮影する必要がある。よって、撮影画角（即ちズーム率）、適正露出値等が開始撮影ポイントにおける撮影パラメータになる。 Step S1603: The CPU 107 initializes other variables and arrays used in the pre-shooting program.
Step S1604: The CPU 107 stands by until a button for instructing pre-shooting is pressed based on the content of the operation of the operation unit 111 by the user. When the button for instructing pre-shooting is pressed, the process proceeds to the next step S1605.
Step S1605: The CPU 107 instructs the imaging system control unit 110 and the like to shoot the subject at the start shooting point with shooting parameters such as appropriate exposure, white balance, and zoom. Then, the CPU 107 stores the captured image image [count] and the imaging parameter parameters [count] when the image is captured in the storage medium. In the example of the shooting scene shown in FIG. 19, the start shooting point corresponds to the person of the subject 1701. As for the person 1701, the head above the shoulder is photographed with a full angle of view. Furthermore, since the person 1701 is in a bright place, exposure must be suppressed and shooting must be performed with the eyes. Therefore, the shooting angle of view (that is, the zoom ratio), the appropriate exposure value, and the like become shooting parameters at the start shooting point.

ステップＳ１６０６：ＣＰＵ１０７は、開始撮影ポイントにおける撮影時間point＿time[count]を記憶メディアに記憶する。
ステップＳ１６０７：ＣＰＵ１０７は、本ステップ以降で次の撮影ポイントに対する処理を行うため、撮影ポイント数をインクリメントする変数countに１を加算する（インクリメントする）。
ステップＳ１６０８：ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、撮影ポイント間経路記憶ボタンが押下されるまで待機する。撮影ポイント間経路記憶ボタンが押下されると、次のステップＳ１６０９に進む。
ステップＳ１６０９：ＣＰＵ１０７は、現在の撮影ポイントから次の撮影ポイントまでの動画像を記憶メディアに記憶し、動画像から、撮影画像を合成したスティッチ画像を生成する。 Step S1606: The CPU 107 stores the shooting time point_time [count] at the start shooting point in the storage medium.
Step S1607: The CPU 107 adds 1 to the variable count that increments the number of shooting points in order to perform processing for the next shooting point after this step.
Step S1608: The CPU 107 stands by until the inter-shooting point path storage button is pressed based on the content of the operation of the operation unit 111 by the user. If the shooting point path storage button is pressed, the process advances to step S1609.
Step S1609: The CPU 107 stores a moving image from the current shooting point to the next shooting point in a storage medium, and generates a stitch image obtained by synthesizing the shot image from the moving image.

ステップＳ１６１０：ＣＰＵ１０７は、現在の撮影ポイントから次の撮影ポイントまでの撮影時間（移動時間）を測定する。
ステップＳ１６１１：次の撮影ポイントに到達したら、ユーザは、撮影ポイント間経路記憶ボタンの押下が終了する。そこで、ＣＰＵ１０７は、ユーザによる操作部１１１の操作の内容に基づいて、撮影ポイント間経路記憶ボタンの押下が終了したか否かを判定する。この判定の結果、撮影ポイント間経路記憶ボタンの押下が終了していない場合には、ステップＳ１６０９に戻る。一方、撮影ポイント間経路記憶ボタンの押下が終了した場合には、次のステップＳ１６１２に進む。 Step S1610: The CPU 107 measures the shooting time (movement time) from the current shooting point to the next shooting point.
Step S1611: When the next shooting point is reached, the user finishes pressing the shooting point path storage button. Therefore, the CPU 107 determines whether or not the pressing of the shooting point path storage button has ended based on the content of the operation of the operation unit 111 by the user. If the result of this determination is that pressing of the shooting point path storage button has not been completed, processing returns to step S1609. On the other hand, if the pressing of the inter-shooting point path storage button is finished, the process proceeds to the next step S1612.

ステップＳ１６１２：ＣＰＵ１０７は、次の撮影ポイントの画像image[count]と撮影パラメータparameters[count]とを記憶メディアに記憶する。例えば、現在の撮影ポイントが人物１７０１であり、次の撮影ポイントが三日月１７０２である場合、三日月１７０２の画像と撮影パラメータとを記憶する。三日月１７０２は遠方にあり、暗い夜空にあるため、ズームインし、露出を上げる必要がある。よって、撮影パラメータはズーム率、適正露出値等が、次の撮影ポイントにおける撮影パラメータになる。
ステップＳ１６１３：ＣＰＵ１０７は、ステップＳ１６０９で生成したスティッチ画像から撮影ポイント間の撮影経路ベクトルを算出し、記憶メディアに記憶する。例えば、図１９において、撮影ポイント（人物１７０１〜三日月１７０２、三日月１７０２〜複数の人物１７０３）間の撮影経路ベクトル１７０７、１７０８が得られる（図１９（ｂ）を参照）。また、事前撮影された動画像１７０６から静止画を得てそれらをスティッチし、スティッチ画像が得られる。
ステップＳ１６１４：ＣＰＵ１０７は、撮影ポイント間の最終的な撮影時間（移動時間）を記憶メディアに記憶する。このステップＳ１６１４の処理は、図４のステップＳ５１４と同じである。
ステップＳ１６１５：ＣＰＵ１０７は、撮影ポイント数を識別する変数countが、初期値としてステップＳ１６０１で入力された撮影ポイント数max＿point未満であるか否かを判定する。この判定の結果、撮影ポイント数をインクリメントする変数countが、撮影ポイント数max＿point未満である場合には、ステップＳ１６０７に戻る。一方、撮影ポイント数をインクリメントする変数countが、撮影ポイント数max＿pointになると、図１８のフローチャートによる処理を終了する。 Step S1612: The CPU 107 stores the image [count] of the next shooting point and the shooting parameters parameters [count] in the storage medium. For example, when the current shooting point is the person 1701 and the next shooting point is the crescent moon 1702, the image of the crescent moon 1702 and the shooting parameters are stored. The crescent moon 1702 is far away and in the dark night sky, so it is necessary to zoom in and increase the exposure. Accordingly, the shooting parameters such as the zoom ratio and the appropriate exposure value become the shooting parameters at the next shooting point.
Step S1613: The CPU 107 calculates a shooting path vector between shooting points from the stitch image generated in step S1609, and stores it in the storage medium. For example, in FIG. 19, shooting path vectors 1707 and 1708 between the shooting points (person 1701 crescent moon 1702, crescent moon 1702 and a plurality of persons 1703) are obtained (see FIG. 19B). In addition, still images are obtained from the pre-captured moving image 1706 and stitched to obtain a stitched image.
Step S1614: The CPU 107 stores the final shooting time (movement time) between shooting points in the storage medium. The processing in step S1614 is the same as step S514 in FIG.
Step S1615: The CPU 107 determines whether or not the variable count for identifying the number of shooting points is less than the shooting point number max_point input in step S1601 as an initial value. As a result of the determination, if the variable count for incrementing the number of shooting points is less than the number of shooting points max_point, the process returns to step S1607. On the other hand, when the variable count for incrementing the number of shooting points becomes the number of shooting points max_point, the processing according to the flowchart of FIG.

図３のステップＳ４０２において、事前撮影からカメラワークを決定する方法は、図９のステップＳ９０１を以下の処理に置き換えることにより実現できる。
即ち、ＣＰＵ１０７は、スティッチ画像と撮影ポイントにおける画像とをマッチングして撮影経路Photo＿Traceを決定する。このマッチングは、例えばHarrisオペレータを用いて画像の特徴点を抽出し、テンプレートマッチングを用いることにより実現できる。また、このマッチングは、スティッチ画像と撮影ポイントの画像との画像相関値が最大となる画像位置を算出する相関法を用いても実現できる。これにより撮影ポイント間の位置関係が求まり、撮影経路が決定される。撮影経路は撮影経路ベクトルして表される。 In step S402 in FIG. 3, the method for determining camera work from pre-shooting can be realized by replacing step S901 in FIG. 9 with the following processing.
That is, the CPU 107 matches the stitch image and the image at the shooting point to determine the shooting path Photo_Trace. This matching can be realized, for example, by extracting feature points of an image using a Harris operator and using template matching. This matching can also be realized by using a correlation method for calculating an image position at which the image correlation value between the stitch image and the image at the photographing point is maximized. Thereby, the positional relationship between the photographing points is obtained, and the photographing route is determined. The shooting route is represented as a shooting route vector.

＜本撮影＞
次に、図２０のフローチャートを参照しながら、図３のステップＳ４０３で本撮影が開始し、ステップＳ４０４でカメラワークを指示する本撮影の流れを説明する。
ステップＳ１９０１：ＣＰＵ１０７は、記憶メディアから撮影ポイント数max＿pointの値を読み出す。また、ＣＰＵ１０７は、事前撮影で記憶したスティッチ画像を記憶メディアから読み出す。
ステップＳ１９０２〜ステップＳ１９０７は、第１の実施形態における図１２のステップＳ１２０２〜ステップＳ１２０７と同じである。 <Main shooting>
Next, with reference to the flowchart of FIG. 20, the flow of the main photographing in which the main photographing is started in step S403 in FIG. 3 and the camera work is instructed in step S404 will be described.
Step S1901: The CPU 107 reads the value of the shooting point number max_point from the storage medium. In addition, the CPU 107 reads out the stitch image stored in advance shooting from the storage medium.
Steps S1902 to S1907 are the same as steps S1202 to S1207 in FIG. 12 in the first embodiment.

ステップＳ１９０８：ＣＰＵ１０７は、ステップＳ１９０１で読み出したスティッチ画像のおける撮影経路箇所と、現在の撮像画像とを比較して移動方向と撮影パラメータとを算出する。この比較には、スティッチ画像と撮影ポイントにおける画像とのマッチングと同様に、Harrisオペレータとテンプレートマッチングとを用いた画像マッチングを用いても、相関法を用いてもよい。これにより、撮影経路における現在の撮像画像の位置が求まる。一方、撮影パラメータを算出方法は、図１２のステップＳ１２０８で説明したのと同じである。
ステップＳ１９０９〜ステップＳ１９１４のフローは、実施例１における図１２のステップＳ１２０９〜ステップＳ１２１４と同じである。 Step S1908: The CPU 107 calculates the moving direction and the shooting parameters by comparing the shooting path location in the stitch image read in step S1901 with the current captured image. For this comparison, image matching using a Harris operator and template matching may be used, or a correlation method may be used, as in the matching between the stitch image and the image at the photographing point. As a result, the current position of the captured image in the shooting path is obtained. On the other hand, the method for calculating the shooting parameters is the same as that described in step S1208 of FIG.
The flow of step S1909 to step S1914 is the same as step S1209 to step S1214 of FIG.

以上のように、撮影経路ベクトルの代わりにスティッチ画像を用いても、第１の実施形態と同様の効果を得ることが可能となる。さらに、第１の実施形態では、現在の位置と、撮影経路とが一致するか否かを撮影ポイントからの相対位置で判定したが、本実施形態では、スティッチ画像と現在の撮像画像との比較で判定するので、より正確な撮影経路上の撮影を実施することができる。
尚、本実施形態では、ステップＳ１９０８の処理を行うことにより、移動方向導出手段と撮影パラメータ決定手段の一例が実現される。また、例えば、図９のステップＳ９０１を置き換わる処理を行うことにより、撮影経路決定手段の一例が実現される。 As described above, even when a stitch image is used instead of the shooting path vector, the same effect as that of the first embodiment can be obtained. Furthermore, in the first embodiment, whether or not the current position matches the shooting path is determined based on the relative position from the shooting point, but in this embodiment, the stitch image and the current captured image are compared. Therefore, it is possible to carry out photographing on a more accurate photographing route.
In the present embodiment, an example of a moving direction deriving unit and an imaging parameter determining unit is realized by performing the processing in step S1908. Further, for example, an example of the photographing route determination unit is realized by performing a process replacing step S901 in FIG.

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。 (Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.

Claims (7)

撮影している位置の移動に伴う複数の撮影ポイントを含む動画像の撮影経路を、該撮影経路における事前撮影の結果に基づいて決定する撮影経路決定手段と、
前記事前撮影が行われた後の本撮影を行っているときの撮影装置の現在の撮影している位置を取得する位置取得手段と、
前記撮影経路と、前記撮影装置の現在の撮影している位置に基づいて、該撮影装置を移動させる方向を導出する移動方向導出手段と、
前記撮影装置を移動させる方向を表示装置に表示する移動方向表示手段と、を有し、
前記移動方向導出手段は、
前記撮影装置の現在の撮影している位置が前記撮影経路上にある場合は、前記撮影経路における前記撮影装置の現在の撮影している位置の接線が表す方向を、前記撮影装置を移動させる方向とし、
前記撮影装置の現在の撮影している位置が前記撮影経路からずれている場合は、前記撮影装置の現在の撮影している位置から、前記撮影装置の現在の撮影している位置から所定距離にある前記撮影経路上の点までを結ぶベクトルと、前記撮影装置の現在の撮影している位置から最小距離にある前記撮影経路上の点の接線ベクトルとを合成したベクトルが表す方向を、前記撮影装置を移動させる方向とすることを特徴とする撮影装置。 The imaging path of a moving image including a plurality of photographic points with the movement of the position where the photographing, a photographing path determining means for determining based on the results of the preparatory photographing in the photographing path,
Position acquisition means for acquiring the current shooting position of the shooting device when performing the main shooting after the previous shooting is performed;
A moving direction deriving unit for deriving a direction in which the photographing apparatus is moved based on the photographing route and a current photographing position of the photographing apparatus;
A moving direction display means for displaying a moving direction of the photographing device on a display device;
The moving direction deriving means includes
Current when the photographer to have located is on the imaging path, the direction represented by the tangent of the current taken by that the position of the imaging device in the imaging path of the photographing apparatus, a direction for moving the imaging device age,
If the current taken by that the position of the imaging device is shifted from the imaging path, the current taken by that position before Symbol imaging apparatus, a predetermined distance from the current shooting to have the position of the imaging device A direction represented by a vector that combines a vector connecting to a point on the shooting path in the image and a tangent vector of the point on the shooting path at a minimum distance from the current shooting position of the shooting device, An imaging apparatus characterized by a direction in which the imaging apparatus is moved. 前記撮影ポイントにおける撮影パラメータを事前撮影の結果に基づいて取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された撮影パラメータに基づいて、前記撮影ポイントの間における撮影パラメータを決定する撮影パラメータ決定手段と、
前記撮影パラメータと、前記撮影装置の現在の撮影している位置とに基づく撮影動作の設定をする動作設定手段と、を有することを特徴とする請求項１に記載の撮影装置。 Shooting parameter acquisition means for acquiring shooting parameters at the shooting point based on the result of preliminary shooting;
Shooting parameter determination means for determining shooting parameters between the shooting points based on the shooting parameters acquired by the shooting parameter acquisition means;
2. The photographing apparatus according to claim 1, further comprising operation setting means for setting a photographing operation based on the photographing parameter and a current photographing position of the photographing apparatus. 前記撮影経路決定手段は、事前撮影によって得られた撮影装置の動きベクトル、又は、事前撮影によって得られた撮影画像を合成したスティッチ画像に基づいて、複数の撮影ポイントの撮影経路を決定することを特徴とする請求項１又は２に記載の撮影装置。   The shooting route determining means determines shooting routes of a plurality of shooting points based on a motion vector of a shooting device obtained by pre-shooting or a stitch image obtained by combining shot images obtained by pre-shooting. The imaging device according to claim 1, wherein the imaging device is characterized. 撮影している位置の移動に伴う複数の撮影ポイントを含む動画像の撮影経路を、該撮影経路における事前撮影の結果に基づいて決定する撮影経路決定工程と、
前記事前撮影が行われた後の本撮影を行っているときの撮影装置の現在の撮影している位置を取得する位置取得工程と、
前記撮影経路と、前記撮影装置の現在の撮影している位置に基づいて、該撮影装置を移動させる方向を導出する移動方向導出工程と、
前記撮影装置を移動させる方向を表示装置に表示する移動方向表示工程と、を有し、
前記移動方向導出工程は、
前記撮影装置の現在の撮影している位置が前記撮影経路上にある場合は、前記撮影経路における前記撮影装置の現在の撮影している位置の接線が表す方向を、前記撮影装置を移動させる方向とし、
前記撮影装置の現在の撮影している位置が前記撮影経路からずれている場合は、前記撮影装置の現在の撮影している位置から、前記撮影装置の現在の撮影している位置から所定距離にある前記撮影経路上の点までを結ぶベクトルと、前記撮影装置の現在の撮影している位置から最小距離にある前記撮影経路上の点の接線ベクトルとを合成したベクトルが表す方向を、前記撮影装置を移動させる方向とすることを特徴とする撮影制御方法。 The imaging path of a moving image including a plurality of photographic points with the movement of the position where the photographing, a photographing path determination step of determining based on the results of the preparatory photographing in the photographing path,
A position acquisition step of acquiring the current shooting position of the shooting device when performing the main shooting after the previous shooting is performed;
A moving direction deriving step for deriving a direction in which the photographing device is moved based on the photographing route and a current photographing position of the photographing device;
A moving direction display step of displaying a moving direction of the photographing device on a display device,
The moving direction deriving step includes
Current when the photographer to have located is on the imaging path, the direction represented by the tangent of the current taken by that the position of the imaging device in the imaging path of the photographing apparatus, a direction for moving the imaging device age,
If the current taken by that the position of the imaging device is shifted from the imaging path, the current taken by that position before Symbol imaging apparatus, a predetermined distance from the current shooting to have the position of the imaging device A direction represented by a vector that combines a vector connecting to a point on the shooting path in the image and a tangent vector of the point on the shooting path at a minimum distance from the current shooting position of the shooting device, An imaging control method, characterized in that the imaging apparatus is moved in a moving direction. 前記撮影ポイントにおける撮影パラメータを事前撮影の結果に基づいて取得する撮影パラメータ取得工程と、
前記撮影パラメータ取得工程により取得された撮影パラメータに基づいて、前記撮影ポイントの間における撮影パラメータを決定する撮影パラメータ決定工程と、
前記撮影パラメータと、前記撮影装置の現在の撮影している位置とに基づく撮影動作の設定をする動作設定工程と、を有することを特徴とする請求項４に記載の撮影制御方法。 A shooting parameter acquisition step of acquiring shooting parameters at the shooting point based on a result of pre-shooting;
A shooting parameter determination step for determining shooting parameters between the shooting points based on the shooting parameters acquired by the shooting parameter acquisition step;
5. The photographing control method according to claim 4, further comprising an operation setting step of setting a photographing operation based on the photographing parameter and a current photographing position of the photographing apparatus. 前記撮影経路決定工程は、事前撮影によって得られた撮影装置の動きベクトル、又は、事前撮影によって得られた撮影画像を合成したスティッチ画像に基づいて、複数の撮影ポイントの撮影経路を決定することを特徴とする請求項４又は５に記載の撮影制御方法。   The shooting path determining step determines shooting paths of a plurality of shooting points based on a motion vector of a shooting device obtained by pre-shooting or a stitch image obtained by combining shot images obtained by pre-shooting. The imaging control method according to claim 4, wherein the imaging control method is characterized. 撮影している位置の移動に伴う複数の撮影ポイントを含む動画像の撮影経路を、該撮影経路における事前撮影の結果に基づいて決定する撮影経路決定工程と、
前記事前撮影が行われた後の本撮影を行っているときの撮影装置の現在の撮影している位置を取得する位置取得工程と、
前記撮影経路と、前記撮影装置の現在の撮影している位置に基づいて、該撮影装置を移動させる方向を導出する移動方向導出工程と、
前記撮影装置を移動させる方向を表示装置に表示する移動方向表示工程と、をコンピュータに実行させ、
前記移動方向導出工程は、
前記撮影装置の現在の撮影している位置が前記撮影経路上にある場合は、前記撮影経路における前記撮影装置の現在の撮影している位置の接線が表す方向を、前記撮影装置を移動させる方向とし、
前記撮影装置の現在の撮影している位置が前記撮影経路からずれている場合は、前記撮影装置の現在の撮影している位置から、前記撮影装置の現在の撮影している位置から所定距離にある前記撮影経路上の点までを結ぶベクトルと、前記撮影装置の現在の撮影している位置から最小距離にある前記撮影経路上の点の接線ベクトルとを合成したベクトルが表す方向を、前記撮影装置を移動させる方向とすることを特徴とするコンピュータプログラム。 The imaging path of a moving image including a plurality of photographic points with the movement of the position where the photographing, a photographing path determination step of determining based on the results of the preparatory photographing in the photographing path,
A position acquisition step of acquiring the current shooting position of the shooting device when performing the main shooting after the previous shooting is performed;
A moving direction deriving step for deriving a direction in which the photographing device is moved based on the photographing route and a current photographing position of the photographing device;
Causing the computer to execute a moving direction display step of displaying a moving direction of the photographing device on a display device;
The moving direction deriving step includes
Current when the photographer to have located is on the imaging path, the direction represented by the tangent of the current taken by that the position of the imaging device in the imaging path of the photographing apparatus, a direction for moving the imaging device age,
If the current taken by that the position of the imaging device is shifted from the imaging path, the current taken by that position before Symbol imaging apparatus, a predetermined distance from the current shooting to have the position of the imaging device A direction represented by a vector that combines a vector connecting to a point on the shooting path in the image and a tangent vector of the point on the shooting path at a minimum distance from the current shooting position of the shooting device, A computer program characterized in that the photographing apparatus is moved.
JP2009270670A 2009-11-27 2009-11-27 Imaging apparatus, imaging control method, and computer program Expired - Fee Related JP5743396B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009270670A JP5743396B2 (en) 2009-11-27 2009-11-27 Imaging apparatus, imaging control method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009270670A JP5743396B2 (en) 2009-11-27 2009-11-27 Imaging apparatus, imaging control method, and computer program

Publications (2)

Publication Number Publication Date
JP2011114713A JP2011114713A (en) 2011-06-09
JP5743396B2 true JP5743396B2 (en) 2015-07-01

Family

ID=44236703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009270670A Expired - Fee Related JP5743396B2 (en) 2009-11-27 2009-11-27 Imaging apparatus, imaging control method, and computer program

Country Status (1)

Country Link
JP (1) JP5743396B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114051095A (en) * 2021-11-12 2022-02-15 苏州臻迪智能科技有限公司 Remote processing method of video stream data and shooting system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3253478B2 (en) * 1995-03-20 2002-02-04 シャープ株式会社 Video recording device
WO1998018046A1 (en) * 1996-10-24 1998-04-30 Sony Corporation Camera device
JP2001086487A (en) * 1999-09-16 2001-03-30 Fuji Photo Optical Co Ltd Camera controller
JP4736381B2 (en) * 2003-11-27 2011-07-27 ソニー株式会社 Imaging apparatus and method, monitoring system, program, and recording medium
JP4586709B2 (en) * 2005-11-02 2010-11-24 オムロン株式会社 Imaging device

Also Published As

Publication number Publication date
JP2011114713A (en) 2011-06-09

Similar Documents

Publication Publication Date Title
US9888182B2 (en) Display apparatus
US10848662B2 (en) Image processing device and associated methodology for determining a main subject in an image
CN103081455B (en) The multiple images being captured from handheld device carry out portrait images synthesis
CN103595979B (en) Image processing equipment, image picking-up apparatus and image processing method
US9432575B2 (en) Image processing apparatus
KR101503333B1 (en) Image capturing apparatus and control method thereof
JP5473551B2 (en) Auto focus system
US9712750B2 (en) Display control device and associated methodology of identifying a subject in an image
KR101795601B1 (en) Apparatus and method for processing image, and computer-readable storage medium
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP2013013050A (en) Imaging apparatus and display method using imaging apparatus
JP2014232181A (en) Imaging device and control method thereof
JP6518409B2 (en) Imaging apparatus and imaging method
JP2019067312A (en) Image processor, imaging device, and image processor control method and program
JP6261205B2 (en) Image processing device
JP2011237713A (en) Imaging device and imaging method
JP2014017665A (en) Display control unit, control method for display control unit, program, and recording medium
JP2020107956A (en) Imaging apparatus, imaging method, and program
JP2008288797A (en) Imaging apparatus
CN113302908A (en) Control method, handheld cloud deck, system and computer readable storage medium
JP5743396B2 (en) Imaging apparatus, imaging control method, and computer program
JP2015012535A (en) Imaging equipment and imaging method
JP6545229B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND PROGRAM
JP2010034837A (en) Electronic camera
JP2021131441A (en) Electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150428

R151 Written notification of patent or utility model registration

Ref document number: 5743396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees