JP2011229008A - Image capturing apparatus and program - Google Patents
Image capturing apparatus and program Download PDFInfo
- Publication number
- JP2011229008A JP2011229008A JP2010097995A JP2010097995A JP2011229008A JP 2011229008 A JP2011229008 A JP 2011229008A JP 2010097995 A JP2010097995 A JP 2010097995A JP 2010097995 A JP2010097995 A JP 2010097995A JP 2011229008 A JP2011229008 A JP 2011229008A
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- moving object
- shooting
- image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影範囲を分割した個別の撮影領域から撮影範囲全体の合成画像を形成するための撮影画像を取得する画像撮影装置、詳しくは合成画像上で同じ移動物体が複数写り込まないようにする制御に関する。 The present invention relates to an image capturing apparatus that acquires a captured image for forming a composite image of the entire shooting range from individual shooting areas obtained by dividing the shooting range, and more specifically, so that a plurality of the same moving objects are not captured on the combined image. Related to control.
撮影範囲を分割した個別の撮影領域で撮影した写真画像を合成して撮影範囲の写真画像を形成するシステムが実用化されている（特許文献１、２）。
A system has been put to practical use in which photographic images taken in individual shooting areas obtained by dividing a shooting range are combined to form a photographic image in the shooting range (
特許文献１には、パノラマ風景写真を自動撮影する画像撮影装置が示される。ここでは、撮影範囲を分割して複数の撮影領域を予め設定すると、デジタルカメラの支持機構を制御して、それぞれの撮影領域にデジタルカメラの画角を自動的に設定して連続的に写真撮影する。なお、以下では、被写体側に設定される撮影領域とカメラ側から狙う撮影領域とを区別するために後者を画角（いわゆるカメラアングル）と呼ぶ。 Japanese Patent Application Laid-Open No. 2004-228561 discloses an image photographing apparatus that automatically photographs a panoramic landscape photograph. Here, when the shooting range is divided and a plurality of shooting areas are set in advance, the support mechanism of the digital camera is controlled, and the angle of view of the digital camera is automatically set in each shooting area to continuously take pictures. To do. In the following, the latter is referred to as an angle of view (so-called camera angle) in order to distinguish between a shooting area set on the subject side and a shooting area targeted from the camera side.
特許文献２には、凹凸のある被写体面を自動撮影する医療用の画像撮影装置が示される。ここでは、撮影領域を分割して設定した撮影領域で写真撮影が行われるごとに撮影した写真を順次合成して、撮影範囲の合成画像を表示装置に表示している。
特許文献３には、露出を変更して複数回のパンニング撮影を行って白つぶれ画像や黒つぶれ画像からも濃度階調を抽出して、最終画像の画像濃度（明暗）のダイナミックレンジを拡大するパノラマ撮影方法が示される。 In Patent Document 3, the exposure is changed, panning is performed a plurality of times, density gradation is extracted from a white-out image or a black-out image, and the dynamic range of the image density (brightness / darkness) of the final image is expanded. A panoramic shooting method is shown.
特許文献４には、１つの焦点位置ではピントぼけしてしまう焦点位置の前後の画像を、焦点位置を異ならせて取り込んで元の焦点位置の撮影画像に合成することで、１枚の画像の解像度を高める撮影方法が示される。
In
１台のカメラの画角を振って撮影領域を順次切り換えて複数の撮影領域の画像を連続撮影するパノラマ画像の撮影システムを試作して、運転させたところ、撮影範囲全体の合成画像の複数箇所に同一被写体が写り込んでいた。これは、１つの撮影領域で撮影された移動物体（人物）が、連続撮影中に、別の撮影領域へ移動して再度撮影されていたためである。そして、撮影範囲の複数箇所に同じ被写体が写り込んだパノラマ画像は、不自然な印象を与えるため、品質が悪いと評価されてしまう。 A panoramic image shooting system that switches the shooting area sequentially by swinging the angle of view of one camera and continuously shooting images in a plurality of shooting areas was prototyped and operated. The same subject was reflected in This is because a moving object (person) shot in one shooting area has been shot again after moving to another shooting area during continuous shooting. And since the panoramic image in which the same subject is reflected in a plurality of places in the photographing range gives an unnatural impression, it is evaluated that the quality is poor.
ここで、特許文献１、３に示されるように、２〜５枚程度の写真画像を合成する場合であれば、撮影が短時間で終了するため、同じ移動物体が複数の撮影領域で撮影される可能性は低い。しかし、広範囲な撮影領域を時間をかけて多数枚の分割撮影を行うパノラマ画像撮影においては、同じ移動物体が複数の撮影領域で撮影される可能性は高まる。そして撮影領域全体を分割撮影し、合成することで画像解像度が向上し高解像画像が作成されるため、パノラマ合成した画像上で同じ移動物体であることが一目瞭然となってしまう。
Here, as shown in
また、撮影範囲に移動物体が１つだけであれば、その移動物体を回避するように撮影順序を手動変更する等して対処できるが、撮影範囲に移動物体が複数存在してでたらめに動き回る場合、人間の判断では対処ができない。 Also, if there is only one moving object in the shooting range, it can be dealt with by manually changing the shooting order so as to avoid that moving object, but when there are multiple moving objects in the shooting range, It cannot be dealt with by human judgment.
本発明は、合成画像上で同一の被写体が複数映り込むことを防止して高品質の合成画像を形成できる画像撮影装置を提供することを目的としている。 An object of the present invention is to provide an image photographing apparatus capable of forming a high-quality composite image by preventing a plurality of identical subjects from appearing on the composite image.
本発明の画像撮影装置は、撮影範囲を分割した個別の撮影領域を撮影可能な撮影手段と、前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段とを備えるものである。そして、前記制御手段は、取得した撮影画像に基いて撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における前記移動物体の撮影を回避するように前記撮影手段と前記移動手段を制御する。 The image photographing apparatus of the present invention includes photographing means capable of photographing individual photographing areas obtained by dividing a photographing range, and moving means capable of positioning the angle of view of the photographing means in different photographing areas by moving the photographing means. The image capturing device and the control device for controlling the moving device are provided so as to acquire a captured image in each image capturing area. The control means detects a moving object that moves in the shooting area based on the acquired captured image, and avoids shooting of the moving object in an unphotographed shooting area based on the detection result of the moving object. The photographing means and the moving means are controlled.
本発明の画像撮影装置では、取得した撮影画像から撮影領域内の移動物体を検出するので、撮影領域内の移動物体の位置を正確に検出してその後の移動物体の撮影範囲の移動を正確に推定できる。このため、移動物体の検出結果に基いて撮影手段と移動手段を制御することにより、未撮影の撮影領域で同一移動物体が再び撮影されることを精度高く回避できる。 In the image capturing apparatus of the present invention, since the moving object in the imaging region is detected from the acquired captured image, the position of the moving object in the imaging region is accurately detected, and the movement of the imaging range of the moving object thereafter is accurately detected. Can be estimated. For this reason, by controlling the photographing means and the moving means based on the detection result of the moving object, it is possible to avoid with high accuracy that the same moving object is photographed again in the unphotographed photographing area.
従って、合成画像上で同一の被写体が複数映り込むことを防止して、高品質の合成画像を形成できる。 Therefore, it is possible to prevent a plurality of the same subject from appearing on the composite image and form a high-quality composite image.
以下、本発明の実施形態を、図面を参照して詳細に説明する。本発明は、移動物体の写り込みを回避するように撮影範囲の自動連続撮影を行う限りにおいて、実施形態の構成の一部又は全部を、その代替的な構成で置き換えた別の実施形態でも実施できる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The present invention is also implemented in another embodiment in which part or all of the configuration of the embodiment is replaced with the alternative configuration as long as the automatic continuous shooting of the shooting range is performed so as to avoid the reflection of the moving object. it can.
なお、特許文献１〜４に示される画像撮影装置やパノラマ画像の合成処理に関する一般的な事項については、図示を省略して重複する説明を省略する。 In addition, about the general matter regarding the imaging | photography apparatus shown by patent documents 1-4, and the synthesis | combination process of a panoramic image, illustration is abbreviate | omitted and the overlapping description is abbreviate | omitted.
＜画像撮影装置＞
図１はパノラマ撮像装置の構成の説明図である。図２はカメラホルダの説明図である。図３は自動雲台の座標系の説明図である。図１に示すように、パノラマ撮像装置１００は、カメラホルダ１０２に固定されたカメラ１０１の画角を、自動雲台１０３によって垂直方向及び水平方向に移動させて、撮影範囲を分割した撮影領域の任意の１つに位置決める。パノラマ撮像装置１００は、カメラ１０１の画角をそれぞれの撮影位置に位置決めて撮影を実行し、取得した撮影画像を表示装置１０５に表示する。
<Image shooting device>
FIG. 1 is an explanatory diagram of a configuration of a panoramic imaging apparatus. FIG. 2 is an explanatory diagram of the camera holder. FIG. 3 is an explanatory diagram of the coordinate system of the automatic camera platform. As shown in FIG. 1, the
撮影手段の一例であるカメラ１０１は、撮影範囲を分割した個別の撮影領域を撮影可能である。カメラ１０１は、被写体を撮影する。カメラ１０１は、市販のデジタル１眼カメラを用いており、予め焦点距離およびＦ値が既知の交換レンズが接続されている。カメラ１０１のフォーカス制御、絞り値制御、露出時間制御、シャッタ制御、画像伝送など、撮影および撮影条件に関する一切の制御は、制御装置１０６との通信によって制御可能である。
A
カメラホルダ１０２は、カメラ１０１およびレンズを安定に固定する。カメラホルダ１０２は、カメラ１０１の位置を、パン方向、チルト方向、及びローテーション方向における予め決められた基準位置に設置する機能を有する。
The
図２に示すように、カメラホルダ１０２の底面には、カメラ設置基準線２０１が描画されている。カメラ設置基準線２０１を参照してカメラ１０１を固定することで、カメラホルダ１０２に対して正面を向くようにカメラ１０１を搭載できる。カメラホルダ１０２には、水準器２０２が設置されており、カメラ１０１の固定後、水準器２０２を参照して、カメラ１０１の水平（ローテーション角とあおり角）を０度に調整可能である。
As shown in FIG. 2, a camera
また、カメラ設置基準線２０１の延長線にはレーザーポインタ２０３が搭載されている。被写体２０４の予め決められた位置にレーザーポインタ２０３のレーザー光を当てることで、カメラ１０１の向きを正確に設定できる。
A
移動手段の一例である自動雲台１０３は、カメラ１０１を移動させてカメラ１０１の画角を異なる撮影領域に位置決め可能である。自動雲台１０３は、カメラホルダ１０２と連結してカメラ１０１の撮影方向を制御するためにパン・チルト動作を行う。三脚１０４は、カメラ１０１を所定の高さに設置する。図１の（ｂ）に示すように、自動雲台１０３は、制御装置１０６の指示により、パン機構１１１、チルト機構１１２を作動させて、カメラ１０１のパン・チルトが可能となる。
An
図３の（ａ）に示すように、カメラ１０１を原点とする座標系全体が設定される。最初に図２に示す水準器２０２を用いてカメラ１０１の水平出しを行う。次に、レーザーポインタ２０３を被写体２０４に照射しながらカメラ１０１をパンし、撮影領域の左右の中心にカメラ正面方向を合わせて奥行き方向にＹ軸を定義する。最後に水平面内のＹ軸直交軸をＸ軸と定義し、鉛直上方向をＺ軸と定義する。これにより、直交座標ＸＹＺを定義する。自動雲台１０３のパン・チルト制御は、図３の（ｂ）に示すようにパンニング角をＹ軸から角度φで定義し、図３の（ｃ）に示すようにチルト角をＸＹ軸平面からの仰角θで定義している。
As shown in FIG. 3A, the entire coordinate system with the
制御手段の一例である制御装置１０６は、それぞれの撮影領域で撮影画像を取得するようにカメラ１０１と自動雲台１０３を制御する。コンピュータの一例である制御装置１０６は、カメラ１０１と自動雲台１０３を制御して複数の撮影領域で撮影画像を取得させるプログラムを搭載している。なお、本実施例では、持ち運びの簡便性から、制御装置１０６は、１台のパーソナルコンピュータを使用しているが、複数の演算装置、制御モジュール、画像処理装置等に分割して制御手段を構成してもよい。
The
制御装置１０６は、入力部１０８を通じてカメラ１０１の撮影条件の設定を取り込み、自動雲台１０３のパン・チルト制御を行い、カメラ１０１の撮影制御を行い、取得した撮影画像を表示装置１０５に表示して画像処理を行う。制御装置１０６は、カメラ１０１および自動雲台１０３に対し撮影に関する制御、カメラ１０１からの撮影画像取得、取得画像の画像処理、画像処理結果の表示装置１０５への出力を司る。撮影に関しては、自動雲台１０３のパン・チルト制御、後述するフローに従ってピント調整、絞り値設定、シャッタ時間設定、レリーズを行う様制御信号を出力する。
The
表示手段の一例である表示装置１０５は、撮影領域で取得した撮影画像を撮影範囲に対応させて表示する。表示装置１０５は、それぞれの撮影領域で取得した撮影画像を縮小して、撮影範囲に対応した配置で配列表示する。図１はパン方向５分割、チルト方向４分割の２０分割パノラマ分割画像１０７の撮影を完了した状態である。撮影範囲のチルト方向を縦に、パン方向を横にして、縮小画像を取得した順に追加表示していく。
The
パノラマ画像撮影は、デジタルカメラの光学系仕様で決められた画角を超える広範囲な被写領域を撮影する。撮影範囲をデジタルカメラの画角以下の連続または一部重複する撮影領域に分割し、分割された撮影領域のそれぞれをデジタルカメラにより撮影する。そして、撮影・記録保持された撮影領域の撮影画像を画像処理により連結結合（スティッチング）することにより、広範囲な撮影範囲の写真画像を再現する。 In panoramic image shooting, a wide range of the subject area exceeding the angle of view determined by the optical system specifications of the digital camera is shot. The shooting range is divided into continuous or partially overlapping shooting areas less than the angle of view of the digital camera, and each of the divided shooting areas is shot with the digital camera. Then, the photographed images in the photographing regions that have been photographed and recorded are connected and connected (stitched) by image processing to reproduce a photographic image in a wide photographing range.
＜移動物体の多重写り込み＞
図４は撮影範囲における被写体と移動物体の分布の説明図である。図５は移動物体の多重写り込みの説明図である。図４に示すように、パノラマ撮像装置１００は、カメラ１０１の向きを変えて、撮影領域ごとに画角を移動しながら撮影を繰り返す。パノラマ撮像装置１００は、風景などの広範囲な領域を撮影するため屋外での撮影も多く、撮影範囲２１０１内には、人や車、動物、自然物など様々な移動物体２１０２が存在する。
<Multiple moving objects>
FIG. 4 is an explanatory diagram of the distribution of the subject and the moving object in the shooting range. FIG. 5 is an explanatory diagram of multiple reflection of a moving object. As illustrated in FIG. 4, the
ここで、個別の撮影領域内に存在する移動物体の移動によって発生する撮影画像内の画像のぶれについては、従来のぶれ補正処理を撮影画像に適用することで後から補正が可能である。 Here, image blurring in a captured image caused by movement of a moving object existing in an individual imaging region can be corrected later by applying a conventional blur correction process to the captured image.
しかし、移動物体の移動方向がパノラマ撮影の視野移動方向と一致し、移動物体の見かけ移動速度がパノラマ撮影の視野移動速度に近いと、複数の撮影領域の撮影画像中に同一の移動物体が映り込むという問題が発生する。 However, if the moving direction of the moving object matches the visual field moving direction of panoramic shooting and the apparent moving speed of the moving object is close to the visual field moving speed of panoramic shooting, the same moving object appears in the captured images of multiple shooting areas. Problem occurs.
図５に示すように、同一の移動物体が複数の分割画像に写り込んだパノラマ画像は、一見して不自然である。この様な同一物体の多重写り込みはパノラマ画像の画像品質を大きく損なわせる要因であり重大な問題である。 As shown in FIG. 5, a panoramic image in which the same moving object is reflected in a plurality of divided images is unnatural at first glance. Such multiple reflection of the same object is a factor that greatly impairs the image quality of the panoramic image and is a serious problem.
従来は、パノラマ画像を合成した後に、同一物体が異なる場所に複数存在する多重写り込みの発生を初めて知ることになり、時間の掛かる撮影を準備段階からやり直すという手間とコストが掛かっていた。多重写り込みの課題は、パノラマ画像を分割撮影する際には常に起こり得る問題である。そして、パノラマ撮像装置１００では、後述するように、同一の撮影領域で複数の撮影画像を取得するため、撮影の開始から終了までに多くの時間を費やすことになり、動きの遅い移動物体でも、多重写り込みの可能性が高くなる。
Conventionally, after synthesizing panoramic images, it has been known for the first time that multiple reflections exist in which the same object is present at different locations, and it takes time and effort to redo the time-consuming shooting from the preparation stage. The problem of multiple reflection is a problem that can always occur when a panoramic image is divided and photographed. And in the
このため、パノラマ撮像装置１００では、制御装置１０６が、取得した複数の撮影画像に基いて撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における移動物体の撮影を回避させる。制御装置１０６は、予め決められた撮影スケジュールに従って、連続する複数の撮影領域を撮影し、取得した撮影画像を処理して撮影領域に移動物体が検出されると、移動物体の動きを予測する。そして、移動物体の移動の推定結果に基いてカメラ１０１と自動雲台１０３を制御して、１つの未撮影領域へ移動物体が移動する前、又は１つの未撮影領域を移動物体が通過した後にその未撮影領域で撮影画像を取得させる。その結果、多重映り込みのないパノラマ合成画像を短時間で得ることが可能となる。
For this reason, in the
＜撮影スケジュール＞
図６は設定画面の説明図である。図７は撮影スケジュールの一例の説明図である。図８は被写界深度合成に用いる焦点位置を求めるプログラムのフローチャートである。
<Shooting schedule>
FIG. 6 is an explanatory diagram of a setting screen. FIG. 7 is an explanatory diagram of an example of a shooting schedule. FIG. 8 is a flowchart of a program for obtaining a focal position used for depth of field synthesis.
図１を参照して図６に示すように、制御装置１０６は、パノラマ撮影プログラムが表示装置１０５に表示した設定画面１２０を通じてユーザーに撮影条件を入力させる。操作部１０８等を通じて入力がされると、その入力内容に応じて制御装置１０６が撮影スケジュールを設定する。
As shown in FIG. 6 with reference to FIG. 1, the
図６に示すように、パノラマ撮影のための撮影範囲の分割数（パン方向・チルト方向）、撮影領域（小視野領域）毎の自動雲台の回転角（パン角・チルト角）および回転優先方向（パン又はチルト）が入力される。 As shown in FIG. 6, the number of divisions of the shooting range for panoramic shooting (pan direction / tilt direction), the rotation angle (pan angle / tilt angle) of the automatic camera platform for each shooting region (small field of view), and rotation priority The direction (pan or tilt) is input.
設定がされると、制御装置１０６は、図７に示すように撮影範囲を分割した撮影領域を計算して撮影スケジュールを決定する。図８に示すように演算プログラムを実行して、それぞれの撮影領域をカメラ１０１に設定するためのパン角Ｐ［ｋ］及びチルト角［ｋ］を決定する。図８の演算処理フローは次式に示される。
When the setting is made, the
式（１）は、図３に示すパン角φ、チルト角θを求めるプログラム例である。ここでは、図６のパン方向の分割数と雲台回転角（Ｎ：５、ｐ：２０．４）およびチルト方向の分割数と雲台回転角（ｍ：４、Ｔ：１３．７）から、２０分割の撮影を行うための各撮影領域に対応するパン角φ、チルト角θを求めている。図７に示すように、２０の撮影領域に対する撮影順のコマ番号ｋをインデックスとして、パン角Ｐ［ｋ］及びチルト角［ｋ］が算出されている。 Expression (1) is a program example for obtaining the pan angle φ and tilt angle θ shown in FIG. Here, from the number of divisions in the pan direction and the pan head rotation angle (N: 5, p: 20.4) and the number of divisions in the tilt direction and the pan head rotation angle (m: 4, T: 13.7) in FIG. , The pan angle φ and the tilt angle θ corresponding to each imaging region for performing 20-division imaging are obtained. As shown in FIG. 7, the pan angle P [k] and the tilt angle [k] are calculated using the frame number k in the shooting order for 20 shooting regions as an index.
図７に示すように、撮影開始点８０２は、座標原点８０３に対して左方向に
４０．８度パンして上方向に２０．６度チルトした位置となる。（Ｎ、ｐ）は、図６で設定したパン方向の分割数（Ｎ：５）と一分割当りの雲台回転角（ｐ：２０．４）である。（ｍ、Ｔ）は、図６で設定したチルト方向の分割数（ｍ：４）と一分割当りの雲台回転角（Ｔ：１３．７）である。
As shown in FIG. 7, the
制御装置１０６は、撮影開始点８０２を起点にして、設定した撮影スケジュールに従って自動連続撮影を実行する。自動雲台１０３をパン方向（水平方向）を優先に撮影領域を移動しながら連続撮影を実行する。制御装置１０６は、撮影条件が異なる複数の撮影画像を１つの撮影領域で取得するようにカメラ１０１と自動雲台１０３を制御する。
The
＜ダイナミックレンジ拡張、被写界深度合成＞
図９は被写界深度合成に用いる焦点位置の説明図である。図１０はダイナミックレンジ拡張用の撮影画像の説明図である。
<Dynamic range expansion, depth of field composition>
FIG. 9 is an explanatory diagram of the focal position used for the depth-of-field composition. FIG. 10 is an explanatory diagram of a captured image for dynamic range expansion.
パノラマ風景写真では、広い画角範囲の撮影を行うため、通常の被写体に比較して、撮影範囲の明るい場所と暗い場所の輝度差が大きくなり、撮影範囲の明るい部分では白つぶれ、撮影範囲の暗い部分では黒つぶれが発生し易くなる。そして、白つぶれ、黒つぶれを回避するために、画像濃度のレンジを撮影範囲の全輝度範囲に割り当てると、個々の部分で階調数が不足して立体感が乏しくなり、グラデーションの滑らかさに欠けてしまう。 In panoramic landscape photography, a wide range of field of view is taken.Therefore, the brightness difference between bright and dark places in the shooting range is larger than in normal subjects. Black spots tend to occur in dark areas. If the image density range is assigned to the entire brightness range of the shooting range in order to avoid blackouts and blackouts, the number of gradations is insufficient in each part, resulting in poor stereoscopic effect and smooth gradation. It will be missing.
このため、パノラマ撮像装置１００では、個々の撮影領域で絞り値を複数段階に異ならせて複数枚の画像を取り込んで、合成することで、パノラマ画像の階調表現のダイナミックレンジやグラデーションの滑らかさを高めている。
For this reason, in the
また、パノラマ撮像装置１００では、パノラマ合成画像の解像度を上げるために、視野角の狭い焦点距離の長いレンズを用いて撮影領域を小さくして撮影を行うことで、撮影領域ごとの解像度を高めている。しかし、焦点距離の長いレンズを用いて撮影すると、必然的に焦点深度が浅くなって、撮影画像に、ピントがぼけて解像度が低下した画像が多数写り込むことになる。
Further, in the
このため、パノラマ撮像装置１００では、１つの撮影領域でレンズの焦点位置を複数段階に変化させて複数枚の撮影画像を取り込んでいる。焦点位置の異なる撮影画像を合成する被写界深度合成を行うことによって、撮影領域の隅々までピントの合った合成画像が得られる。被写界深度合成では、それぞれの撮影画像のピントの合った部分だけをつなぎ合わせる。
For this reason, the
図６に示すように、ダイナミックレンジ拡張合成と被写界深度合成とを行うため、設定画面１２０において、撮影露光量（絞り値・シャッタ速度・ＩＳＯ感度）が設定される。そして、それぞれの設定項目の優先順位付けが設定される。ここでは、一例として、ダイナミックレンジ拡張のための異なる露光量による複数枚撮影を第１優先とし、被写界深度合成のための異なる焦点位置での複数枚撮影が第２優先としている。
As shown in FIG. 6, in order to perform dynamic range expansion synthesis and depth-of-field synthesis, a shooting exposure amount (aperture value, shutter speed, ISO sensitivity) is set on the
図１を参照して図９に示すように、被写界深度合成のための複数の焦点位置（フォーカス位置）は次のように設定する。被写界深度は、レンズの焦点距離（ｆ値）、絞り（Ｆ値）、及び被写体距離（焦点位置）によって一義的に決定される計算可能な数値である。図９は、焦点距離８５ｍｍ、１００ｍｍ、１３５ｍｍ、３００ｍｍの各レンズにおける絞りＦ１６の時の焦点位置（ピント距離）と合焦点範囲を示している。 As shown in FIG. 9 with reference to FIG. 1, a plurality of focus positions (focus positions) for depth-of-field synthesis are set as follows. The depth of field is a calculable numerical value that is uniquely determined by the focal length (f value), aperture (F value), and subject distance (focal position) of the lens. FIG. 9 shows a focal position (focus distance) and a focal range at the time of the diaphragm F16 in each of the focal lengths of 85 mm, 100 mm, 135 mm, and 300 mm.
焦点距離８５ｍｍのレンズを用いて絞りＦ１６で撮影する場合、焦点位置（フォーカスリング）を４．６ｍに設定すると、合焦範囲は３．４ｍ〜６．９ｍとなる。また、焦点位置を１４ｍに設定すると、合焦範囲は６．９ｍ〜無限遠となる。よって、焦点位置（フォーカスリング）を４．６ｍと１４ｍに合わせて２枚の画像を撮影し、被写界深度合成処理を行うことで、被写体距離３．４ｍ〜無限遠でピントのあった合成画像を作成できる。 When photographing with a diaphragm F16 using a lens having a focal length of 85 mm, when the focal position (focus ring) is set to 4.6 m, the in-focus range is 3.4 m to 6.9 m. When the focal position is set to 14 m, the focusing range is 6.9 m to infinity. Therefore, two images are shot with the focus position (focus ring) set to 4.6 m and 14 m, and depth-of-field composition processing is performed, so that the composition is in focus at an object distance of 3.4 m to infinity. You can create an image.
焦点距離３００ｍｍのレンズを用いて絞りＦ１６で撮影する場合、焦点位置（フォーカスリング）を２０ｍに設定すると、合焦範囲は１８ｍ〜２２ｍとなる。また、焦点位置（フォーカスリング）を２５ｍに設定すると、合焦範囲は２２ｍ〜２９ｍとなる。また、焦点位置（フォーカスリング）を３５ｍに設定すると合焦範囲は２９ｍ〜４４ｍとなる。また、焦点位置（フォーカスリング）を６０ｍに設定すると、合焦範囲は４４ｍ〜９３ｍとなる。さらに、焦点位置（フォーカスリング）を１７０ｍに設定すると合焦範囲は８４ｍ〜無限遠となる。よって、焦点距離３００ｍｍのレンズでは、焦点位置（フォーカスリング）を５段階に異ならせた５枚の画像を撮影し、被写界深度合成処理を行うことで、被写体距離１８ｍ〜無限遠でピントの合った合成画像を作成できる。 When shooting with a diaphragm F16 using a lens with a focal length of 300 mm, if the focal position (focus ring) is set to 20 m, the in-focus range is 18 m to 22 m. When the focal position (focus ring) is set to 25 m, the focusing range is 22 m to 29 m. When the focal position (focus ring) is set to 35 m, the focusing range is 29 m to 44 m. When the focal position (focus ring) is set to 60 m, the focusing range is 44 m to 93 m. Furthermore, when the focal position (focus ring) is set to 170 m, the focusing range is 84 m to infinity. Therefore, with a lens with a focal length of 300 mm, five images with different focal positions (focus rings) are taken in five stages, and depth-of-field composition processing is performed, so that a subject distance of 18 m to infinity is in focus. Combined composite images can be created.
図１を参照して図１０に示すように、制御装置１０６は、１つの撮影領域でシャッタ速度を３段階に変化させて連続して３枚の撮影画像を取得する。露光量の設定を異ならせた同一被写体の撮影画像を合成することで、画像濃度のダイナミックレンジを拡張するためである。そして、制御装置１０６は、この露光量が３段階に異なる撮影画像を用いて撮影領域の移動物体を検出する。
As illustrated in FIG. 10 with reference to FIG. 1, the
＜移動物体検出＞
制御装置１０６は、１つの撮影領域で、すべての露出レベルの撮影が完了すると、複数段階に露出レベルが異なる複数枚の撮影画像を画像処理（演算処理）して移動物体検出を行う。制御装置１０６は、１つの撮影領域で取得した撮影条件が異なる複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して、撮影範囲全体におけるその後の移動を推定する。制御装置１０６は、３段階に露出レベルを変化させた撮影が完了すると、露出レベルが異なる３枚の画像を処理して、撮影画像中の移動物体の検出を行う。そして、制御装置１０６は、移動物体の移動の推定結果に基いてカメラ１０１と自動雲台１０３を制御することにより、移動物体が存在しない撮影領域で撮影画像を取得する。
<Moving object detection>
When the photographing of all exposure levels is completed in one photographing region, the
図１０に示すように、異なる露出レベルの撮影画像は、露出量の少ない方から順に、低露出の撮影画像１００１、基準露出の撮影画像１００２、高露出の撮影画像１００３と呼び、それぞれの画像信号をＰｌｏｗ、Ｐ０、Ｐｈｉｇｈとする。 As shown in FIG. 10, photographed images with different exposure levels are called a low-exposure photographed image 1001, a reference-exposure photographed image 1002, and a high-exposure photographed image 1003 in order from the smallest exposure amount. Are P low , P 0 , and P high .
撮影画像１００１、１００２、１００３は、それぞれ明るさが異なるため、次式によって明るさを正規化して、低露出の正規化画像１００４、基準露出の正規化像１００５、高露出の正規化像１００６に変換する。 Since the captured images 1001, 1002, and 1003 have different brightnesses, the brightness is normalized by the following expression to obtain a low-exposure normalized image 1004, a reference-exposure normalized image 1005, and a high-exposure normalized image 1006. Convert.
式（２）中、明るさを正規化された正規化画像１００４、１００５、１００６の画像信号をそれぞれＰｌｏｗ’、Ｐ０’、Ｐｈｉｇｈ’としている。Ｓｌｏｗ、Ｓ０、Ｓｈｉｇｈは、それぞれの画面中の画像信号値の総和である。 In Expression (2), the image signals of the normalized images 1004, 1005, and 1006 whose brightness has been normalized are P low ′, P 0 ′, and P high ′, respectively. S low , S 0 , and S high are the sum of the image signal values in each screen.
明るさレベルの正規化がなされた撮影画像は、低露出の正規化像１００４と高露出の正規化像１００６とでテンプレートマッチングを行って、撮影画像上の移動物体動きベクトルｖを算出する。移動物体の方向と速度を合わせて「移動物体動きベクトルｖ」と定義する。また、撮影領域の移動方向と移動速度を合わせて「撮影視野動きベクトル」と定義する。 The captured image with the normalized brightness level is subjected to template matching between the low-exposure normalized image 1004 and the high-exposure normalized image 1006 to calculate a moving object motion vector v on the captured image. The direction and speed of the moving object are combined to define a “moving object motion vector v”. Further, the moving direction and moving speed of the shooting area are combined to define a “shooting field motion vector”.
時間を置いて撮影された撮影画像の露出レベルを揃えて引き算することで、撮影画像中の静止領域と移動領域の分離ができ、移動領域のみが抽出される。 By subtracting the exposure levels of the captured images taken after a certain amount of time, the still area and the moving area in the captured image can be separated, and only the moving area is extracted.
この抽出された移動領域を移動物体テンプレートとして、テンプレートマッチング用として使用する。移動物体テンプレートと別の画像とを重ね合わせた位置を原点として、移動物体テンプレートをシフトさせ、移動物体テンプレートと別の画像の引き算値が最小となる位置座標までのシフト量を撮影間隔の移動量と定義する。移動量を撮影間隔で割り算することで撮影領域における移動物体の移動速度が求められる。 The extracted moving area is used as a moving object template for template matching. The moving object template is shifted from the position where the moving object template and another image are overlapped as the origin, and the shift amount to the position coordinate where the subtraction value between the moving object template and another image is the minimum is the movement amount of the shooting interval. It is defined as By dividing the moving amount by the shooting interval, the moving speed of the moving object in the shooting region can be obtained.
なお、撮影領域の移動物体の検出は、露光量が３段階に異なる撮影画像を用いる方法には限らない。移動物体検出は、シャッタ作動前のプレビュー時に動画像としてカメラ１０１に画像を取り込んで移動物体を検出するなどしてもよい。
The detection of the moving object in the shooting area is not limited to the method using the shot images having different exposure amounts in three stages. In the moving object detection, an image may be taken into the
＜移動物体の移動の推定＞
図１１は移動物体の移動の推定方法の説明図である。図１を参照して図１１に示すように、制御装置１０６は、撮影画像に移動物体１１０１が検出されると、未撮影の撮影領域における移動物体の多重写り込み予測を実行する。制御装置１０６は、移動物体１１０１が検出されると、移動物体が未撮影の撮影領域へ移動して再び撮影されるか否かを予測する。
<Estimation of moving object>
FIG. 11 is an explanatory diagram of a method for estimating movement of a moving object. As shown in FIG. 11 with reference to FIG. 1, when the moving
図１１はパノラマ画像全体を表す図であり、パン方向５分割チルト方向４分割の分割画像の配置の様子を表わしている。図１１は、左上から撮影を開始してパン方向に２番目の分割画像の撮影が完了したところを示しており、図中破線で区切られた分割画像はこれから撮影する予定の分割画像を表す。 FIG. 11 is a diagram showing the entire panoramic image, and shows a state of arrangement of divided images of 5 divisions in the pan direction and 4 divisions in the tilt direction. FIG. 11 shows a state where shooting is started from the upper left and shooting of the second divided image in the pan direction is completed, and the divided images divided by broken lines in the drawing represent divided images to be shot from now.
ここで、撮影時の自動雲台１０３の回転方向はパン方向優先なので、水平方向の移動物体の移動に限定して説明する。しかし、自動雲台１０３の回転方向がチルト方向優先の場合は以下の説明のパラメータを全て縦方向に置き換えることで同様に求められる。
Here, since the rotation direction of the
２番目の分割画像において、図１０の移動物体検出により水平方向画素数Ｌの位置ｘに水平速度ｖの移動物体１１０１が検出されたとする。移動物体１１０１が次の分割画像に写りこむのは、速度ｖで移動した 物体が３番目の分割画像内（図１１の位置Ａ〜Ｂは画像両端を表す）にいる時、シャッタが切られる場合である。位置ｘの物体が速度ｖで位置Ａに移動する時間Ｔは次式で表される。
Ｔ＝（Ｌ−ｘ）ｖ
In the second divided image, it is assumed that the moving
T = (L−x) v
さらに距離Ｌ進んで位置Ｂに移動する時間Ｔは次式で表される。
Ｔ＝（２Ｌ−ｘ）ｖ
Further, the time T for moving to the position B after traveling the distance L is expressed by the following equation.
T = (2L−x) v
このため、分割撮影像間の間隔時間をＴとすると、次の分割撮影画像に移動物体が写りこむ条件の予測式は次式となる。 For this reason, when the interval time between the divided captured images is T, the prediction formula for the condition that the moving object is reflected in the next divided captured image is as follows.
移動物体が式（３）を満たす時、制御装置１０６は、通常の撮影スケジュールを中断して、多重写り込み予測の予測結果に基づく各種の追加的な処理を実行する。
When the moving object satisfies Expression (3), the
＜実施例１＞
図１２は実施例１のパノラマ撮影制御のフローチャートである。図１３は警告画面の説明図である。実施例１では、予測された移動物体の動きと、撮影スケジュールから、移動物体が他の分割画像内に撮像されるか否かを判断する。
<Example 1>
FIG. 12 is a flowchart of panoramic shooting control according to the first embodiment. FIG. 13 is an explanatory diagram of a warning screen. In the first embodiment, it is determined whether the moving object is captured in another divided image from the predicted movement of the moving object and the shooting schedule.
図１を参照して図１２に示すように、実施例１では、制御装置１０６は、移動物体の検出結果に基いて、移動物体を撮影する可能性のある未撮影領域がある場合に表示装置１０５上に警告を出力する。移動物体の移動の推定によって未撮影の撮影領域で移動物体が再び撮影される可能性が高い場合に表示装置１０５に警告表示を行う。
As illustrated in FIG. 12 with reference to FIG. 1, in the first embodiment, the
撮影開始が指示入力されると、パノラマ撮像装置１００は、パノラマ自動撮影を開始する（Ｓ６０１）。具体的には、パノラマ撮影プログラムが表示装置１０５に表示したスタートボタンをユーザーがマウスで押下する。
When an instruction to start shooting is input, the
撮影が開始されると、まず、システムの初期化が行われる（Ｓ６０２）。初期化では、図３の（ａ）に示すように、自動雲台１０３が原点座標に移動し、同時に、図２に示すように、カメラホルダ１０２に搭載のレーザーポインタ２０３が照射されて前方の被写体の一点に当たる。これにより、ユーザーが自動雲台１０３の原点座標を目視で確認できる。その後、図６の設定内容に基づいて定めた撮影スケジュールを読み込んで、撮影スケジュールを初期化する。
When shooting is started, the system is first initialized (S602). In the initialization, as shown in FIG. 3A, the
初期化が完了すると、視野設定（Ｓ６０３）が実行され、自動雲台１０３がパン・チルト移動して撮影開始点に撮影領域を位置決める。図７の座標原点８０３で初期設定している場合、パノラマ画像の撮影範囲の左上隅の撮影領域を撮影開始点８０２とする。
When the initialization is completed, the field of view setting (S603) is executed, and the
視野設定が完了すると、フォーカス設定（Ｓ６０４）が実行されて、図６の焦点位置が設定される。実施例１では、焦点距離１００ｍｍのレンズを絞りＦ１６で使用して、被写体距離範囲を３．３ｍ〜無限遠としている。このため、図９のｆ１００の設定を用いて、焦点位置を遠方から１９ｍ、６．７ｍ、４ｍに設定して１つの撮影領域で３枚の撮影画像を取得する。最初の撮影では、焦点位置１９ｍにフォーカスリングを設定する（Ｓ６０４）。
When the field of view setting is completed, focus setting (S604) is executed, and the focus position in FIG. 6 is set. In the first embodiment, a lens having a focal length of 100 mm is used at the diaphragm F16, and the subject distance range is 3.3 m to infinity. Therefore, using the setting of f100 in FIG. 9, the focal position is set to 19 m, 6.7 m, and 4 m from a distance, and three shot images are acquired in one shooting area. In the first shooting, a focus ring is set at the
フォーカス設定が完了すると、露出設定（Ｓ６０５）を実行して、絞り値、シャッタ速度、ＩＳＯ感度を設定する。実施例１では、ダイナミックレンジ拡張処理のための露出レベルを、シャッタ速度を変えることで、露光量を１／２倍、１倍、２倍の３種類で撮影するので、最初の撮影では、絞り値Ｆ１６
、シャッタ速度１／５００秒、ＩＳＯ感度１００と設定した。露光量の設定は、絞り値、シャッタ速度、ＩＳＯ感度のいずれで設定しても良いが、絞り値を変えると被写界深度が変化して、被写界深度合成のための撮影条件に影響が出て好ましくない。
When focus setting is completed, exposure setting (S605) is executed to set the aperture value, shutter speed, and ISO sensitivity. In the first embodiment, the exposure level for dynamic range expansion processing is photographed with three types of exposure amounts of 1/2 times, 1 times, and 2 times by changing the shutter speed. Value F16
The shutter speed was set to 1/500 seconds and the ISO sensitivity was set to 100. The exposure amount can be set with any of aperture value, shutter speed, and ISO sensitivity. However, changing the aperture value changes the depth of field, which affects the shooting conditions for combining depth of field. Is not preferable.
視野設定（Ｓ６０３）、フォーカス設定（Ｓ６０４）、露出設定（Ｓ６０５）が完了すると、撮影開始点８０２の撮影領域における最初の撮影が実行される（Ｓ６０６）。
When the field of view setting (S603), focus setting (S604), and exposure setting (S605) are completed, the first shooting in the shooting region at the
撮影は、制御装置１０６の指示によりシャッタが切られ、撮影画像は直ちにカメラ１０１から制御装置１０６に送信される。撮影が完了すると、優先順位１位の設定項目の撮影がすべて完了したか否かの判断がされる（Ｓ６０７）。実施例１では優先順位１位は露光量設定であり、シャッタ速度１／５００秒、１／２５０秒、１／１２５秒での撮影がすべて完了したか否かの判定が行われる。
For shooting, the shutter is released in accordance with an instruction from the
制御装置１０６は、３段階に露出レベルを変化させた撮影が完了すると、図１０を参照して説明した手順を用いて、露出レベルが異なる３枚の画像を処理して、撮影画像中の移動物体の検出を行う（Ｓ６０８）。
When shooting with the exposure level changed in three stages is completed, the
そして、制御装置１０６は、図１１を参照して説明した手順を用いて、移動物体の検出結果に基いて移動物体がパノラマ撮影において他の撮影領域でも写り込むか否かを予測する多重写り込み予測（Ｓ６０９）を実行する。
Then, the
多重写り込み予測（Ｓ６０９）で移動物体の多重写り込みの可能性が検出されると、表示装置１０５に警告を発して自動連続撮影を中断し、ユーザーの操作を待つ。警告の方法は、移動物体の検出と多重写り込みの可能性をユーザーに音声により発することが望ましい。
When the possibility of multiple reflection of a moving object is detected in the multiple reflection prediction (S609), a warning is issued to the
図１を参照して図１３に示すように、制御装置１０６は、表示装置１０５に、撮影範囲に対応させて、移動物体の検出結果に基づく表示を行う。図１３中、（ａ）および（ｂ）は、表示装置１０５による警告の例を示している。
As illustrated in FIG. 13 with reference to FIG. 1, the
図１３の（ａ）に示すように、表示装置１０５に撮影済みの撮影領域の縮小画像を表示して、移動物体の多重写り込みの可能性が予測されると、音声と共に画面上に警告ダイアログ１２０１が表示される。移動物体が検出された撮影領域の縮小画像は、画像枠が点滅するなど注意を喚起し、マウスポインタを当てると、図１３の（ｂ）のように拡大画像が表示されて、移動物体検出（Ｓ６０８）で検出された移動物体を確認できる。
As shown in FIG. 13A, when a reduced image of a captured image area is displayed on the
ユーザーは、移動物体が次の撮影画像内を通り過ぎるまで待ったのち、再開ボタン１２０２を押して撮影を継続する。また、ユーザーは、アプリケーション終了ボタン１２０３を押して撮影を終了しても良い。
The user waits until the moving object passes through the next photographed image, and then presses the
撮影者の操作で撮影が再開された場合（Ｓ６１１）、フォーカス位置を変えた撮影が完了したか否かの判定を行う（Ｓ６１２）。移動物体検出（Ｓ６０８）で移動物体が未検出の場合、または多重写り込み予測（Ｓ６０９）で移動物体の多重写り込みが予測されない場合も、フォーカス位置を変えた撮影が完了したか否かの判定を行う（Ｓ６１２）。 When shooting is resumed by the photographer's operation (S611), it is determined whether shooting with the focus position changed is completed (S612). Whether moving object detection (S608) does not detect a moving object or multiple reflection prediction (S609) does not predict multiple reflections of a moving object, whether or not shooting with a changed focus position is completed (S612).
撮影スケジュールに従って焦点位置を変えた撮影が完了したなら（Ｓ６１２のＹＥＳ）、自動雲台１０３を作動させて、次の撮影領域での撮影を開始する（Ｓ６０３）。しかし、焦点位置を変えた撮影が完了していないなら（Ｓ６１２のＮＯ）、フォーカス設定（Ｓ６０４）に戻って、次の焦点位置を設定して撮影を継続する。
When shooting with the focal position changed according to the shooting schedule is completed (YES in S612), the
露出制御撮影、フォーカス制御撮影が完了すると（Ｓ６１２のＹＥＳ）、全画角撮影が完了したか否かの判定を行う（Ｓ６１３）。全ての視野画角による撮影が完了していない場合、次の視野を設定して（Ｓ６０３）撮影を継続する。そして、全分割撮影を完了すると（Ｓ６１３のＹＥＳ）、撮影を終了する（Ｓ６１４）。 When exposure control shooting and focus control shooting are completed (YES in S612), it is determined whether or not full-angle shooting has been completed (S613). If shooting with all field angles has not been completed, the next field of view is set (S603) and shooting is continued. When the all-division shooting is completed (YES in S613), the shooting is ended (S614).
実施例１では、撮影中の移動物体を検出し、同じ移動物体が他の撮影領域でも撮影されるか否かを予測する。そして、同じ移動物体が他の撮影領域でも撮影されると予測された場合、警告を発して自動撮影を中断して、撮影者に操作を返すことで他の撮影領域への移動物体の写り込みを回避する。 In the first embodiment, a moving object being photographed is detected, and it is predicted whether or not the same moving object is photographed even in another photographing region. If the same moving object is predicted to be shot in another shooting area, a warning is issued, automatic shooting is interrupted, and the operation is returned to the photographer to reflect the moving object in the other shooting area. To avoid.
＜実施例２＞
図１４は実施例２のパノラマ撮影制御のフローチャートである。図１５は待機画面の説明図である。実施例２では、パノラマ画像撮像システムにおける移動物体の多重写り込みの発生を判断し、撮影スケジュールを変更し、多重に写り込みを回避するように制御する。
<Example 2>
FIG. 14 is a flowchart of panoramic shooting control according to the second embodiment. FIG. 15 is an explanatory diagram of a standby screen. In the second embodiment, the occurrence of multiple reflections of moving objects in the panoramic image imaging system is determined, the shooting schedule is changed, and control is performed so as to avoid multiple reflections.
実施例２は、撮影領域を移動物体が通過するのを待って撮影を開始する以外は、実施例１と同一であるため、図１４中、実施例１と共通する制御ステップには図１２と共通の符号を付して重複する説明を省略する。 The second embodiment is the same as the first embodiment except that it waits for a moving object to pass through the shooting area and starts shooting. Therefore, the control steps common to the first embodiment in FIG. Common reference numerals are assigned and redundant explanations are omitted.
図１を参照して図１４に示すように、実施例２では、制御装置１０６は、複数の撮影領域について一定の順序で撮影画像を取得する。制御装置１０６は、移動物体の移動の推定結果に基いて移動物体が存在すると判断した撮影領域については、移動物体の移動の推定結果に基いて移動物体が通過するまで待機して撮影画像を取得する。移動物体の存在する撮影領域の１つ手前の撮影領域までで撮影を中断して待機することで、移動物体の２回目の撮影を回避する。
As illustrated in FIG. 14 with reference to FIG. 1, in the second embodiment, the
実施例２では、制御装置１０６が実行するプログラムにタイマー（Ｓ１３０１）を搭載している。制御装置１０６は、複数の撮影画像を処理して移動物体検知を行い（Ｓ６０８）、移動物体の移動ベクトルを求めて多重写り込み予測を行う（Ｓ６０９）。そして、移動物体が写り込む可能性があると判定すると、警告を発すると同時に、撮影を中断して（Ｓ６１１）、タイマーが次に述べる時間をカウントダウンする（Ｓ１３０１）。
In the second embodiment, a timer (S1301) is installed in a program executed by the
図１１に示すように、位置ｘに存在する速度ｖの移動物体１１０１は、次式の時間Ｔが経過すると、次の撮影領域を通り過ぎて写り込みしなくなる。
Ｔ＞（２Ｌ−ｘ）／ｖ
As shown in FIG. 11, the moving
T> (2L−x) / v
よって、タイマー（Ｓ１３０１）は、撮影中断の開始時刻を起点として、時間Ｔを順次カウントダウンし、次式の時間Ｔの経過を待って次の撮影領域の撮影を開始する（Ｓ１６１２）。
Ｔ＝（２Ｌ−ｘ）／ｖ
Accordingly, the timer (S1301) counts down the time T sequentially starting from the shooting interruption start time, and starts shooting the next shooting area after the time T of the following expression has elapsed (S1612).
T = (2L−x) / v
図１５に示すように、タイマー（Ｓ１３０１）のカウントダウン中、表示装置１０５には、警告ダイアログ１４０１が表示される（Ｓ６１１）。警告ダイアログ１４０１を通じて、移動物体の多重写り込みの警告とともに撮影再開までの時間が表示される。ユーザーは、移動物体の写り込みを許可する場合には、再開ボタン１２０２を押して撮影を継続する。また、ユーザーは、アプリケーション終了ボタン１２０３を押して、撮影を終了しても良い。
As shown in FIG. 15, during the countdown of the timer (S1301), a
実施例２のパノラマ撮影制御によれば、ユーザーは、移動物体が次の撮影領域の外に出たときに、パノラマ撮像装置１００の操作をすることなく、直ちに撮影を再開できるため、実施例１よりも短時間で撮影が完了する。
According to the panorama shooting control of the second embodiment, the user can immediately resume shooting without operating the
＜実施例３＞
図１６は実施例３のパノラマ撮影制御における撮影スケジュールの説明図である。実施例３は、移動物体が存在すると推定された撮影領域を飛ばして、移動物体が存在しない撮影領域を先行して撮影し、移動物体が存在すると推定された撮影領域の撮影は後回しにする。
<Example 3>
FIG. 16 is an explanatory diagram of a shooting schedule in the panoramic shooting control of the third embodiment. In the third embodiment, a shooting area where a moving object is estimated to be skipped is shot, and a shooting area where no moving object is present is shot in advance, and shooting of a shooting area where a moving object is estimated is postponed.
図１を参照して図１２に示すように、制御装置１０６は、１つの撮影領域で撮影された複数の撮影画像に基づいてその撮影領域内の移動物体を抽出する。制御装置１０６は、抽出した移動物体の撮影範囲におけるその後の移動を推定し、推定結果に基いて、移動物体が存在しない撮影領域で撮影画像を取得するようにカメラ１０１と自動雲台１０３を制御する。
As shown in FIG. 12 with reference to FIG. 1, the
図７に示すように、撮影範囲に撮影領域が設定されて撮影スケジュールが設定され、上述したように個別の撮影領域のパン角Ｐ［ｋ］及びチルト角［ｋ］が決定され、撮影スケジュールの順番に配列される。 As shown in FIG. 7, a shooting area is set in the shooting range and a shooting schedule is set. As described above, the pan angle P [k] and tilt angle [k] of each shooting area are determined, and the shooting schedule is set. Arranged in order.
図１に示すように、制御装置１０６は、表１の撮影スケジュールリストを読み込んで、パン角Ｐ［ｋ］及びチルト角［ｋ］を設定して、ｋ＝１から順次インクリメントしてｋ＝２０まで、それぞれの撮影領域における撮影を実行する。
As shown in FIG. 1, the
図１６に示すように、例えば、ｋ＝２の撮影コマで移動物体が検出されて（Ｓ６０８）、ｋ＝３の撮影コマでの多重写り込みが予測された場合（Ｓ６０９）、ｋ＝３の撮影コマが撮影スケジュールリストの最後に転送される。そして、ｋ＝４〜ｋ＝２０のデータを繰り上げるように撮影スケジュールリストが更新される。 As shown in FIG. 16, for example, when a moving object is detected in a shooting frame of k = 2 (S608) and multiple reflections in a shooting frame of k = 3 are predicted (S609), k = 3. The shot frame is transferred to the end of the shooting schedule list. Then, the shooting schedule list is updated so as to carry data of k = 4 to k = 20.
表２では、ｋ＝３〜ｋ＝１９の撮影コマのパン角Ｐ［ｋ］及びチルト角［ｋ］は、変更前の表１のｋ＝４〜ｋ＝１９の撮影コマのパン角Ｐ［ｋ］及びチルト角［ｋ］に置き換えられている。そして、最後のｋ＝２０の撮影コマのパン角Ｐ［ｋ］及びチルト角［ｋ］は、変更前の表１のｋ＝３の撮影コマのパン角Ｐ［ｋ］及びチルト角［ｋ］に置き換えられている。 In Table 2, the pan angle P [k] and tilt angle [k] of the shooting frame of k = 3 to k = 19 are the pan angle P [k] of the shooting frame of k = 4 to k = 19 in Table 1 before the change. k] and tilt angle [k]. Then, the pan angle P [k] and tilt angle [k] of the last shooting frame of k = 20 are the pan angle P [k] and tilt angle [k] of the shooting frame of k = 3 in Table 1 before the change. Has been replaced.
制御装置１０６は、表２の撮影スケジュールリストに従ってパン角Ｐ［ｋ］及びチルト角［ｋ］を設定して、未撮影の撮影領域における撮影を実行する。これにより、図１６に示すように、撮影スケジュールが変更される。移動物体１１０１が次の撮影領域で写り込む可能性があると判定されると、撮影順序１６０１で示すように、写り込む可能性のある撮影領域での撮影を飛ばして繰り上げ撮影を行い、最後に飛ばした撮影領域の撮影に戻って撮影を行う。
The
実施例３によれば、移動物体１１０１の移動を待つことなく残りの撮影領域の連続撮影を継続するため、移動物体の写り込みを回避しつつ実施例２よりも短時間で撮影範囲全体の撮影を終了できる。
According to the third embodiment, since the continuous shooting of the remaining shooting area is continued without waiting for the moving
＜実施例４＞
実施例４では、実施例１〜３のように連続撮影中の移動物体検出は行わない。最初にすべての撮影領域について連続撮影を実行して画像撮影を取得し、撮影終了後にすべての撮影領域で移動物体検出を行って、２以上の撮影領域で同一の移動物体が撮影されているか否かを判断する。そして、同一の移動物体が撮影されている撮影領域だけを後から撮影し直す。
<Example 4>
In the fourth embodiment, unlike the first to third embodiments, the moving object detection during continuous shooting is not performed. First, continuous shooting is performed for all shooting areas to obtain image shooting, and after the shooting is finished, moving object detection is performed in all shooting areas, and whether or not the same moving object is shot in two or more shooting areas. Determine whether. Then, only the imaging region where the same moving object is imaged is imaged again later.
図１７は実施例４のパノラマ撮影制御のフローチャートである。図１８は移動物体が写り込んだ撮影画像の説明図である。図１９は実施例４における多重写り込みの判定方法の説明図である。実施例４では、多重写り込みが発生した撮影領域に対して再撮影する。 FIG. 17 is a flowchart of panoramic shooting control according to the fourth embodiment. FIG. 18 is an explanatory diagram of a captured image in which a moving object is reflected. FIG. 19 is an explanatory diagram of a method for determining multiple reflections in the fourth embodiment. In the fourth embodiment, re-shooting is performed on a shooting area where multiple reflection has occurred.
実施例４では、実施例１と同様に撮影スケジュールに従って撮影領域を順次変更して連続撮影を行うので、図１４中、実施例１と共通する制御には図９と共通の符号を付して重複する説明を省略する。 In the fourth embodiment, as in the first embodiment, continuous shooting is performed by sequentially changing the shooting area in accordance with the shooting schedule. Therefore, in FIG. 14, the same reference numerals as those in FIG. A duplicate description is omitted.
図１を参照して図１７に示すように、制御装置１０６は、１つの撮影領域の撮影画像に、他の撮影領域で検出されていた移動物体と同一の移動物体が検出された場合には、その１つの撮影領域で撮影画像を取得し直す。制御装置１０６は、複数の撮影画像で同一の移動物体を検出する処理を行い、同一の移動物体が検出された撮影領域で再び撮影画像を取得する。
As shown in FIG. 17 with reference to FIG. 1, the
制御装置１０６は、シャッタ速度（Ｓ６０７）、焦点位置（Ｓ６１１）、撮影領域（Ｓ６１２）を変更して、撮影範囲に設定されたすべての撮影領域（Ｓ６０２）で連続撮影を実行する（Ｓ６０６）。連続撮影終了後、制御装置１０６は、図１８に示すように、すべての撮影領域の縮小画像を表示装置１０５に表示する。このとき、撮影範囲の３つの撮影領域で同一の移動物体１８０１が写り込んでいるとする。
The
制御装置１０６は、連続撮影終了後、上述したテンプレートマッチングを用いた動きベクトル生成により、すべての撮影領域の撮影画像について移動物体を検出する（Ｓ１７０１）。そして、すべての撮影領域で移動物体が検出されない場合（Ｓ１７０２の非検出）、全撮影工程を終了する。また、移動物体が検出されても（Ｓ１７０２の検出）、同じ移動物体が別の撮影領域で写り込んでいなければ（Ｓ１７０４の非検出）、全撮影工程を終了する。
After the end of continuous shooting, the
しかし、図１８に示すように、移動物体が複数の撮影領域で検出された場合（Ｓ１７０２の検出）、各撮影領域で検出された移動物体が同一物体に該当するか否かを判定する（Ｓ１７０３）。 However, as shown in FIG. 18, when a moving object is detected in a plurality of imaging regions (detection in S1702), it is determined whether the moving objects detected in each imaging region correspond to the same object (S1703). ).
図１９を参照して、多重写り込みの判定方法の一例を示す。図１９は図１８を模式的に表している。実施例３と同様にして表３の撮影スケジュールが設定され、ｋ＝１〜ｋ＝２０の撮影コマで連続撮影が実行されたとする。 Referring to FIG. 19, an example of a method for determining multiple reflections is shown. FIG. 19 schematically shows FIG. Assume that the shooting schedule of Table 3 is set in the same manner as in the third embodiment, and continuous shooting is performed with shooting frames of k = 1 to k = 20.
その結果、図１９に示すように、速度ｖの移動物体１１０１が他の撮影領域Ａ、Ｂ、Ｃに多重に写り込んで多重像１９０１となっている。ここで、移動物体１１０１の移動方向に沿った撮影領域の長さをＬとする。長さＬの直線上の位置ｘにいる速度ｖの移動物体１１０１が時間Ｔの間隔で連続撮影されるとき、Ｎ＝１、２、３・・・として、位置Ａ、Ｂ、Ｃの座標は次式で表される。
As a result, as shown in FIG. 19, the moving
多重写り込み判定（Ｓ１７０３）では、撮影画像の位置Ａ、Ｂ、Ｃで色、形状などを抽出して、移動物体１１０１のテンプレートマッチングを行い、移動物体１１０１と同一物体であるか否かの判定を行う。そして、制御装置１０６は、位置Ａ、Ｂ、Ｃに移動物体１１０１と同一物体が存在すると判定すると（Ｓ１７０４の検出）、再撮影のスケジューリング（Ｓ１７０５）を実行する。
In the multiple reflection determination (S1703), the color, shape, and the like are extracted from the positions A, B, and C of the captured image, and template matching of the moving
表４に示すように、表３の太枠で示した撮影コマについて再撮影スケジュールが設定される。多重写り込みが判定されたｋ＝３、４、５の撮影スケジュールからパン角Ｐ［ｋ］及びチルト角［ｋ］が抽出され、新たに表４の再撮影スケジュールが作成される。 As shown in Table 4, a re-shooting schedule is set for the shooting frames indicated by the thick frames in Table 3. The pan angle P [k] and tilt angle [k] are extracted from the shooting schedules of k = 3, 4, 5 for which multiple reflections are determined, and the re-shooting schedule shown in Table 4 is newly created.
再撮影スケジュールのスケジューリングが完了すると（Ｓ１７０５）、元の撮影スケジュールに置き換えて（Ｓ６０２）、再撮影が開始される（Ｓ６０３〜）。 When scheduling of the re-shooting schedule is completed (S1705), the original shooting schedule is replaced (S602), and re-shooting is started (S603).
実施例４によれば、ユーザーは、移動物体が多重に写り込んだパノラマ画像でも、自動的に同一移動物体を検出し、必要となる撮影領域のみを抽出して、短時間で撮影を完了することが可能となる。 According to the fourth embodiment, the user automatically detects the same moving object even in a panoramic image in which moving objects are reflected in multiple, extracts only a necessary shooting area, and completes shooting in a short time. It becomes possible.
なお、実施例４の制御と実施例２の制御を組み合わせて実行してもよい。複数の移動物体撮影回避プログラムを用いることで、同じ移動物体の複数写り込みをさらに確実に阻止できるからである。 Note that the control of the fourth embodiment and the control of the second embodiment may be executed in combination. This is because using a plurality of moving object imaging avoidance programs can more reliably prevent multiple reflections of the same moving object.
＜実施例５＞
実施例４では、すべての撮影領域について連続撮影を実行してすべての画像撮影を取得した後に、再撮影のスケジュールを決定した。これに対して、実施例５では、パノラマ連続撮影中に、既に検出済みの移動物体を撮影画像から検出する処理を並行して行い、それまでに撮影した撮影領域で検出済みの同一移動物体が検出された場合には、既存のスケジュールの最後に順次追加していく。
<Example 5>
In Example 4, continuous shooting was performed for all shooting regions to acquire all image shootings, and then a re-shooting schedule was determined. On the other hand, in the fifth embodiment, during panorama continuous shooting, a process of detecting a moving object that has already been detected from the captured image is performed in parallel, and the same moving object that has been detected in the shooting area that has been captured so far is detected. If detected, they are sequentially added to the end of the existing schedule.
図１６に示すように、表５の順序で順次画角を切り換えて、自動撮影を継続し、図１０に示すように、撮影画像を用いた移動物体の検出を行う。ここでは、ｋは図１６の撮影スケジュールに沿って定めた撮影領域固有の識別番号であるとする。 As shown in FIG. 16, the angle of view is sequentially switched in the order shown in Table 5 to continue automatic shooting, and as shown in FIG. 10, a moving object is detected using the shot image. Here, it is assumed that k is an identification number unique to the imaging region determined along the imaging schedule of FIG.
表５に示すように、ｋ＝２の撮影領域で移動物体が検出された後、同じ移動物体がｋ＝７の撮影領域で再び検出されたとする。このとき、ｋ＝７の撮影領域の再撮影スケジュールが撮影スケジュールの最後に追加される。その後、ｋ＝２の撮影領域で検出された同じ移動物体がｋ＝１２の撮影領域で再び検出されたとする。このとき、ｋ＝１２の再撮影スケジュールがｋ＝７の再撮影スケジュールの後に追加される。 As shown in Table 5, it is assumed that the same moving object is detected again in the imaging region of k = 7 after the moving object is detected in the imaging region of k = 2. At this time, the re-shooting schedule for the shooting area of k = 7 is added to the end of the shooting schedule. After that, it is assumed that the same moving object detected in the shooting area of k = 2 is detected again in the shooting area of k = 12. At this time, the reshooting schedule of k = 12 is added after the reshooting schedule of k = 7.
実施例５では、自動撮影と平行して撮影画像による移動物体の検出を行い、異なる撮影領域で同一の移動物体が検出された場合には、ユーザーの判断を待たないで、再撮影スケジュールを自動追加して必要な撮影をすべて終了させてしまう。このため、無人撮影システムでも利用できる。 In the fifth embodiment, a moving object is detected from a captured image in parallel with automatic shooting, and when the same moving object is detected in different shooting areas, the re-shooting schedule is automatically set without waiting for the user's judgment. Add and finish all necessary shooting. For this reason, it can be used in an unmanned imaging system.
なお、実施例５の制御と実施例４の制御を組み合わせて実行してもよい。実施例５の制御と実施例２の制御とを組み合わせて実行してもよい。複数の移動物体撮影回避プログラムを用いることで、同じ移動物体の複数写り込みをさらに確実に阻止できるからである。 Note that the control of the fifth embodiment and the control of the fourth embodiment may be executed in combination. The control of the fifth embodiment and the control of the second embodiment may be executed in combination. This is because using a plurality of moving object imaging avoidance programs can more reliably prevent multiple reflections of the same moving object.
＜実施例６＞
実施例１〜５では、パノラマ分割画像を撮影するためのカメラ１０１の撮影画像を用いて移動物体の検出を行った。焦点距離の長いレンズによる狭い撮影領域の移動物体の位置と速度とを撮影画像の処理によって精密に検出できるからである。そして、撮影領域の移動物体の位置と速度とを精密に検出できない場合、その撮影領域の外側の撮影範囲における移動物体のその後の移動を精密に推定できなくなり、同一移動物体の写り込みを回避する目的を達成できなくなるからである。
<Example 6>
In Examples 1 to 5, a moving object is detected using a captured image of the
これに対して、移動物体を検出するものとして公知である超音波反射やレーザー反射光を用いたセンサは、カメラ１０１の画角範囲との関連性が乏しいため、隣の撮影領域の移動物体を検出してしまう可能性が高くなる。このため、撮影範囲の移動物体の移動を正確に推定することが困難である。また、限られたエリアで移動物体を高精度に検出できるセンサは一般的に高価で大型であるから、パノラマ撮影システムとしては、実用的とは言えない。
On the other hand, a sensor using ultrasonic reflection or laser reflected light, which is known to detect a moving object, is not related to the angle of view range of the
実施例１〜５では、カメラ１０１の撮影画像として、パノラマ合成に用いる高解像度の撮影画像を用いた。高解像度の撮影画像を用いることで、撮影領域内の移動物体の位置と移動速度とを高精度に検出でき、これにより、撮影範囲における移動物体のその後の移動の推定精度を高めることができるからである。
In Examples 1 to 5, a high-resolution captured image used for panoramic synthesis was used as a captured image of the
これに対して、実施例６では、撮影前にプレビュー画像としてカメラ１０１が撮影している低解像度の動画像を用いる。これもカメラ１０１によって撮影領域から時系列的に取得される複数枚の撮影画像だからである。
On the other hand, in the sixth embodiment, a low resolution moving image captured by the
実施例６では、それぞれの撮影領域において、本番撮影前に、それぞれ１秒間、カメラ１０５が撮影領域のプレビュー動画像を撮影して制御装置１０６に転送する。制御装置１０６は、転送された動画像データから時系列的に配列した複数の撮影画像を再生して、上述の移動物体検出を実行する。そして、動画像データから移動物体が検出された場合には、上述した移動物体の移動の推定を実行して、移動物体の移動中と推定される撮影領域を回避した撮影を実行する。
In the sixth embodiment, in each shooting area, the
実施例６のパノラマ画像の製造方法によれば、パノラマ合成に用いる最終撮影画像を用いる場合に比較して低解像度の撮影画像を用いる分、同じ枚数の撮影画像を用いる限り、移動物体の位置と速度の検出精度は低下する。しかし、１枚の撮影画像のデータ量が少ないため、上述の移動物体検出を、最終撮影画像を用いる場合よりも格段に多い数１０枚の撮影画像を用いて実行できるため、移動物体の位置と速度の検出精度を同等程度に高められる。 According to the panoramic image manufacturing method of the sixth embodiment, as long as the same number of photographed images are used as compared with the case where the final photographed image used for panorama synthesis is used, the position of the moving object is determined. Speed detection accuracy decreases. However, since the amount of data of one photographed image is small, the above-mentioned moving object detection can be executed using several tens of photographed images, which is significantly more than when the final photographed image is used. Speed detection accuracy can be increased to the same level.
１０１ カメラ、１０２ カメラホルダ、１０３ 自動雲台
１０４ 三脚、１０５ 表示装置、１０６ 制御装置
１０７ 分割画像
１１０１、１８０１、２２０１、２２０１ 移動物体
２１０１ パノラマ画像撮像範囲
DESCRIPTION OF
Claims (8)
前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、
それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段と、を備える画像撮影装置において、
前記制御手段は、取得した撮影画像に基いて前記撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における前記移動物体の撮影を回避するように前記撮影手段と前記移動手段を制御することを特徴とする画像撮影装置。 Photographing means capable of photographing individual photographing areas obtained by dividing the photographing range;
Moving means capable of moving the photographing means to position the angle of view of the photographing means in the different photographing regions;
In an image photographing apparatus comprising the photographing means and a control means for controlling the moving means so as to obtain a photographed image in each photographing region,
The control means detects a moving object that moves in the imaging region based on the acquired captured image, and avoids capturing the moving object in an uncaptured imaging region based on the detection result of the moving object. An image photographing apparatus characterized by controlling photographing means and said moving means.
前記制御手段は、１つの撮影領域で取得した撮影条件が異なる複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して前記撮影範囲におけるその後の移動を推定し、
前記制御手段は、前記移動の推定結果に基いて、前記移動物体が存在しない撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする請求項１記載の画像撮影装置。 The control means controls the photographing means and the moving means so as to acquire a plurality of photographed images with different photographing conditions in one photographing region,
The control means estimates a subsequent movement in the imaging range by extracting a moving object in the imaging region based on a plurality of captured images with different imaging conditions acquired in one imaging region,
2. The control unit according to claim 1, wherein the control unit controls the photographing unit and the moving unit so as to acquire a photographed image in a photographing region where the moving object does not exist, based on the estimation result of the movement. Image shooting device.
前記制御手段は、前記移動の推定結果に基いて前記移動物体が存在すると判断した撮影領域については、前記移動の推定結果に基いて前記移動物体が通過するまで待機して撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする請求項２記載の画像撮影装置。 The control means controls the photographing means and the moving means so as to acquire photographed images in a certain order for the plurality of photographing regions,
The control unit waits until the moving object passes based on the movement estimation result for a shooting area that is determined that the moving object exists based on the movement estimation result, and acquires a captured image. 3. The image photographing apparatus according to claim 2, wherein the photographing means and the moving means are controlled.
前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、
それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段とを備える画像撮影装置において、
前記制御手段は、取得した複数の撮影画像で同一の移動物体を検出する処理を行い、前記同一の移動物体が検出された撮影領域で再び撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする画像撮影装置。 Photographing means capable of photographing individual photographing areas obtained by dividing the photographing range;
Moving means capable of moving the photographing means to position the angle of view of the photographing means in the different photographing regions;
In an image photographing apparatus comprising the photographing means and a control means for controlling the moving means so as to obtain a photographed image in each photographing region
The control means performs processing for detecting the same moving object in the plurality of acquired captured images, and acquires the captured image again in the imaging area where the same moving object is detected. An image photographing apparatus characterized by controlling the above.
前記制御手段は、前記表示手段に、前記撮影範囲に対応させて、前記移動物体の検出結果に基づく表示を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像撮影装置。 Comprising display means for displaying the captured images acquired in each imaging region in correspondence with the imaging range;
7. The image photographing apparatus according to claim 1, wherein the control unit performs display based on a detection result of the moving object in association with the photographing range on the display unit. .
１つの撮影領域で撮影された複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して前記撮影範囲におけるその後の移動を推定し、その移動の推定結果に基いて、前記移動物体が存在しない撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とするプログラム。 A plurality of photographing units capable of photographing individual photographing regions obtained by dividing a photographing range and a moving unit capable of positioning the field of view of the photographing unit in different photographing regions by moving the photographing unit. In a program that acquires captured images in the shooting area,
Based on a plurality of photographed images photographed in one photographing region, a moving object in the photographing region is extracted to estimate the subsequent movement in the photographing range. Based on the estimation result of the movement, the moving object is A program for controlling the photographing unit and the moving unit to acquire a photographed image in a non-existing photographing region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010097995A JP2011229008A (en) | 2010-04-21 | 2010-04-21 | Image capturing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010097995A JP2011229008A (en) | 2010-04-21 | 2010-04-21 | Image capturing apparatus and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011229008A true JP2011229008A (en) | 2011-11-10 |
Family
ID=45043845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010097995A Pending JP2011229008A (en) | 2010-04-21 | 2010-04-21 | Image capturing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011229008A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013175827A (en) * | 2012-02-23 | 2013-09-05 | Canon Inc | Image pickup device and control method and program thereof, and recording medium |
| JP2013225724A (en) * | 2012-04-19 | 2013-10-31 | Canon Inc | Imaging device, control method therefor, program, and storage medium |
| JP2016099598A (en) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | Imaging apparatus, method for controlling the same, and control program |
| WO2016147957A1 (en) * | 2015-03-13 | 2016-09-22 | リコーイメージング株式会社 | Imaging device and imaging method |
| WO2017103982A1 (en) * | 2015-12-14 | 2017-06-22 | 株式会社 ニコン・トリンブル | Defect detection apparatus and program |
| JP2018007064A (en) * | 2016-07-04 | 2018-01-11 | オリンパス株式会社 | Imaging device and imaging method |
| JP2019175291A (en) * | 2018-03-29 | 2019-10-10 | 株式会社Ｎｔｔドコモ | Imaging plan determining apparatus |
| CN110418054A (en) * | 2019-06-27 | 2019-11-05 | 维沃移动通信有限公司 | Image processing method and terminal |
| JP2019211998A (en) * | 2018-06-04 | 2019-12-12 | 富士通株式会社 | Inspection support program, inspection support method and inspection support device |
| WO2020090420A1 (en) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | Information processing device, control method therefor, program, and storage medium |
| CN111765350A (en) * | 2020-06-16 | 2020-10-13 | 周建斌 | Intelligent control full-automatic rotating holder of digital camera and panoramic shooting method thereof |
| CN113396361A (en) * | 2019-02-07 | 2021-09-14 | 富士胶片株式会社 | Imaging system, imaging part setting device, imaging device, and imaging method |
| KR20220105330A (en) * | 2021-01-20 | 2022-07-27 | 송종원 | Tilting system for extending viewing angle of thermal imaging camera |
-
2010
- 2010-04-21 JP JP2010097995A patent/JP2011229008A/en active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013175827A (en) * | 2012-02-23 | 2013-09-05 | Canon Inc | Image pickup device and control method and program thereof, and recording medium |
| JP2013225724A (en) * | 2012-04-19 | 2013-10-31 | Canon Inc | Imaging device, control method therefor, program, and storage medium |
| JP2016099598A (en) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | Imaging apparatus, method for controlling the same, and control program |
| WO2016147957A1 (en) * | 2015-03-13 | 2016-09-22 | リコーイメージング株式会社 | Imaging device and imaging method |
| JP2016171511A (en) * | 2015-03-13 | 2016-09-23 | リコーイメージング株式会社 | Imaging apparatus and imaging method |
| WO2017103982A1 (en) * | 2015-12-14 | 2017-06-22 | 株式会社 ニコン・トリンブル | Defect detection apparatus and program |
| JP2018007064A (en) * | 2016-07-04 | 2018-01-11 | オリンパス株式会社 | Imaging device and imaging method |
| JP2019175291A (en) * | 2018-03-29 | 2019-10-10 | 株式会社Ｎｔｔドコモ | Imaging plan determining apparatus |
| JP2019211998A (en) * | 2018-06-04 | 2019-12-12 | 富士通株式会社 | Inspection support program, inspection support method and inspection support device |
| US11729494B2 (en) | 2018-10-30 | 2023-08-15 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and storage medium |
| WO2020090420A1 (en) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | Information processing device, control method therefor, program, and storage medium |
| CN113396361A (en) * | 2019-02-07 | 2021-09-14 | 富士胶片株式会社 | Imaging system, imaging part setting device, imaging device, and imaging method |
| CN113396361B (en) * | 2019-02-07 | 2023-04-18 | 富士胶片株式会社 | Imaging system, imaging part setting device, imaging device, and imaging method |
| CN110418054A (en) * | 2019-06-27 | 2019-11-05 | 维沃移动通信有限公司 | Image processing method and terminal |
| CN111765350A (en) * | 2020-06-16 | 2020-10-13 | 周建斌 | Intelligent control full-automatic rotating holder of digital camera and panoramic shooting method thereof |
| KR20220105330A (en) * | 2021-01-20 | 2022-07-27 | 송종원 | Tilting system for extending viewing angle of thermal imaging camera |
| KR102484908B1 (en) * | 2021-01-20 | 2023-01-04 | 송종원 | Tilting system for extending viewing angle of thermal imaging camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011229008A (en) | Image capturing apparatus and program | |
| JP5820257B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US9531938B2 (en) | Image-capturing apparatus | |
| JP6436783B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP2007288731A (en) | Real-time panoramic image composing method and apparatus therefor | |
| JP5091099B2 (en) | Imaging device | |
| JP2011097645A (en) | Image synthesizing apparatus, imaging apparatus, and image synthesizing method | |
| JP2010091669A (en) | Imaging device | |
| JP2001223932A (en) | Image pickup device and digital camera | |
| JP6357646B2 (en) | Imaging device | |
| JP2011237713A (en) | Imaging device and imaging method | |
| JP2021027523A5 (en) | ||
| JP6326631B2 (en) | Imaging device | |
| JP2009290255A (en) | Imaging apparatus, imaging apparatus control method and computer program | |
| US8462259B2 (en) | Focusing image display device and method for displaying same | |
| JP2009159092A (en) | Imaging apparatus and control method thereof | |
| JP2008005355A (en) | Image processing apparatus and image processing method | |
| JP2011022203A (en) | Af frame automatic follow-up system and method for automatically following up af frame | |
| JP2009239392A (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP2006115322A (en) | Camera capable of panning photography and program for motion picture editing | |
| JP6759018B2 (en) | Imaging device and exposure control method | |
| JP2007264250A (en) | Photographing device and program | |
| JP2009169884A (en) | Photographing device, control method of photographing device, and image reproduction device, method and program | |
| JP6089232B2 (en) | Imaging device | |
| JP2021097351A (en) | Image processing device, imaging device, image processing method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120203 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130228 |