JP2020072448A

JP2020072448A - Imaging apparatus, imaging method, and program

Info

Publication number: JP2020072448A
Application number: JP2018207348A
Authority: JP
Inventors: 浩平古谷; Kohei Furuya
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-11-02
Filing date: 2018-11-02
Publication date: 2020-05-07

Abstract

To automatically set panoramic imaging when performing panoramic imaging using a convenient imaging apparatus.SOLUTION: The imaging apparatus which performs imaging while panning comprises: imaging means for acquiring a plurality of images in the imaging; detecting means for detecting a movement of the imaging apparatus; setting means for setting a plurality of parameters for performing the imaging; and composing means for connecting the images to create a composite image. The setting means sets at least one of the parameters based on a result of detection by the detecting means.SELECTED DRAWING: Figure 2

Description

本発明は、撮像装置、特に、パノラマ撮像を行うことができる撮像装置に関するものである。 The present invention relates to an image pickup apparatus, and particularly to an image pickup apparatus capable of performing panoramic image pickup.

撮像装置などの撮像装置による撮像方法の一つとして、パノラマ撮像が提案されている。このような手法においては、ユーザが撮像装置の向きを一定方向に変化させながら連続的に複数枚の静止画を撮影し、撮像装置が撮像された複数枚の画像をつなぎ合わせることにより１枚のパノラマ画像を生成している。 As one of imaging methods by an imaging device such as an imaging device, panoramic imaging has been proposed. In such a method, the user continuously shoots a plurality of still images while changing the direction of the image pickup apparatus in a certain direction, and the image pickup apparatus joins the plurality of picked-up images to obtain one image. A panoramic image is being generated.

ここで、ユーザが撮像装置の向きを変化させながら撮像するものの他にも、撮像装置自身に駆動機構を設け、自動で撮像装置の向きを変化させながら、パノラマ画像生成のための連続した画像を撮像するようなものも提案されている。たとえば特許文献１においては、自動で撮像する画角を変化させながらパノラマ画像生成用の複数の画像を撮像する構成が記載されている。このような撮像装置においては、たとえばユーザの撮像指示や自動撮像判定によりパノラマ撮像に移行する。 Here, in addition to the one in which the user takes an image while changing the orientation of the image pickup device, a driving mechanism is provided in the image pickup device itself to automatically change the direction of the image pickup device to generate continuous images for generating a panoramic image. Something such as imaging is also proposed. For example, Patent Document 1 describes a configuration in which a plurality of images for generating a panoramic image are captured while automatically changing the angle of view to be captured. In such an image pickup apparatus, for example, panorama image pickup is performed in response to a user's image pickup instruction or automatic image pickup determination.

また、特許文献２では、ストラップ等でユーザの体に装着された状態で用いられるような、利便性のより高い撮像装置が公開されている。 In addition, Patent Document 2 discloses an image pickup apparatus with higher convenience that is used while being worn on the body of the user with a strap or the like.

特開２０１１−１８８１６３号公報JP, 2011-188163, A 特表２０１６−５３６８６８号公報Japanese Patent Publication No. 2016-536868

しかしながら、特許文献２に記載されている撮像装置を用いて、パノラマ撮像を行おうとすると、以下の課題が生じる。パノラマ撮像においては、撮像中において撮像装置の安定が要求されている。しかしながら、撮像装置をユーザの体に装着しながら撮像を行うようなシーンにおいてパノラマ撮像を行うと、安定性が保たれない。 However, when trying to perform panoramic imaging using the imaging device described in Patent Document 2, the following problems occur. In panoramic imaging, it is required that the imaging device be stable during imaging. However, stability is not maintained when panoramic imaging is performed in a scene where imaging is performed while the imaging device is worn on the user's body.

本発明は、上記の課題を鑑みてなされたものであり、利便性を保ちながら、パノラマ撮像が可能な撮像装置を提供する。 The present invention has been made in view of the above problems, and provides an imaging device capable of panoramic imaging while maintaining convenience.

上記課題を解決するため、本願発明は、パンニングをしながら撮像を行う撮像装置であって、前記撮像において複数の画像を取得する撮像手段と、前記撮像装置の移動を検知する検知手段と、前記撮像を行うための複数のパラメータの設定を行う設定手段と、前記複数の画像を繋ぎ合わせて合成画像を作成する合成手段と、を有し、前記設定手段は、前記検知手段が検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定する撮像装置を提供する。 In order to solve the above problems, the present invention is an imaging device that performs imaging while panning, an imaging means that acquires a plurality of images in the imaging, a detection means that detects movement of the imaging device, and It has a setting means for setting a plurality of parameters for performing imaging, and a synthesizing means for connecting the plurality of images to create a synthesized image, and the setting means uses the result detected by the detecting means. Based on the above, there is provided an imaging device that sets at least one of the plurality of parameters.

本発明の構成によれば、パノラマ撮像が可能で、精度よくパノラマ合成画像の作成ができ、撮像装置の状態に応じてパノラマ撮像の制御ができる撮像装置を提供することができる。 According to the configuration of the present invention, it is possible to provide an imaging device capable of panoramic imaging, capable of accurately creating a panoramic composite image, and controlling panoramic imaging according to the state of the imaging device.

本発明の実施形態に係る撮像装置の基本構成を示すブロック図である。It is a block diagram which shows the basic composition of the imaging device which concerns on embodiment of this invention. 本発明の実施形態を説明するためのフローチャートである。It is a flow chart for explaining the embodiment of the present invention. 第１の実施形態における撮像装置の状態を説明するための図である。It is a figure for explaining the state of the imaging device in a 1st embodiment. 本発明の実施形態におけるパノラマ撮像のためのパラメータの設定を説明するための図である。FIG. 6 is a diagram for explaining setting of parameters for panoramic imaging according to the embodiment of the present invention. 第２の実施形態におけるズームの変更を説明するための図である。It is a figure for demonstrating the change of the zoom in 2nd Embodiment. 第２の実施形態における撮像装置の向きを変更しながらパノラマ撮像を行う一例を説明するための図である。It is a figure for explaining an example which performs panorama image pick-up while changing the direction of the image pick-up device in a 2nd embodiment.

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

以下、図面を参照して本発明の好適な実施形態を説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

（第１の実施形態）
図１は、本実施形態に係る撮像装置の基本構成を示すブロック図である。 (First embodiment)
FIG. 1 is a block diagram showing the basic configuration of the image pickup apparatus according to this embodiment.

撮像装置１００は、例えば、デジタルカメラ、デジタルビデオカメラなどのカメラの他、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える電子機器である。光学系１０１は、レンズ群、シャッター、絞りなどを備える結像光学系である。レンズ群は、手振れ等の補正を行う補正レンズやフォーカスレンズなどを含む。 The imaging device 100 is an electronic device having a camera function such as a camera such as a digital camera and a digital video camera, a mobile phone with a camera function, a computer with a camera, and the like. The optical system 101 is an imaging optical system including a lens group, a shutter, a diaphragm, and the like. The lens group includes a correction lens and a focus lens for correcting camera shake and the like.

光学系１０１は、ＣＰＵ１０３の制御信号にしたがって、被写体光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を通して結像した光を光電変換により画像信号に変換する。 The optical system 101 forms an image of subject light on the image sensor 102 according to a control signal from the CPU 103. The image pickup device 102 is an image pickup device such as a CCD (charge coupled device) image sensor or a CMOS (complementary metal oxide semiconductor) image sensor, and converts the light imaged through the optical system 101 into an image signal by photoelectric conversion.

ＣＰＵ１０３は、メモリに予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。一次記憶部１０４は、例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶部１０４に記憶されている情報は、画像処理部１０５が使用し、また記録媒体１０６へ記録される場合もある。二次記憶部１０７は、例えば、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）などの不揮発性記憶装置である。二次記憶部１０７には、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報が記憶されており、ＣＰＵ１０３によって利用される。 The CPU 103 executes a program stored in advance in the memory to control each unit that configures the imaging device 100 according to an input signal or the like. The primary storage unit 104 is a volatile device such as a RAM (Random Access Memory), stores temporary data, and is used as a work memory of the CPU 103. The information stored in the primary storage unit 104 is used by the image processing unit 105 and may be recorded in the recording medium 106. The secondary storage unit 107 is, for example, a nonvolatile storage device such as an EEPROM (Electrically Erasable Programmable Read-Only Memory). The secondary storage unit 107 stores a program (firmware) for controlling the imaging device 100 and various setting information, and is used by the CPU 103.

記録媒体１０６は、一次記憶部１０４に記憶されている撮像画像データなどを記録する。また、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。記録媒体１０６に記録されたデータは、ＰＣ（パーソナルコンピュータ）などの外部機器に装着して読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構および読み書き機能を有する。表示部１０８は、撮像時のビューファインダ画像の表示、撮像した画像の表示、対話的な操作のためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）画像などの表示を行う。操作部１０９は、ユーザ操作を受け付けて、ＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネルなどを備える。また音声や視線などを用いた入力機器を操作に使用することもできる。 The recording medium 106 records captured image data and the like stored in the primary storage unit 104. Further, the recording medium 106 is removable from the imaging device 100, such as a semiconductor memory card. The data recorded on the recording medium 106 can be read by mounting it on an external device such as a PC (personal computer). That is, the image pickup apparatus 100 has a mechanism for attaching / detaching the recording medium 106 and a read / write function. The display unit 108 displays a viewfinder image at the time of image capturing, a captured image, a GUI (Graphical User Interface) image for interactive operation, and the like. The operation unit 109 is an input device group that receives a user operation and transmits input information to the CPU 103, and includes, for example, buttons, levers, a touch panel, and the like. In addition, an input device using voice or line of sight can be used for the operation.

検出部１１０には、ジャイロセンサーや加速度センサーなどが設けられ、撮像装置１００の加速度や角速度などを検出することができる。または、検出部１１０に赤外線センサー等を設け、撮像装置１００の周囲に存在する障害物を検出することができる。 The detection unit 110 is provided with a gyro sensor, an acceleration sensor, etc., and can detect the acceleration, the angular velocity, etc. of the imaging device 100. Alternatively, an infrared sensor or the like may be provided in the detection unit 110 to detect an obstacle existing around the imaging device 100.

撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有しており、このパターンを撮像モードとして操作部１０９により設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめとして、撮像モードに応じた色調の調整などの各種処理を行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア処理によって実現してもよい。 The image capturing apparatus 100 has a plurality of image processing patterns applied to the captured image by the image processing unit 105, and these patterns can be set as the image capturing mode by the operation unit 109. The image processing unit 105 performs various kinds of processing such as color tone adjustment according to the imaging mode, including image processing called so-called development processing. Note that at least a part of the function of the image processing unit 105 may be realized by the CPU 103 by software processing.

図２は、本実施形態を説明するためのフローチャートである。 FIG. 2 is a flowchart for explaining the present embodiment.

ステップＳ２０１では、検出部１１０は、撮像装置１００の状態を検知する。ここでいう撮像装置１００の状態は、主に撮像装置１００の移動・静止状態の変化を指す。 In step S201, the detection unit 110 detects the state of the imaging device 100. The state of the image pickup apparatus 100 here mainly refers to a change in the moving / stationary state of the image pickup apparatus 100.

図３は、本実施形態における撮像装置１００の状態を説明するための図である。 FIG. 3 is a diagram for explaining the state of the image pickup apparatus 100 according to this embodiment.

たとえば、図３（ａ）は、撮像装置１００が、ストラップ等でユーザの体に装着された状態などで「移動状態」と「静止状態」を繰り返す場合がある。（首掛け状態）それに対し、図３（ｂ）は机の上に設置されている状況などで「静止状態」が長期間続くことを示している。（平置き状態）このため、もし、図３（ａ）の場合において、図３（ｂ）と同様なパノラマ撮像を行ってしまうと、「移動状態」の時にパノラマ撮像を開始してしまったり、または、パノラマ撮像中に「移動状態」となってしまったりする場合がある。そのような場合は画像の連続性が失われてしまい、つなぎ目が合わせられないような画像となってしまう場合がある。 For example, in FIG. 3A, the imaging device 100 may repeat the “moving state” and the “stationary state” when the imaging apparatus 100 is worn on the user's body with a strap or the like. (Neck-hanging state) On the other hand, FIG. 3B shows that the "resting state" continues for a long period of time when it is installed on a desk or the like. Therefore, in the case of FIG. 3A, if the same panoramic imaging as in FIG. 3B is performed, panoramic imaging may be started in the “moving state”, Alternatively, it may be in a “moving state” during panorama imaging. In such a case, the continuity of the images may be lost, and the images may not match the joints.

そこで、このような課題を解決するために、本実施形態においては図３（ａ）と図３（ｂ）とのどちらかのような場合においてもパノラマ撮像に適した画像を取得するための処理の例を示す。これを実現するために、まず、ステップＳ２０２で、ＣＰＵ１０３は、ステップＳ２０１での検知の結果に基づいて、パノラマ撮像を開始するかどうかについて判断する。撮像装置１００が「静止状態」にあるときに、ＣＰＵ１０３は、撮像開始の時刻を設定し、撮像開始の指示を出す。 Therefore, in order to solve such a problem, in the present embodiment, a process for acquiring an image suitable for panoramic imaging in either of the cases of FIG. 3A and FIG. For example: In order to realize this, first in step S202, the CPU 103 determines whether or not to start panoramic imaging based on the result of the detection in step S201. When the image capturing apparatus 100 is in the “stationary state”, the CPU 103 sets the image capturing start time and issues an image capturing start instruction.

ステップＳ２０２で、パノラマ撮像の開始が判断されたら、ステップＳ２０３に進み、パノラマ撮像の設定を行う。ステップＳ２０３では、ＣＰＵ１０３は、パノラマ撮像をするためのパラメータを、ステップＳ２０１で検出部１１０が検出した状態に応じて、設定する。 If it is determined in step S202 that the panoramic imaging is started, the process proceeds to step S203 to set the panoramic imaging. In step S203, the CPU 103 sets a parameter for panorama imaging according to the state detected by the detection unit 110 in step S201.

図４は、本実施形態におけるパノラマ撮像のためのパラメータの設定を説明するための図である。図４（ａ）と図４（ｂ）とのそれぞれは、図３（ａ）と図３（ｂ）とに対応している。 FIG. 4 is a diagram for explaining setting of parameters for panoramic imaging in the present embodiment. Each of FIG. 4 (a) and FIG. 4 (b) corresponds to FIG. 3 (a) and FIG. 3 (b).

パラメーラを設定するために、ＣＰＵ１０３は、撮像装置の状態が首掛け状態と平置き状態とのどちらかを判断する必要がある。ＣＰＵ１０３の判断の方法はいくつか考えられる。たとえば、ユーザが操作部１０９を通じて状態を選択し、ＣＰＵ１０３に指令を与えるようにする。 In order to set the parameter, the CPU 103 needs to determine whether the state of the image pickup apparatus is the neck hanging state or the flat state. There are several conceivable methods of determination by the CPU 103. For example, the user selects a state through the operation unit 109 and gives a command to the CPU 103.

または、ＣＰＵ１０３が「平置き状態」か「首掛け状態」か、を自動に判断する。たとえば、ＣＰＵ１０３は、「静止状態」の長さを検出し、予め定められた時間の閾値よりも長ければ「平置き状態」と判断し、逆に、「首掛け状態」と判断する。または、検出部１１０に設けられている赤外線センサーなどにより、周囲に障害物が存在しているかを検出する。周囲に大きな障害物が存在する場合、該当障害物がユーザの体である可能性が高いと判断し、ＣＰＵ１０３は撮像装置１００が「首掛け状態」にあると判断する。 Alternatively, the CPU 103 automatically determines whether it is the “flat state” or the “neck-hanging state”. For example, the CPU 103 detects the length of the “stationary state” and determines that it is the “flat state” if it is longer than a predetermined time threshold, and conversely determines that it is the “hanging state”. Alternatively, an infrared sensor or the like provided in the detection unit 110 detects whether or not an obstacle is present in the surroundings. When there is a large obstacle in the surroundings, it is determined that the obstacle is likely to be the user's body, and the CPU 103 determines that the image pickup apparatus 100 is in the “hanging state”.

次に、ＣＰＵ１０３は、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行う。まず、パノラマ撮像中に、撮像装置１００を移動させる速度（パンニング速度）に関して、パンニング速度を速くすると、パノラマ画像がカバーする画角を確保するまでにかかる時間が短くなるため、パノラマ撮像に要する時間を短くすることが可能となる。しかし、パンニング速度が速い場合は被写体ブレを抑えるため、シャッター速度を速くする必要があり、さらに、シャッター速度が速いと確保できる光量が減少してしまうため、撮像感度を上げるといったことが必要となる。つまり、「首掛け状態」の場合、図４（ａ）に記載されたような設定にすることにより、撮像感度上昇に伴うノイズが増加する代わりにパノラマ撮像の所要時間を短く抑えることが可能となる。次に、パンニング速度を遅くした場合について考える。パンニング速度を遅くした場合、必要な画角を確保するまでにかかる時間が長くなるため、パノラマ撮像に要する時間は長くなってしまう。しかし、パンニング速度が遅ければシャッター速度を遅く抑えることが出来るため、確保できる光量を増やすことが出来る分、撮像感度を下げることが可能となる。つまり、「平置き状態」の場合、図４（ｂ）に記載されたような設定にすることにより、パノラマ撮像に要する時間が長くなってしまう代わりに、感度上昇に伴うノイズを抑えて画質を向上させることが可能となる。このように、ＣＰＵ１０３は、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行うことができる。 Next, the CPU 103 sets the parameters depending on whether it is the “flat state” or the “hanging state”. First, regarding the speed (panning speed) at which the imaging device 100 is moved during panoramic imaging, if the panning speed is increased, the time required to secure the angle of view covered by the panoramic image is shortened. Can be shortened. However, when the panning speed is high, it is necessary to increase the shutter speed in order to suppress blurring of the subject, and further, when the shutter speed is high, the amount of light that can be secured decreases, so it is necessary to increase the imaging sensitivity. .. That is, in the case of the “neck-hanging state”, by setting the settings as shown in FIG. 4A, it is possible to reduce the time required for panoramic imaging in spite of an increase in noise accompanying the increase in imaging sensitivity. Become. Next, consider the case where the panning speed is slowed. When the panning speed is slowed down, it takes a long time to secure a necessary angle of view, and thus a panoramic image pickup takes a long time. However, if the panning speed is slow, the shutter speed can be suppressed to be slow, so that the amount of light that can be secured can be increased and the imaging sensitivity can be lowered. That is, in the "flat state", by setting the settings as shown in FIG. 4B, the time required for panoramic imaging becomes longer, but the noise associated with the increase in sensitivity is suppressed to improve the image quality. It is possible to improve. In this way, the CPU 103 can set the parameters depending on whether it is the “flat state” or the “hanging state”.

次に、ステップＳ２０４に進み、パノラマ撮像を開始し、パンニング動作に伴い、撮像素子１０２がパノラマ画像の作成に用いる画像を撮像する。 Next, in step S204, panoramic image pickup is started, and the image pickup device 102 picks up an image used for creating a panoramic image in accordance with the panning operation.

次に、ステップＳ２０５で、検出部１１０は、撮像装置１００の状態を検知する。前述したとおり、パノラマ撮像中に撮像装置１００の速度が急に大きく変化してしまうと、合成画像につなぎ目が目だってしまう場合がある。したがって、検出部１１０が検出した撮像装置１００の速度が予め定められた閾値より大きい場合、次のステップＳ２０６で、ＣＰＵ１０３が撮像中止を判断する。ＣＰＵ１０３が撮像を中止しない場合、フローがステップＳ２０７に進み、撮像を中止する場合、フローがステップＳ２０８に進む。 Next, in step S205, the detection unit 110 detects the state of the imaging device 100. As described above, if the speed of the image capturing apparatus 100 suddenly changes greatly during panorama image capturing, the joints may be noticeable in the composite image. Therefore, when the speed of the imaging device 100 detected by the detection unit 110 is larger than a predetermined threshold value, the CPU 103 determines to stop imaging in the next step S206. If the CPU 103 does not stop the imaging, the flow proceeds to step S207, and if the imaging is stopped, the flow proceeds to step S208.

ステップＳ２０７では、ＣＰＵ１０３はパノラマ撮像が完了したかどうかについて判断する。判断の基準としては、たとえば、所定の枚数の画像を撮像したか、または、所定の画角が得られたか、が挙げられる。 In step S207, the CPU 103 determines whether the panoramic image capturing is completed. The criterion for the determination may be, for example, whether a predetermined number of images have been captured or a predetermined angle of view has been obtained.

ステップＳ２０８で、画像処理部１０５が、ステップＳ２０４で撮像素子１０２が撮像した画像を用いて、パノラマ画像を合成し、記録媒体１０６に記録する。これでパノラマ撮像のフローは終了する。 In step S208, the image processing unit 105 combines the panoramic image using the image captured by the image sensor 102 in step S204, and records the panoramic image in the recording medium 106. This completes the flow of panoramic imaging.

本実施形態によれば、撮像装置が自動に状態を判断し、パノラマ撮像の制御を行うことができる。 According to this embodiment, the imaging device can automatically determine the state and control panoramic imaging.

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、パノラマ撮像中、ズームの必要が生じる場合に対応するものである。 (Second embodiment)
The second embodiment is different from the first embodiment in that it corresponds to the case where zooming is required during panorama imaging.

図５は、本実施形態におけるズームの変更を説明するための図である。図５では、撮像装置１００が被写体に向かって移動する様子を示している。図５（ａ）では、ズーム倍率を含めた撮像の設定を変えずに、撮像装置１００を位置５０１から位置５０３まで移動しながら撮像するときの様子を示している。図５（ａ）では、各々の位置で撮像装置１００が撮像した画角が異なることを示している。 FIG. 5 is a diagram for explaining a change in zoom in the present embodiment. In FIG. 5, the imaging device 100 is shown moving toward the subject. FIG. 5A shows a state in which the image pickup apparatus 100 takes an image while moving from the position 501 to the position 503 without changing the setting of the image pickup including the zoom magnification. FIG. 5A shows that the angle of view captured by the image capturing apparatus 100 is different at each position.

それに対して、図５（ｂ）では、ズームを変更しながら、撮像装置１００が被写体に向かって移動し撮像する様子を示している。図５（ｂ）では、ズームを行い、各々の位置で撮像装置１００が撮像した画角が同様であることを示している。 On the other hand, FIG. 5B shows a state in which the image capturing apparatus 100 moves toward the subject and captures an image while changing the zoom. In FIG. 5B, zooming is performed, and it is shown that the angle of view captured by the image capturing apparatus 100 at each position is the same.

図５（ｃ）は、図５（ｂ）の状態からさらに変形したうえでの撮像状態を示している。図５（ｃ）では、撮像装置１００が被写体に向かって移動し、かつ、ズームを行いながら、撮像装置１００の向きを微小に変化している様子をしている。撮像装置１００が、各々の位置で、ズームの調整を通じて、同じ幅の画角の画像を撮像し、かつ、撮像した画像を合成して被写体の画角の全体を含むパノラマ画像を得ることができる。 FIG. 5C shows an imaging state after being further modified from the state of FIG. 5B. In FIG. 5C, the image pickup apparatus 100 moves toward the subject, and the orientation of the image pickup apparatus 100 is slightly changed while performing zooming. The image capturing apparatus 100 can capture an image with the same width of field angle at each position through zoom adjustment, and combine the captured images to obtain a panoramic image including the entire field of view of the subject. ..

本実施形態は、図５（ｃ）のような撮像状態を想定している。本実施形態のフローは、第１の実施形態と類似しており、次に、第１の実施形態との相違点を着目し、本実施形態のフローについて説明する。 The present embodiment assumes an imaging state as shown in FIG. The flow of this embodiment is similar to that of the first embodiment, and next, the flow of this embodiment will be described, focusing on the differences from the first embodiment.

まず、ステップＳ２０１およびステップＳ２０２では、撮像装置１００が、第１の実施形態と同様に、状態検知を行い、パノラマ撮像を開始するかどうかを決める。 First, in steps S201 and S202, the imaging apparatus 100 detects a state and determines whether to start panoramic imaging, as in the first embodiment.

次に、ステップＳ２０３で、ＣＰＵ１０３が、パノラマ撮像の設定を行う。パノラマ撮像の設定としては、前述のように、撮像装置１００の位置から被写体に向かうときに同じ画角となるようにズーム位置の設定を行う。さらに、パノラマ撮像を行う場合、移動速度によっては被写体のぶれが発生しやすくなることもある。パノラマ撮像の時間が長くなると、パノラマ撮像中に移動する量が大きくなる分ズーム量も増え、ズーム可能な限界を超えてしまう場合がある。そのため、一例として、本実施形態においても、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行うことができる。つまり、ＣＰＵ１０３は、「平置き状態」の場合、ズーム量が小さい可能性が高く、「首掛け状態」の場合、ズーム量が大きい可能性が高いと判断する。設定の方法の１つとしては、図４に従ってよい。 Next, in step S203, the CPU 103 sets panoramic imaging. As the setting of panoramic image pickup, as described above, the zoom position is set so that the same angle of view is obtained when the image pickup apparatus 100 moves toward the subject. Furthermore, when performing panoramic imaging, subject blurring may occur easily depending on the moving speed. When the panoramic image pickup time becomes long, the amount of movement increases during the panoramic image pickup, so that the zoom amount also increases, which may exceed the zoomable limit. Therefore, as an example, also in the present embodiment, it is possible to set the parameters according to the "flat state" or the "hanging state". That is, the CPU 103 determines that the zoom amount is likely to be small in the “flat state” and the zoom amount is likely to be large in the “neck hanging state”. One of the setting methods may be according to FIG.

ステップＳ２０４で、撮像素子１０２がパノラマ撮像を行う。 In step S204, the image sensor 102 captures a panoramic image.

ステップＳ２０５で、検出部１１０が状態検知を行う。ここでの状態検知の内容は、第１の実施形態と同様でよく、つまり、撮像装置１００の移動速度を検知する。ステップＳ２０６で、ＣＰＵ１０３が、ステップＳ２０５での検知の結果に基づいて、撮像を中止するかどうかを決める。 In step S205, the detection unit 110 detects the state. The content of the state detection here may be the same as that of the first embodiment, that is, the moving speed of the imaging device 100 is detected. In step S206, the CPU 103 determines whether to stop imaging based on the detection result in step S205.

ステップＳ２０７で、ＣＰＵ１０３は、第１の実施形態と同様な方法で、パノラマ撮像が完了したかどうかについて判断する。 In step S207, the CPU 103 determines whether or not the panoramic imaging has been completed by the same method as in the first embodiment.

ステップＳ２０８で、第１の実施形態と同様に、画像処理部１０５が、ステップＳ２０４で撮像素子１０２が撮像した画像を用いて、パノラマ画像を合成し、記録媒体１０６に記録する。 In step S208, similarly to the first embodiment, the image processing unit 105 uses the image captured by the image sensor 102 in step S204 to synthesize a panoramic image and records it on the recording medium 106.

以上の撮像方法をさらに変更することができ、たとえば、撮像装置１００の向きを変えながらパノラマ撮像を行ってもよい。図６は、本実施形態における撮像装置の向きを変更しながらパノラマ撮像を行う一例を説明するための図である。図６に示しているシーンでは、撮像装置１００の移動量が被写体の全部の画角までに及ばずに、撮像装置の向きを変えることにより被写体の全部の画角を撮像する例を示している。撮像装置１００が位置６０１と位置６０３とで撮像する場合、位置６０２と比べて、被写体までの距離がやや長くなるので、適宜ズームを行うことが必要である。 The above imaging method can be further modified, and for example, panoramic imaging may be performed while changing the direction of the imaging device 100. FIG. 6 is a diagram for explaining an example of performing panoramic imaging while changing the orientation of the imaging device according to this embodiment. The scene shown in FIG. 6 shows an example in which the moving amount of the image pickup apparatus 100 does not reach the entire angle of view of the subject and the orientation of the image pickup apparatus is changed to image the entire angle of view of the subject. .. When the image capturing apparatus 100 captures images at the position 601 and the position 603, the distance to the subject is slightly longer than that at the position 602, so it is necessary to perform zooming as appropriate.

このように、本実施形態は、ズームを変更しながらパノラマ撮像を行う場合、撮像装置が自動に状態を判断し、パノラマ撮像の制御を行うことができる。 As described above, in the present embodiment, when performing panoramic imaging while changing the zoom, the imaging device can automatically determine the state and control panoramic imaging.

（その他の実施形態）
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a recording medium, and one or more processors in a computer of the system or apparatus provide the program. Can also be realized by the process of reading and operating. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００撮像装置
１０３ＣＰＵ 100 image pickup device 103 CPU

Claims

パンニングをしながら撮像を行う撮像装置であって、
前記撮像において複数の画像を取得する撮像手段と、
前記撮像装置の移動を検知する検知手段と、
前記撮像を行うための複数のパラメータの設定を行う設定手段と、
前記複数の画像を繋ぎ合わせて合成画像を作成する合成手段と、を有し、
前記設定手段は、前記検知手段が検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とする撮像装置。 An imaging device that performs imaging while panning,
Imaging means for acquiring a plurality of images in the imaging,
Detection means for detecting movement of the imaging device,
Setting means for setting a plurality of parameters for performing the imaging,
A combining means for connecting the plurality of images to create a combined image,
The image pickup apparatus, wherein the setting unit sets at least one of the plurality of parameters based on a result detected by the detecting unit.

前記パラメータは、パンニング速度、シャッター速度、撮像感度のうちの少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。 The image pickup apparatus according to claim 1, wherein the parameter includes at least one of a panning speed, a shutter speed, and an image pickup sensitivity.

前記設定手段は、前記撮像装置が第１の状態であるとき、前記撮像装置が第２の状態であるときよりも、前記パンニング速度をより速く、前記シャッター速度をより速く、撮像感度を高く設定し、
前記検知手段が、前記移動に基づいて、第１の状態か第２の状態かを判断することを特徴とする請求項２に記載の撮像装置。 The setting means sets the panning speed to be faster, the shutter speed to be faster, and the imaging sensitivity to be higher when the imaging device is in the first state than when the imaging device is in the second state. Then
The image pickup apparatus according to claim 2, wherein the detection unit determines whether the state is the first state or the second state based on the movement.

前記検知手段は、前記撮像装置の前記移動をしない時間が、予め定められた閾値より短い場合、前記撮像装置が前記第１の状態であると判断し、前記移動をしない時間が、予め定められた閾値より長い場合、前記撮像装置が前記第２の状態であると判断することを特徴とする請求項３に記載の撮像装置。 The detection unit determines that the image pickup device is in the first state when the time during which the image pickup device does not move is shorter than a predetermined threshold value, and the time during which the image pickup device does not move is predetermined. The image pickup apparatus according to claim 3, wherein the image pickup apparatus determines that the image pickup apparatus is in the second state when the image pickup apparatus is longer than the threshold value.

前記検知手段は、さらに、前記撮像装置の周囲に存在する障害物を検出し、前記撮像装置の周囲に障害物が存在するとき、前記撮像装置が前記第１の状態であると判断し、前記撮像装置の周囲に障害物が存在しないとき、前記撮像装置が前記第２の状態であると判断することを特徴とする請求項３に記載の撮像装置。 The detection unit further detects an obstacle existing around the image capturing apparatus, and determines that the image capturing apparatus is in the first state when an obstacle exists around the image capturing apparatus, The image pickup apparatus according to claim 3, wherein the image pickup apparatus determines that the image pickup apparatus is in the second state when there is no obstacle around the image pickup apparatus.

さらに、前記撮像の開始および終了を制御する制御手段を有し、
前記撮像装置が前記第１の状態にあるとき、前記制御手段が前記撮像の開始および終了を制御することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。 Furthermore, it has a control means for controlling the start and end of the imaging,
The image pickup apparatus according to claim 3, wherein the control unit controls start and end of the image pickup when the image pickup apparatus is in the first state.

前記制御手段は、前記撮像装置が前記移動するときに、前記撮像を行うよう、前記撮像装置が前記移動しないとき、前記撮像を行わないように、制御することを特徴とする請求項６に記載の撮像装置。 7. The control unit controls to perform the image capturing when the image capturing apparatus moves, and not perform the image capturing when the image capturing apparatus does not move. Imaging device.

パンニングをしながら撮像を行う撮像装置の制御方法であって、
前記撮像において複数の画像を取得する撮像ステップと、
前記撮像装置の移動を検知する検知ステップと、
前記撮像を行うための複数のパラメータの設定を行う設定ステップと、
前記複数の画像を繋ぎ合わせて合成画像を作成する合成ステップと、を有し、
前記設定ステップにおいては、前記検知ステップにおいて検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とする撮像装置の制御方法。 A method of controlling an image pickup device for performing image pickup while panning, comprising:
An imaging step of acquiring a plurality of images in the imaging,
A detection step of detecting movement of the imaging device,
A setting step of setting a plurality of parameters for performing the imaging,
A combining step of connecting the plurality of images to create a combined image,
In the setting step, at least one of the plurality of parameters is set based on the result detected in the detecting step.

パンニングをしながら撮像を行う撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
前記撮像において複数の画像を取得する撮像ステップと、
前記撮像装置の移動を検知する検知ステップと、
前記撮像を行うための複数のパラメータの設定を行う設定ステップと、
前記複数の画像を繋ぎ合わせて合成画像を作成する合成ステップと、を行わせ、
前記設定ステップにおいては、前記検知ステップにおいて検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とするプログラム。 A computer program that causes a computer of an imaging device to perform imaging while panning,
An imaging step of acquiring a plurality of images in the imaging,
A detection step of detecting movement of the imaging device,
A setting step of setting a plurality of parameters for performing the imaging,
A combining step of creating a combined image by joining the plurality of images together,
A program, wherein in the setting step, at least one of the plurality of parameters is set based on a result detected in the detecting step.