JP2016201615A - Image processing apparatus, control method and control program therefor, and imaging device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To calculate a motion vector required for deviation correction efficiently at high speed, by setting a crop region at a position where highly accurate high speed processing is possible.SOLUTION: A system control unit 50 determines a reference axis, indicating a reference point when a mobile moves depending on a plurality of images, by an operation unit 51, and sets a crop region 45 for detecting a motion vector in each image depending on the reference axis. The system control unit determines the motion vector of a subject in the crop region, and synthesizes a plurality of images by an image synthesis unit 54 based on the motion vector, thus obtaining a composite image.SELECTED DRAWING: Figure 4

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、日周運動で動く天体の撮影を行った結果得られた複数枚の画像を画像合成処理する画像処理装置に関する。   The present invention relates to an image processing device, a control method thereof, a control program, and an imaging device, and in particular, an image processing device that performs image composition processing on a plurality of images obtained as a result of photographing a celestial body moving in a diurnal motion. About.

一般に、天体を撮影する際には、星などの天体の光量は微量であるので、３０秒又は１分などの長時間の露光を行う必要がある。そして、天体は地球の自転に合わせて日周運動をしているので、長時間の露光を行うと天体は点像にならず光跡となってしまう。このため、天体を撮影する際には、一般に日周運動で動く天体の動きに合わせて天体を追尾できるようにした天体専用の赤道儀などを用いて撮影が行われている。   In general, when photographing a celestial body, the amount of light from a celestial body such as a star is very small, and thus it is necessary to perform a long exposure such as 30 seconds or 1 minute. And since a celestial body is diurnally moving according to the rotation of the earth, if a long time exposure is carried out, a celestial body will not become a point image but will become a light trace. For this reason, when photographing a celestial body, photographing is generally performed using an equator dedicated to the celestial body so that the celestial body can be tracked in accordance with the movement of the celestial body moving in a diurnal motion.

ところが、赤道儀は、高価でしかも重く使用の際にはセッティングを行う必要があるばかりでなくその操作も難しい。よって、赤道儀を用いることなく、天体が光跡にならない程度の露光時間で複数枚の撮影を行って、画像間で生じる日周運動による天体のずれを補正して１枚の画像に合成することが行われている。これによって、天体を光跡とすることなく、長秒露光した際と同等の露光で撮像することができる。   However, the equatorial mount is expensive and heavy, and not only does it need to be set, but also its operation is difficult. Therefore, without using an equatorial mount, a plurality of images are taken with an exposure time that does not cause the celestial object to become a light trace, and the deviation of the celestial object due to diurnal motion occurring between the images is corrected and combined into a single image. Things have been done. As a result, it is possible to take an image with the same exposure as that obtained when the celestial body is exposed to light for a long time without using a light trace.

上記の画像合成手法においては、まず画像を複数のブロックに分割して、ブロックの各々について天体の動きベクトルを算出する。そして、当該動きベクトルに基づいて天体の動きを算出して画像のずれ補正を行っている。   In the above image composition method, first, an image is divided into a plurality of blocks, and a celestial motion vector is calculated for each of the blocks. Then, the movement of the celestial body is calculated based on the motion vector, and image shift correction is performed.

このような画像合成手法として、例えば、被写体の明るさに応じてトータルの露光時間を決定し、天体が光跡にならない程度の露光時間でＮ回分割露光を行うようにしたものがある（特許文献１参照）。そして、ここでは、画像間の動きベクトルに応じて画像のずれ補正を行って、１枚の画像を合成するようにしている。さらに、動きベクトルを算出する際、その探索範囲を焦点距離に応じて切り替えるようにしたものがある（特許文献２参照）。   As such an image composition method, for example, there is a method in which a total exposure time is determined according to the brightness of a subject, and N-time division exposure is performed with an exposure time that does not cause a celestial body to become a light trace (patent). Reference 1). In this case, image deviation correction is performed according to the motion vector between the images, and one image is synthesized. Furthermore, when calculating a motion vector, there is one in which the search range is switched according to the focal length (see Patent Document 2).

特開２００３−２５９１８４号公報JP 2003-259184 A 特開平４−１８０４８７号公報JP-A-4-180487

ところが、特許文献１および２ともに、画素数が多いと画像のずれ補正に要する時間が増加するばかりでなく処理負荷が増大し、さらに撮影に要する時間が長くなってしまう。その結果、星雲などの天体を撮影する場合には、被写体である天体が撮影範囲から出てしまって所望の画像が得られないことがある。   However, in both Patent Documents 1 and 2, when the number of pixels is large, not only the time required for correcting the image shift increases, but also the processing load increases, and the time required for photographing becomes longer. As a result, when shooting a celestial body such as a nebula, the celestial body that is the subject may go out of the shooting range and a desired image may not be obtained.

このような状況に対処するため、例えば、画像の所定の箇所に動きベクトルを検出するためのクロップ領域を設定することがある。しかしながら、天体撮影の場合には方角によって日周運動の方向が相違するので、画像の適切な箇所にクロップ領域を設定しないと、精度よく動きベクトルを算出することが困難となる。   In order to cope with such a situation, for example, a crop area for detecting a motion vector may be set at a predetermined position of an image. However, in the case of astronomical photography, the direction of the diurnal motion differs depending on the direction, so it is difficult to accurately calculate a motion vector unless a crop area is set at an appropriate location in the image.

そこで、本発明の目的は、精度が高く、かつ高速で処理が可能な位置にクロップ領域を設定して、画像のずれ補正に必要な動きベクトルを高速かつ効率的に算出することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。   Accordingly, an object of the present invention is to perform image processing capable of calculating a motion vector necessary for image shift correction at high speed and efficiently by setting a crop region at a position where the processing can be performed at high speed and with high accuracy. An apparatus, a control method thereof, a control program, and an imaging apparatus are provided.

上記の目的を達成するため、本発明による画像処理装置は、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置であって、前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出手段と、前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定手段と、前記検出領域において前記被写体の動きベクトルを求める第２の算出手段と、前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成手段と、を有することを特徴する。   In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that combines a plurality of images obtained by photographing a moving subject to form a combined image, the plurality of sheets First calculation means for obtaining a reference axis indicating a reference point when the subject moves according to an image, and setting for setting a detection region for detecting a motion vector in each of the images according to the reference axis Means, second calculation means for obtaining a motion vector of the subject in the detection area, and image composition means for synthesizing the plurality of images based on the motion vector into the composite image. Features.

本発明による撮像装置は、前記複数枚の画像を撮像する撮像手段と、上記の画像処理装置と、前記画像処理装置で得られた合成画像を記録する記録手段と、を有することを特徴とする。   An imaging apparatus according to the present invention includes an imaging unit that captures the plurality of images, the above-described image processing device, and a recording unit that records a composite image obtained by the image processing device. .

本発明による制御方法は、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置の制御方法であって、前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出ステップと、前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定ステップと、前記検出領域において前記被写体の動きベクトルを求める第２の算出ステップと、前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、を有することを特徴する。   A control method according to the present invention is a control method of an image processing apparatus that combines a plurality of images obtained by photographing a moving subject to form a composite image, and the subject according to the plurality of images A first calculation step for obtaining a reference axis indicating a reference point when the object moves, a setting step for setting a detection region for detecting a motion vector in each of the images according to the reference axis, and the detection region And a second calculating step for obtaining a motion vector of the subject, and an image synthesizing step for synthesizing the plurality of images based on the motion vector into the synthesized image.

本発明による制御プログラムは、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出ステップと、前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定ステップと、前記検出領域において前記被写体の動きベクトルを求める第２の算出ステップと、前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、を実行させることを特徴する。   A control program according to the present invention is a control program used in an image processing apparatus that synthesizes a plurality of images obtained by photographing a moving subject to obtain a composite image, and is provided in a computer included in the image processing apparatus. A first calculation step for obtaining a reference axis indicating a reference point when the subject moves according to the plurality of images, and detection for detecting a motion vector in each of the images according to the reference axis A setting step for setting an area; a second calculation step for obtaining a motion vector of the subject in the detection area; and an image synthesis step for synthesizing the plurality of images based on the motion vector into the synthesized image. And executing.

本発明によれば、動く被写体を撮像して得られた複数枚の画像を合成処理する際に、被写体が移動する際の基準点を示す基準軸に応じて検出領域を設定し、当該検出領域において被写体の動きベクトルを求める。これによって、画像合成の際のずれ補正に必要な動きベクトルを高速かつ効率的に算出することができる。   According to the present invention, when combining a plurality of images obtained by imaging a moving subject, a detection area is set according to a reference axis indicating a reference point when the subject moves, and the detection area To obtain the motion vector of the subject. This makes it possible to calculate a motion vector necessary for deviation correction at the time of image synthesis at high speed and efficiently.

本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of an imaging device provided with the image processing apparatus by embodiment of this invention. 図１に示すカメラにおいて動きベクトルの算出を行う際のシステム制御部の機能を説明するための図である。It is a figure for demonstrating the function of the system control part at the time of calculating a motion vector in the camera shown in FIG. 図１に示すカメラにおいて画像合成処理の際に行われるクロップ領域設定処理を説明するためのフローチャートである。FIG. 3 is a flowchart for explaining crop region setting processing performed in the image composition processing in the camera shown in FIG. 1. FIG. 図１に示すカメラにおいて行われるクロップ領域の設定の第１の例を説明するための図である。It is a figure for demonstrating the 1st example of the setting of the crop area | region performed in the camera shown in FIG. 図１に示すカメラにおいて行われるクロップ領域の設定の第２の例を説明するための図である。It is a figure for demonstrating the 2nd example of the setting of the crop area | region performed in the camera shown in FIG. 図１に示すカメラにおいて行われるクロップ領域の設定の第３の例を説明するための図である。It is a figure for demonstrating the 3rd example of the setting of the crop area | region performed in the camera shown in FIG.

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。   Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration of an example of an imaging apparatus including an image processing apparatus according to an embodiment of the present invention.

図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３を有している。撮影レンズ１０３の後段には、絞り機能を備える機械式シャッター１０１が配置されており、撮影レンズ１０３を介して撮像部２２に光学像（被写体像）が入射する。なお、撮影レンズ１０３の前面側には、撮影レンズ１０３、シャッター１０１、および撮像部２２を保護するためのバリア１０２が配置されている。   The illustrated imaging apparatus 100 is, for example, a digital camera (hereinafter simply referred to as a camera) and includes a photographing lens unit (hereinafter simply referred to as a photographing lens) 103. A mechanical shutter 101 having a diaphragm function is disposed at the subsequent stage of the photographing lens 103, and an optical image (subject image) enters the imaging unit 22 via the photographing lens 103. A barrier 102 for protecting the photographing lens 103, the shutter 101, and the imaging unit 22 is arranged on the front side of the photographing lens 103.

撮像部２２はＣＣＤ又はＣＭＯＳセンサーなどの撮像素子を有しており、撮像素子は光学像に応じた電気信号（アナログ信号）を出力する。そして、当該アナログ信号はＡ／Ｄ変換器２３によってデジタル信号（画像データ）に変換される。   The imaging unit 22 has an imaging device such as a CCD or CMOS sensor, and the imaging device outputs an electrical signal (analog signal) corresponding to the optical image. The analog signal is converted into a digital signal (image data) by the A / D converter 23.

撮像部２２に備えられた撮像素子は、例えば、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の画素が規則的に配列されたベイヤー配列を有している。なお、撮像素子の画素配列はベイヤー配列に限定されない。また、システム制御部５０はタイミング発生回路（図示せず）によって撮像部２２、撮影レンズ１０３、およびシャッター１０１を制御する。   The image sensor provided in the imaging unit 22 has, for example, a Bayer arrangement in which R (red), G (green), and B (blue) pixels are regularly arranged. Note that the pixel array of the image sensor is not limited to the Bayer array. Further, the system control unit 50 controls the imaging unit 22, the photographing lens 103, and the shutter 101 by a timing generation circuit (not shown).

さらに、図示のカメラでは、撮像素子のリセットタイミングを制御することによって、撮像素子における蓄積時間を制御することができる（所謂電子シャッター）。この電子シャッターは、例えば、動画撮影に用いられる。   Further, in the illustrated camera, the accumulation time in the image sensor can be controlled by controlling the reset timing of the image sensor (so-called electronic shutter). This electronic shutter is used, for example, for moving image shooting.

画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ或いはメモリ制御部１５からの画像データに対して所定の画素補間処理およびシェーディング補正などの各種補正処理を行うとともに、ホワイトバランス処理、γ補正処理、および色変換処理などを行う。さらに、画像処理部２４は画像の切り出しおよび変倍処理を行って電子ズームを行う。   The image processing unit 24 performs various correction processing such as predetermined pixel interpolation processing and shading correction on the image data from the A / D converter 23 or the image data from the memory control unit 15, and also performs white balance processing, γ Correction processing, color conversion processing, and the like are performed. Furthermore, the image processing unit 24 performs image zooming and scaling processing to perform electronic zoom.

シェーディング補正の際には、画像処理部２４は画像データについて撮影レンズ１０３の特性および撮像部２２の収差などの特性に起因して生じるシェーディングを補正するため、画像における輝度レベルを補正する。画像処理部２４は、シェーディング補正処理の後、画像データについて画像における白基準を白に合わせるホワイトバランス（ＷＢ）処理を行う。   At the time of shading correction, the image processing unit 24 corrects the luminance level in the image in order to correct shading caused by the characteristics of the photographing lens 103 and the characteristics of the imaging unit 22 such as the aberration of the image data. After the shading correction process, the image processing unit 24 performs a white balance (WB) process for matching the white reference in the image to white for the image data.

ここでは、シェーディング補正を行う際には、画像処理部２４は、撮像素子の２次元の座標（位置）に応じて画素毎にゲインを乗算する補正を行う。また、ＷＢ処理の際には、画像処理部２４は、ベイヤー配列のＲ、Ｇ（Ｇ１およびＧ２）、およびＢ毎に互いに異なるゲインを乗算する処理を行う。   Here, when performing shading correction, the image processing unit 24 performs correction by multiplying the gain for each pixel in accordance with the two-dimensional coordinates (position) of the image sensor. In the WB process, the image processing unit 24 performs a process of multiplying different gains for each of R, G (G1 and G2), and B in the Bayer array.

画像合成部５４は、複数の画像データを画像合成処理して一つの画像データを生成する。図示の例では、画像合成部５４は、単純な加算合成又は加算平均合成のみではなく、合成対象の画像データの領域の各々において最も明るい又は暗い領域を選択して、これら領域を合成して１枚の画像データを生成する比較明合成処理又は比較暗合成処理を行うことができる。なお、画像合成部５４を画像処理部２４と一体に構成するようにしてもよい。   The image composition unit 54 performs image composition processing on a plurality of image data to generate one image data. In the illustrated example, the image synthesis unit 54 selects not only the simple addition synthesis or addition average synthesis but also selects the brightest or darkest area in each of the areas of the image data to be synthesized, and synthesizes these areas to 1 A comparatively bright combining process or a comparative dark combining process for generating image data of a sheet can be performed. Note that the image composition unit 54 may be configured integrally with the image processing unit 24.

加えて、画像処理部２４は画像データについて所定の演算処理を行う。システム制御部５０は画像処理部２４で得られた演算結果に基づいて露光制御部および測距制御部（ともに図示せず）を制御して、ＴＴＬ方式のＡＦ処理、ＡＥ処理、およびＥＦ処理を行う。   In addition, the image processing unit 24 performs predetermined arithmetic processing on the image data. The system control unit 50 controls the exposure control unit and the distance measurement control unit (both not shown) based on the calculation result obtained by the image processing unit 24, and performs TTL AF processing, AE processing, and EF processing. Do.

メモリ制御部１５は、システム制御部５０の制御下でＡ／Ｄ変換器２３、画像処理部２４、およびメモリ３２を制御する。そして、Ａ／Ｄ変換器２３の出力である画像データは画像処理部２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介してメモリ３２に書き込まれる。表示部２８は、例えば、ＴＦＴ ＬＣＤであり、メモリ制御部１５はメモリ３２に書き込まれた画像データを表示部２８に画像として表示する。   The memory control unit 15 controls the A / D converter 23, the image processing unit 24, and the memory 32 under the control of the system control unit 50. The image data that is the output of the A / D converter 23 is written into the memory 32 via the image processing unit 24 and the memory control unit 15 or directly via the memory control unit 15. The display unit 28 is, for example, a TFT LCD, and the memory control unit 15 displays the image data written in the memory 32 on the display unit 28 as an image.

撮像部２２において所定の周期で露光および読み出しを繰り返し行って得られた画像データを画像処理部２４およびメモリ制御部１５を介して表示部２８に表示するようにすれば、ライブビュー表示および電子ファインダーを実現することができる。表示部２８は、システム制御部５０の制御によってその表示をオン又はオフすることができ、表示をオフとした場合には、カメラ１００の電力消費を大幅に低減することができる。   If image data obtained by repeatedly performing exposure and reading at a predetermined cycle in the imaging unit 22 is displayed on the display unit 28 via the image processing unit 24 and the memory control unit 15, a live view display and an electronic viewfinder are displayed. Can be realized. The display unit 28 can turn on or off the display under the control of the system control unit 50. When the display is turned off, the power consumption of the camera 100 can be greatly reduced.

前述のように、メモリ３２には撮影の結果得られた画像データ（静止画像および動画像）が格納される。そして、メモリ３２は所定枚数の静止画像および所定時間の動画像を格納するための十分な記憶容量を備えている。これによって、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合においても、高速かつ大量の画像データの書き込みをメモリ３２に行うことができる。なお、メモリ３２はシステム制御部５０の作業領域として用いることができる。   As described above, the memory 32 stores image data (still images and moving images) obtained as a result of shooting. The memory 32 has a sufficient storage capacity for storing a predetermined number of still images and a moving image for a predetermined time. Thus, even in the case of continuous shooting or panoramic shooting in which a plurality of still images are continuously shot, a large amount of image data can be written into the memory 32 at high speed. The memory 32 can be used as a work area for the system control unit 50.

システム制御部５０は、カメラ１００全体の制御を司る。不揮発性メモリ５６は、例えば、フラッシュＲＯＭであり、不揮発性メモリ５６には制御プログラムなどが格納されており、システム制御部５０は当該制御プログラムを実行して、後述の各種処理を行う。なお、不揮発性メモリ５６にはシステム情報を記憶する領域およびユーザー設定情報を記憶する領域が設けられており、カメラ起動の際には、これら領域から各種情報および設定が読み出されて復元される。   The system control unit 50 controls the entire camera 100. The non-volatile memory 56 is, for example, a flash ROM, and a control program and the like are stored in the non-volatile memory 56, and the system control unit 50 executes the control program and performs various processes described below. The non-volatile memory 56 is provided with an area for storing system information and an area for storing user setting information. When the camera is activated, various information and settings are read and restored from these areas. .

システムメモリ５２として、例えば、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、そして、不揮発性メモリ５６から読み出された制御プログラムなどが展開される。また、システム制御部はメモリ３２および表示部２８などを制御して表示制御を行う。システムタイマー５３は各種制御に用いる時間および内蔵の時計の時間を計測する計時部である。   For example, a RAM is used as the system memory 52. In the system memory 52, constants and variables for operation of the system control unit 50, a control program read from the nonvolatile memory 56, and the like are expanded. Further, the system control unit performs display control by controlling the memory 32, the display unit 28, and the like. The system timer 53 is a time measuring unit that measures the time used for various controls and the time of a built-in clock.

操作部７０には各種ボタンおよびタッチパネルなどが備えられている。例えば、各種ボタンとしてシャッタースイッチ（ＳＷ１およびＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなどがある。さらには、各種ボタンとして、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、および日付／時間設定ボタンなどがある。   The operation unit 70 includes various buttons and a touch panel. For example, as various buttons, there are a shutter switch (SW1 and SW2), a menu button, a set button, a macro button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, and the like. Further, as various buttons, there are a menu movement + (plus) button, a menu movement-(minus) button, a photographing image quality selection button, an exposure correction button, a date / time setting button, and the like.

シャッターボタンの操作途中でシャッタースイッチＳＷ１がオンとなって、システム制御部５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを開始する。シャッターボタンの操作完了でシャッタースイッチＳＷ２がオンとなって、システム制御部５０は露光処理、現像処理、圧縮・伸長処理、および記録処理などの一連の処理を開始する。   During the operation of the shutter button, the shutter switch SW1 is turned on, and the system control unit 50 starts AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and the like. Upon completion of the operation of the shutter button, the shutter switch SW2 is turned on, and the system control unit 50 starts a series of processing such as exposure processing, development processing, compression / expansion processing, and recording processing.

電源部３０として、例えば、アルカリ電池又はリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池が用いられ、さらに、電源部３０にはＡＣアダプターなどが備えられている。そして、電源部３０は電源制御部８０によって制御される。   As the power supply unit 30, for example, a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery is used, and the power supply unit 30 is provided with an AC adapter or the like. . The power supply unit 30 is controlled by the power supply control unit 80.

記録媒体２００は、カメラ１００に対して着脱可能であり、例えば、メモリカード又はハードディスクが用いられる。記録媒体２００はインタフェース（Ｉ／Ｆ）１８によってカメラ１００に接続される。   The recording medium 200 is detachable from the camera 100. For example, a memory card or a hard disk is used. The recording medium 200 is connected to the camera 100 via an interface (I / F) 18.

なお、システム制御部５０は後述する回転軸および動きベクトルを算出する際、演算部５１によって所定の演算を実行する。   The system control unit 50 performs a predetermined calculation by the calculation unit 51 when calculating a rotation axis and a motion vector, which will be described later.

図２は、図１に示すカメラにおいて動きベクトルの算出を行う際のシステム制御部５０の機能を説明するための図である。   FIG. 2 is a diagram for explaining functions of the system control unit 50 when calculating a motion vector in the camera shown in FIG.

図示のように、システム制御部５０は、機能ブロックとして動きベクトル検出部２０１、動きベクトル算出部２０２、動きベクトル補正演算部２０３、および回転軸算出部２０４を有している。動きベクトル検出部２０１は、画像データを受けて画像間における被写体（天体）の動きベクトルを検出する。動きベクトル算出手段２０２は、動きベクトル補正演算部２０３と協調して、動きベクトル補正演算部２０３で得られたベクトル補正量および動きベクトル検出部で検出された動きベクトルに応じて補正後の動きベクトルを求める。   As illustrated, the system control unit 50 includes a motion vector detection unit 201, a motion vector calculation unit 202, a motion vector correction calculation unit 203, and a rotation axis calculation unit 204 as functional blocks. The motion vector detection unit 201 receives image data and detects a motion vector of a subject (celestial body) between images. The motion vector calculation unit 202 cooperates with the motion vector correction calculation unit 203 to correct a motion vector after correction according to the vector correction amount obtained by the motion vector correction calculation unit 203 and the motion vector detected by the motion vector detection unit. Ask for.

動きベクトル補正演算部２０３は、動きベクトル算出部２０２によって得られた補正後の動きベクトルと焦点距離および絞り値と応じてベクトル補正量を求める。回転軸算出部２０４は動きベクトル補正演算部２０３によって求められたベクトル補正量に基づいて動きベクトルを補正する。そして、回転軸算出部２０４は、画像から抽出した複数のサーチエリア毎に得られた動きベクトルの向きおよびスカラー量に応じて、動きベクトルの向きとスカラー量がゼロとなる地点を求める。そして、回転軸算出部２０４は、サーチエリア毎のゼロ地点を統合して、画像の回転軸（基準点を示す基準軸）を算出する。このようにして算出された動きベクトルデータおよび回転軸データは、例えば、メモリ３２に一旦格納される。   The motion vector correction calculation unit 203 calculates a vector correction amount according to the corrected motion vector obtained by the motion vector calculation unit 202, the focal length, and the aperture value. The rotation axis calculation unit 204 corrects the motion vector based on the vector correction amount obtained by the motion vector correction calculation unit 203. Then, the rotation axis calculation unit 204 obtains a point where the direction of the motion vector and the scalar amount become zero according to the direction and scalar amount of the motion vector obtained for each of the plurality of search areas extracted from the image. Then, the rotation axis calculation unit 204 integrates the zero points for each search area, and calculates the rotation axis (reference axis indicating the reference point) of the image. The motion vector data and rotation axis data calculated in this way are temporarily stored in the memory 32, for example.

ここで、図１に示すカメラ１００で行われる複数の画像データを合成する合成処理について説明する。   Here, a combining process for combining a plurality of image data performed by the camera 100 shown in FIG. 1 will be described.

画像合成部５４は合成処理として、前述の加算合成処理、加重加算合成処理、比較明合成処理、および比較暗合成処理の４つの合成処理を行うことができる。   As the synthesis process, the image synthesis unit 54 can perform four synthesis processes including the above-described addition synthesis process, weighted addition synthesis process, comparatively bright synthesis process, and comparative dark synthesis process.

いま、合成前の画像データの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画像における座標を示す）とし、Ｎ枚（Ｎは２以上の整数）の画像を合成処理した後の合成画像の画素値をＩ（ｘ，ｙ）とする。なお、画素値として、ベイヤー配列のＲ、Ｇ１、Ｇ２、およびＢの信号値を用いるようにしてもよく、Ｒ、Ｇ１、Ｇ２、およびＢの信号のグループから得られる輝度信号値（輝度値）を用いるようにしてもよい。   Now, the pixel value of the image data before synthesis is I_i (x, y) (i = 1 to N, x, y indicates coordinates in the image), and N images (N is an integer of 2 or more) are synthesized. Let the pixel value of the composite image after processing be I (x, y). Note that the pixel values may be R, G1, G2, and B signal values in a Bayer array, and luminance signal values (luminance values) obtained from a group of R, G1, G2, and B signals. May be used.

さらに、ベイヤー配列における信号ついて、画素毎にＲ、Ｇ、およびＢの信号が存在するように補間処理した後、画素毎に輝度値を求めるようにしてもよい。輝度値を求める際には、例えば、輝度値をＹとすると、Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×ＢなどのＲ、Ｇ、およびＢの信号を加重加算して算出する手法が用いられる。   Further, the luminance value may be obtained for each pixel after interpolation processing is performed on the signals in the Bayer array so that R, G, and B signals exist for each pixel. When obtaining the luminance value, for example, assuming that the luminance value is Y, a method of calculating by weighted addition of R, G, and B signals such as Y = 0.3 × R + 0.59 × G + 0.11 × B Is used.

複数の画像データ間において必要に応じて位置合わせなどの処理を行って、互いに対応づけられた画素値について、画像合成部５４は、次の式（１）によって加算合成処理を行う。   The image synthesis unit 54 performs addition synthesis processing on the pixel values associated with each other by performing processing such as alignment between a plurality of image data as necessary, by the following equation (1).

Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ） （１）
画像合成部５４は画素別にＮ枚の画像の画素値を加算合成処理したものを合成画像データとする。 I (x, y) = I_1 (x, y) + I_2 (x, y) +... + I_N (x, y) (1)
The image synthesizing unit 54 adds and synthesizes the pixel values of N images for each pixel as synthesized image data.

加重加算合成処理においては、画像合成部５４は、ａｋを重み付け係数として、次の式（２）によって加重加算合計処理を行う。   In the weighted addition synthesis process, the image synthesis unit 54 performs the weighted addition totaling process according to the following equation (2) using ak as a weighting coefficient.

Ｉ（ｘ，ｙ）＝（ａ１×Ｉ＿１（ｘ，ｙ）＋ａ２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａＮ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ （２）
画像合成部５４は画素別にＮ枚の画像の画素値の加重加算合成処理したものを合成画像データとする。 I (x, y) = (a1 × I_1 (x, y) + a2 × I_2 (x, y) +... + AN × I_N (x, y)) / N (2)
The image synthesizing unit 54 uses, as synthesized image data, a weighted addition synthesis process of pixel values of N images for each pixel.

比較明合成処理においては、画像合成部５４は、次の式（３）によって比較明合成処理を行う。   In the comparatively bright combining process, the image combining unit 54 performs the comparatively bright combining process according to the following equation (3).

Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ）） （３）
画像合成部５４は画素別にＮ枚の画像の画素値の最大値を選択して当該最大値を合成画像データとする。 I (x, y) = max (I_1 (x, y), I_2 (x, y),..., I_N (x, y)) (3)
The image composition unit 54 selects the maximum value of the pixel values of the N images for each pixel and sets the maximum value as composite image data.

比較暗合成処理においては、画像合成部５４は、次の式（４）によって比較暗合成処理を行う。   In the comparative dark composition process, the image composition unit 54 performs the comparative dark composition process according to the following equation (4).

Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ）） （４）
画像合成部５４は画素別にＮ枚の画像の画素値の最小値を選択して当該最小値を合成画像データとする。 I (x, y) = min (I_1 (x, y), I_2 (x, y),..., I_N (x, y)) (4)
The image composition unit 54 selects the minimum value of the pixel values of the N images for each pixel and sets the minimum value as composite image data.

ここで、比較明合成処理を行う際には、次の手順で比較明合成処理が行われる。まず、ユーザーの操作に応じて、システム制御部５０はインターバル撮影を開始する。そして、システム制御部５０は、複数枚の画像のうち１枚目の画像を、メモリ３２に設定された合成用メモリ領域に初期値としてセットする。   Here, when the comparatively bright combination process is performed, the comparatively bright combination process is performed in the following procedure. First, in response to a user operation, the system control unit 50 starts interval shooting. Then, the system control unit 50 sets the first image of the plurality of images as an initial value in the compositing memory area set in the memory 32.

次に、システム制御部５０の制御下で、画像合成部５４は２枚目の画像と合成用メモリ領域にセットされた１枚目の画像とにおいて同一の画素における輝度を比較する。そして、画像合成部５４は、輝度が高い方の画素値を合成用メモリ領域に格納する。   Next, under the control of the system control unit 50, the image composition unit 54 compares the luminance of the same pixel in the second image and the first image set in the composition memory area. Then, the image composition unit 54 stores the pixel value having the higher luminance in the composition memory area.

上記の処理を、１枚目の画像と２枚目の画像の全画素について行って、画像合成部５４は合成用メモリ領域に１枚目の画像と２枚目の画像との合成画像を格納する。   The above processing is performed for all pixels of the first image and the second image, and the image composition unit 54 stores the composite image of the first image and the second image in the compositing memory area. To do.

続いて、画像合成部５４は３枚目以降の画像について、合成用メモリ領域に格納された合成画像と当該処理すべき画像（つまり、ここでは、３枚目の画像）と同一の画素について輝度を比較する。そして、輝度が高い方の画素値を合成用メモリ領域に格納する。さらに、画像合成部５４は当該処理を合成画像および処理すべき画像の全画素について行う。   Subsequently, for the third and subsequent images, the image composition unit 54 determines the luminance of the same pixel as the composite image stored in the compositing memory area and the image to be processed (that is, the third image here). Compare Then, the pixel value having the higher luminance is stored in the synthesis memory area. Furthermore, the image composition unit 54 performs the process on the composite image and all pixels of the image to be processed.

このようにして、画像合成部５４は、処理すべき画像の全てについて上述の処理を行う。つまり、画像合成部５４は、次の式（５）で示す処理を行うことになる。   In this way, the image composition unit 54 performs the above-described processing for all the images to be processed. That is, the image composition unit 54 performs the processing shown by the following equation (5).

Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ））
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ））
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）） （５）
図３は、図１に示すカメラ１００において画像合成処理の際に行われるクロップ領域設定処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部５０の制御下で行われる。 I2 (x, y) = max (I_1 (x, y), I_2 (x, y))
I3 (x, y) = max (I2 (x, y), I_3 (x, y))
...
I (x, y) = IN (x, y) = max (IN−1 (x, y), I_N (x, y)) (5)
FIG. 3 is a flowchart for explaining a crop area setting process performed during the image composition process in the camera 100 shown in FIG. Note that the processing according to the illustrated flowchart is performed under the control of the system control unit 50.

クロップ領域設定処理を開始する際には、システム制御部５０は、ユーザーの操作に応じて画像（ベクトル抽出用画像）の撮影を開始する（ステップＳ３０１）。複数枚の撮影が完了すると、システム制御部５０の制御下で、画像処理部２４は当該複数枚の画像を縮小処理する（ステップＳ３０２）。   When starting the crop area setting process, the system control unit 50 starts capturing an image (an image for vector extraction) in accordance with a user operation (step S301). When the photographing of a plurality of sheets is completed, the image processing unit 24 reduces the plurality of images under the control of the system control unit 50 (step S302).

続いて、システム制御部５０は、図２に関連して説明したようにして、縮小処理によって得られた画像について動きベクトル検出および回転軸の算出を行う（ステップＳ３０３）。画像の回転軸（基準軸）を求めた後、システム制御部５０は正確な動きベクトルを求めるため、回転軸に応じてクロップ領域（検出領域）を設定する（ステップＳ３０４）。なお、クロップ領域の設定については後述する。   Subsequently, as described with reference to FIG. 2, the system control unit 50 performs motion vector detection and rotation axis calculation for the image obtained by the reduction process (step S303). After obtaining the rotation axis (reference axis) of the image, the system control unit 50 sets a crop area (detection area) according to the rotation axis in order to obtain an accurate motion vector (step S304). The setting of the crop area will be described later.

クロップ領域は複数設定され、クロップ領域を設定した後、システム制御部５０はクロップ領域において、図２で説明した動きベクトル算出部２０２および回転軸算出部２０４によって動きベクトルを算出する（ステップＳ３０５）。なお、この処理においては回転軸まで算出する必要はない。   A plurality of crop areas are set, and after setting the crop areas, the system control unit 50 calculates motion vectors in the crop area using the motion vector calculation unit 202 and the rotation axis calculation unit 204 described with reference to FIG. 2 (step S305). In this process, it is not necessary to calculate the rotation axis.

次に、システム制御部５０は所定数のクロップ領域を設定したか否かを判定する（ステップＳ３０６）。所定数のクロップ領域が設定されていないと（ステップＳ３０６において、ＮＯ）、システム制御部５０はステップＳ３０４の処理に戻って、クロップ領域の設定を行う。   Next, the system control unit 50 determines whether or not a predetermined number of crop areas have been set (step S306). If the predetermined number of crop areas has not been set (NO in step S306), the system control unit 50 returns to the process of step S304 and sets the crop areas.

一方、所定数のクロップ領域を設定すると（ステップＳ３０６において、ＹＥＳ）、つまり、ステップＳ３０４のクロップ領域設定とステップＳ３０５の動きベクトル算出が所定数のクロップ領域について行われると、システム制御部５０はクロップ領域設定処理を終了する。そして、システム制御部５０はクロップ領域毎に求められた動きベクトルを統合する処理を行って、画像合成部５４は統合された動きベクトルに応じて画像合成処理を行う。   On the other hand, when the predetermined number of crop areas are set (YES in step S306), that is, when the crop area setting in step S304 and the motion vector calculation in step S305 are performed for the predetermined number of crop areas, the system control unit 50 The area setting process ends. Then, the system control unit 50 performs processing for integrating the motion vectors obtained for each crop region, and the image composition unit 54 performs image composition processing according to the integrated motion vectors.

ここで、図３で説明したクロップ領域の設定について説明する。   Here, the setting of the crop area described with reference to FIG. 3 will be described.

図４は、図１に示すカメラにおいて行われるクロップ領域の設定の第１の例を説明するための図である。   FIG. 4 is a diagram for explaining a first example of crop area setting performed in the camera shown in FIG.

まず、前述のようにして、画像の回転軸４３を求める。なお、この回転軸４３は画像の領域外であってもよい。天体４６は極軸と呼ばれる軸を中心として日周運動をしている。精度よく動きベクトルを抽出するためには、画像において単位時間に日周運動する天体４６の移動量が大きい方が有利であり、天体４６が動かないエリアにクロップ領域を設定すると正しく動きベクトルを得ることができない。   First, the rotation axis 43 of the image is obtained as described above. The rotation shaft 43 may be outside the image area. The celestial body 46 performs a diurnal motion around an axis called a polar axis. In order to extract a motion vector with high accuracy, it is advantageous that the moving amount of the celestial body 46 that moves in a unit time in a unit time is large in an image. I can't.

一般に、天体４６を撮影する際には、例えば、所謂星雲などを撮影する星雲写真と景色などを一緒に撮影する星景写真などがある。星景写真の場合には、通常、画像の下部に風景などが入るので、当該エリアにクロップ領域を設定することは好ましくない。   In general, when photographing the celestial body 46, for example, there are a nebula photograph for photographing a so-called nebula and a starry photograph for photographing a landscape together. In the case of a starry photograph, since a landscape or the like usually enters the lower part of the image, it is not preferable to set a crop area in the area.

よって、図４に示すように、クロップ領域４５を設定する際には、回転軸４３を起点として、回転軸４３と当該回転軸４３から遠い画像の上端部とを結ぶ直線４２上、又は回転軸４３と画像の中心点４４とを結ぶ直線４１上において、画像中心点４４よりも画像の上側であって、画像中心点４４を基準として回転軸４３が位置する側の反対側の画像にクロップ領域４５を設定することが望ましい。このようにして、クロップ領域４５を設定すれば、回転軸４３から離れた天体４６のエリアをクロップ領域４５として設定することができる結果、精度の高い動きベクトルを得ることができる。   Therefore, as shown in FIG. 4, when the crop area 45 is set, the rotation axis 43 is set as a starting point on the straight line 42 connecting the rotation axis 43 and the upper end portion of the image far from the rotation axis 43, or the rotation axis. A crop region is formed on an image on the straight line 41 connecting the image center point 44 and the image center point 44 above the image center point 44 and on the opposite side of the image center point 44 from the side where the rotation axis 43 is located. It is desirable to set 45. If the crop area 45 is set in this manner, the area of the celestial body 46 away from the rotation axis 43 can be set as the crop area 45, and as a result, a highly accurate motion vector can be obtained.

なお、回転軸４３と当該回転軸４３から遠い画像の上端部とを結ぶ直線４２上、回転軸４３と画像中心軸を結ぶ直線４１上のそれぞれにクロップ領域を設定してもよいし、一方の直線上に複数のクロップ領域を設定してもよい。   A crop area may be set on each of a straight line 42 connecting the rotation axis 43 and the upper end of the image far from the rotation axis 43 and a straight line 41 connecting the rotation axis 43 and the image center axis. A plurality of crop areas may be set on a straight line.

図５は、図１に示すカメラにおいて行われるクロップ領域の設定の第２の例を説明するための図である。   FIG. 5 is a diagram for explaining a second example of crop area setting performed in the camera shown in FIG.

前述のようにして、回転軸４３を求めた後（ここでも、回転軸４３は画像の領域外にあってもよい）、回転軸４３から等距離のエリアにクロップ領域４５を設定する。つまり、回転軸４３を中心とする円弧上に複数のクロップ領域４５を設定する。前述のように、回転軸４３から離れている方が精度よく動きベクトルを検出することができるので、クロップ領域４５から回転軸４３までの距離は長い方が有利である。   After obtaining the rotation axis 43 as described above (again, the rotation axis 43 may be outside the image area), a crop area 45 is set in an area equidistant from the rotation axis 43. That is, a plurality of crop areas 45 are set on an arc centered on the rotation axis 43. As described above, since the motion vector can be detected with higher accuracy when it is away from the rotation axis 43, it is advantageous that the distance from the crop area 45 to the rotation axis 43 is longer.

一方、回転軸４３からの距離を最大とした場合には、画像が存在しなくなってクロップ領域４５を設定することができない。このため、画像のサイズを考慮して、クロップ領域４５と回転軸４３との距離を設定することが望ましい。また、画像の下部には風景などが入る可能性があるので、回転軸４３から等距離な曲線上において画像の上側にクロップ領域４５を設定することが望ましい。   On the other hand, when the distance from the rotation axis 43 is maximized, no image exists and the crop area 45 cannot be set. Therefore, it is desirable to set the distance between the crop area 45 and the rotation axis 43 in consideration of the image size. Since there is a possibility that scenery or the like may enter the lower part of the image, it is desirable to set the crop area 45 on the upper side of the image on a curve equidistant from the rotation axis 43.

ここでは、上述のように、回転軸４３から延びる直線４１および４２上にクロップ領域４５を設定する手法と、回転軸４３から等距離に位置するようにクロップ領域４３を設定する手法について説明した。さらに、精度よく動きベクトルを算出したい場合には、これら２つの手法を組み合わせれば、画像全体を細かいブロック単位に分けたサーチエリアについても動きベクトルを求めることができる。その結果、天体を追尾しつつ撮影する場合においては好ましい結果が得られる。   Here, as described above, the method for setting the crop region 45 on the straight lines 41 and 42 extending from the rotation axis 43 and the method for setting the crop region 43 so as to be located at the same distance from the rotation axis 43 have been described. Furthermore, when it is desired to calculate a motion vector with high accuracy, by combining these two methods, a motion vector can be obtained for a search area in which the entire image is divided into fine blocks. As a result, a preferable result can be obtained when shooting while tracking a celestial body.

また、星雲写真を撮影する場合には、望遠レンズなどを用いて画角を狭めて撮影することが多い。この場合、画像から天体の日周運動における回転軸の求めることが難しいことがある。この場合には、カメラに別に搭載されたジャイロセンサー（検出手段）などによって検出された煽り角度および方位（姿勢）などの情報を組み合わせれば、正しく回転軸を求めることができる。   In addition, when taking a nebula photograph, the angle of view is often narrowed using a telephoto lens or the like. In this case, it may be difficult to obtain the rotation axis in the diurnal motion of the celestial body from the image. In this case, the rotation axis can be correctly obtained by combining information such as the turning angle and the azimuth (posture) detected by a gyro sensor (detection means) separately mounted on the camera.

図６は、図１に示すカメラにおいて行われるクロップ領域の設定の第３の例を説明するための図である。   FIG. 6 is a diagram for explaining a third example of crop area setting performed in the camera shown in FIG.

図６においては、回転軸４３が画像の中心部分に近いエリアに位置している。天体４６の日周運動を撮影した画像から回転軸４３を求めた際、当該回転軸４３が画像の領域内にある場合には、極軸が画像内に存在することになる。この場合、画像内においては、天体４６は極軸を中心に回転するように動くので、極軸周辺においてはほとんど天体４６の動きがなく正しく動きベクトルを求めることが難しい。   In FIG. 6, the rotation axis 43 is located in an area close to the central portion of the image. When the rotation axis 43 is obtained from an image obtained by photographing the diurnal motion of the celestial body 46, if the rotation axis 43 is in the image area, the polar axis is present in the image. In this case, since the celestial body 46 moves so as to rotate around the polar axis in the image, there is almost no movement of the celestial body 46 around the polar axis, and it is difficult to obtain a motion vector correctly.

よって、回転軸４３が画像中心部における所定のエリアに存在する場合、回転軸４３から水平方向および垂直方向に延びる直線６１および６２上にクロップ領域４５を設定する。なお、回転軸４３から画像の上端に延びる直線上にクロップ領域を設定するようにしてもよい。より精度を高めるためには、回転軸４３から水平方向および垂直方向に延びる直線と回転軸４３から画像端に延びる直線とを組み合わせてクロップ領域を設定することが望ましい。   Therefore, when the rotation axis 43 exists in a predetermined area in the center of the image, the crop area 45 is set on the straight lines 61 and 62 extending from the rotation axis 43 in the horizontal direction and the vertical direction. Note that the crop area may be set on a straight line extending from the rotation axis 43 to the upper end of the image. In order to increase the accuracy, it is desirable to set the crop region by combining a straight line extending in the horizontal direction and the vertical direction from the rotation axis 43 and a straight line extending from the rotation axis 43 to the image end.

このように、本発明では、天体などの移動体を撮影した複数枚の画像を合成する際に、天体の日周運動の回転軸に基づいて、画像にクロップ領域を設定して、当該クロップ領域において天体の動きベクトルを求める。これによって、画像合成の際のずれ補正に必要な動きベクトルを高速かつ効率的に算出することができる。   Thus, in the present invention, when combining a plurality of images obtained by capturing a moving object such as a celestial body, a crop area is set on the image based on the rotation axis of the diurnal motion of the celestial body, and the crop area To obtain the motion vector of the celestial body. This makes it possible to calculate a motion vector necessary for deviation correction at the time of image synthesis at high speed and efficiently.

上述の説明から明らかなように、図１に示す例では、画像処理部２４およびシステム制御部５０が第１の算出手段、設定手段、および第２の算出手段として機能する。また、システム制御部５０および画像合成部５４は画像合成手段として機能する。なお、撮影レンズ１０３、シャッター１０２、撮像部２２、およびＡ／Ｄ変換部２３によって撮像手段が構成される。   As is clear from the above description, in the example shown in FIG. 1, the image processing unit 24 and the system control unit 50 function as a first calculation unit, a setting unit, and a second calculation unit. The system control unit 50 and the image composition unit 54 function as image composition means. The imaging lens 103, the shutter 102, the imaging unit 22, and the A / D conversion unit 23 constitute an imaging unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。   For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１５ メモリ制御部
２２ 撮像部
２４ 画像処理部
２８ 表示部
３２ メモリ
５０ システム制御部
５１ 演算部
５４ 画像合成部
７０ 操作部
１０３ 撮影レンズ DESCRIPTION OF SYMBOLS 15 Memory control part 22 Imaging part 24 Image processing part 28 Display part 32 Memory 50 System control part 51 Calculation part 54 Image composition part 70 Operation part 103 Shooting lens

Claims (11)

移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置であって、
前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出手段と、
前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定手段と、
前記検出領域において前記被写体の動きベクトルを求める第２の算出手段と、
前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成手段と、
を有することを特徴する画像処理装置。 An image processing apparatus that combines a plurality of images obtained by photographing a moving subject to form a combined image,
First calculating means for obtaining a reference axis indicating a reference point when the subject moves according to the plurality of images;
Setting means for setting a detection region for detecting a motion vector in each of the images according to the reference axis;
Second calculating means for obtaining a motion vector of the subject in the detection area;
Image combining means for combining the plurality of images based on the motion vector into the combined image;
An image processing apparatus comprising: 前記設定手段は、前記基準軸と前記画像の中心点とを結ぶ直線上に前記検出領域を設定することを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the setting unit sets the detection area on a straight line connecting the reference axis and a center point of the image. 前記設定手段は前記基準軸と前記画像の隅とを結ぶ直線上に前記検出領域を設定することを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the setting unit sets the detection area on a straight line connecting the reference axis and a corner of the image. 前記設定手段は、前記画像の中心点を基準として前記基準軸が位置する側の反対側に、前記検出領域を設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。   4. The image according to claim 1, wherein the setting unit sets the detection region on a side opposite to a side where the reference axis is located with respect to a center point of the image. 5. Processing equipment. 前記設定手段は、前記基準軸を中心とする円弧上に前記検出領域を設定することを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the setting unit sets the detection area on an arc centered on the reference axis. 前記設定手段は、前記基準軸を起点として前記画像において水平方向ｆ又は垂直方向に延びる直線上に前記検出領域を設定することを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the setting unit sets the detection area on a straight line extending in a horizontal direction f or a vertical direction in the image with the reference axis as a starting point. 前記被写体は天体であり、前記基準軸は前記天体の日周運動における回転軸であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the subject is a celestial body, and the reference axis is a rotation axis in a diurnal motion of the celestial body. 前記複数枚の画像を撮像する撮像手段と、
請求項１から７のいずれか１項に記載の画像処理装置と、
前記画像処理装置で得られた合成画像を記録する記録手段と、
を有することを特徴とする撮像装置。 An imaging means for imaging the plurality of images;
An image processing apparatus according to any one of claims 1 to 7,
Recording means for recording a composite image obtained by the image processing apparatus;
An imaging device comprising: 前記撮像装置の姿勢を検出する検出手段を備え、
前記設定手段は前記検出手段で検出された姿勢に応じて前記検出領域の設定を行うことを特徴とする請求項８に記載の撮像装置。 Comprising detection means for detecting the orientation of the imaging device;
The image pickup apparatus according to claim 8, wherein the setting unit sets the detection area according to the posture detected by the detection unit. 移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置の制御方法であって、
前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出ステップと、
前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定ステップと、
前記検出領域において前記被写体の動きベクトルを求める第２の算出ステップと、
前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、
を有することを特徴する制御方法。 A control method of an image processing apparatus that combines a plurality of images obtained by photographing a moving subject to form a composite image,
A first calculation step of obtaining a reference axis indicating a reference point when the subject moves according to the plurality of images;
A setting step for setting a detection region for detecting a motion vector in each of the images according to the reference axis;
A second calculation step of obtaining a motion vector of the subject in the detection region;
An image synthesis step of synthesizing the plurality of images based on the motion vector into the synthesized image;
A control method characterized by comprising: 移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記複数枚の画像に応じて前記被写体が移動する際の基準点を示す基準軸を求める第１の算出ステップと、
前記基準軸に応じて前記画像の各々に動きベクトルを検出するための検出領域を設定する設定ステップと、
前記検出領域において前記被写体の動きベクトルを求める第２の算出ステップと、
前記動きベクトルに基づいて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、
を実行させることを特徴する制御プログラム。 A control program used in an image processing apparatus that synthesizes a plurality of images obtained by photographing a moving subject to form a composite image,
In the computer provided in the image processing apparatus,
A first calculation step of obtaining a reference axis indicating a reference point when the subject moves according to the plurality of images;
A setting step for setting a detection region for detecting a motion vector in each of the images according to the reference axis;
A second calculation step of obtaining a motion vector of the subject in the detection region;
An image synthesis step of synthesizing the plurality of images based on the motion vector into the synthesized image;
A control program characterized by causing execution.