JP2012209896A

JP2012209896A - Image processor, imaging apparatus and program

Info

Publication number: JP2012209896A
Application number: JP2011075949A
Authority: JP
Inventors: Yasuhiro Takada; 靖弘高田; Bungo Fujii; 文吾藤井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-03-30
Filing date: 2011-03-30
Publication date: 2012-10-25

Abstract

PROBLEM TO BE SOLVED: To provide an image in which a position different from an imaged position is set as a viewpoint.SOLUTION: An image processor includes: an image data acquiring section acquiring image data of a plurality of images imaged in different positions; a positional relation acquiring section acquiring a relative positional relation of imaging positions of the plurality of images; a viewpoint position setting section setting a viewpoint position in a position different from the imaging positions of the plurality of images; and an image generating section generating the image with the viewpoint position as the viewpoint by using the image data of a plurality of partial regions selected from the plurality of images based on the positional relation and the viewpoint position.

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。 The present invention relates to an image processing device, an imaging device, and a program.

立体撮影ができる立体カメラが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平１０−７０７４０号公報 A stereoscopic camera capable of stereoscopic shooting is known (for example, see Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP-A-10-70740

撮影した位置を視点とする画像しか提供することができないという課題があった。 There has been a problem that only an image having the viewpoint of the photographed position can be provided.

本発明の第１の態様においては、画像処理装置は、異なる位置で撮像された複数の画像の画像データを取得する画像データ取得部と、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部と、複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定部と、位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、視点位置を視点とする画像を生成する画像生成部とを備える。 In the first aspect of the present invention, the image processing apparatus acquires an image data acquisition unit that acquires image data of a plurality of images captured at different positions and a relative positional relationship between the imaging positions of the plurality of images. A position relationship acquisition unit, a viewpoint position setting unit that sets a viewpoint position at a position different from the imaging positions of the plurality of images, and a plurality of partial areas respectively selected from the plurality of images based on the position relationship and the viewpoint position. And an image generation unit that generates an image having the viewpoint position as a viewpoint using the image data.

本発明の第２の態様においては、撮像装置は、上記画像処理装置と、複数の画像を撮像する撮像部とを備える。 In a second aspect of the present invention, an imaging device includes the image processing device and an imaging unit that captures a plurality of images.

本発明の第３の態様においては、プログラムは、異なる位置で撮像された複数の画像の画像データを取得する画像データ取得ステップと、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得ステップと、複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定ステップと、位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、視点位置を視点とする画像を生成する画像生成ステップとをコンピュータに実行させる。 In the third aspect of the present invention, the program acquires an image data acquisition step for acquiring image data of a plurality of images captured at different positions, and a position for acquiring a relative positional relationship between the imaging positions of the plurality of images. A relationship acquisition step, a viewpoint position setting step for setting a viewpoint position at a position different from the imaging positions of the plurality of images, and image data of a plurality of partial areas respectively selected from the plurality of images based on the positional relationship and the viewpoint position Is used to cause the computer to execute an image generation step of generating an image with the viewpoint position as the viewpoint.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

本実施形態に係る撮像装置１００のシステム構成図を示す。1 shows a system configuration diagram of an imaging apparatus 100 according to the present embodiment. 撮像装置１００の利用環境の一例を示す。An example of the usage environment of the imaging apparatus 100 is shown. 被写体、撮像位置および視点位置の位置関係を模式的に示す。A positional relationship among a subject, an imaging position, and a viewpoint position is schematically shown. 連写撮影で得られた撮像画像の一部および接近画像の一例を模式的に示す。An example of a part of a captured image obtained by continuous shooting and an approach image is schematically shown. 画像から切り出す部分領域の一例を示す。An example of the partial area | region cut out from an image is shown. 多視点画像を生成するための視点位置の一例を示す。An example of a viewpoint position for generating a multi-viewpoint image is shown. 撮像装置１００が連写撮影する場合の処理フローを示す。A processing flow when the imaging apparatus 100 performs continuous shooting is shown. 全体画像の表示例を示す。The example of a display of a whole image is shown. 接近画像を生成するフローの一例を示す。An example of the flow which produces | generates an approach image is shown.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、本実施形態に係る撮像装置１００のシステム構成図を示す。撮像装置１００は、ズームレンズ、フォーカスレンズ等により構成される光学系１０１を有する。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。 FIG. 1 is a system configuration diagram of an imaging apparatus 100 according to the present embodiment. The imaging apparatus 100 includes an optical system 101 that includes a zoom lens, a focus lens, and the like. Subject light enters the optical system 101 along the optical axis, passes through the shutter 102, and forms an image as a subject image on the light receiving surface of the image sensor 103.

撮像素子１０３は、被写体像である光学像を光電変換する素子である。撮像素子１０３としては、例えばＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。 The image sensor 103 is an element that photoelectrically converts an optical image that is a subject image. For example, a CCD or CMOS sensor is used as the image sensor 103. The subject image photoelectrically converted by the image sensor 103 is read as an electric charge, transferred as an analog signal to the A / D converter 105, and converted into a digital signal by the A / D converter 105. Controls such as charge reading of the image sensor 103 and driving of the shutter 102 are controlled by a clock signal supplied by the timing generator 112 that receives synchronization control of the system controller 114.

デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。 The subject image converted into the digital signal is sequentially processed as image data. The image data converted into a digital signal by the A / D converter 105 is delivered to the image processing unit 107 and processed. Specifically, the image data converted into a digital signal by the A / D converter 105 is temporarily stored in the internal memory 108 under the control of the memory control unit 106.

内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、内部メモリ１０８は、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。特に、本実施形態において、画像処理部１０７は、連写撮影した複数の画像から、後述する接近画像を生成する処理を行う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。 The internal memory 108 is a random access memory that can be read and written at high speed, and for example, a DRAM, an SRAM, or the like is used. The internal memory 108 serves as a buffer memory that waits for the order of image processing when image data is continuously generated at high speed in continuous shooting and moving image shooting. The internal memory 108 also serves as a work memory in image processing and compression processing performed by the image processing unit 107. In particular, in the present embodiment, the image processing unit 107 performs processing for generating an approach image, which will be described later, from a plurality of images that are continuously shot. Therefore, the internal memory 108 has a sufficient memory capacity corresponding to these roles. The memory control unit 106 controls how much memory capacity is allocated to what work.

画像処理部１０７は、設定されている撮像モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、撮像装置１００の撮像モードの一部として静止画撮像モードおよび動画撮像モードを有しており、静止画撮像モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮像モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。フレーム間符号化には、動きベクトルを算出する処理が含まれる。画像処理部１０７は、ＡＳＩＣ等の演算装置によって実装されてよい。 The image processing unit 107 converts the image data into image data of a standardized image format according to the set imaging mode and an instruction from the user. For example, when the image processing unit 107 has a still image capturing mode and a moving image capturing mode as part of the image capturing mode of the image capturing apparatus 100 and generates a JPEG file as a still image in the still image capturing mode, the image processing unit 107 performs color conversion processing. After performing image processing such as gamma processing and white balance correction, adaptive discrete cosine transform is performed to perform compression processing. Also, for example, an MPEG file as a moving image in the moving image capturing mode, When generating an H.264 file, the image processing unit 107 performs compression processing by performing intra-frame encoding, inter-frame encoding, quantization, entropy encoding, and the like on the generated frame images as continuous still images. I do. Inter-frame coding includes processing for calculating a motion vector. The image processing unit 107 may be implemented by an arithmetic device such as an ASIC.

変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、撮像装置１００の本体に対して着脱可能な不揮発性メモリであってよい。 The converted image data is stored in the internal memory 108 again. Still image data and moving image data processed by the image processing unit 107 are recorded on the recording medium 122 which is a nonvolatile memory from the internal memory 108 via the recording medium IF 111 under the control of the system control unit 114. The recording medium 122 is configured by a flash memory or the like. The recording medium 122 may be a nonvolatile memory that can be attached to and detached from the main body of the imaging apparatus 100.

画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。画像処理部１０７は、記録用に処理される画像データに並行して、後述する変倍処理を施すことによって表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。 The image processing unit 107 generates display image data in parallel with the image data processed for recording. The image processing unit 107 generates display image data by performing a scaling process described later in parallel with the image data processed for recording. The generated display image data is displayed on the display unit 110 configured by a liquid crystal panel or the like under the control of the display control unit 109. Further, the display control unit 109 can display various menu items related to various settings of the imaging apparatus 100 on the display unit 110 with or without displaying an image.

撮像装置１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、ＭＰＵ等の演算装置によって実装されてよい。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、撮像装置１００の制御に利用する。 The imaging apparatus 100 is controlled directly or indirectly by the system control unit 114 including each element in the image processing described above. The system control unit 114 may be implemented by an arithmetic device such as an MPU. The system control unit 114 includes a system memory that is an electrically erasable / recordable nonvolatile memory. The system memory is configured by EEPROM (registered trademark) or the like. The system memory included in the system control unit 114 records constants, variables, programs, and the like necessary when the image capturing apparatus 100 is operating so that they are not lost even when the image capturing apparatus 100 is not operating. The system control unit 114 expands constants, variables, programs, and the like as appropriate in the internal memory 108 and uses them for controlling the imaging apparatus 100.

撮像装置１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮像動作を実行する。 The imaging apparatus 100 includes an operation member 120 that receives an operation from a user. The system control unit 114 detects that the operation member 120 has been operated. The system control unit 114 performs an operation according to the detected operation. For example, when detecting that the release switch as the operation member 120 is operated, the system control unit 114 executes a series of imaging operations for photoelectrically converting the subject image to generate image data.

加速度センサ１２４は、撮像装置１００の加速度を検出して、加速度情報をシステム制御部１１４に供給する。システム制御部１１４は、加速度センサ１２４が検出した加速度情報を用いて、撮像時の撮像装置１００の位置を検出する。本実施形態では、システム制御部１１４は、連写撮影で撮影した各画像の撮像位置を、加速道情報を用いて算出する。システム制御部１１４および加速度センサ１２４は、複数の画像を撮像した位置を検出する位置検出部として機能する。ここで、各画像の撮像位置は、撮像位置の相対的な位置関係を示す。すなわち、システム制御部１１４および加速度センサ１２４は、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部として機能する。 The acceleration sensor 124 detects the acceleration of the imaging device 100 and supplies the acceleration information to the system control unit 114. The system control unit 114 detects the position of the imaging device 100 at the time of imaging using the acceleration information detected by the acceleration sensor 124. In the present embodiment, the system control unit 114 calculates the imaging position of each image taken by continuous shooting using acceleration road information. The system control unit 114 and the acceleration sensor 124 function as a position detection unit that detects positions where a plurality of images are captured. Here, the imaging position of each image indicates a relative positional relationship between the imaging positions. That is, the system control unit 114 and the acceleration sensor 124 function as a positional relationship acquisition unit that acquires the relative positional relationship of the imaging positions of a plurality of images.

光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。 The optical system 101 is controlled by the lens control unit 113. For example, the lens control unit 113 drives the zoom lens in accordance with a user instruction to change the angle of view of the subject image. In addition, the lens control unit 113 drives the focus lens based on the AF information, and focuses the subject image on the light receiving surface of the image sensor 103. The lens control unit 113 may perform autofocus control on a subject designated by the user through the operation member 120 or the like. The lens control unit 113 also calculates the exposure value by analyzing the image data processed by the image processing unit 107 or the output of the photometric sensor. The lens control unit 113 outputs a control signal for the diaphragm of the optical system 101 according to the calculated exposure value.

図２は、撮像装置１００の利用環境の一例を示す。撮像装置１００は、異なる位置から撮影した複数の画像の画像データを用いて、いずれの撮像位置とも異なる位置を視点とする画像の画像データを生成する。例えば、撮像装置１００は、被写体に近寄った位置を視点とする画像の画像データを生成する。本実施形態の説明において、被写体に近寄った位置を視点とする画像を、接近画像と呼ぶ。 FIG. 2 shows an example of the usage environment of the imaging apparatus 100. The imaging apparatus 100 uses image data of a plurality of images taken from different positions to generate image data of an image having a viewpoint different from any of the imaging positions. For example, the imaging apparatus 100 generates image data of an image whose viewpoint is a position close to the subject. In the description of the present embodiment, an image whose viewpoint is a position close to the subject is referred to as an approach image.

例えば、ユーザは、物体２００から一定距離離れた位置から、撮像装置１００を用いて連写撮影する。例えば、光学系１０１の光軸に略垂直なｘｙ面内で撮像装置１００を移動させながら、連写撮影する。これにより、撮像装置１００は、ｘｙ面内の異なる位置で撮像した画像データを得ることができる。撮像装置１００は、連写撮影中に、ｘｙ面内の位置を撮像位置として検出する。撮像装置１００は、例えば連写撮影中に加速度センサ１２４から出力された加速度情報に基づき、各画像を撮像した撮像位置を算出する。なお、本実施形態において、ｘ方向は左右方向に対応し、ｙ方向は上下方向に対応する。 For example, the user performs continuous shooting using the imaging apparatus 100 from a position away from the object 200 by a certain distance. For example, continuous shooting is performed while moving the imaging apparatus 100 in the xy plane substantially perpendicular to the optical axis of the optical system 101. Thereby, the imaging device 100 can obtain image data captured at different positions in the xy plane. The imaging apparatus 100 detects a position in the xy plane as an imaging position during continuous shooting. For example, the imaging apparatus 100 calculates an imaging position where each image is captured based on acceleration information output from the acceleration sensor 124 during continuous shooting. In the present embodiment, the x direction corresponds to the left-right direction, and the y direction corresponds to the up-down direction.

撮像装置１００は、接近画像を生成する指示をユーザから受け付けると、連写撮影で得た複数の画像データを用いて、指定された位置を視点とする接近接近画像２５０の画像データを生成して表示する。 When receiving an instruction for generating an approach image from the user, the imaging apparatus 100 generates image data of the approaching approach image 250 with the specified position as a viewpoint, using a plurality of image data obtained by continuous shooting. indicate.

本図の例では、実線で示した撮像装置１００の位置からは、物体２００ａは遮蔽物３５０ａに遮られて見ることができない。また、物体２００ｃの一部は、遮蔽物３５０ｂに視野を遮られてれて見ることができない。しかし、画像処理部１０７は、破線で示した撮像装置１００の位置から撮像した画像を部分的に使用することで、物体２００ａの一部および物体２００ｃが写り込んだ接近接近画像２５０を生成する。 In the example of this figure, the object 200a cannot be seen from the position of the imaging device 100 indicated by the solid line because it is blocked by the shield 350a. Further, a part of the object 200c cannot be seen because the field of view is blocked by the shield 350b. However, the image processing unit 107 generates an approaching and approaching image 250 in which a part of the object 200a and the object 200c are reflected by partially using an image captured from the position of the imaging device 100 indicated by a broken line.

図３は、被写体、撮像位置および視点位置の位置関係を模式的に示す。図４は、連写撮影で得られた撮像画像の一部および接近画像の一例を模式的に示す。 FIG. 3 schematically shows the positional relationship among the subject, the imaging position, and the viewpoint position. FIG. 4 schematically shows an example of a part of a captured image and an approach image obtained by continuous shooting.

撮像装置１００は、一定の画角θで連写撮影するものとする。撮像装置１００が位置Ｐ０にある場合、撮像装置１００は範囲３１０ａ〜３１０ｂを撮影することができる。位置Ｐ０からでは、遮蔽物３５０ａおよび３５０ｂよりも遠くに位置する物体は、位置Ａ１〜Ａ２の範囲しか撮像することができない。したがって、位置Ｐ０を撮像位置とする画像４００には、物体２００ａは写っていない。また、画像４００には、物体２００ｃの一部しか写っていない。 The imaging apparatus 100 is assumed to perform continuous shooting at a constant angle of view θ. When the imaging apparatus 100 is at the position P0, the imaging apparatus 100 can capture the range 310a to 310b. From the position P0, an object located farther than the shields 350a and 350b can only image the range of positions A1 to A2. Accordingly, the object 200a is not shown in the image 400 having the position P0 as the imaging position. In addition, the image 400 shows only a part of the object 200c.

一方、位置Ｐ０よりも被写体に近い位置Ｐ０'から視野角θで見た場合、範囲３２０ａ〜３２０ｂに対応する位置Ｂ１〜Ｂ２の範囲の物体を見ることができる。したがって、位置Ｐ０'からは、物体２００ａの一部を見ることができる。また、位置Ｐ０'からは、物体２００ｃを見ることができる。したがって、単に画像４００を拡大するだけでは、位置Ｐ０'を視点とする画像を得たことにはならない。 On the other hand, when viewed at a viewing angle θ from a position P0 ′ closer to the subject than the position P0, an object in a range of positions B1 to B2 corresponding to the ranges 320a to 320b can be seen. Therefore, a part of the object 200a can be seen from the position P0 ′. Further, the object 200c can be seen from the position P0 ′. Therefore, simply enlarging the image 400 does not yield an image with the position P0 ′ as the viewpoint.

ここで、位置Ｐ０よりも左方の位置Ｐ１から撮影した画像４１０には、位置Ｐ０'から位置Ｂ１に向かう方向で見たときの被写体像が含まれる。具体的には、画像４１０には、物体２００ｃの像が含まれる。また、位置Ｐ０よりも右方の位置Ｐ２から撮影した画像４２０には、位置Ｐ０'から位置Ｂ２に向かう方向で見たときの被写体像が含まれる。具体的には、画像４１０には、物体２００ａの一部の像が含まれる。 Here, the image 410 taken from the position P1 to the left of the position P0 includes a subject image when viewed in the direction from the position P0 ′ toward the position B1. Specifically, the image 410 includes an image of the object 200c. The image 420 taken from the position P2 on the right side of the position P0 includes a subject image when viewed in the direction from the position P0 ′ toward the position B2. Specifically, the image 410 includes a partial image of the object 200a.

そこで、画像処理部１０７は、画像４００から中央の部分領域４０２を切り出す。また、画像４１０の右方の部分領域４１２を切り出す。また、画像４２０の左方の部分領域４２２を切り出す。そして画像処理部１０７は、切り出した部分領域の画像をつなぎ合わせて、位置Ｐ０'を視点とする接近接近画像２５０を生成する。 Therefore, the image processing unit 107 cuts out the central partial region 402 from the image 400. Further, a partial region 412 on the right side of the image 410 is cut out. In addition, a partial area 422 on the left side of the image 420 is cut out. Then, the image processing unit 107 joins the cut-out partial area images to generate the approaching and approaching image 250 with the position P0 ′ as the viewpoint.

なお、位置Ｐ０から被写体に近づいた距離である接近距離Δｚが与えられると、仮想の視点となる位置Ｐ０'が定まる。そして、位置Ｐ０'からの視野角θが与えられると、接近接近画像２５０の右方の部分領域の画像を提供する位置Ｐ１と、接近画像２５０の左方の部分領域の画像を提供する位置Ｐ２が定まる。例えば、位置Ｐ０からｘ軸の両方向にΔｚ×ｔａｎ（θ／２）だけ離れた点を、Ｐ１およびＰ２とすることができる。画像処理部１０７は、位置Ｐ１からＰ２までの範囲内に撮像位置を持つ複数の画像を選択して、接近接近画像２５０を生成する。具体的には、画像処理部１０７は、視点Ｐ０'からの複数の視線方向のそれぞれについて、視線方向に一致する方向で撮像された部分領域を持つ画像を、撮像位置に基づいて選択して、当該部分領域を切り出す。そして画像処理部１０７は、切り出した部分画像を、接近画像２５０の対応する画像領域の部分画像として適用する。 When an approach distance Δz that is a distance approaching the subject from the position P0 is given, a position P0 ′ that is a virtual viewpoint is determined. When the viewing angle θ from the position P0 ′ is given, a position P1 that provides an image of the right partial area of the approaching image 250 and a position P2 that provides an image of the left partial area of the approaching image 250. Is determined. For example, points that are separated from the position P0 by Δz × tan (θ / 2) in both directions of the x-axis can be defined as P1 and P2. The image processing unit 107 selects a plurality of images having imaging positions within the range from the positions P1 to P2, and generates the approaching and approaching image 250. Specifically, the image processing unit 107 selects, based on the imaging position, an image having a partial area captured in a direction that matches the line-of-sight direction for each of the plurality of line-of-sight directions from the viewpoint P0 ′. The partial area is cut out. Then, the image processing unit 107 applies the cut-out partial image as a partial image of the corresponding image region of the approach image 250.

図５は、画像から切り出す部分領域の一例を示す。画像処理部１０７は、画像４００の中央の部分画像、画像４１０の右端の部分画像および画像４２０の左端の部分画像を、それぞれ接近画像２５０の中央の画像領域、接近画像２５０の右端の画像領域、接近画像２５０の左端の画像領域の部分画像として適用する。 FIG. 5 shows an example of a partial region cut out from the image. The image processing unit 107 converts the central partial image of the image 400, the partial image at the right end of the image 410, and the partial image at the left end of the image 420 into the central image region of the approaching image 250, the image region at the right end of the approaching image 250, This is applied as a partial image of the image region at the left end of the approach image 250.

画像５００ａ、５１０ａおよび５２０ａは、画像４００、４１０および４２０よりも上方の位置から撮像して得られた画像である。画像５００ａ、５１０ａおよび５２０ａは、接近画像２５０の下方の画像領域の画像として適用される。具体的には、画像処理部１０７は、画像５００ａの中央下端の部分画像、画像５１０ａの右下端の部分画像および画像５２０ａの左下端の部分画像を、それぞれ接近画像２５０の中央下端の画像領域、接近画像２５０の右下端の画像領域、接近画像２５０の左下端の画像領域の部分画像として適用する。 Images 500a, 510a, and 520a are images obtained by imaging from positions above images 400, 410, and 420. The images 500a, 510a, and 520a are applied as images in an image area below the approach image 250. Specifically, the image processing unit 107 converts the partial image at the lower center of the image 500a, the partial image at the lower right of the image 510a, and the partial image at the lower left of the image 520a into an image area at the lower center of the approach image 250, The image is applied as a partial image in the image area at the lower right end of the approach image 250 and the image area at the lower left end of the approach image 250.

画像５００ｂ、５１０ｂおよび５２０ｂは、画像４００、４１０および４２０よりも下方の位置から撮影して得られた画像である。画像５００ｂ、５１０ｂおよび５２０ｂは、接近画像２５０の上方の画像領域の画像として適用される。具体的には、画像処理部１０７は、画像５００ｂの中央上端の部分画像、画像５１０ｂの右上端の部分画像および画像５２０ｂの左上端の部分画像を、それぞれ接近画像２５０の中央上端の画像領域、接近画像２５０の右上端の画像領域、接近画像２５０の左上端の画像領域の部分画像として適用する。 Images 500b, 510b and 520b are images obtained by photographing from positions below images 400, 410 and 420. The images 500b, 510b, and 520b are applied as images in the image area above the approach image 250. Specifically, the image processing unit 107 converts the partial image at the center upper end of the image 500b, the partial image at the upper right end of the image 510b, and the partial image at the upper left end of the image 520b, respectively, The image is applied as a partial image of the upper right image region of the approach image 250 and the upper left image region of the approach image 250.

本図では、複数の画像のうち、中央の画像４００の他に、左端、右端、上端および下端の部分画像を提供する９個の画像を取り上げて、それぞれから切り出した部分画像を接近画像２５０の対応する部分画像として適用することを説明した。画像処理部１０７は、これら９個の画像の他、これらの間の位置から撮像した画像からも同様に部分画像を切り出して、接近画像２５０の対応する部分画像として適用する。 In this figure, among the plurality of images, in addition to the central image 400, nine images providing partial images at the left end, the right end, the upper end, and the lower end are picked up, and the partial images cut out from the respective images are displayed as the approach image 250. It has been explained that the method is applied as a corresponding partial image. In addition to these nine images, the image processing unit 107 similarly cuts out a partial image from an image captured from a position between these, and applies it as a corresponding partial image of the approach image 250.

なお、画像処理部１０７は、被写体に接近した距離に応じて切り出した部分画像を拡大して、接近画像２５０の対応する部分画像として適用してよい。画像処理部１０７は、被写体距離と接近距離とから定まる拡大率に従って、切り出した部分画像を拡大してよい。画像処理部１０７は、画像データから物体像の視差ズレを特定し、視差ズレに基づいて被写体距離を算出してよい。このように、画像処理部１０７は、複数の画像の撮像位置と、画像内の被写体の位置とに基づいて、被写体距離を特定することができる。なお、図３の例では、被写体となる物体２００、遮蔽物３５０および３６０は、互いの近傍に位置する。このような場合、部分領域毎に被写体距離を算出しなくとも、一定の拡大率を適用できる場合がある。 Note that the image processing unit 107 may enlarge the partial image cut out according to the distance approaching the subject and apply it as a corresponding partial image of the approach image 250. The image processing unit 107 may enlarge the cut-out partial image according to an enlargement ratio determined from the subject distance and the approach distance. The image processing unit 107 may identify a parallax shift of the object image from the image data, and calculate the subject distance based on the parallax shift. As described above, the image processing unit 107 can specify the subject distance based on the imaging positions of the plurality of images and the positions of the subjects in the images. In the example of FIG. 3, the object 200 and the shielding objects 350 and 360 that are subjects are located in the vicinity of each other. In such a case, a constant enlargement ratio may be applicable without calculating the subject distance for each partial area.

以上に説明したように、撮像装置１００によれば、撮像位置よりも被写体に接近した位置に自由に視点位置を設定して、その視点位置からの視野を正しく反映した接近画像を生成することができる。 As described above, according to the imaging apparatus 100, it is possible to freely set the viewpoint position at a position closer to the subject than the imaging position and generate an approach image that correctly reflects the field of view from the viewpoint position. it can.

図６は、多視点画像を生成するための視点位置の一例を示す。本図において、位置Ｐ０'は左眼の視点位置に対応し、位置Ｐ０' 'は右眼の視点位置に対応する。例えば、Ｐ０''の位置を、人間の両眼の間隔として予め定められた距離だけＰ０'からｘ方向にシフトした位置に設定する。例えば、Ｐ０''の位置を、Ｐ０'から基線長６５ｍｍだけｘ方向にシフトした位置に設定する。位置Ｐ０'が左眼の視点位置に対応する場合、左眼に提示すべき画像である左眼用画像として接近画像２５０を適用することができる。 FIG. 6 shows an example of viewpoint positions for generating a multi-viewpoint image. In the drawing, the position P0 ′ corresponds to the viewpoint position of the left eye, and the position P0 ′ ′ corresponds to the viewpoint position of the right eye. For example, the position of P0 ″ is set to a position shifted in the x direction from P0 ′ by a predetermined distance as the distance between human eyes. For example, the position of P0 ″ is set to a position shifted in the x direction by a base line length of 65 mm from P0 ′. When the position P0 ′ corresponds to the viewpoint position of the left eye, the approach image 250 can be applied as a left eye image that is an image to be presented to the left eye.

右眼用画像を生成する場合、接近画像２５０と同様に、位置Ｐ０''を視点とする範囲６２０ａ〜６２０ｂに対応する位置Ｐ３およびＰ４を決定する。そして、画像処理部１０７は、位置Ｐ３からＰ４までの範囲内に撮像位置を持つ複数の画像を選択して、右眼用画像を生成する。具体的には、画像処理部１０７は、視点Ｐ０''からの複数の視線方向のそれぞれについて、視線方向に一致する方向で撮像された部分領域を持つ画像を、撮像位置に基づいて選択して、当該部分領域を切り出す。そして画像処理部１０７は、切り出した部分画像を、右眼用画像の対応する画像領域の部分画像として適用する。 When generating the right-eye image, as in the approach image 250, the positions P3 and P4 corresponding to the ranges 620a to 620b with the position P0 ″ as the viewpoint are determined. Then, the image processing unit 107 selects a plurality of images having imaging positions within the range from the positions P3 to P4, and generates an image for the right eye. Specifically, the image processing unit 107 selects, for each of a plurality of gaze directions from the viewpoint P0 ″, an image having a partial region imaged in a direction that matches the gaze direction based on the imaging position. The partial area is cut out. Then, the image processing unit 107 applies the cut-out partial image as a partial image of the corresponding image region of the right-eye image.

表示部１１０は、左眼用画像をユーザの左眼に提示し、右眼用画像をユーザの右眼に提示してよい。例えば表示部１１０は、パララックスバリア方式等を適用して左眼用画像および右眼用画像を表示してよい。 The display unit 110 may present the left-eye image to the user's left eye and the right-eye image to the user's right eye. For example, the display unit 110 may display a left-eye image and a right-eye image by applying a parallax barrier method or the like.

図７は、撮像装置１００が連写撮影する場合の処理フローを示す。本フローは、撮像装置１００の動作モードが、接近画像を生成するための連写撮影モードに設定された場合に、開始される。例えば、動作モードを本連写撮影モードに設定する操作が操作部材１２０になされたことをシステム制御部１１４が検出した場合に、開始される。 FIG. 7 shows a processing flow when the imaging apparatus 100 performs continuous shooting. This flow is started when the operation mode of the imaging apparatus 100 is set to a continuous shooting mode for generating an approach image. For example, it is started when the system control unit 114 detects that the operation member 120 has been operated to set the operation mode to the continuous shooting mode.

ステップＳ７０２において、システム制御部１１４は、連写撮影で適用する撮像条件を設定する。システム制御部１１４は、連写撮影が終了するまで、一定のズーム値、露出値および絞り値で撮影するようレンズ制御部１１３を設定する。また、システム制御部１１４は、一定のホワイトバランス設定で撮像信号を前処理させる。このように、撮像装置１００は、本連写撮影モードに設定されている場合、撮像条件が固定された状態で連写撮影を行う。このため、撮像される画像の明るさ、ぼけ等の条件を均一化することができる。また、システム制御部１１４は、被写界深度が予め定められた値よりも長くなるよう、絞り値を予め定められた値以上に設定してよい。 In step S702, the system control unit 114 sets imaging conditions to be applied in continuous shooting. The system control unit 114 sets the lens control unit 113 to shoot with a constant zoom value, exposure value, and aperture value until continuous shooting is finished. In addition, the system control unit 114 preprocesses the imaging signal with a constant white balance setting. As described above, when the imaging device 100 is set to the continuous shooting mode, the imaging device 100 performs continuous shooting with the imaging condition fixed. For this reason, conditions such as brightness and blur of the image to be captured can be made uniform. In addition, the system control unit 114 may set the aperture value to be equal to or greater than a predetermined value so that the depth of field becomes longer than a predetermined value.

ステップＳ７０４において、システム制御部１１４は連写撮影の開始指示を待って、ステップＳ７０６に処理を進める。例えば、システム制御部１１４は、操作部材１２０の一部としてのレリーズボタンが押し込まれたことを検出した場合に、ステップＳ７０６に処理を進める。 In step S704, the system control unit 114 waits for an instruction to start continuous shooting, and proceeds to step S706. For example, if the system control unit 114 detects that a release button as a part of the operation member 120 has been pressed, the process proceeds to step S706.

ステップＳ７０６において、システム制御部１１４が撮像装置１００の各部を制御して撮影を行う。ステップＳ７０８において、システム制御部１１４は、撮像制御に同期して、加速度センサ１２４で検出された加速度を時間積分して、撮像位置を算出する。具体的には、システム制御部１１４は、ｘｙ面内の加速度に基づいてｘｙ面内の撮像位置を算出してよい。ステップＳ７１０において、システム制御部１１４は、内部メモリ１０８または記録媒体１２２の少なくとも一方に、画像データを撮像位置に対応づけて記録する。 In step S <b> 706, the system control unit 114 controls each unit of the imaging apparatus 100 to perform shooting. In step S708, the system control unit 114 calculates the imaging position by time-integrating the acceleration detected by the acceleration sensor 124 in synchronization with the imaging control. Specifically, the system control unit 114 may calculate the imaging position in the xy plane based on the acceleration in the xy plane. In step S710, the system control unit 114 records the image data in association with the imaging position in at least one of the internal memory 108 and the recording medium 122.

ステップＳ７１２において、システム制御部１１４は、連写撮影を終了するか否かを判断する。例えば、システム制御部１１４は、操作部材１２０に対して連写撮影を停止する旨の操作がなされたことを検出した場合に、連写撮影を終了する旨を判断する。なお、システム制御部１１４は、撮像装置１００の移動が終了したことを検出した場合に、連写撮影を終了する旨を判断してもよい。例えば、撮像装置１００が実質的に静止した状態が予め定められた期間続いた場合に、連写撮影を終了する旨を判断してもよい。システム制御部１１４は、撮像装置１００の加速度が予め定められた閾値より小さく、かつ、加速度の時間積分値が予め定められた閾値より小さい場合に、撮像装置１００が実質的に静止した状態にあると判断してよい。 In step S712, the system control unit 114 determines whether or not to end continuous shooting. For example, when the system control unit 114 detects that the operation member 120 has been operated to stop the continuous shooting, the system control unit 114 determines to end the continuous shooting. Note that the system control unit 114 may determine that the continuous shooting is to be ended when it is detected that the movement of the imaging device 100 has ended. For example, it may be determined that the continuous shooting is to be terminated when the imaging device 100 is substantially stationary for a predetermined period. The system control unit 114 is in a state where the imaging apparatus 100 is substantially stationary when the acceleration of the imaging apparatus 100 is smaller than a predetermined threshold and the time integral value of acceleration is smaller than the predetermined threshold. You may judge.

連写撮影を終了しないと判断した場合には、ステップＳ７０６に処理を進めて、次の画像を撮像する。連写撮影を終了すると判断した場合には、ステップＳ７１４に処理を進める。すなわち、連写撮影を終了する旨が判断されるまで、連続して被写体を撮像することにより、連写撮影を行う。 If it is determined not to end the continuous shooting, the process proceeds to step S706 to capture the next image. If it is determined that continuous shooting is to be terminated, the process proceeds to step S714. That is, the continuous shooting is performed by continuously capturing the subject until it is determined that the continuous shooting is to be ended.

ステップＳ７１４において、撮像装置１００は、全体画像を生成して表示する。例えば、画像処理部１０７は、連写撮影で得た複数の画像の画像データから、１つのパノラマ画像の画像データを生成する。具体的には、画像処理部１０７は、テンプレートマッチング処理等により、複数の画像内に同一の被写体が写り込んでいる領域を特定する。そして、画像処理部１０７は、被写体像を繋ぎ合わせることにより、パノラマ画像の画像データを生成する。そして、表示部１１０が、生成したパノラマ画像の画像データを表示する。 In step S714, the imaging apparatus 100 generates and displays an entire image. For example, the image processing unit 107 generates image data of one panoramic image from image data of a plurality of images obtained by continuous shooting. Specifically, the image processing unit 107 identifies an area where the same subject is reflected in a plurality of images by template matching processing or the like. Then, the image processing unit 107 generates panoramic image data by joining the subject images. Then, the display unit 110 displays the generated panoramic image image data.

続いて、ステップＳ７１６において、接近画像を生成して表示する。接近画像を生成するフローについては、図９に関連して説明する。 Subsequently, in step S716, an approach image is generated and displayed. The flow for generating the approach image will be described with reference to FIG.

図８は、全体画像の表示例を示す。表示部１１０は、パノラマ画像８００とともに、接近可能距離を示す文字８１０を表示する。接近可能距離は、視点位置を被写体に接近させることができる最大の距離を示す。接近可能距離は、連写撮影で得た各画像の撮像位置に基づいて算出することができる。図３等に関連して説明したように、位置Ｐ０'を視点とする接近画像を生成するためには、Ｐ０から離れた位置Ｐ１、Ｐ２等から撮像した画像を用いる。したがって、連写撮影時に撮像装置１００を大きく移動させるほど、被写体のより近くに視点位置を設定することが可能になる。システム制御部１１４は、連写撮影で得た各画像の撮像位置に基づいて接近可能距離を算出して、接近可能距離を示す文字８１０を表示部１１０に表示させる。 FIG. 8 shows a display example of the entire image. The display unit 110 displays a character 810 indicating the accessible distance together with the panoramic image 800. The approachable distance indicates the maximum distance at which the viewpoint position can approach the subject. The accessible distance can be calculated based on the imaging position of each image obtained by continuous shooting. As described with reference to FIG. 3 and the like, in order to generate an approach image with the position P0 ′ as a viewpoint, images captured from positions P1, P2, and the like away from P0 are used. Therefore, the larger the image capturing apparatus 100 is moved during continuous shooting, the closer the viewpoint position can be set to the subject. The system control unit 114 calculates an approachable distance based on the imaging position of each image obtained by continuous shooting, and causes the display unit 110 to display characters 810 indicating the approachable distance.

撮像装置１００は、操作部材１２０の一部としての操作ダイヤル８５０を介して、視点位置を設定する指示を受け付ける。具体的には、システム制御部１１４は、ｘｙ面内の位置の設定と、ｚ方向の位置の設定とを、操作ダイヤル８５０を介して受け付ける。例えば、操作ダイヤル８５０は、予め定められた上下左右の４つのキー位置のいずれかを押し込むことが可能な４方向キーとして機能する。システム制御部１１４は、操作ダイヤル８５０に対して押し込み操作されたキー位置を検出することで、対応する方向にｘｙ面内の視点位置をシフトする指示を受け付ける。例えば、左右方向のキー位置がｘ方向の移動に対応し、上下方向のキー位置がｙ方向の移動に対応する場合、左方向のキー位置が押し込まれたときは、画面の左方向に予め定められた量だけ視点位置を移動させ、上方向のキー位置が押し込まれた場合、画面の上方向に予め定められた量だけ視点位置を移動させる旨を検出する。画像処理部１０７は、設定された視点位置が画像領域の中央に位置するよう、指定された量だけパノラマ画像８００をシフトさせる。 The imaging apparatus 100 receives an instruction to set the viewpoint position via the operation dial 850 as a part of the operation member 120. Specifically, the system control unit 114 receives the setting of the position in the xy plane and the setting of the position in the z direction via the operation dial 850. For example, the operation dial 850 functions as a four-way key that can push in any one of four predetermined key positions of up, down, left, and right. The system control unit 114 receives an instruction to shift the viewpoint position in the xy plane in the corresponding direction by detecting the key position pressed against the operation dial 850. For example, when the left / right key position corresponds to movement in the x direction and the up / down key position corresponds to movement in the y direction, when the left key position is pressed, it is predetermined in the left direction of the screen. When the viewpoint position is moved by a predetermined amount and the upward key position is pressed, it is detected that the viewpoint position is moved by a predetermined amount in the upward direction of the screen. The image processing unit 107 shifts the panoramic image 800 by a specified amount so that the set viewpoint position is located at the center of the image area.

また、操作部材１２０の一部としての操作ダイヤル８５０を回転させることにより、被写体に近づく距離を設定する。例えば、システム制御部１１４は、操作ダイヤル８５０が時計回りに回転された場合に、回転量に応じた距離だけ被写体に近い位置に、視点位置を設定する。したがって、操作ダイヤル８５０を時計回りに回転させることで、視点位置を被写体に近づけることができ、操作ダイヤル８５０を反時計回りに回転させることで、視点位置を被写体から遠ざけることができる。すなわち、ユーザは、操作ダイヤル８５０の回転を調節することで、被写体に接近した距離を調節することができる。システム制御部１１４は、操作ダイヤル８５０の回転量に基づいて接近距離Δｚを算出して、当該距離を示す文字８２０を表示する。 Further, by rotating the operation dial 850 as a part of the operation member 120, the distance approaching the subject is set. For example, when the operation dial 850 is rotated clockwise, the system control unit 114 sets the viewpoint position at a position close to the subject by a distance corresponding to the rotation amount. Therefore, the viewpoint position can be brought closer to the subject by rotating the operation dial 850 clockwise, and the viewpoint position can be moved away from the subject by rotating the operation dial 850 counterclockwise. That is, the user can adjust the distance approaching the subject by adjusting the rotation of the operation dial 850. The system control unit 114 calculates the approach distance Δz based on the rotation amount of the operation dial 850 and displays a character 820 indicating the distance.

図９は、接近画像を生成するフローの一例を示す。ステップＳ９０２において、システム制御部１１４はｘｙ面内の視点位置を取得する。具体的には、図８に関連して説明したように、システム制御部１１４は、４方向キーとして機能する操作ダイヤル８５０を介して、ｘｙ面内の視点位置を設定する指示を取得する。 FIG. 9 shows an example of a flow for generating an approach image. In step S902, the system control unit 114 acquires the viewpoint position in the xy plane. Specifically, as described with reference to FIG. 8, the system control unit 114 acquires an instruction to set the viewpoint position in the xy plane via the operation dial 850 that functions as a four-way key.

ステップＳ９０４において、ｚ方向の接近距離を取得する。図８に関連して説明したように、システム制御部１１４は、ダイヤルキーとして機能する操作ダイヤル８５０を介して、ｚ方向の視点位置を設定する指示を取得する。具体的には、システム制御部１１４は、操作ダイヤル８５０の回転量に基づいて接近距離Δｚを算出する。 In step S904, the approach distance in the z direction is acquired. As described with reference to FIG. 8, the system control unit 114 acquires an instruction to set the viewpoint position in the z direction via the operation dial 850 that functions as a dial key. Specifically, system control unit 114 calculates approach distance Δz based on the rotation amount of operation dial 850.

ステップＳ９０６において、画像処理部１０７は、ｘｙ面内の視点位置および接近距離Δｚ、ならびに画像の撮像位置に基づいて、複数の画像の中から、接近画像を生成するのに用いる画像データを選択する。例えば、図３の例では、位置Ｐ１〜Ｐ２の範囲に撮像位置を持つ画像を選択する。そして、ステップＳ９０８において、画像処理部１０７は、選択した複数の画像のそれぞれについて、いずれの部分領域を接近画像の部分領域に適用するかを各画像の撮像位置に基づいて設定する。 In step S906, the image processing unit 107 selects image data used to generate an approach image from a plurality of images based on the viewpoint position and approach distance Δz in the xy plane, and the imaging position of the image. . For example, in the example of FIG. 3, an image having an imaging position in the range of the positions P1 and P2 is selected. In step S908, the image processing unit 107 sets which partial area to apply to the partial area of the approach image for each of the selected plurality of images based on the imaging position of each image.

続いて、ステップＳ９１０において、画像処理部１０７は、選択した複数の画像のそれぞれから部分領域を切り出す。ステップＳ９１２において、画像処理部１０７は、切り出した部分領域の画像を、接近画像の対応する画像領域の画像として適用する。例えば、図４、５等に関連して説明したように、切り出した部分画像の画像データを、接近画像において視線方向が対応する画像領域の画像データとして適用する。これにより、接近画像の画像データが内部メモリ１０８内に生成される。なお、接近画像として立体視用の画像を生成する場合、ステップＳ９０６からステップＳ９１２の処理を、左眼用画像および右眼用画像をそれぞれ生成すべく適用してよい。 Subsequently, in step S910, the image processing unit 107 cuts out a partial region from each of the selected plurality of images. In step S <b> 912, the image processing unit 107 applies the clipped partial region image as the image of the corresponding image region of the approach image. For example, as described with reference to FIGS. 4 and 5 and the like, the image data of the cut out partial image is applied as image data of an image region corresponding to the line-of-sight direction in the approach image. Thereby, image data of the approach image is generated in the internal memory 108. When a stereoscopic image is generated as the approach image, the processing from step S906 to step S912 may be applied to generate a left eye image and a right eye image, respectively.

ステップＳ９１４において、システム制御部１１４は、接近画像の画像データを表示部１１０に表示させて、処理を終了する。 In step S914, the system control unit 114 displays the image data of the approach image on the display unit 110, and ends the process.

以上に説明したように、撮像装置１００は、異なる位置で撮像された複数の画像の画像データを取得した場合に、複数の画像の撮像位置とは異なる位置に、視点位置を設定する。そして、撮像装置１００は、当該位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、当該視点位置を視点とする画像を生成することができる。以上の説明において、撮像装置１００の動作を分かり易く説明すべく、撮像装置１００の画角を固定とした。しかし、画角は可変でもよい。画角が可変である場合、画角を考慮して接近画像を生成してよい。すなわち、撮像装置１００は、複数の画像が撮像された画角、撮像位置の位置関係および視点位置に基づいて、複数の画像のそれぞれから選択すべき部分領域の位置を特定して、特定した位置の部分領域の画像データを用いて、視点位置を視点とする画像を生成する。具体的には、撮像装置１００は、複数の画像が撮像された画角、視点位置を視点とする画像の画角、位置関係および視点位置に基づいて、複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、視点位置を視点とする画像を生成する。 As described above, when the image capturing apparatus 100 acquires image data of a plurality of images captured at different positions, the image capturing apparatus 100 sets the viewpoint position at a position different from the image capturing positions of the plurality of images. And the imaging device 100 can generate | occur | produce the image which makes the said viewpoint position a viewpoint using the image data of the several partial area | region each selected from the several image based on the said positional relationship and viewpoint position. In the above description, the angle of view of the imaging device 100 is fixed in order to easily explain the operation of the imaging device 100. However, the angle of view may be variable. When the angle of view is variable, the approach image may be generated in consideration of the angle of view. That is, the imaging apparatus 100 specifies the position of the partial region to be selected from each of the plurality of images based on the angle of view at which the plurality of images are captured, the positional relationship between the imaging positions, and the viewpoint position, and specifies the specified position. An image having the viewpoint position as the viewpoint is generated using the image data of the partial area. Specifically, the imaging apparatus 100 selects a portion to be selected from each of the plurality of images based on the angle of view in which the plurality of images are captured, the angle of view of the image with the viewpoint position as the viewpoint, the positional relationship, and the viewpoint position. The position of the area is specified, and an image having the viewpoint position as the viewpoint is generated using the image data of the partial area at the specified position.

なお、以上の説明では、多視点画像の一例として、例えば立体視用の左眼用画像および右眼用画像を生成するとした。しかし、撮像装置１００による多視点画像は、立体視用途に限らず、計測用途、観測用途等、種々の用途に適用できる。例えば、衛星から撮影した複数の画像から、例えば観測用途としての多視点画像を生成する場面に適用できる。 In the above description, as an example of a multi-viewpoint image, for example, a left-eye image and a right-eye image for stereoscopic viewing are generated. However, the multi-viewpoint image by the imaging device 100 can be applied to various uses such as a measurement use and an observation use as well as a stereoscopic use. For example, the present invention can be applied to a scene in which a multi-viewpoint image is used as an observation application from a plurality of images taken from a satellite.

本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばシステム制御部１１４等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。 The processing described in relation to the imaging apparatus 100 of the present embodiment can be realized by causing each unit of the imaging apparatus 100, for example, the system control unit 114 or the like to operate according to a program. That is, the process can be realized by a so-called computer device. The computer device may load a program for controlling the execution of the above-described process, operate according to the read program, and execute the process. The computer device can load the program by reading a computer-readable recording medium storing the program.

本実施形態において、撮像装置１００を取り上げて、画像処理装置の一例としての動作を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有する人工衛星等、撮像機能を有する機器を適用の対象とすることができる。しかし、画像処理装置は、パーソナルコンピュータ、テレビ、ビデオ、デジタルフォトフレーム、ゲーム機器等の娯楽装置等の電子機器として実現されてよい。 In this embodiment, the imaging apparatus 100 is taken up and the operation as an example of the image processing apparatus has been described. Examples of the imaging device include an interchangeable lens single-lens reflex camera, a compact digital camera, a mirrorless single-lens camera, a video camera, a mobile phone with an imaging function, a portable information terminal with an imaging function, and a game machine with an imaging function. A device having an imaging function, such as an artificial satellite having an imaging function, can be applied. However, the image processing apparatus may be realized as an electronic device such as a personal computer, a television, a video, a digital photo frame, an entertainment device such as a game device.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１００撮像装置、１０１光学系、１０２シャッタ、１０３撮像素子、１０５Ａ／Ｄ変換器、１０６メモリ制御部、１０７画像処理部、１０８内部メモリ、１０９表示制御部、１１０表示部、１１１記録媒体ＩＦ、１１２タイミング発生部、１１３レンズ制御部、１１４システム制御部、１２０操作部材、１２２記録媒体、１２４加速度センサ、２００物体、４００、４１０、４２０、５００、５１０、５２０画像、２５０接近画像、３１０、６２０範囲、３５０遮蔽物、４０２、４１２、４２２部分領域、８５０操作ダイヤル、８００パノラマ画像、８１０、８２０文字 DESCRIPTION OF SYMBOLS 100 Imaging device 101 Optical system 102 Shutter 103 Image sensor 105 A / D converter 106 Memory control part 107 Image processing part 108 Internal memory 109 Display control part 110 Display part 111 Recording medium IF 112 timing generation unit, 113 lens control unit, 114 system control unit, 120 operation member, 122 recording medium, 124 acceleration sensor, 200 object, 400, 410, 420, 500, 510, 520 image, 250 approach image, 310, 620 Range, 350 Shield, 402, 412, 422 Partial area, 850 Operation dial, 800 Panorama image, 810, 820 characters

Claims

異なる位置で撮像された複数の画像の画像データを取得する画像データ取得部と、
前記複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部と、
前記複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定部と、
前記位置関係および前記視点位置に基づいて前記複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する画像生成部と
を備える画像処理装置。 An image data acquisition unit that acquires image data of a plurality of images captured at different positions;
A positional relationship acquisition unit that acquires a relative positional relationship of imaging positions of the plurality of images;
A viewpoint position setting unit that sets a viewpoint position at a position different from the imaging positions of the plurality of images;
An image processing apparatus comprising: an image generation unit configured to generate an image with the viewpoint position as a viewpoint, using image data of a plurality of partial areas respectively selected from the plurality of images based on the positional relationship and the viewpoint position.

前記画像生成部は、前記複数の画像が撮像された画角、前記位置関係および前記視点位置に基づいて、前記複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する
請求項１に記載の画像処理装置。 The image generation unit specifies a position of a partial region to be selected from each of the plurality of images based on an angle of view at which the plurality of images are captured, the positional relationship, and the viewpoint position. The image processing apparatus according to claim 1, wherein an image having the viewpoint position as a viewpoint is generated using image data of a partial area.

前記画像生成部は、前記複数の画像が撮像された画角、前記視点位置を視点とする画像の画角、前記位置関係および前記視点位置に基づいて、前記複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する
請求項２に記載の画像処理装置。 The image generation unit should select from each of the plurality of images based on an angle of view at which the plurality of images are captured, an angle of view of an image with the viewpoint position as a viewpoint, the positional relationship, and the viewpoint position. The image processing apparatus according to claim 2, wherein a position of the partial area is specified, and an image having the viewpoint position as a viewpoint is generated using image data of the partial area at the specified position.

前記視点位置設定部は、前記複数の画像の撮像位置よりも被写体に近い視点位置を設定する
請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the viewpoint position setting unit sets a viewpoint position that is closer to the subject than the imaging positions of the plurality of images.

前記視点位置設定部は、前記複数の画像の撮像位置から被写体に接近すべき距離を示す距離情報をユーザから取得し、取得した距離情報に基づいて、前記複数の画像の撮像位置よりも被写体に近い視点位置を設定する
請求項４に記載の画像処理装置。 The viewpoint position setting unit acquires distance information indicating a distance from the imaging positions of the plurality of images to the subject from the user, and based on the acquired distance information, the viewpoint position setting unit sets the subject more than the imaging positions of the multiple images The image processing apparatus according to claim 4, wherein a near viewpoint position is set.

前記複数の画像の撮像位置と、画像内の被写体の位置とに基づいて、前記被写体までの距離である被写体距離を特定する距離取得部
をさらに備え、
前記画像生成部は、前記被写体距離および前記接近すべき距離に基づいて、前記視点位置を視点とする画像を生成する
請求項５に記載の画像処理装置。 A distance acquisition unit that identifies a subject distance, which is a distance to the subject, based on the imaging positions of the plurality of images and the position of the subject in the image;
The image processing apparatus according to claim 5, wherein the image generation unit generates an image having the viewpoint position as a viewpoint based on the subject distance and the distance to be approached.

請求項１から６のいずれか一項に記載の画像処理装置と、
前記複数の画像を撮像する撮像部と
を備える撮像装置。 The image processing apparatus according to any one of claims 1 to 6,
An imaging apparatus comprising: an imaging unit that captures the plurality of images.

前記撮像部が前記複数の画像を撮像した位置を検出する位置検出部
をさらに備え、
前記位置関係取得部は、前記位置検出部が検出した位置に基づいて、前記相対的な位置関係を取得する
請求項７に記載の撮像装置。 A position detection unit that detects a position at which the imaging unit images the plurality of images;
The imaging apparatus according to claim 7, wherein the positional relationship acquisition unit acquires the relative positional relationship based on the position detected by the position detection unit.

前記撮像部は、予め定められた値よりも大きい絞りで撮像する
請求項７または８に記載の撮像装置。 The imaging device according to claim 7 or 8, wherein the imaging unit captures an image with an aperture larger than a predetermined value.

前記撮像部は、撮像条件を変化させずに前記複数の画像を撮像する
請求項７から９のいずれか一項に記載の撮像装置。 The imaging device according to any one of claims 7 to 9, wherein the imaging unit captures the plurality of images without changing imaging conditions.

前記撮像部は、ズーム値を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。 The imaging device according to claim 10, wherein the imaging unit captures the plurality of images without changing a zoom value.

前記撮像部は、露出設定を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。 The imaging device according to claim 10, wherein the imaging unit captures the plurality of images without changing an exposure setting.

前記撮像部は、ホワイトバランス設定を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。 The imaging device according to claim 10, wherein the imaging unit captures the plurality of images without changing a white balance setting.

異なる位置で撮像された複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得ステップと、
前記複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定ステップと、
前記位置関係および前記視点位置に基づいて前記複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する画像生成ステップと
をコンピュータに実行させるプログラム。 An image data acquisition step of acquiring image data of a plurality of images taken at different positions;
A positional relationship acquisition step of acquiring a relative positional relationship of imaging positions of the plurality of images;
A viewpoint position setting step of setting a viewpoint position at a position different from the imaging positions of the plurality of images;
A program for causing a computer to execute an image generation step of generating an image having the viewpoint position as a viewpoint, using image data of a plurality of partial areas respectively selected from the plurality of images based on the positional relationship and the viewpoint position .