JP5929037B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5929037B2 JP5929037B2 JP2011178206A JP2011178206A JP5929037B2 JP 5929037 B2 JP5929037 B2 JP 5929037B2 JP 2011178206 A JP2011178206 A JP 2011178206A JP 2011178206 A JP2011178206 A JP 2011178206A JP 5929037 B2 JP5929037 B2 JP 5929037B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- imaging
- main
- distance map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Input (AREA)
Description
本発明は、立体画像を撮像することができる撮像装置に関するものである。 The present invention relates to an imaging apparatus that can capture a stereoscopic image.
立体画像を撮像することができる撮像装置において、いつかの撮像方式が知られている。例えば、2つの撮像光学系を備え、各撮像光学系によって撮像された2つの画像を合成することで、立体画像を生成する撮像装置が知られている(例えば、特許文献1を参照)。または、撮像光学系は1つしか備えないが、この撮像光学系をスライドさせることで擬似的に視差を作り出した2つの画像を撮像し、この2つの画像を合成して立体画像を生成する撮像装置が知られている(例えば、特許文献2を参照)。 Some imaging methods are known in an imaging apparatus capable of capturing a stereoscopic image. For example, an imaging apparatus that includes two imaging optical systems and generates a stereoscopic image by synthesizing two images captured by the imaging optical systems is known (see, for example, Patent Document 1). Alternatively, although there is only one imaging optical system, the imaging optical system captures two images in which a parallax is artificially created by sliding the imaging optical system, and combines the two images to generate a stereoscopic image. An apparatus is known (see, for example, Patent Document 2).
特許文献1の撮像装置のように、2つ撮像光学系を備えるものは、小型化に困難性を有するものとなる。また、特許文献2の撮像装置のように、撮像光学系をスライドさせるものは、従来から知られている撮像操作と異なる特殊な操作(撮像光学系のスライド操作)を行う必要が生じるため、撮像操作に困難性を有するものとなる。 A device including two image pickup optical systems, such as the image pickup device of Patent Document 1, has difficulty in downsizing. In addition, a device that slides the imaging optical system, such as the imaging device disclosed in Patent Document 2, requires a special operation (sliding operation of the imaging optical system) that is different from the conventionally known imaging operation. It becomes difficult to operate.
本発明は上記の課題に鑑みてなされたものであって、主撮像光学系と副撮像光学系とを備えた撮像装置であって、副撮像光学系によって取得される画像データを活用することで、主撮像光学系において撮像された2次元画像から、3次元画像を生成して記録することができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and is an imaging apparatus including a main imaging optical system and a sub imaging optical system, by utilizing image data acquired by the sub imaging optical system. An object of the present invention is to provide an imaging apparatus capable of generating and recording a three-dimensional image from a two-dimensional image captured by a main imaging optical system.
ズームレンズを含む撮像レンズを用いて主画像を撮像する撮像装置であって、複数の測距光学系を用いて被写体までの距離を算出し距離マップ画像を生成する距離マップ画像生成手段と、前記主画像と前記距離マップ画像の画像特徴量をそれぞれ算出し、算出した画像特徴量を用いて、前記主画像に前記距離マップ画像が有する前記距離を関連づけた奥行き情報画像を生成する奥行き情報画像生成手段と、前記ズームレンズが望遠位置にあるときに、前記主画像と前記距離マッピング画像とを比較し、前記主画像に含まれていない画像領域に前記距離マップ画像で補完した補完画像を生成する補完画像生成手段と、前記奥行き情報画像から3次元視差画像を生成する立体画像生成手段と、を有し、前記主画像が撮像されたときに前記3次元視差画像を生成して記録する、ことを特徴とする。 An image pickup apparatus that picks up a main image using an image pickup lens including a zoom lens, the distance map image generating means for calculating a distance to a subject using a plurality of distance measuring optical systems and generating a distance map image; and Depth information image generation that calculates image feature amounts of the main image and the distance map image, and generates a depth information image in which the distance of the distance map image is associated with the main image using the calculated image feature amount When the zoom lens is at a telephoto position, the main image and the distance mapping image are compared, and a complementary image supplemented with the distance map image is generated in an image area not included in the main image. It has a complementary image generation unit, a three-dimensional image generation means for generating a three-dimensional parallax images from the depth information images, the said three dimensional viewing when the main image is captured It generates and records an image, characterized in that.
本発明によれば、小型化が容易であり、従来の撮像操作と同じ撮像操作によって立体画像の撮像をすることができる。また、本発明によれば、主撮像光学系が望遠撮影を行っても立体画像を撮像することができる。 According to the present invention, downsizing is easy, and a stereoscopic image can be captured by the same imaging operation as a conventional imaging operation. Further, according to the present invention, a stereoscopic image can be captured even when the main imaging optical system performs telephoto shooting.
以下、本発明に係る撮像装置の実施形態について図面を用いながら説明する。図1は、本発明に係る撮像装置の実施形態を示す外観斜視図である。図1において、撮像装置1は、撮像レンズを含む主撮像光学系10と、測距レンズを含む測距光学系20を筐体の正面に有し、筐体の上面にはレリーズボタン30を有してなる。
Hereinafter, embodiments of an imaging apparatus according to the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view showing an embodiment of an imaging apparatus according to the present invention. In FIG. 1, an imaging apparatus 1 has a main imaging
次に、撮像装置1の機能ブロックについて図2を用いて説明する。図2において、撮像装置1は、主撮像光学系10と、測距光学系20と、2次元画像獲得部42と、距離マップ獲得部43と、画像特徴量算出部44と、立体情報合成部45と、画像記録部46と、前記各部の処理においてワークエリアの働きをするRAM47と、撮像装置1の動作に係る制御を行うCPU48と、を有してなる。
Next, functional blocks of the imaging apparatus 1 will be described with reference to FIG. 2, the imaging apparatus 1 includes a main imaging
主撮像光学系10は、撮像レンズ11と主撮像素子110を有してなる。撮像レンズ11は、主撮像素子110の受光面に被写体像を結像させるレンズである。主撮像素子110は、2次元に配列された受光素子からなる受光面を有し、この受光面に撮像レンズ11を介して結像された被写体像に応じて画像信号(主画像信号)を出力する。
The main imaging
測距光学系20は、所定の間隔をもって配置された測距レンズ21および測距レンズ22と、測距レンズ21に対向して配置される副撮像素子210と、測距レンズ22に対向して配置される副撮像素子220と、を有してなる。測距レンズ21は、副撮像素子210の受光面に被写体像を結像させるレンズであり、測距レンズ22は、副撮像素子220の受光面に被写体像を結像させるレンズである。副撮像素子210と副撮像素子220は、それぞれ2次元に配列された受光素子からなる受光面を有してなる。副撮像素子210と副撮像素子220は、それぞれの受光面に結像された被写体像に応じた画像信号(副画像信号)を出力する。各副撮像素子の間隔は、副画像信号によって得られる画像が、後述する距離の算出に必要な視差を確保するために十分な間隔である。
The distance measuring
2次元画像獲得部42は、主画像信号に対する信号処理を行って、2次元の被写体画像である主画像を獲得する(主画像を撮像する)手段を有してなる。
The two-dimensional
距離マップ獲得部43は、副画像信号に対して信号処理を行い、被写体までの距離を算出し、この算出された距離に基づいて、2次元の距離マップ画像を獲得する(生成する)手段を有してなる。
The distance
測距光学系20が有する2つの副撮像素子210と副撮像素子220は、測距レンズ21および測距レンズ22の光軸の乖離に合わせて、所定の間隔をあけて配置されており、各受光面は同一直線上に配置されている。図3に示すように、各副撮像素子210と副撮像素子220の受光面までの距離が異なる2つの被写体である、被写体81と被写体82が副撮像素子210の受光面に結像する位置と、副撮像素子220の受光面に結像する位置は、それぞれ異なる。距離マップ獲得部43は、この2つの副撮像素子における結像位置の差を用いて三角測量を行い、各被写体までの距離を算出する。
The two
ここで、測距光学系20を介して得た画像から距離マップ画像を生成する方法について説明をする。図4は、副撮像素子210の受光面210aに設定される複数の測距エリア60を模式的に表した図である。図4において、受光面210aは、受光面210aを縦5列と横5列に分割した25の測距エリア60が設定されている。
Here, a method for generating a distance map image from an image obtained via the distance measuring
この測距エリア60毎に、上記にて説明をした三角測量を用いた距離の算出を行う。測距エリア60毎に算出された距離を、2次元で分布させたものを距離マップ画像という。距離マップ画像の例を図5に示す。図5に示した各測距エリア60内の数字は、測距エリア60毎に算出された距離の逆数を例示している。すなわち、図5において、数字が大きい測距エリア60ほど測距対象(被写体)までの距離が近いことを表している。距離の逆数を用いることで、距離が算出できないとき(距離が「0」とされたとき)であっても、演算処理を行うことができる。
For each
図2に戻る。画像特徴量算出部44は、主撮像光学系10によって獲得された主画像と測距光学系20によって獲得された距離マップ画像の画像特徴量を算出する。
Returning to FIG. The image feature
立体情報合成部45は、画像特徴量算出部44によって算出された各画像特徴量を用いて主画像と距離マップ画像が有する距離を関連づけた2次元奥行き情報画像を生成し、この2次元奥行き情報画像から3次元視差画像である立体画像を生成する。
The three-dimensional
画像記録部46は、立体情報合成部45において生成された立体画像を記録する手段である。画像記録部46は例えば、撮像装置1が備える外部記憶装置である。なお、画像記録部46は、主撮像光学系10によって獲得された主画像も記録する。
The
次に本発明に係る撮像装置において実行される撮像処理の実施例について、図6のフローチャートを用いて説明する。図6において、各処理ステップはS101、S102・・のように表記する。撮像装置1は、測距光学系20によって、動作中は常に被写体までの距離を算出する。算出された距離は、主撮像光学系10のフォーカス調整のための情報となる(S101)。撮像装置1は、ユーザによってレリーズボタン30が押されるまで(S102のNO)、処理S101を繰り返す。
Next, an example of an imaging process executed in the imaging apparatus according to the present invention will be described with reference to the flowchart of FIG. In FIG. 6, each processing step is expressed as S101, S102,. The imaging apparatus 1 always calculates the distance to the subject by the distance measuring
ユーザによってレリーズボタン30が押されると(S102のYES)、撮像装置1は、主撮像光学系10の撮像レンズ11を介して主撮像素子110の受光面に結像された被写体像から2次元画像(主画像)を獲得する(S103)。また、レリーズボタン30が押されたことを受けて(S102のYES)、S101で得られた測距結果から距離マップ画像を生成する(S104)。
When the
続いて、画像特徴量算出部44が、主画像の画像特徴量と、距離マップ画像の画像特徴量を算出する(S105)。続いて、立体情報合成部45が、それぞれの画像特徴量を用いて、主画像と距離マップ画像の画像ブロックを対応させて、主画像の各画像ブロックに対して、距離マップ画像の各画像ブロックの距離を関連づける処理(マッピング処理)を行い、2次元奥行き情報画像を生成する(S106)。
Subsequently, the image feature
続いて撮像装置1は、生成された2次元奥行き情報画像から立体画像を生成して、画像記録部46に記録する(S107)。 Subsequently, the imaging device 1 generates a stereoscopic image from the generated two-dimensional depth information image and records it in the image recording unit 46 (S107).
以上のように本実施例に係る撮像装置1は、撮像光学系を複数備えなくても、撮像光学系によって撮像された主画像に対し、撮像光学系の合焦に用いる被写体までの距離を算出する測距光学系が取得する副画像を用いて、主画像に対して奥行き情報を与えて、この奥行き情報が関連づけられた主画像から立体画像の生成をすることができる。 As described above, the imaging apparatus 1 according to the present embodiment calculates the distance to the subject used for focusing of the imaging optical system with respect to the main image captured by the imaging optical system, even if a plurality of imaging optical systems are not provided. Using the sub-image acquired by the ranging optical system, depth information can be given to the main image, and a stereoscopic image can be generated from the main image associated with the depth information.
ここで、撮像装置1が実行する上記立体画像の生成処理フローについて、図7のイメージ図を用いて説明する。図7において、符号30は主画像の例を示している。また、符号31は距離マップ画像の例を示している。主画像30は、当該画像に含まれる各被写体の奥行方向に関する情報が含まれておらず、2次元画像データである。副撮像素子210と副撮像素子220によって得られた被写体までの距離を用いて生成された距離マップ画像31は、主画像に含まれる各被写体の画像に対して、距離に係る情報を有している画像である。
Here, the above-described stereoscopic image generation processing flow executed by the imaging apparatus 1 will be described with reference to the image diagram of FIG. In FIG. 7,
主画像30と距離マップ画像31の解像度は異なり、主画像30の解像度の方が高いから、この主画像30と距離マップ画像31のSIFT特徴などに代表される画像特徴量を算出し、主画像30に含まれる画像ブロックと、距離マップ画像31に含まれる画像ブロックを対応させて、主画像30に含まれる各画像ブロックに対して距離マップ画像31に含まれる距離に係る情報を関連づける処理(マッピング処理)を行う(図6のS106)。
Since the resolution of the
このマッピング処理(図6のS106)によって、2次元画像データである主画像に奥行き方向に関する情報(距離)が付加された2次元奥行き情報画像32が生成される。
By this mapping processing (S106 in FIG. 6), a two-dimensional
この2次元奥行き情報画像32に対して、両眼視差を算出し、左目用画像33と右目用画像34を生成する。つまり、立体画像は、左目用画像33と右目用画像34を有してなる。本実施例においては、主撮像素子110によって獲得された主画像30と、この主画像30と同じサイズの奥行き情報を持った2次元画像をアフィン変換等の幾何変換を用いて、両眼視差画像(立体画像)に変換する。
A binocular parallax is calculated for the two-dimensional
本実施例に係る撮像装置は、主撮像光学系10が有するズームレンズが、望遠端にあっても、ワイド端にあるときと同様の立体画像を生成することができる。図8は、ズームレンズがワイド端にあるときの主撮像光学系10に係る主画像の画角50と、測距光学系20に係る距離マップ画像の画角52の例を示している。図8(a)に示すように、ズームレンズがワイド端にあるときは、主画像の画角50と、距離マップ画像の画角52は同じであり、各画像に含まれる被写体の範囲は同じである。
The imaging apparatus according to the present embodiment can generate the same stereoscopic image as when the zoom lens included in the main imaging
図8(b)は、主撮像光学系10が備えるズームレンズが、ズーム端(望遠端)にあるときの、主画像の画角51と、距離マップ画像の画角52の例を示している。図8(b)に示すように、ズームレンズが望遠端にあるときの主画像の画角51は、ズームレンズがワイド端にあるときの画角50に比べて狭くなる。よって、図8(b)に示すように、ズームレンズが望遠端にあるときは、主画像の画角51と距離マップ画像の画角52は異なり、画角51は画角52に比べて、狭くなる。換言すれば、ズームレンズが望遠端にあるときは、主画像には含まれないが距離マップ画像には含まれる被写体54がある。
FIG. 8B shows an example of the
主画像と距離マップ画像をマッピングするときには、主画像に含まれる画像ブロックと距離マップ画像に含まれる画像ブロックの対応が判定できる状態になければならない。ズームレンズが望遠端にあるとき、主画像と距離マップ画像のマッピングは、主画像と距離マップ画像の画像特徴量を算出することで、ズームレンズが広角側にある場合と同様に行うことができる。即ち、画像中のどの部分がマッチングするかは、画角51内の画像については行うことができ、画角51内の画像については2次元奥行き情報画像を生成することができる。よって、画角51内の画像について立体画像を生成することができる。また、画角51から外れる被写体54も含まれる立体画像をユーザが希望する場合には、画角51から外れる被写体54を、距離マップ画像によって補完する。
When mapping the main image and the distance map image, it is necessary to be able to determine the correspondence between the image block included in the main image and the image block included in the distance map image. When the zoom lens is at the telephoto end, the mapping between the main image and the distance map image can be performed in the same manner as when the zoom lens is on the wide angle side by calculating the image feature amount of the main image and the distance map image. . That is, which part in the image is matched can be performed for the image within the angle of
補完処理は図示しない補完画像生成手段によって実行されて、補完画像が生成される。補完画像生成手段は、ズームレンズが望遠端にあるとき、画角51からなる主画像と、画角52からなる距離マッピング画像とを比較して、画角52内に含まれる画像のうち、画角51に相当する画像領域を特定し、距離マッピング画像に含まれる画像であって、この画像領域からはみ出している画像を、画角51内の画像の周囲に配置して補完画像を生成する。
The complementary processing is executed by a complementary image generation unit (not shown) to generate a complementary image. When the zoom lens is at the telephoto end, the complementary image generating means compares the main image having the angle of
生成された補完画像の画像特徴量を算出し、また、距離マップ画像の画像特徴量を算出して、この2つの画像特徴量を用いて、補完画像に距離マップ画像が有する距離を関連づけた2次元奥行き情報画像を生成する。なお、2次元奥行き情報画像は、画角51内の画像については主画像と距離マップ画像の画像特徴量を算出することで生成して、補完した部分については単に距離マップ画像が有する距離を関連付けることで生成してもよい。生成された2次元奥行き画像から3次元視差画像を生成して、立体画像を生成する。このように、本実施例に係る撮像装置2によれば、ズームレンズが望遠端にある状態で撮像された主画像に対して、奥行き情報を適切に付加することができ、ユーザが希望する場合には画角51から外れる被写体54も含まれる立体画像を生成することができる。
The image feature amount of the generated complementary image is calculated, the image feature amount of the distance map image is calculated, and the two image feature amounts are used to associate the distance of the distance map image with the complementary image 2 A dimension depth information image is generated. The two-dimensional depth information image is generated by calculating the image feature amount of the main image and the distance map image for the image within the angle of
従来の2つの主撮像光学系を利用して立体画像を撮影可能な撮像装置においては、ズーム倍率を高くすると画角が狭くなり、2つの撮像光学系の画角の重なる範囲が狭くなる。これによって、視差が生まれる範囲が狭くなり、場合によっては、画角の重なる範囲が無くなって、視差が生まれる範囲もなくなることもあり得る。視差情報が少ないと被写体への距離情報を十分に得られず立体画像の取得をすることができなくなる。また、仮に、2つの光学系の距離が十分離れて配置されていて、ズームを行っても視差が生じる範囲が十分にあれば、立体画像を取得することはできるが、そのような構成においては、2つの主撮像光学系のズーム位置を正確に同期させる必要が生じる。この点において、本発明に係る撮像装置は、従来の撮像装置の課題を解決しており、ズーム撮影をしても、立体画像を生成することができる。 In an imaging apparatus that can capture a stereoscopic image using two conventional main imaging optical systems, when the zoom magnification is increased, the angle of view becomes narrower, and the overlapping range of the angles of view of the two imaging optical systems becomes narrower. As a result, the range in which the parallax is generated is narrowed, and in some cases, the range in which the angle of view is overlapped is eliminated, and the range in which the parallax is generated may be eliminated. If the parallax information is small, sufficient distance information to the subject cannot be obtained and a stereoscopic image cannot be acquired. In addition, if the distance between the two optical systems is sufficiently separated and there is a sufficient range of parallax even after zooming, a stereoscopic image can be acquired, but in such a configuration, It is necessary to accurately synchronize the zoom positions of the two main imaging optical systems. In this respect, the imaging apparatus according to the present invention solves the problems of the conventional imaging apparatus, and can generate a stereoscopic image even when performing zoom photography.
また、本発明に係る撮像装置は、主撮像光学系10を用いて2次元画像データである主画像を獲得し、この獲得された主画像に対して、距離に係る情報を付加することで立体画像を生成するものである。そのため、この立体画像生成処理において、被写体に係る画像の距離の情報と背景に係る画像の距離の情報の相関を調整することで、3次元強度の調整をすることができる。
In addition, the imaging apparatus according to the present invention acquires a main image that is two-dimensional image data using the main imaging
図9は本実施例に係る撮像装置が生成する立体画像に係る3次元強度の調整処理の例を示すイメージ図である。図9において、横軸は、主画像に含まれる被写体の距離と背景の距離を表している。図9において、被写体に係る画像ブロックを符号71で表し、背景に係る画像ブロックを符号72に表している。
FIG. 9 is an image diagram illustrating an example of a three-dimensional intensity adjustment process related to a stereoscopic image generated by the imaging apparatus according to the present embodiment. In FIG. 9, the horizontal axis represents the distance between the subject and the background included in the main image. In FIG. 9, an image block related to the subject is represented by
図9(a)は、3次元強度を変更していないときの、被写体画像ブロック71と背景画像ブロック72の例を表している。立体画像において、「3次元強度を強くする」とは、前景に当たる被写体画像ブロック71と背景画像ブロック72とが、通常の状態よりも相対的に離れることをいう。被写体画像ブロック71と背景画像ブロック72が離れるということは、被写体画像ブロック71に係る距離と、背景画像ブロック72に係る距離の差が大きくなることを意味する。これによって、画像全体の奥行きが深く感じ取れる画像となる。すなわち、図9(b)に示すように、被写体画像ブロック71と背景画像ブロック72が離れると3次元強度が強くなる。
FIG. 9A shows an example of the
これとは逆に、図9(c)に示すように、被写体画像ブロック71と背景画像ブロック72を近づかせると、「3次元強度を弱くする」ことになる。すなわち、被写体画像ブロック71と背景画像ブロック72に係る距離の差を小さくすれば、3次元強度を弱くすることができる。
On the contrary, as shown in FIG. 9C, when the
3次元強度を強くする調整処理は、例えば、距離マップ画像の生成処理(S104)において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理を行う。さらに、閾値を超えた画像ブロックの距離に対しては、所定の値を加算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を大きくする結果となり、3次元強度を強くすることができる。 In the adjustment process for increasing the three-dimensional intensity, for example, in the distance map image generation process (S104), a process for determining whether or not a predetermined threshold is exceeded with respect to the distance of each image block calculated in the process. Do. Furthermore, a process of adding a predetermined value may be performed for the distance of the image block exceeding the threshold. This series of processing results in a relatively large difference in distance between image blocks, and the three-dimensional intensity can be increased.
また、例えば、距離マップ画像の生成処理(S104)において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えない画像ブロックの距離に対しては、所定の値を減算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を大きくする結果となり、3次元強度を強くすることができる。 Further, for example, in the distance map image generation process (S104), a determination process as to whether or not a predetermined threshold is exceeded with respect to the distance of each image block calculated in the process, and an image block that does not exceed the threshold For the distance, a process of subtracting a predetermined value may be performed. This series of processing results in a relatively large difference in distance between image blocks, and the three-dimensional intensity can be increased.
3次元強度を弱くする調整処理は、3次元強度を強くする調整処理とは逆の処理を行えばよい。例えば、距離マップ画像の生成処理(S104)において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えない画像ブロックの距離に対しては、所定の値を加算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を小さくする結果となり、3次元強度を弱くすることができる。 The adjustment process for weakening the three-dimensional intensity may be performed in reverse to the adjustment process for increasing the three-dimensional intensity. For example, in the distance map image generation process (S104), a determination process as to whether or not a predetermined threshold is exceeded with respect to the distance of each image block calculated in the process, and an image block distance that does not exceed the threshold. On the other hand, a process of adding a predetermined value may be performed. This series of processing results in a relatively small difference in distance between image blocks, and the three-dimensional intensity can be weakened.
また、例えば、距離マップ画像の生成処理(S104)において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えた画像ブロックの距離に対しては、所定の値を減算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を小さくする結果となり、3次元強度を弱くすることができる。 Further, for example, in the distance map image generation process (S104), a determination process for determining whether or not the distance of each image block calculated in the process exceeds a predetermined threshold value, and an image block exceeding the threshold value For the distance, a process of subtracting a predetermined value may be performed. This series of processing results in a relatively small difference in distance between image blocks, and the three-dimensional intensity can be weakened.
以上のように、本発明に係る撮像装置は、測距光学系が取得する距離に係るデータと、主撮像光学系が取得する被写体の画像データを用いて、3次元立体画像を生成することができる。従って、本発明に係る撮像装置においては、主撮像光学系を複数備える必要も、撮影処理時に主撮像光学系をスライドさせるなどの特殊な操作をすることなく、立体画像を得ることができる。 As described above, the imaging apparatus according to the present invention can generate a three-dimensional stereoscopic image using the data related to the distance acquired by the ranging optical system and the image data of the subject acquired by the main imaging optical system. it can. Therefore, in the imaging apparatus according to the present invention, it is necessary to provide a plurality of main imaging optical systems, and a three-dimensional image can be obtained without performing a special operation such as sliding the main imaging optical system during shooting processing.
10 主撮像光学系
20 測距光学系
42 2次元画像獲得部
43 距離マップ獲得部
44 立体情報合成部
45 画像記録部
DESCRIPTION OF
Claims (4)
複数の測距光学系を用いて被写体までの距離を算出し距離マップ画像を生成する距離マップ画像生成手段と、
前記主画像と前記距離マップ画像の画像特徴量をそれぞれ算出し、算出した画像特徴量を用いて、前記主画像に前記距離マップ画像が有する前記距離を関連づけた奥行き情報画像を生成する奥行き情報画像生成手段と、
前記ズームレンズが望遠位置にあるときに、前記主画像と前記距離マッピング画像とを比較し、前記主画像に含まれていない画像領域に前記距離マップ画像で補完した補完画像を生成する補完画像生成手段と、
前記奥行き情報画像から3次元視差画像を生成する立体画像生成手段と、を有し、
前記主画像が撮像されたときに前記3次元視差画像を生成して記録する、
ことを特徴とする撮像装置 An imaging apparatus that captures a main image using an imaging lens including a zoom lens,
Distance map image generation means for calculating a distance to a subject using a plurality of distance measuring optical systems and generating a distance map image;
A depth information image that calculates image feature amounts of the main image and the distance map image, and generates a depth information image that associates the distance of the distance map image with the main image using the calculated image feature amount. Generating means;
Complement image generation for comparing the main image and the distance mapping image when the zoom lens is at a telephoto position, and generating a complementary image supplemented with the distance map image in an image area not included in the main image Means,
Stereoscopic image generation means for generating a three-dimensional parallax image from the depth information image,
Generating and recording the three-dimensional parallax image when the main image is captured;
Imaging device characterized by that
三角測量を用いて前記距離を算出することを特徴とする請求項1記載の撮像装置。 The distance map image generation means includes
The imaging apparatus according to claim 1, wherein the distance is calculated using triangulation.
前記距離に応じたフォーカス位置に、上記フォーカスレンズを移動させるオートフォーカス手段を、有することを特徴とする請求項1記載の撮像装置。 The imaging lens has a focus lens,
The imaging apparatus according to claim 1, further comprising an autofocus unit configured to move the focus lens to a focus position corresponding to the distance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178206A JP5929037B2 (en) | 2011-08-17 | 2011-08-17 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178206A JP5929037B2 (en) | 2011-08-17 | 2011-08-17 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013042379A JP2013042379A (en) | 2013-02-28 |
JP5929037B2 true JP5929037B2 (en) | 2016-06-01 |
Family
ID=47890347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011178206A Active JP5929037B2 (en) | 2011-08-17 | 2011-08-17 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5929037B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6172978B2 (en) * | 2013-03-11 | 2017-08-02 | キヤノン株式会社 | IMAGING DEVICE, IMAGING SYSTEM, SIGNAL PROCESSING DEVICE, PROGRAM, AND STORAGE MEDIUM |
JP6186900B2 (en) | 2013-06-04 | 2017-08-30 | ソニー株式会社 | Solid-state imaging device, electronic device, lens control method, and imaging module |
KR101454780B1 (en) | 2013-06-10 | 2014-10-27 | 한국과학기술연구원 | Apparatus and method for generating texture for three dimensional model |
JP2018148383A (en) | 2017-03-06 | 2018-09-20 | キヤノン株式会社 | Imaging apparatus and imaging unit |
JP6882016B2 (en) | 2017-03-06 | 2021-06-02 | キヤノン株式会社 | Imaging device, imaging system, imaging device control method, and program |
JP6900228B2 (en) * | 2017-04-10 | 2021-07-07 | キヤノン株式会社 | Imaging device, imaging system, imaging device control method, and program |
JP2019168479A (en) * | 2018-03-22 | 2019-10-03 | キヤノン株式会社 | Controller, imaging device, method for control, program, and, and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112019A (en) * | 1998-10-08 | 2000-04-21 | Olympus Optical Co Ltd | Electronic triplet lens camera apparatus |
JP2009071478A (en) * | 2007-09-12 | 2009-04-02 | Sharp Corp | Information communication terminal and information communication system |
WO2011096136A1 (en) * | 2010-02-02 | 2011-08-11 | コニカミノルタホールディングス株式会社 | Simulated image generating device and simulated image generating method |
-
2011
- 2011-08-17 JP JP2011178206A patent/JP5929037B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013042379A (en) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5929037B2 (en) | Imaging device | |
JP4852591B2 (en) | Stereoscopic image processing apparatus, method, recording medium, and stereoscopic imaging apparatus | |
US8144974B2 (en) | Image processing apparatus, method, and program | |
JP5371845B2 (en) | Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus | |
KR101737085B1 (en) | 3D camera | |
JP2009210840A (en) | Stereoscopic image display device and method, and program | |
JP2011029905A (en) | Imaging device, method and program | |
US10148870B2 (en) | Image capturing apparatus | |
JP7104294B2 (en) | Rangefinder camera | |
JP5647740B2 (en) | Parallax adjusting apparatus and method, photographing apparatus, reproduction display apparatus | |
JP2011087128A (en) | Pantoscopic camera and method for discrimination of object | |
WO2011070774A1 (en) | 3-d video processing device and 3-d video processing method | |
KR100735447B1 (en) | Stereo camera module for hand held device | |
JP6039301B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5347987B2 (en) | Video processing device | |
US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
JP6648916B2 (en) | Imaging device | |
KR101599434B1 (en) | Space detecting apparatus for image pickup apparatus using auto focusing and the method thereof | |
JP5689693B2 (en) | Drawing processor | |
JP2016099322A (en) | Imaging device, control method of imaging device, and program | |
JP6292785B2 (en) | Image processing apparatus, image processing method, and program | |
WO2013047220A1 (en) | Digital camera | |
JP7328589B2 (en) | ranging camera | |
JP2013242378A (en) | Imaging device, display method, and program | |
JP2009237652A (en) | Image processing apparatus and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5929037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |