JP2015046820A - Imaging device and imaging system - Google Patents
Imaging device and imaging system Download PDFInfo
- Publication number
- JP2015046820A JP2015046820A JP2013177899A JP2013177899A JP2015046820A JP 2015046820 A JP2015046820 A JP 2015046820A JP 2013177899 A JP2013177899 A JP 2013177899A JP 2013177899 A JP2013177899 A JP 2013177899A JP 2015046820 A JP2015046820 A JP 2015046820A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- countermeasure
- shooting
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、撮像装置および撮影システムに関する。 The present invention relates to an imaging apparatus and an imaging system.
両目による視差を用いた立体視画像を撮影するために、同一の撮影光学系でカメラの位置をずらして２回撮影し、得られた２つの撮影画像から立体視画像を生成するデジタルカメラが提案されている（特許文献１参照）。 Proposal of a digital camera that captures a stereoscopic image using parallax from both eyes, captures the camera twice with the same imaging optical system, and generates a stereoscopic image from the two captured images (See Patent Document 1).
上述した従来技術では、２回の撮影の間に動いた被写体が撮影画面内にあると、左目用画像と右目用画像とで当該被写体が一致しない。したがって、ユーザが立体視画像を鑑賞する際に、当該被写体がチラついたり、実際とはかけ離れた距離に見えたりして、不快に感じてしまう。 In the above-described prior art, if a subject that has moved between two shootings is within the shooting screen, the left-eye image and the right-eye image do not match. Therefore, when a user views a stereoscopic image, the subject is flickering or looks at a distance that is far from the actual image, which makes the user feel uncomfortable.
（１）請求項１に記載の撮像装置は、単一の結像光学系により結像される被写体像を撮像する撮像手段と、立体視画像のための１枚目の画像を撮影する１回目の撮影と、１枚目の画像と異なる視点から立体視画像のための２枚目の画像を撮影する２回目の撮影とを撮像手段に行わせ、１回目の撮影および２回目の撮影の少なくとも一方は複数の画像を連続撮影するように撮像手段を制御する撮影制御手段と、連続撮影された複数の画像に基づいて、１枚目の画像および２枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、１枚目の画像における要対策部分と２枚目の画像における要対策部分のそれぞれに、要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、を備えることを特徴とする。
（２）請求項６に記載の撮影システムは、撮像装置と、撮像装置により撮影された画像から立体視画像を生成する画像処理装置と、を備え、撮像装置は、単一の結像光学系により結像される被写体像を撮像する撮像手段と、立体視画像のための１枚目の画像を撮影する１回目の撮影と、１枚目の画像と異なる視点から立体視画像のための２枚目の画像を撮影する２回目の撮影とを撮像手段に行わせ、１回目の撮影および２回目の撮影の少なくとも一方は複数の画像を連続撮影するように撮像手段を制御する撮影制御手段と、を有し、画像処理装置は、連続撮影された複数の画像に基づいて、１枚目の画像および２枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、１枚目の画像における要対策部分と２枚目の画像における要対策部分のそれぞれに、要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、を有することを特徴とする。
(1) An image pickup apparatus according to claim 1 is an image pickup means for picking up a subject image formed by a single image forming optical system, and a first time for picking up a first image for a stereoscopic image. And the second shooting for shooting the second image for the stereoscopic image from a different viewpoint from the first image, and causing the imaging means to perform at least the first shooting and the second shooting. One is a shooting control unit that controls the imaging unit so that a plurality of images are continuously shot, and the first image and the second image according to time based on the plurality of continuously shot images. A common image generated by processing the required countermeasure portion is extracted for each of the extracting means for extracting the changing portion as the required countermeasure portion, the required countermeasure portion in the first image, and the required countermeasure portion in the second image. Image processing means for pasting To.
(2) An imaging system according to a sixth aspect includes an imaging device and an image processing device that generates a stereoscopic image from an image captured by the imaging device, and the imaging device has a single imaging optical system. Image pickup means for picking up a subject image formed by the first shooting, first shooting for shooting a first image for a stereoscopic image, and 2 for a stereoscopic image from a different viewpoint from the first image. A shooting control unit that controls the imaging unit so that at least one of the first shooting and the second shooting is performed by continuously shooting a plurality of images. The image processing apparatus extracts a portion that changes according to time from each of the first image and the second image as a countermeasure-necessary portion based on a plurality of images taken continuously. Means and countermeasures required in the first image Each of the principal measures portion in the second image, and having an image processing means for attaching the common image generated by processing the main measures portion.
本発明によれば、立体視画像を鑑賞する際に、撮影の間に動いた被写体による不快感をなくすことができる。 According to the present invention, when viewing a stereoscopic image, it is possible to eliminate discomfort due to a subject moving during shooting.
以下、図面を参照して本発明の一実施形態について説明する。図１は、本実施形態に係る撮像装置の一例であるデジタルカメラ１の構成を説明するブロック図である。デジタルカメラ１は、単眼カメラであり、単一の結像光学系２１を有する。さらに、デジタルカメラ１は、撮像素子２２、絞り２３、レンズ駆動装置２４、絞り駆動装置２５、映像回路２６、バッファメモリ２７、撮像素子制御回路２８、操作部２９、表示部３０、メモリカードスロット３１、および制御部４０を備える。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 that is an example of an imaging apparatus according to the present embodiment. The digital camera 1 is a monocular camera and has a single imaging
制御部４０は、ＣＰＵおよびその他の周辺回路などにより構成され、デジタルカメラ１の各部を制御する。また、制御部４０は、撮影制御部４０１、抽出部４０２、画像加工部４０３、および表示制御部４０４を有する。制御部４０は、不図示のＲＯＭに格納された制御プログラムを実行することにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。
The
結像光学系２１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子２２の撮像面に結像させる。なお、図１を簡単にするため、結像光学系２１を単レンズとして図示している。
The imaging
レンズ駆動装置２４は、制御部４０からの制御によって、結像光学系２１を構成するフォーカシングレンズを光軸方向に駆動させる。絞り駆動装置２５は、制御部４０からの制御によって、絞り２３を駆動する。
The
撮像素子２２は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子２２は、制御部４０からの指示に応じて撮像素子制御回路２８により駆動が制御され、撮像面上に結像されている被写体像を撮像し、被写体像に応じた光電変換信号（画像信号）を映像回路２６へ出力する。
The
映像回路２６は、撮像素子２２から入力した画像信号をデジタル画像信号に変換し、デジタル画像信号に対して種々の画像処理を施して撮像画像データを生成する。制御部４０は生成された画像データに対してＪＰＥＧ圧縮処理を施し、ＥＸＩＦなどの形式でメモリカードスロット３１に装着されたメモリカードへ記録する。また、制御部４０は、生成した撮像画像データを用いて表示用画像データを生成し、対応する表示用画像を表示部３０に表示させる。
The
バッファメモリ２７は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記録媒体である。
The
操作部２９は、ユーザの操作を受け付けるユーザインタフェースである。操作部２９には、電源ボタン、レリーズボタン、モード切替ボタンなどが含まれる。
The
ところで、本実施形態のデジタルカメラ１には、通常の撮影モードの他、立体視画像を撮影するためのステレオ撮影モードが設けられている。以下、このステレオ撮影モードについて説明する。 Incidentally, the digital camera 1 of the present embodiment is provided with a stereo shooting mode for shooting a stereoscopic image in addition to the normal shooting mode. The stereo shooting mode will be described below.
図２は、ステレオ撮影モードにおける処理の流れを説明するフローチャートである。操作部２９の操作によってステレオ撮影モードに設定されると、制御部４０は、不図示のメモリに記録された図２の処理を行うプログラムを起動して、当該処理を開始する。
FIG. 2 is a flowchart for explaining the flow of processing in the stereo shooting mode. When the stereo shooting mode is set by the operation of the
ステップＳ１において、制御部４０の表示制御部４０４は、撮像素子２２により逐次撮影される画像をスルー画として表示部３０に表示する処理を開始して、ステップＳ２へ進む。
In step S1, the
ステップＳ２において、制御部４０は、操作部２９のレリーズボタンが操作されたか否かを判定する。制御部４０は、レリーズボタンが操作されていない場合はステップＳ２を否定判定してステップＳ２を繰り返し、レリーズボタンが操作された場合にはステップＳ２を肯定判定してステップＳ３へ進む。
In step S2, the
ステップＳ３において、制御部４０は、公知のコントラスト法などを用いて、結像光学系２１の焦点を自動で調節する焦点調節処理を行って、ステップＳ４へ進む。
In step S3, the
ステップＳ４において、制御部４０の撮影制御部４０１は、撮像素子２２に１回目の連写撮影を行わせる。１回目の連写撮影は、立体視画像における左目用画像を撮影するために行われる。一例として、１回目の連写撮影では、撮像素子２２に１／３０秒間隔で６回露光させる（すなわち６枚の画像を連続撮影させる）。制御部４０は、１回目の連写撮影により取得された複数の撮影画像（一例では６枚）を不図示の内部メモリに記憶して、ステップＳ５へ進む。
In step S4, the
ステップＳ５において、制御部４０は、立体視用画像における右目用画像を撮影するための画像ずらし量を算出する。画像ずらし量は、右目用画像を撮影するために、撮影画像上において左目用画像から水平方向にどのくらいずらせばよいかを示す。具体的には、制御部４０は、ステップＳ３の焦点調節処理における焦点検出結果やステップＳ４で撮影された撮影画像に対する画像解析（たとえば顔検出処理など）の結果などを用いて、公知の方法で主要被写体を推定し、上記焦点検出結果に基づいて主要被写体までの距離を推定する。制御部４０は、推定した主要被写体までの距離を用いて画像ずらし量を算出する。なお、画像ずらし量は、たとえば、上述した特許文献１のように予め主要被写体までの距離と画像ずらし量とを対応付けたテーブルを不図示の内部メモリに記憶しておくなど、公知の方法を用いて算出すればよい。
In step S5, the
またこのとき制御部４０は、上記推定した主要被写体までの距離から、立体視表示における主要被写体の奥行き位置を決定する。なお、主要被写体の奥行き位置とは、立体視画像を表示する際、主要被写体が表示部３０の表示画面よりどのくらい奥に見えるかを示す位置である。制御部４０は、決定した主要被写体の奥行き位置に応じて、左目用画像と右目用画像における主要被写体のシフト量（以下、基準シフト量と表記する）を決定する。
At this time, the
ステップＳ６において、制御部４０は、ステップＳ４で撮影された左目用画像を元に、ステップＳ５で算出した画像ずらし量を用いて、右目用画像の撮影を案内するための案内画像を生成する。なお、案内画像の生成については、上述した特許文献１に開示された方法などの公知の方法を用いればよい。制御部４０は、案内画像に対して半透明処理を行って、半透明の案内画像を生成する。表示制御部４０４は、この半透明の案内画像をスルー画に重ねて表示部３０に表示し、ステップＳ７へ進む。ユーザは、表示部３０に表示されているスルー画が案内画像と一致するように、デジタルカメラ１を水平方向に移動させることで、左目用画像と視点が異なる右目用画像の撮影に最適な位置にデジタルカメラ１を移動させることができる。
In step S6, the
ステップＳ７において、制御部４０は、撮像素子２２から現在のスルー画を取得し、現在のスルー画と上記案内画像との相関係数を算出して、ステップＳ８へ進む。
In step S7, the
ステップＳ８において、制御部４０は、ステップＳ７で算出した相関係数が所定の閾値以上であるか否かを判定する。ステップＳ７で算出した相関係数が所定の閾値未満である場合には、制御部４０は、ステップＳ８を否定判定してステップＳ７に戻り、相関係数の算出を繰り返す。一方、ステップＳ７で算出した相関係数が所定の閾値以上である場合には、制御部４０はステップＳ８を肯定判定してステップＳ９へ進む。なお、ステップＳ７で算出した相関係数が所定の閾値以上であると判断される状態とは、現在のスルー画が案内画像とほぼ一致した状態であり、デジタルカメラ１の位置が右目用画像の撮影に最適な位置となった状態である。
In step S8, the
ステップＳ９において、撮影制御部４０１は、撮像素子２２に２回目の連写撮影を行わせる。２回目の連写撮影は、立体視用画像における右目用画像を撮影するために行われる。一例として２回目の連写撮影では、１回目と同様に、撮像素子２２に１／３０秒間隔で６回露光させる。制御部４０は、２回目の連写撮影により取得された複数の撮影画像を不図示の内部メモリに記憶して、ステップＳ１０へ進む。
In step S <b> 9, the
ステップＳ１０において、制御部４０は、表示部３０に立体視用画像の撮影が終了した旨を示すメッセージを表示して、ステップＳ１１へ進む。
In step S10, the
ステップＳ１１において、制御部４０は、１回目の連写撮影および２回目の連写撮影により撮影された撮影画像を用いて、立体視画像における左目用画像および右目用画像を生成する立体視画像生成処理を行って、図２に示す処理を終了する。
In step S <b> 11, the
次に、立体視画像生成処理の流れを、図３に示すフローチャートを用いて説明する。またここでは、図４〜図８に示す具体例を用いて説明する。立体視画像生成処理では、１回目の連写撮影の最後に撮影された撮影画像を左目用画像とし、２回目の連写撮影の最初に撮影された撮影画像を右目用画像として用いる。図４は、左目用画像５０Ｌおよび右目用画像５０Ｒの一例を示す図である。図４に示す左目用画像５０Ｌおよび右目用画像５０Ｒには、人物６１と風に揺れる花６２と街並み６３とが被写体として写っている。デジタルカメラ１から近い順に、人物６１、風に揺れる花６２、街並み６３となっている。人物６１と街並み６３は動いていないために左目用画像５０Ｌと右目用画像５０Ｒとで一致しているが、花６２は風に揺れて動いているため左目用画像５０Ｌと右目用画像５０Ｒとで一致していない。
Next, the flow of stereoscopic image generation processing will be described using the flowchart shown in FIG. In addition, here, description will be made using specific examples shown in FIGS. In the stereoscopic image generation process, the captured image captured at the end of the first continuous shooting is used as the left-eye image, and the captured image captured at the beginning of the second continuous shooting is used as the right-eye image. FIG. 4 is a diagram illustrating an example of the left-
図３のステップＳ１１１において、制御部４０は、１回目の連写撮影の最後に撮影された撮影画像（左目用画像）と２回目の連写撮影の最初に撮影された撮影画像（右目用画像）とにおいて、画面全体として一致度を損なう要素の補正を行う。この補正は、両画像全体の旋回ずれの補正や縦ずれ台形補正などであり、公知の方法を用いればよい。
In step S111 of FIG. 3, the
ステップＳ１１２において、制御部４０の抽出部４０２は、１回目の連写撮影で撮影された複数の撮影画像において、各撮影画像間の相関量を計算する。そして抽出部４０２は、この相関量の計算結果に基づいて、上記補正後の左目用画像から、時間に応じて変化する部分を、左目用画像における要対策部分（以下、左要対策部と表記する）として抽出する。たとえば、抽出部４０２は、各撮影画像間の相関量が所定閾値よりも小さい部分は時間に応じた変化が大きい部分であるため、その部分を左要対策部として抽出する。同様に、抽出部４０２は、２回目の連写撮影で撮影された複数の撮影画像間の相関量を計算する。そして、抽出部４０２は、この相関量の計算結果に基づいて、上記補正後の右目用画像から、時間に応じて変化する部分を、右目用画像における要対策部分（以下、右要対策部と表記する）として抽出する。図４に示した例では、花６２が風に揺れて動いているため、たとえば、図５に示すように、花６２の部分が左要対策部５１Ｌおよび右要対策部５１Ｒとして抽出される。
In step S112, the
ステップＳ１１３（図３）において、制御部４０の画像加工部４０３は、上記補正後の左目用画像から上記左要対策部を切り出し、上記補正後の右目用画像から上記右要対策部を切り出す。そして画像加工部４０３は、上記左要対策部と上記右要対策部のそれぞれに対してボケ処理を行う。具体的に画像加工部４０３は、１回目の連写撮影による撮影画像間の相関量に基づいて左要対策部の移動ベクトルを推定し、左要対策部に対して、推定した移動ベクトル方向に重みを付けてボケ処理を行う。同様に画像加工部４０３は、２回目の連写撮影による撮影画像間の相関量に基づいて右要対策部の移動ベクトルを推定し、右要対策部に対して、推定した移動ベクトル方向に重みを付けてボケ処理を行う。このようにすることで、左要対策部および右要対策部に対して、動体ブレに近いボケ処理を施すことができる。そして、画像加工部４０３は、上記ボケ処理後の左要対策部と右要対策部とを混合して、混合画像を生成する。なお、この左要対策部と右要対策部を混合する際には、上述した図２のステップＳ５で決定した基準シフト量分ずらして混合することで、位置合わせを行う。図６に、図５の左要対策部５１Ｌおよび右要対策部５１Ｒに対してボケ処理を行った後混合して生成した混合画像５２の一例を示す。
In step S113 (FIG. 3), the
ステップＳ１１４（図３）において、画像加工部４０３は、左目用画像の左要対策部が切り出された部分と右目用画像の右要対策部が切り出された部分のそれぞれに、上記混合画像を貼りつける。すなわち、左目用画像および右目用画像に共通の画像（上記混合画像）を貼りつける。図７に、左要対策部５１Ｌが切り出された後の左目用画像５０Ｌおよび右要対策部５１Ｒが切り出された後の右目用画像５０Ｒの一例を示す。図７において、斜線部分５３Ｌは左要対策部５１Ｌが切り出された部分を示し、斜線部分５３Ｒは右要対策部５１Ｒが切り出された部分を示す。また、図８に、図６に示した混合画像５２を貼りつけた左目用画像５０Ｌおよび右目用画像５０Ｒの一例を示す。
In step S114 (FIG. 3), the
画像加工部４０３は、左目用画像および右目用画像に上記混合画像を貼りつける際、上記基準シフト量に応じて決定した所定シフト量分ずらして貼り付ける。所定シフト量とは、たとえば、主要被写体と無限遠との中間の奥行き位置に相当するシフト量である。このシフト量で貼りつけることで、立体視画像において上記混合画像が主要被写体と無限遠との中間の奥行き位置に見えるように調整できる。また、所定シフト量を数種類（たとえば、デジタルカメラ１に近い奥行き位置、中間の奥行き位置、遠い奥行き位置の３種類など）用意するようにしてもよい。この場合、それぞれの所定シフト量に対応する立体視用画像を複数生成して記録するようにしてもよいし、操作部２９によってユーザに所定シフト量を選択させるようにしてもよい。また、左要対策部および右要対策部が比較的小さい場合には、混合画像の重心が左要対策部および右要対策部のそれぞれの切り抜き後の重心と一致するように貼り付けてもよい。
When the mixed image is pasted on the left-eye image and the right-eye image, the
また、画像加工部４０３は、混合画像を貼りつける位置が左目用画像および右目用画像ともに要対策部分ではないピクセルにかかる場合には、混合画像をカットして、要対策部分ではないピクセルを優先する。
In addition, when the position where the mixed image is pasted is applied to a pixel that is not a necessary part in both the left-eye image and the right-eye image, the
ステップＳ１１５において、制御部４０は、上記混合画像を貼り付けた左目用画像および右目用画像を立体視画像としてメモリカードスロット３１に装着されたメモリカードに記録して、図３に示す処理を終了する。
In step S115, the
その後、制御部４０は、操作部２９の操作によって立体視画像の表示が指示された場合には、メモリカードに記録された左目用画像および右目用画像に基づいて公知の立体視表示用の処理を行って表示部３０に立体視画像を表示する。これにより、ユーザに立体視画像を鑑賞させることができる。
Thereafter, when the display of the stereoscopic image is instructed by the operation of the
以上説明した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１において、撮影制御部４０１は、立体視画像のための１枚目の画像（左目用画像）を撮影する１回目の撮影において複数の画像を連続撮影するように撮像素子２２を制御する。また、撮影制御部４０１は、上記１枚目の画像と異なる視点から立体視画像のための２枚目の画像（右目用画像）を撮影する２回目の撮影において複数の画像を連続撮影するように撮像素子２２を制御する。抽出部４０２は、１回目の連写撮影で撮影された複数の撮影画像に基づいて、左目用画像から時間に応じて変化する部分を左要対策部として抽出する。また、抽出部４０２は、２回目の連写撮影で撮影された複数の画像に基づいて、右目用画像から時間に応じて変化する部分を右要対策部として抽出する。画像加工部４０３は、左目用画像の左要対策部と右目用画像の右要対策部のそれぞれに、左要対策部および右要対策部を加工して生成した共通の画像（混合画像）を貼りつける。このようにデジタルカメラ１は、左目用画像の左要対策部と右目用画像の右要対策部に共通の画像を貼り付けることにより、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体がチラついたり、実際とはかけ離れた距離に見えたりすることを防ぐことができる。したがって、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体による不快感をなくすことができる。また、従来のデジタルカメラにおけるステレオ撮影では、動く被写体を避けていたため、たとえば風に揺れる草木や旗、波立つ水面などが背景にある場合に撮影を行うことができず、大幅に撮影機会が失われていた。しかしながら、本実施形態のデジタルカメラ１では、このように動く被写体が背景にあっても撮影することができるので、多様な撮影機会を得ることができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) In the digital camera 1, the
（２）デジタルカメラ１において、画像加工部４０３は、１回目の連写撮影で撮影された複数の画像に基づいて左要対策部の動き方向を検出し、左要対策部に対して動き方向に応じたボケ処理を施す。また、画像加工部４０３は、２回目の連写撮影で撮影された複数の画像に基づいて右要対策部の動き方向を検出し、右要対策部に対して動き方向に応じたボケ処理を施す。そして画像加工部４０３は、ボケ処理後の左要対策部と右要対策部とを混合することで、左目用画像と右目用画像に共通に貼り付ける混合画像を生成するようにした。このようにすることで、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体については動体ブレに近い感じの画像に見せることができ、不自然感を緩和することができる。
(2) In the digital camera 1, the
（３）動く被写体を検出するにあたって、左目用画像と右目用画像の一致度の悪い部分を検出する方法も考えられるが、この方法では、動きのためではなくもともと左右一方からしか見えない部分、いわば正当なオクルージョンの部分も同時に検出されてしまう。これに対して本実施形態のデジタルカメラ１において、抽出部４０２は、１回目の連写撮影で撮影された複数の撮影画像間の相関情報（相関量）に基づいて左要対策部を抽出し、２回目の連写撮影で撮影された複数の撮影画像間の相関情報（相関量）に基づいて右要対策部を抽出するようにした。こうすることで、正当なオクルージョンの部分を検出することなく、動いた被写体の部分のみを抽出することができる。
(3) In detecting a moving subject, there may be a method of detecting a poorly matched portion between the image for the left eye and the image for the right eye. In other words, the correct occlusion part is also detected at the same time. On the other hand, in the digital camera 1 of the present embodiment, the
（変形例１）
上述した実施の形態では、１回目の連写撮影で左目用画像を撮影し、２回目の連写撮影で右目用画像を撮影する例について説明した。しかしながら、１回目の連写撮影で右目用画像を撮影し、２回目の連写撮影で左目用画像を撮影するようにしてもよい。
(Modification 1)
In the above-described embodiment, the example in which the left-eye image is captured in the first continuous shooting and the right-eye image is captured in the second continuous shooting has been described. However, the right eye image may be taken in the first continuous shooting, and the left eye image may be taken in the second continuous shooting.
（変形例２）
上述した実施の形態では、左要対策部と右要対策部に対してそれぞれボケ処理を行った後にこれらを混合した混合画像を、左目用画像および右目用画像に貼りつける例について説明した。しかしながら、左目用画像および右目用画像に貼り付ける共通の画像については、これに限らなくてもよい。
(Modification 2)
In the above-described embodiment, an example has been described in which a mixed image obtained by performing blur processing on each of the left countermeasure unit and the right countermeasure unit is pasted on the left eye image and the right eye image. However, the common image to be pasted on the left-eye image and the right-eye image is not limited to this.
たとえば、左要対策部および右要対策部のうちどちらかに対してボケ処理を行って左目用画像および右目用画像に貼り付けるようにしてもよい。この方法は、不自然になる可能性が増す反面、ボケの度合いが減じるので、対象物の様子がわかりやすくなるという利点がある。 For example, the blur processing may be performed on one of the left countermeasure unit and the right countermeasure unit and pasted on the left-eye image and the right-eye image. Although this method increases the possibility of unnaturalness, the degree of blurring is reduced, so that there is an advantage that the state of the object can be easily understood.
また、ボケ処理を行わずに、左要対策部および右要対策部を混合した混合画像や、左要対策部および右要対策部のいずれかを、左目用画像および右目用画像に貼り付けるようにしてもよい。この場合は、不自然になるリスクがさらに増すが、対象物が鮮明に見えるという利点がある。 Also, paste the left image and right eye images together without mixing the left image area and the right image area, or the left image area and the right image area. It may be. In this case, the risk of becoming unnatural is further increased, but there is an advantage that the object looks clear.
また、左要対策部および右要対策部において、１回目の連写撮影中および２回目の連写撮影中における変化の度合いなどに応じて重みを付けて、たとえば変化が少ない方に重きをおいて混合するようにしてもよい。また、たとえば変化が少ない方はボケ処理におけるぼかし度合いを少なくするようにしてもよい。 In addition, the left countermeasure section and the right countermeasure section assign weights according to the degree of change during the first continuous shooting and the second continuous shooting, for example, the one with less change. And may be mixed. In addition, for example, if the change is small, the blurring degree in the blurring process may be reduced.
以上説明した方法のうちどの方法が最良であるかは、被写体の状況や撮影者の意図によって決まるものであるため、撮影者が操作部２９を操作して所望の方法を選択できるようにしてもよい。
Which method is the best described above is determined by the situation of the subject and the photographer's intention, so that the photographer can operate the
（変形例３）
上述した実施の形態では、デジタルカメラ１において立体視画像生成処理を行う例について説明した。しかしながら、デジタルカメラ１が１回目の連写撮影および２回目の連写撮影で撮影した全ての撮影画像を記録媒体（メモリカードなど）に記録しておき、その後パーソナルコンピュータなどの外部の画像処理装置において立体視画像生成処理を行うようにしてもよい。
(Modification 3)
In the above-described embodiment, the example in which the stereoscopic image generation process is performed in the digital camera 1 has been described. However, the digital camera 1 records all photographed images taken by the first continuous shooting and the second continuous shooting on a recording medium (such as a memory card), and then an external image processing apparatus such as a personal computer. The stereoscopic image generation process may be performed in step S2.
図９は、この場合における撮影システム１００の構成を説明する図である。上述した実施形態と同様の構成については、同一の符号を付し説明を省略する。また、図９では、デジタルカメラ１について、上述した実施形態と同様の構成については図示を省略する。撮影システム１００は、デジタルカメラ１とパーソナルコンピュータ（以下、パソコンと表記する）１０１とを有する。デジタルカメラ１において、制御部４０は撮影制御部４０１および表示制御部４０４を有する。制御部４０は、不図示のＲＯＭに格納された制御プログラムを実行することにより、これらの各部の機能を実現する。パーソナルコンピュータ１０１は、ＣＰＵおよびその他の周辺回路などにより構成される制御部１０２を有する。制御部１０２は、抽出部４０２および画像加工部４０３を有する。制御部１０２は、不図示のＲＯＭに格納された制御プログラムを実行することにより、これらの各部の機能を実現する。
FIG. 9 is a diagram illustrating the configuration of the
デジタルカメラ１の撮影制御部４０１は、上述した実施の形態と同様にして１回目の連写撮影および２回目の連写撮影を撮像素子２２に行わせる。なお、デジタルカメラ１の表示制御部４０４は、上述した実施の形態と同様に、２回目の連写撮影を案内するための案内画像を表示部３０に表示する。その後、撮影制御部４０１は、１回目の連写撮影および２回目の連写撮影により得られた複数の撮影画像を全てメモリカードスロット３１に装着されたメモリカードに記録する。
The
パーソナルコンピュータ１０１の制御部１０２は、メモリカードに記録された１回目の連写撮影および２回目の連写撮影による複数の撮影画像をデジタルカメラ１から取得する。そして、制御部１０２の抽出部４０２および画像加工部４０３は、上述した実施の形態と同様に立体視画像生成処理（図３）を行って、左目用画像および右目用画像を生成する。
The
なお、デジタルカメラ１で立体視画像生成処理の途中まで実行し、処理の過程における中間データを記録媒体（メモリカードなど）に記録し、続きをパーソナルコンピュータ１０１に引き継ぐようにしてもよい。
Note that the digital camera 1 may be executed halfway through the stereoscopic image generation process, intermediate data in the process may be recorded on a recording medium (such as a memory card), and the continuation may be taken over by the
（変形例４）
上述した実施の形態では、左目用画像および右目用画像の両方の撮影を連写撮影とする例について説明した。しかしながら、左目用画像および右目用画像のいずれか一方の撮影のみを連写撮影とするようにしてもよい。
(Modification 4)
In the above-described embodiment, an example in which both the left-eye image and the right-eye image are shot continuously has been described. However, continuous shooting may be performed for only one of the left-eye image and the right-eye image.
たとえば、左目用画像の撮影のみを連写撮影とする場合について説明する。なお、上述した実施形態と同様の処理については、説明を省略する。撮影制御部４０１は、ステップＳ９の右目用画像の撮影の際は連写撮影とせず、１回のみの撮影とする。その後、ステップＳ１１の立体視画像生成処理において、抽出部４０２は、左要対策部については、上述した実施の形態と同様に、連写撮影により得られた複数の撮影画像に基づいて抽出する。一方、抽出部４０２は、右要対策部については、左要対策部の抽出結果を用いて抽出する。たとえば、右目用画像において、左要対策部の抽出座標位置から基準シフト量分ずれた座標位置を、右要対策部として抽出する。
For example, a case will be described in which only the left-eye image is taken continuously. Note that description of the same processing as that of the above-described embodiment is omitted. The
（変形例５）
上述した実施の形態では、説明の便のため、左目用画像と右目用画像とを各々単一の画像としても認識しやすい形で出力する例について記載した。しかしながら、左目用画像と右目用画像とを、前提とする立体視画像の表示方法に合わせてさらに加工を行って出力するようにしてもよい。例えば、インターリーブ式やアナグリフ式、レンチキュラーレンズを用いた方式などに応じた形態に加工して、一見左目用画像と右目用画像とが認知できない状態で出力する場合も本発明の技術的思想の範囲内である。
(Modification 5)
In the above-described embodiment, for convenience of explanation, an example has been described in which the left-eye image and the right-eye image are each output in a form that is easily recognized as a single image. However, the left-eye image and the right-eye image may be further processed and output in accordance with the stereoscopic image display method that is assumed. For example, the scope of the technical idea of the present invention also applies to a case where the left-eye image and the right-eye image are output in an unrecognizable state after being processed into a form corresponding to a method using an interleave type, anaglyph type, or a lenticular lens Is within.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
１…デジタルカメラ、２１…結像光学系、２２…撮像素子、３０…表示部、４０，１０２…制御部、１００…撮影システム、１０１…パーソナルコンピュータ、４０１…撮影制御部、４０２…抽出部、４０３…画像加工部、４０４…表示制御部 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 21 ... Imaging optical system, 22 ... Image pick-up element, 30 ... Display part, 40, 102 ... Control part, 100 ... Shooting system, 101 ... Personal computer, 401 ... Shooting control part, 402 ... Extraction part, 403 ... Image processing unit, 404 ... Display control unit
Claims (6)
立体視画像のための１枚目の画像を撮影する１回目の撮影と、前記１枚目の画像と異なる視点から前記立体視画像のための２枚目の画像を撮影する２回目の撮影とを前記撮像手段に行わせ、前記１回目の撮影および前記２回目の撮影の少なくとも一方は複数の画像を連続撮影するように前記撮像手段を制御する撮影制御手段と、
前記連続撮影された複数の画像に基づいて、前記１枚目の画像および前記２枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、
前記１枚目の画像における前記要対策部分と前記２枚目の画像における前記要対策部分のそれぞれに、前記要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、
を備えることを特徴とする撮像装置。 Imaging means for imaging a subject image formed by a single imaging optical system;
First shooting for shooting a first image for a stereoscopic image, and second shooting for shooting a second image for the stereoscopic image from a different viewpoint from the first image, Photographing control means for controlling the imaging means so that at least one of the first photographing and the second photographing continuously photographs a plurality of images;
Extraction means for extracting a portion that changes according to time from each of the first image and the second image based on the plurality of images taken continuously, as a countermeasure required portion;
Image processing means for attaching a common image generated by processing the required countermeasure part to each of the required countermeasure part in the first image and the required countermeasure part in the second image;
An imaging apparatus comprising:
前記画像加工手段は、前記連続撮影された複数の画像に基づいて前記要対策部分の動き方向を検出し、前記要対策部分に対して前記動き方向に応じたボケ処理を施して前記共通の画像を生成することを特徴とする撮像装置。 The imaging device according to claim 1,
The image processing means detects the direction of movement of the necessary countermeasure part based on the plurality of continuously photographed images, and performs the blurring process according to the movement direction on the necessary countermeasure part to perform the common image. An imaging device characterized by generating
前記撮影制御手段は、前記１回目の撮影および前記２回目の撮影の両方において複数の画像を連続撮影するように前記撮像手段を制御し、
前記抽出手段は、前記１回目の撮影において連続撮影された複数の画像間の相関情報に基づいて前記１枚目の画像から前記要対策部分を抽出し、前記２回目の撮影において連続撮影された複数の画像間の相関情報に基づいて前記２枚目の画像から前記要対策部分を抽出することを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
The imaging control unit controls the imaging unit to continuously capture a plurality of images in both the first imaging and the second imaging;
The extraction unit extracts the necessary countermeasure portion from the first image based on correlation information between a plurality of images continuously captured in the first shooting, and the continuous shooting is performed in the second shooting. An image pickup apparatus that extracts the necessary countermeasure portion from the second image based on correlation information between a plurality of images.
前記画像加工手段は、前記１枚目の画像における前記要対策部分と前記２枚目の画像における前記要対策部分とを混合して、前記共通の画像を生成することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
The image processing device generates the common image by mixing the required countermeasure portion in the first image and the required countermeasure portion in the second image.
前記撮像手段により逐次撮影される画像をスルー画として表示手段に表示する表示制御手段をさらに備え、
前記表示制御手段は、前記１回目の撮影による撮影画像に基づいて生成された、前記２回目の撮影を案内する案内画像を前記スルー画に重ねて前記表示手段に表示することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
Further comprising display control means for displaying on the display means the images sequentially photographed by the imaging means as a through image;
The display control means displays on the display means a guide image that is generated based on a photographed image obtained by the first photographing and guides the second photographing, and is superimposed on the through image. apparatus.
前記撮像装置により撮影された画像から立体視画像を生成する画像処理装置と、
を備え、
前記撮像装置は、
単一の結像光学系により結像される被写体像を撮像する撮像手段と、
前記立体視画像のための１枚目の画像を撮影する１回目の撮影と、前記１枚目の画像と異なる視点から前記立体視画像のための２枚目の画像を撮影する２回目の撮影とを前記撮像手段に行わせ、前記１回目の撮影および前記２回目の撮影の少なくとも一方は複数の画像を連続撮影するように前記撮像手段を制御する撮影制御手段と、
を有し、
前記画像処理装置は、
前記連続撮影された複数の画像に基づいて、前記１枚目の画像および前記２枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、
前記１枚目の画像における前記要対策部分と前記２枚目の画像における前記要対策部分のそれぞれに、前記要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、
を有することを特徴とする撮影システム。 An imaging device;
An image processing device that generates a stereoscopic image from an image captured by the imaging device;
With
The imaging device
Imaging means for imaging a subject image formed by a single imaging optical system;
First shooting for shooting the first image for the stereoscopic image, and second shooting for shooting the second image for the stereoscopic image from a different viewpoint from the first image. Imaging control means for controlling the imaging means so that at least one of the first imaging and the second imaging continuously captures a plurality of images;
Have
The image processing apparatus includes:
Extraction means for extracting a portion that changes according to time from each of the first image and the second image based on the plurality of images taken continuously, as a countermeasure required portion;
Image processing means for attaching a common image generated by processing the required countermeasure part to each of the required countermeasure part in the first image and the required countermeasure part in the second image;
An imaging system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013177899A JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013177899A JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015046820A true JP2015046820A (en) | 2015-03-12 |
Family
ID=52671989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013177899A Pending JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015046820A (en) |
-
2013
- 2013-08-29 JP JP2013177899A patent/JP2015046820A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10110804B2 (en) | Portrait image synthesis from multiple images captured on a handheld device | |
| US9560341B2 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device | |
| US8736671B2 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device | |
| US9077976B2 (en) | Single-eye stereoscopic image capturing device | |
| JP5814692B2 (en) | Imaging apparatus, control method therefor, and program | |
| WO2012029298A1 (en) | Image capture device and image-processing method | |
| JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| WO2012029301A1 (en) | Image capturing apparatus, playback apparatus, and image processing method | |
| US20130162764A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
| JP5874192B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5449551B2 (en) | Image output apparatus, method and program | |
| JPWO2011121818A1 (en) | Compound eye imaging apparatus, parallax adjustment method and program thereof | |
| US20130107014A1 (en) | Image processing device, method, and recording medium thereof | |
| US20130050439A1 (en) | Stereoscopic image capturing device and method of controlling thereof | |
| JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| JP2014154907A (en) | Stereoscopic imaging apparatus | |
| US9094671B2 (en) | Image processing device, method, and recording medium therefor | |
| JP5580486B2 (en) | Image output apparatus, method and program | |
| JP5704885B2 (en) | Imaging device, imaging method, and imaging control program | |
| JP5825932B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
| US20130120374A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2015046820A (en) | Imaging device and imaging system | |
| JP2013070153A (en) | Imaging apparatus | |
| JP2010028219A (en) | Photographing apparatus | |
| JP2013054233A (en) | Imaging apparatus |