JP2015046820A - Imaging device and imaging system - Google Patents
Imaging device and imaging system Download PDFInfo
- Publication number
- JP2015046820A JP2015046820A JP2013177899A JP2013177899A JP2015046820A JP 2015046820 A JP2015046820 A JP 2015046820A JP 2013177899 A JP2013177899 A JP 2013177899A JP 2013177899 A JP2013177899 A JP 2013177899A JP 2015046820 A JP2015046820 A JP 2015046820A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- countermeasure
- shooting
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、撮像装置および撮影システムに関する。 The present invention relates to an imaging apparatus and an imaging system.
両目による視差を用いた立体視画像を撮影するために、同一の撮影光学系でカメラの位置をずらして2回撮影し、得られた2つの撮影画像から立体視画像を生成するデジタルカメラが提案されている(特許文献1参照)。 Proposal of a digital camera that captures a stereoscopic image using parallax from both eyes, captures the camera twice with the same imaging optical system, and generates a stereoscopic image from the two captured images (See Patent Document 1).
上述した従来技術では、2回の撮影の間に動いた被写体が撮影画面内にあると、左目用画像と右目用画像とで当該被写体が一致しない。したがって、ユーザが立体視画像を鑑賞する際に、当該被写体がチラついたり、実際とはかけ離れた距離に見えたりして、不快に感じてしまう。 In the above-described prior art, if a subject that has moved between two shootings is within the shooting screen, the left-eye image and the right-eye image do not match. Therefore, when a user views a stereoscopic image, the subject is flickering or looks at a distance that is far from the actual image, which makes the user feel uncomfortable.
(1)請求項1に記載の撮像装置は、単一の結像光学系により結像される被写体像を撮像する撮像手段と、立体視画像のための1枚目の画像を撮影する1回目の撮影と、1枚目の画像と異なる視点から立体視画像のための2枚目の画像を撮影する2回目の撮影とを撮像手段に行わせ、1回目の撮影および2回目の撮影の少なくとも一方は複数の画像を連続撮影するように撮像手段を制御する撮影制御手段と、連続撮影された複数の画像に基づいて、1枚目の画像および2枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、1枚目の画像における要対策部分と2枚目の画像における要対策部分のそれぞれに、要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、を備えることを特徴とする。
(2)請求項6に記載の撮影システムは、撮像装置と、撮像装置により撮影された画像から立体視画像を生成する画像処理装置と、を備え、撮像装置は、単一の結像光学系により結像される被写体像を撮像する撮像手段と、立体視画像のための1枚目の画像を撮影する1回目の撮影と、1枚目の画像と異なる視点から立体視画像のための2枚目の画像を撮影する2回目の撮影とを撮像手段に行わせ、1回目の撮影および2回目の撮影の少なくとも一方は複数の画像を連続撮影するように撮像手段を制御する撮影制御手段と、を有し、画像処理装置は、連続撮影された複数の画像に基づいて、1枚目の画像および2枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、1枚目の画像における要対策部分と2枚目の画像における要対策部分のそれぞれに、要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、を有することを特徴とする。
(1) An image pickup apparatus according to claim 1 is an image pickup means for picking up a subject image formed by a single image forming optical system, and a first time for picking up a first image for a stereoscopic image. And the second shooting for shooting the second image for the stereoscopic image from a different viewpoint from the first image, and causing the imaging means to perform at least the first shooting and the second shooting. One is a shooting control unit that controls the imaging unit so that a plurality of images are continuously shot, and the first image and the second image according to time based on the plurality of continuously shot images. A common image generated by processing the required countermeasure portion is extracted for each of the extracting means for extracting the changing portion as the required countermeasure portion, the required countermeasure portion in the first image, and the required countermeasure portion in the second image. Image processing means for pasting To.
(2) An imaging system according to a sixth aspect includes an imaging device and an image processing device that generates a stereoscopic image from an image captured by the imaging device, and the imaging device has a single imaging optical system. Image pickup means for picking up a subject image formed by the first shooting, first shooting for shooting a first image for a stereoscopic image, and 2 for a stereoscopic image from a different viewpoint from the first image. A shooting control unit that controls the imaging unit so that at least one of the first shooting and the second shooting is performed by continuously shooting a plurality of images. The image processing apparatus extracts a portion that changes according to time from each of the first image and the second image as a countermeasure-necessary portion based on a plurality of images taken continuously. Means and countermeasures required in the first image Each of the principal measures portion in the second image, and having an image processing means for attaching the common image generated by processing the main measures portion.
本発明によれば、立体視画像を鑑賞する際に、撮影の間に動いた被写体による不快感をなくすことができる。 According to the present invention, when viewing a stereoscopic image, it is possible to eliminate discomfort due to a subject moving during shooting.
以下、図面を参照して本発明の一実施形態について説明する。図1は、本実施形態に係る撮像装置の一例であるデジタルカメラ1の構成を説明するブロック図である。デジタルカメラ1は、単眼カメラであり、単一の結像光学系21を有する。さらに、デジタルカメラ1は、撮像素子22、絞り23、レンズ駆動装置24、絞り駆動装置25、映像回路26、バッファメモリ27、撮像素子制御回路28、操作部29、表示部30、メモリカードスロット31、および制御部40を備える。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 that is an example of an imaging apparatus according to the present embodiment. The digital camera 1 is a monocular camera and has a single imaging
制御部40は、CPUおよびその他の周辺回路などにより構成され、デジタルカメラ1の各部を制御する。また、制御部40は、撮影制御部401、抽出部402、画像加工部403、および表示制御部404を有する。制御部40は、不図示のROMに格納された制御プログラムを実行することにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。
The
結像光学系21は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子22の撮像面に結像させる。なお、図1を簡単にするため、結像光学系21を単レンズとして図示している。
The imaging
レンズ駆動装置24は、制御部40からの制御によって、結像光学系21を構成するフォーカシングレンズを光軸方向に駆動させる。絞り駆動装置25は、制御部40からの制御によって、絞り23を駆動する。
The
撮像素子22は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子22は、制御部40からの指示に応じて撮像素子制御回路28により駆動が制御され、撮像面上に結像されている被写体像を撮像し、被写体像に応じた光電変換信号(画像信号)を映像回路26へ出力する。
The
映像回路26は、撮像素子22から入力した画像信号をデジタル画像信号に変換し、デジタル画像信号に対して種々の画像処理を施して撮像画像データを生成する。制御部40は生成された画像データに対してJPEG圧縮処理を施し、EXIFなどの形式でメモリカードスロット31に装着されたメモリカードへ記録する。また、制御部40は、生成した撮像画像データを用いて表示用画像データを生成し、対応する表示用画像を表示部30に表示させる。
The
バッファメモリ27は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記録媒体である。
The
操作部29は、ユーザの操作を受け付けるユーザインタフェースである。操作部29には、電源ボタン、レリーズボタン、モード切替ボタンなどが含まれる。
The
ところで、本実施形態のデジタルカメラ1には、通常の撮影モードの他、立体視画像を撮影するためのステレオ撮影モードが設けられている。以下、このステレオ撮影モードについて説明する。 Incidentally, the digital camera 1 of the present embodiment is provided with a stereo shooting mode for shooting a stereoscopic image in addition to the normal shooting mode. The stereo shooting mode will be described below.
図2は、ステレオ撮影モードにおける処理の流れを説明するフローチャートである。操作部29の操作によってステレオ撮影モードに設定されると、制御部40は、不図示のメモリに記録された図2の処理を行うプログラムを起動して、当該処理を開始する。
FIG. 2 is a flowchart for explaining the flow of processing in the stereo shooting mode. When the stereo shooting mode is set by the operation of the
ステップS1において、制御部40の表示制御部404は、撮像素子22により逐次撮影される画像をスルー画として表示部30に表示する処理を開始して、ステップS2へ進む。
In step S1, the
ステップS2において、制御部40は、操作部29のレリーズボタンが操作されたか否かを判定する。制御部40は、レリーズボタンが操作されていない場合はステップS2を否定判定してステップS2を繰り返し、レリーズボタンが操作された場合にはステップS2を肯定判定してステップS3へ進む。
In step S2, the
ステップS3において、制御部40は、公知のコントラスト法などを用いて、結像光学系21の焦点を自動で調節する焦点調節処理を行って、ステップS4へ進む。
In step S3, the
ステップS4において、制御部40の撮影制御部401は、撮像素子22に1回目の連写撮影を行わせる。1回目の連写撮影は、立体視画像における左目用画像を撮影するために行われる。一例として、1回目の連写撮影では、撮像素子22に1/30秒間隔で6回露光させる(すなわち6枚の画像を連続撮影させる)。制御部40は、1回目の連写撮影により取得された複数の撮影画像(一例では6枚)を不図示の内部メモリに記憶して、ステップS5へ進む。
In step S4, the
ステップS5において、制御部40は、立体視用画像における右目用画像を撮影するための画像ずらし量を算出する。画像ずらし量は、右目用画像を撮影するために、撮影画像上において左目用画像から水平方向にどのくらいずらせばよいかを示す。具体的には、制御部40は、ステップS3の焦点調節処理における焦点検出結果やステップS4で撮影された撮影画像に対する画像解析(たとえば顔検出処理など)の結果などを用いて、公知の方法で主要被写体を推定し、上記焦点検出結果に基づいて主要被写体までの距離を推定する。制御部40は、推定した主要被写体までの距離を用いて画像ずらし量を算出する。なお、画像ずらし量は、たとえば、上述した特許文献1のように予め主要被写体までの距離と画像ずらし量とを対応付けたテーブルを不図示の内部メモリに記憶しておくなど、公知の方法を用いて算出すればよい。
In step S5, the
またこのとき制御部40は、上記推定した主要被写体までの距離から、立体視表示における主要被写体の奥行き位置を決定する。なお、主要被写体の奥行き位置とは、立体視画像を表示する際、主要被写体が表示部30の表示画面よりどのくらい奥に見えるかを示す位置である。制御部40は、決定した主要被写体の奥行き位置に応じて、左目用画像と右目用画像における主要被写体のシフト量(以下、基準シフト量と表記する)を決定する。
At this time, the
ステップS6において、制御部40は、ステップS4で撮影された左目用画像を元に、ステップS5で算出した画像ずらし量を用いて、右目用画像の撮影を案内するための案内画像を生成する。なお、案内画像の生成については、上述した特許文献1に開示された方法などの公知の方法を用いればよい。制御部40は、案内画像に対して半透明処理を行って、半透明の案内画像を生成する。表示制御部404は、この半透明の案内画像をスルー画に重ねて表示部30に表示し、ステップS7へ進む。ユーザは、表示部30に表示されているスルー画が案内画像と一致するように、デジタルカメラ1を水平方向に移動させることで、左目用画像と視点が異なる右目用画像の撮影に最適な位置にデジタルカメラ1を移動させることができる。
In step S6, the
ステップS7において、制御部40は、撮像素子22から現在のスルー画を取得し、現在のスルー画と上記案内画像との相関係数を算出して、ステップS8へ進む。
In step S7, the
ステップS8において、制御部40は、ステップS7で算出した相関係数が所定の閾値以上であるか否かを判定する。ステップS7で算出した相関係数が所定の閾値未満である場合には、制御部40は、ステップS8を否定判定してステップS7に戻り、相関係数の算出を繰り返す。一方、ステップS7で算出した相関係数が所定の閾値以上である場合には、制御部40はステップS8を肯定判定してステップS9へ進む。なお、ステップS7で算出した相関係数が所定の閾値以上であると判断される状態とは、現在のスルー画が案内画像とほぼ一致した状態であり、デジタルカメラ1の位置が右目用画像の撮影に最適な位置となった状態である。
In step S8, the
ステップS9において、撮影制御部401は、撮像素子22に2回目の連写撮影を行わせる。2回目の連写撮影は、立体視用画像における右目用画像を撮影するために行われる。一例として2回目の連写撮影では、1回目と同様に、撮像素子22に1/30秒間隔で6回露光させる。制御部40は、2回目の連写撮影により取得された複数の撮影画像を不図示の内部メモリに記憶して、ステップS10へ進む。
In step S <b> 9, the
ステップS10において、制御部40は、表示部30に立体視用画像の撮影が終了した旨を示すメッセージを表示して、ステップS11へ進む。
In step S10, the
ステップS11において、制御部40は、1回目の連写撮影および2回目の連写撮影により撮影された撮影画像を用いて、立体視画像における左目用画像および右目用画像を生成する立体視画像生成処理を行って、図2に示す処理を終了する。
In step S <b> 11, the
次に、立体視画像生成処理の流れを、図3に示すフローチャートを用いて説明する。またここでは、図4〜図8に示す具体例を用いて説明する。立体視画像生成処理では、1回目の連写撮影の最後に撮影された撮影画像を左目用画像とし、2回目の連写撮影の最初に撮影された撮影画像を右目用画像として用いる。図4は、左目用画像50Lおよび右目用画像50Rの一例を示す図である。図4に示す左目用画像50Lおよび右目用画像50Rには、人物61と風に揺れる花62と街並み63とが被写体として写っている。デジタルカメラ1から近い順に、人物61、風に揺れる花62、街並み63となっている。人物61と街並み63は動いていないために左目用画像50Lと右目用画像50Rとで一致しているが、花62は風に揺れて動いているため左目用画像50Lと右目用画像50Rとで一致していない。
Next, the flow of stereoscopic image generation processing will be described using the flowchart shown in FIG. In addition, here, description will be made using specific examples shown in FIGS. In the stereoscopic image generation process, the captured image captured at the end of the first continuous shooting is used as the left-eye image, and the captured image captured at the beginning of the second continuous shooting is used as the right-eye image. FIG. 4 is a diagram illustrating an example of the left-
図3のステップS111において、制御部40は、1回目の連写撮影の最後に撮影された撮影画像(左目用画像)と2回目の連写撮影の最初に撮影された撮影画像(右目用画像)とにおいて、画面全体として一致度を損なう要素の補正を行う。この補正は、両画像全体の旋回ずれの補正や縦ずれ台形補正などであり、公知の方法を用いればよい。
In step S111 of FIG. 3, the
ステップS112において、制御部40の抽出部402は、1回目の連写撮影で撮影された複数の撮影画像において、各撮影画像間の相関量を計算する。そして抽出部402は、この相関量の計算結果に基づいて、上記補正後の左目用画像から、時間に応じて変化する部分を、左目用画像における要対策部分(以下、左要対策部と表記する)として抽出する。たとえば、抽出部402は、各撮影画像間の相関量が所定閾値よりも小さい部分は時間に応じた変化が大きい部分であるため、その部分を左要対策部として抽出する。同様に、抽出部402は、2回目の連写撮影で撮影された複数の撮影画像間の相関量を計算する。そして、抽出部402は、この相関量の計算結果に基づいて、上記補正後の右目用画像から、時間に応じて変化する部分を、右目用画像における要対策部分(以下、右要対策部と表記する)として抽出する。図4に示した例では、花62が風に揺れて動いているため、たとえば、図5に示すように、花62の部分が左要対策部51Lおよび右要対策部51Rとして抽出される。
In step S112, the
ステップS113(図3)において、制御部40の画像加工部403は、上記補正後の左目用画像から上記左要対策部を切り出し、上記補正後の右目用画像から上記右要対策部を切り出す。そして画像加工部403は、上記左要対策部と上記右要対策部のそれぞれに対してボケ処理を行う。具体的に画像加工部403は、1回目の連写撮影による撮影画像間の相関量に基づいて左要対策部の移動ベクトルを推定し、左要対策部に対して、推定した移動ベクトル方向に重みを付けてボケ処理を行う。同様に画像加工部403は、2回目の連写撮影による撮影画像間の相関量に基づいて右要対策部の移動ベクトルを推定し、右要対策部に対して、推定した移動ベクトル方向に重みを付けてボケ処理を行う。このようにすることで、左要対策部および右要対策部に対して、動体ブレに近いボケ処理を施すことができる。そして、画像加工部403は、上記ボケ処理後の左要対策部と右要対策部とを混合して、混合画像を生成する。なお、この左要対策部と右要対策部を混合する際には、上述した図2のステップS5で決定した基準シフト量分ずらして混合することで、位置合わせを行う。図6に、図5の左要対策部51Lおよび右要対策部51Rに対してボケ処理を行った後混合して生成した混合画像52の一例を示す。
In step S113 (FIG. 3), the
ステップS114(図3)において、画像加工部403は、左目用画像の左要対策部が切り出された部分と右目用画像の右要対策部が切り出された部分のそれぞれに、上記混合画像を貼りつける。すなわち、左目用画像および右目用画像に共通の画像(上記混合画像)を貼りつける。図7に、左要対策部51Lが切り出された後の左目用画像50Lおよび右要対策部51Rが切り出された後の右目用画像50Rの一例を示す。図7において、斜線部分53Lは左要対策部51Lが切り出された部分を示し、斜線部分53Rは右要対策部51Rが切り出された部分を示す。また、図8に、図6に示した混合画像52を貼りつけた左目用画像50Lおよび右目用画像50Rの一例を示す。
In step S114 (FIG. 3), the
画像加工部403は、左目用画像および右目用画像に上記混合画像を貼りつける際、上記基準シフト量に応じて決定した所定シフト量分ずらして貼り付ける。所定シフト量とは、たとえば、主要被写体と無限遠との中間の奥行き位置に相当するシフト量である。このシフト量で貼りつけることで、立体視画像において上記混合画像が主要被写体と無限遠との中間の奥行き位置に見えるように調整できる。また、所定シフト量を数種類(たとえば、デジタルカメラ1に近い奥行き位置、中間の奥行き位置、遠い奥行き位置の3種類など)用意するようにしてもよい。この場合、それぞれの所定シフト量に対応する立体視用画像を複数生成して記録するようにしてもよいし、操作部29によってユーザに所定シフト量を選択させるようにしてもよい。また、左要対策部および右要対策部が比較的小さい場合には、混合画像の重心が左要対策部および右要対策部のそれぞれの切り抜き後の重心と一致するように貼り付けてもよい。
When the mixed image is pasted on the left-eye image and the right-eye image, the
また、画像加工部403は、混合画像を貼りつける位置が左目用画像および右目用画像ともに要対策部分ではないピクセルにかかる場合には、混合画像をカットして、要対策部分ではないピクセルを優先する。
In addition, when the position where the mixed image is pasted is applied to a pixel that is not a necessary part in both the left-eye image and the right-eye image, the
ステップS115において、制御部40は、上記混合画像を貼り付けた左目用画像および右目用画像を立体視画像としてメモリカードスロット31に装着されたメモリカードに記録して、図3に示す処理を終了する。
In step S115, the
その後、制御部40は、操作部29の操作によって立体視画像の表示が指示された場合には、メモリカードに記録された左目用画像および右目用画像に基づいて公知の立体視表示用の処理を行って表示部30に立体視画像を表示する。これにより、ユーザに立体視画像を鑑賞させることができる。
Thereafter, when the display of the stereoscopic image is instructed by the operation of the
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1において、撮影制御部401は、立体視画像のための1枚目の画像(左目用画像)を撮影する1回目の撮影において複数の画像を連続撮影するように撮像素子22を制御する。また、撮影制御部401は、上記1枚目の画像と異なる視点から立体視画像のための2枚目の画像(右目用画像)を撮影する2回目の撮影において複数の画像を連続撮影するように撮像素子22を制御する。抽出部402は、1回目の連写撮影で撮影された複数の撮影画像に基づいて、左目用画像から時間に応じて変化する部分を左要対策部として抽出する。また、抽出部402は、2回目の連写撮影で撮影された複数の画像に基づいて、右目用画像から時間に応じて変化する部分を右要対策部として抽出する。画像加工部403は、左目用画像の左要対策部と右目用画像の右要対策部のそれぞれに、左要対策部および右要対策部を加工して生成した共通の画像(混合画像)を貼りつける。このようにデジタルカメラ1は、左目用画像の左要対策部と右目用画像の右要対策部に共通の画像を貼り付けることにより、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体がチラついたり、実際とはかけ離れた距離に見えたりすることを防ぐことができる。したがって、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体による不快感をなくすことができる。また、従来のデジタルカメラにおけるステレオ撮影では、動く被写体を避けていたため、たとえば風に揺れる草木や旗、波立つ水面などが背景にある場合に撮影を行うことができず、大幅に撮影機会が失われていた。しかしながら、本実施形態のデジタルカメラ1では、このように動く被写体が背景にあっても撮影することができるので、多様な撮影機会を得ることができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) In the digital camera 1, the
(2)デジタルカメラ1において、画像加工部403は、1回目の連写撮影で撮影された複数の画像に基づいて左要対策部の動き方向を検出し、左要対策部に対して動き方向に応じたボケ処理を施す。また、画像加工部403は、2回目の連写撮影で撮影された複数の画像に基づいて右要対策部の動き方向を検出し、右要対策部に対して動き方向に応じたボケ処理を施す。そして画像加工部403は、ボケ処理後の左要対策部と右要対策部とを混合することで、左目用画像と右目用画像に共通に貼り付ける混合画像を生成するようにした。このようにすることで、ユーザが立体視画像を鑑賞する際に、左目用画像と右目用画像の撮影の間に動いた被写体については動体ブレに近い感じの画像に見せることができ、不自然感を緩和することができる。
(2) In the digital camera 1, the
(3)動く被写体を検出するにあたって、左目用画像と右目用画像の一致度の悪い部分を検出する方法も考えられるが、この方法では、動きのためではなくもともと左右一方からしか見えない部分、いわば正当なオクルージョンの部分も同時に検出されてしまう。これに対して本実施形態のデジタルカメラ1において、抽出部402は、1回目の連写撮影で撮影された複数の撮影画像間の相関情報(相関量)に基づいて左要対策部を抽出し、2回目の連写撮影で撮影された複数の撮影画像間の相関情報(相関量)に基づいて右要対策部を抽出するようにした。こうすることで、正当なオクルージョンの部分を検出することなく、動いた被写体の部分のみを抽出することができる。
(3) In detecting a moving subject, there may be a method of detecting a poorly matched portion between the image for the left eye and the image for the right eye. In other words, the correct occlusion part is also detected at the same time. On the other hand, in the digital camera 1 of the present embodiment, the
(変形例1)
上述した実施の形態では、1回目の連写撮影で左目用画像を撮影し、2回目の連写撮影で右目用画像を撮影する例について説明した。しかしながら、1回目の連写撮影で右目用画像を撮影し、2回目の連写撮影で左目用画像を撮影するようにしてもよい。
(Modification 1)
In the above-described embodiment, the example in which the left-eye image is captured in the first continuous shooting and the right-eye image is captured in the second continuous shooting has been described. However, the right eye image may be taken in the first continuous shooting, and the left eye image may be taken in the second continuous shooting.
(変形例2)
上述した実施の形態では、左要対策部と右要対策部に対してそれぞれボケ処理を行った後にこれらを混合した混合画像を、左目用画像および右目用画像に貼りつける例について説明した。しかしながら、左目用画像および右目用画像に貼り付ける共通の画像については、これに限らなくてもよい。
(Modification 2)
In the above-described embodiment, an example has been described in which a mixed image obtained by performing blur processing on each of the left countermeasure unit and the right countermeasure unit is pasted on the left eye image and the right eye image. However, the common image to be pasted on the left-eye image and the right-eye image is not limited to this.
たとえば、左要対策部および右要対策部のうちどちらかに対してボケ処理を行って左目用画像および右目用画像に貼り付けるようにしてもよい。この方法は、不自然になる可能性が増す反面、ボケの度合いが減じるので、対象物の様子がわかりやすくなるという利点がある。 For example, the blur processing may be performed on one of the left countermeasure unit and the right countermeasure unit and pasted on the left-eye image and the right-eye image. Although this method increases the possibility of unnaturalness, the degree of blurring is reduced, so that there is an advantage that the state of the object can be easily understood.
また、ボケ処理を行わずに、左要対策部および右要対策部を混合した混合画像や、左要対策部および右要対策部のいずれかを、左目用画像および右目用画像に貼り付けるようにしてもよい。この場合は、不自然になるリスクがさらに増すが、対象物が鮮明に見えるという利点がある。 Also, paste the left image and right eye images together without mixing the left image area and the right image area, or the left image area and the right image area. It may be. In this case, the risk of becoming unnatural is further increased, but there is an advantage that the object looks clear.
また、左要対策部および右要対策部において、1回目の連写撮影中および2回目の連写撮影中における変化の度合いなどに応じて重みを付けて、たとえば変化が少ない方に重きをおいて混合するようにしてもよい。また、たとえば変化が少ない方はボケ処理におけるぼかし度合いを少なくするようにしてもよい。 In addition, the left countermeasure section and the right countermeasure section assign weights according to the degree of change during the first continuous shooting and the second continuous shooting, for example, the one with less change. And may be mixed. In addition, for example, if the change is small, the blurring degree in the blurring process may be reduced.
以上説明した方法のうちどの方法が最良であるかは、被写体の状況や撮影者の意図によって決まるものであるため、撮影者が操作部29を操作して所望の方法を選択できるようにしてもよい。
Which method is the best described above is determined by the situation of the subject and the photographer's intention, so that the photographer can operate the
(変形例3)
上述した実施の形態では、デジタルカメラ1において立体視画像生成処理を行う例について説明した。しかしながら、デジタルカメラ1が1回目の連写撮影および2回目の連写撮影で撮影した全ての撮影画像を記録媒体(メモリカードなど)に記録しておき、その後パーソナルコンピュータなどの外部の画像処理装置において立体視画像生成処理を行うようにしてもよい。
(Modification 3)
In the above-described embodiment, the example in which the stereoscopic image generation process is performed in the digital camera 1 has been described. However, the digital camera 1 records all photographed images taken by the first continuous shooting and the second continuous shooting on a recording medium (such as a memory card), and then an external image processing apparatus such as a personal computer. The stereoscopic image generation process may be performed in step S2.
図9は、この場合における撮影システム100の構成を説明する図である。上述した実施形態と同様の構成については、同一の符号を付し説明を省略する。また、図9では、デジタルカメラ1について、上述した実施形態と同様の構成については図示を省略する。撮影システム100は、デジタルカメラ1とパーソナルコンピュータ(以下、パソコンと表記する)101とを有する。デジタルカメラ1において、制御部40は撮影制御部401および表示制御部404を有する。制御部40は、不図示のROMに格納された制御プログラムを実行することにより、これらの各部の機能を実現する。パーソナルコンピュータ101は、CPUおよびその他の周辺回路などにより構成される制御部102を有する。制御部102は、抽出部402および画像加工部403を有する。制御部102は、不図示のROMに格納された制御プログラムを実行することにより、これらの各部の機能を実現する。
FIG. 9 is a diagram illustrating the configuration of the
デジタルカメラ1の撮影制御部401は、上述した実施の形態と同様にして1回目の連写撮影および2回目の連写撮影を撮像素子22に行わせる。なお、デジタルカメラ1の表示制御部404は、上述した実施の形態と同様に、2回目の連写撮影を案内するための案内画像を表示部30に表示する。その後、撮影制御部401は、1回目の連写撮影および2回目の連写撮影により得られた複数の撮影画像を全てメモリカードスロット31に装着されたメモリカードに記録する。
The
パーソナルコンピュータ101の制御部102は、メモリカードに記録された1回目の連写撮影および2回目の連写撮影による複数の撮影画像をデジタルカメラ1から取得する。そして、制御部102の抽出部402および画像加工部403は、上述した実施の形態と同様に立体視画像生成処理(図3)を行って、左目用画像および右目用画像を生成する。
The
なお、デジタルカメラ1で立体視画像生成処理の途中まで実行し、処理の過程における中間データを記録媒体(メモリカードなど)に記録し、続きをパーソナルコンピュータ101に引き継ぐようにしてもよい。
Note that the digital camera 1 may be executed halfway through the stereoscopic image generation process, intermediate data in the process may be recorded on a recording medium (such as a memory card), and the continuation may be taken over by the
(変形例4)
上述した実施の形態では、左目用画像および右目用画像の両方の撮影を連写撮影とする例について説明した。しかしながら、左目用画像および右目用画像のいずれか一方の撮影のみを連写撮影とするようにしてもよい。
(Modification 4)
In the above-described embodiment, an example in which both the left-eye image and the right-eye image are shot continuously has been described. However, continuous shooting may be performed for only one of the left-eye image and the right-eye image.
たとえば、左目用画像の撮影のみを連写撮影とする場合について説明する。なお、上述した実施形態と同様の処理については、説明を省略する。撮影制御部401は、ステップS9の右目用画像の撮影の際は連写撮影とせず、1回のみの撮影とする。その後、ステップS11の立体視画像生成処理において、抽出部402は、左要対策部については、上述した実施の形態と同様に、連写撮影により得られた複数の撮影画像に基づいて抽出する。一方、抽出部402は、右要対策部については、左要対策部の抽出結果を用いて抽出する。たとえば、右目用画像において、左要対策部の抽出座標位置から基準シフト量分ずれた座標位置を、右要対策部として抽出する。
For example, a case will be described in which only the left-eye image is taken continuously. Note that description of the same processing as that of the above-described embodiment is omitted. The
(変形例5)
上述した実施の形態では、説明の便のため、左目用画像と右目用画像とを各々単一の画像としても認識しやすい形で出力する例について記載した。しかしながら、左目用画像と右目用画像とを、前提とする立体視画像の表示方法に合わせてさらに加工を行って出力するようにしてもよい。例えば、インターリーブ式やアナグリフ式、レンチキュラーレンズを用いた方式などに応じた形態に加工して、一見左目用画像と右目用画像とが認知できない状態で出力する場合も本発明の技術的思想の範囲内である。
(Modification 5)
In the above-described embodiment, for convenience of explanation, an example has been described in which the left-eye image and the right-eye image are each output in a form that is easily recognized as a single image. However, the left-eye image and the right-eye image may be further processed and output in accordance with the stereoscopic image display method that is assumed. For example, the scope of the technical idea of the present invention also applies to a case where the left-eye image and the right-eye image are output in an unrecognizable state after being processed into a form corresponding to a method using an interleave type, anaglyph type, or a lenticular lens Is within.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
1…デジタルカメラ、21…結像光学系、22…撮像素子、30…表示部、40,102…制御部、100…撮影システム、101…パーソナルコンピュータ、401…撮影制御部、402…抽出部、403…画像加工部、404…表示制御部 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 21 ... Imaging optical system, 22 ... Image pick-up element, 30 ... Display part, 40, 102 ... Control part, 100 ... Shooting system, 101 ... Personal computer, 401 ... Shooting control part, 402 ... Extraction part, 403 ... Image processing unit, 404 ... Display control unit
Claims (6)
立体視画像のための1枚目の画像を撮影する1回目の撮影と、前記1枚目の画像と異なる視点から前記立体視画像のための2枚目の画像を撮影する2回目の撮影とを前記撮像手段に行わせ、前記1回目の撮影および前記2回目の撮影の少なくとも一方は複数の画像を連続撮影するように前記撮像手段を制御する撮影制御手段と、
前記連続撮影された複数の画像に基づいて、前記1枚目の画像および前記2枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、
前記1枚目の画像における前記要対策部分と前記2枚目の画像における前記要対策部分のそれぞれに、前記要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、
を備えることを特徴とする撮像装置。 Imaging means for imaging a subject image formed by a single imaging optical system;
First shooting for shooting a first image for a stereoscopic image, and second shooting for shooting a second image for the stereoscopic image from a different viewpoint from the first image, Photographing control means for controlling the imaging means so that at least one of the first photographing and the second photographing continuously photographs a plurality of images;
Extraction means for extracting a portion that changes according to time from each of the first image and the second image based on the plurality of images taken continuously, as a countermeasure required portion;
Image processing means for attaching a common image generated by processing the required countermeasure part to each of the required countermeasure part in the first image and the required countermeasure part in the second image;
An imaging apparatus comprising:
前記画像加工手段は、前記連続撮影された複数の画像に基づいて前記要対策部分の動き方向を検出し、前記要対策部分に対して前記動き方向に応じたボケ処理を施して前記共通の画像を生成することを特徴とする撮像装置。 The imaging device according to claim 1,
The image processing means detects the direction of movement of the necessary countermeasure part based on the plurality of continuously photographed images, and performs the blurring process according to the movement direction on the necessary countermeasure part to perform the common image. An imaging device characterized by generating
前記撮影制御手段は、前記1回目の撮影および前記2回目の撮影の両方において複数の画像を連続撮影するように前記撮像手段を制御し、
前記抽出手段は、前記1回目の撮影において連続撮影された複数の画像間の相関情報に基づいて前記1枚目の画像から前記要対策部分を抽出し、前記2回目の撮影において連続撮影された複数の画像間の相関情報に基づいて前記2枚目の画像から前記要対策部分を抽出することを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
The imaging control unit controls the imaging unit to continuously capture a plurality of images in both the first imaging and the second imaging;
The extraction unit extracts the necessary countermeasure portion from the first image based on correlation information between a plurality of images continuously captured in the first shooting, and the continuous shooting is performed in the second shooting. An image pickup apparatus that extracts the necessary countermeasure portion from the second image based on correlation information between a plurality of images.
前記画像加工手段は、前記1枚目の画像における前記要対策部分と前記2枚目の画像における前記要対策部分とを混合して、前記共通の画像を生成することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
The image processing device generates the common image by mixing the required countermeasure portion in the first image and the required countermeasure portion in the second image.
前記撮像手段により逐次撮影される画像をスルー画として表示手段に表示する表示制御手段をさらに備え、
前記表示制御手段は、前記1回目の撮影による撮影画像に基づいて生成された、前記2回目の撮影を案内する案内画像を前記スルー画に重ねて前記表示手段に表示することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
Further comprising display control means for displaying on the display means the images sequentially photographed by the imaging means as a through image;
The display control means displays on the display means a guide image that is generated based on a photographed image obtained by the first photographing and guides the second photographing, and is superimposed on the through image. apparatus.
前記撮像装置により撮影された画像から立体視画像を生成する画像処理装置と、
を備え、
前記撮像装置は、
単一の結像光学系により結像される被写体像を撮像する撮像手段と、
前記立体視画像のための1枚目の画像を撮影する1回目の撮影と、前記1枚目の画像と異なる視点から前記立体視画像のための2枚目の画像を撮影する2回目の撮影とを前記撮像手段に行わせ、前記1回目の撮影および前記2回目の撮影の少なくとも一方は複数の画像を連続撮影するように前記撮像手段を制御する撮影制御手段と、
を有し、
前記画像処理装置は、
前記連続撮影された複数の画像に基づいて、前記1枚目の画像および前記2枚目の画像のそれぞれから時間に応じて変化する部分を要対策部分として抽出する抽出手段と、
前記1枚目の画像における前記要対策部分と前記2枚目の画像における前記要対策部分のそれぞれに、前記要対策部分を加工して生成した共通の画像を貼りつける画像加工手段と、
を有することを特徴とする撮影システム。 An imaging device;
An image processing device that generates a stereoscopic image from an image captured by the imaging device;
With
The imaging device
Imaging means for imaging a subject image formed by a single imaging optical system;
First shooting for shooting the first image for the stereoscopic image, and second shooting for shooting the second image for the stereoscopic image from a different viewpoint from the first image. Imaging control means for controlling the imaging means so that at least one of the first imaging and the second imaging continuously captures a plurality of images;
Have
The image processing apparatus includes:
Extraction means for extracting a portion that changes according to time from each of the first image and the second image based on the plurality of images taken continuously, as a countermeasure required portion;
Image processing means for attaching a common image generated by processing the required countermeasure part to each of the required countermeasure part in the first image and the required countermeasure part in the second image;
An imaging system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177899A JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177899A JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015046820A true JP2015046820A (en) | 2015-03-12 |
Family
ID=52671989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177899A Pending JP2015046820A (en) | 2013-08-29 | 2013-08-29 | Imaging device and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015046820A (en) |
-
2013
- 2013-08-29 JP JP2013177899A patent/JP2015046820A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10110804B2 (en) | Portrait image synthesis from multiple images captured on a handheld device | |
US9560341B2 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device | |
US8736671B2 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device | |
US9077976B2 (en) | Single-eye stereoscopic image capturing device | |
JP5814692B2 (en) | Imaging apparatus, control method therefor, and program | |
WO2012029298A1 (en) | Image capture device and image-processing method | |
JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
WO2012029301A1 (en) | Image capturing apparatus, playback apparatus, and image processing method | |
US20130162764A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP5874192B2 (en) | Image processing apparatus, image processing method, and program | |
JP5449551B2 (en) | Image output apparatus, method and program | |
JPWO2011121818A1 (en) | Compound eye imaging apparatus, parallax adjustment method and program thereof | |
US20130107014A1 (en) | Image processing device, method, and recording medium thereof | |
US20130050439A1 (en) | Stereoscopic image capturing device and method of controlling thereof | |
JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
JP2014154907A (en) | Stereoscopic imaging apparatus | |
US9094671B2 (en) | Image processing device, method, and recording medium therefor | |
JP5580486B2 (en) | Image output apparatus, method and program | |
JP5704885B2 (en) | Imaging device, imaging method, and imaging control program | |
JP5825932B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
US20130120374A1 (en) | Image processing device, image processing method, and image processing program | |
JP2015046820A (en) | Imaging device and imaging system | |
JP2013070153A (en) | Imaging apparatus | |
JP2010028219A (en) | Photographing apparatus | |
JP2013054233A (en) | Imaging apparatus |