JP2011259168A - Stereoscopic panoramic image capturing device - Google Patents
Stereoscopic panoramic image capturing device Download PDFInfo
- Publication number
- JP2011259168A JP2011259168A JP2010131306A JP2010131306A JP2011259168A JP 2011259168 A JP2011259168 A JP 2011259168A JP 2010131306 A JP2010131306 A JP 2010131306A JP 2010131306 A JP2010131306 A JP 2010131306A JP 2011259168 A JP2011259168 A JP 2011259168A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- distance information
- images
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は立体パノラマ画像撮影装置に係り、立体視が可能なパノラマ画像を撮影する技術に関する。 The present invention relates to a stereoscopic panoramic image capturing apparatus, and more particularly to a technique for capturing a panoramic image capable of stereoscopic viewing.
特許文献１には、複数の撮像部を備え、立体画像とパノラマ画像とが撮影可能な複眼カメラが記載されている。立体画像は、複数の撮像部の内、光軸が同一平面上にあり、各光軸が互いに平行または該平面上の前方で交わるような状態にある少なくとも２つの撮像部を利用して撮影する。パノラマ画像は、異なる撮像部を用いて互いに重複する空間を含む連続した空間を撮影し、２つの画像間で重複する部分がなめらかにつながるように合成することにより生成する。
しかしながら、特許文献１には、立体視可能なパノラマ画像を撮影することは記載されていない。
However,
パノラマ画像は、特許文献１にも記載されているが、一般的には、互いに重複する空間を含む連続した空間を撮影し、これを合成することで生成される。そのためには、撮影装置を水平方向に回転させ、異なる撮影範囲で画像を撮影する必要がある。しかしながら、三脚や雲台を使用しない限り、平行にカメラを回転させることはほぼ不可能である。
Although a panoramic image is also described in
三脚や雲台を使用しないで２次元のパノラマ画像を生成する場合には、特開２００９−２６８０３７に記載されているように、画像データ間の移動ベクトルを求め、この移動ベクトルに基づいて画像を合成し、矩形状のパノラマ画像として抜き出すようにトリミング処理を施す。これにより、互いに重複する空間を含む連続する画像データが傾いたとしても、パノラマ画像を生成することができる。 When generating a two-dimensional panoramic image without using a tripod or a pan head, as described in JP-A-2009-268037, a movement vector between image data is obtained, and an image is obtained based on the movement vector. The images are combined and trimmed so as to be extracted as a rectangular panoramic image. As a result, a panoramic image can be generated even if continuous image data including spaces overlapping each other is tilted.
しかしながら、所定の視差を有する左目用画像と右目用画像とからなる立体画像の場合には、撮像素子が傾くと視差が左右方向でなくなってしまうため、トリミング処理により傾きを補正することはできない。 However, in the case of a stereoscopic image composed of a left-eye image and a right-eye image having a predetermined parallax, the parallax is lost in the left-right direction when the image sensor is tilted, so that the tilt cannot be corrected by trimming processing.
特許文献１に記載された複眼カメラを用いる場合に傾きを補正する方法としては、複眼カメラが傾いた分だけ複数の撮像部をそれぞれ傾かせるという方法も考えられる。しかしながら、複数の撮像部を全く同一の角度で傾かせることは、現実的に不可能である。
As a method of correcting the tilt when using a compound eye camera described in
本発明はこのような事情に鑑みてなされたもので、立体視可能なパノラマ画像を撮影することができる立体パノラマ画像撮影装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a stereoscopic panoramic image photographing apparatus capable of photographing a stereoscopically viewable panoramic image.
請求項１に記載の立体パノラマ画像撮影装置は、撮影光学系と、前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、前記瞳分割手段により分割された光束がそれぞれ結像される第１の画素群及び第２の画素群が同一平面上に２次元状に配設された撮像素子と、前記撮像素子の水平方向に対する回転角度を検出する検出手段と、前記検出された水平方向に対する回転角度に基づいて前記撮像素子が水平になるように前記撮像素子を前記撮影光学系の光軸に垂直な平面内で回転させる撮像素子回転手段と、前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで前記第１の被写体像及び前記第２の被写体像をそれぞれ複数取得する本撮影手段と、前記取得された複数の第１の被写体像のうちの重複する部分及び前記取得された複数の第２の被写体像のうちの重複する部分を重ね合わせて前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせる画像生成手段と、を備えたことを特徴とする。
The stereoscopic panoramic image photographing apparatus according to
請求項１に記載の立体パノラマ画像撮影装置によれば、撮影光学系を通過した光束が複数の光束に分割され、第１の画素群及び第２の画素群にそれぞれ結像される。撮像素子の水平方向に対する回転角度が検出され、検出された水平方向に対する回転角度に基づいて撮像素子が撮影光学系の光軸に垂直な平面内で回転されて撮像素子が水平にされ、隣接する撮影範囲の一部が重複するように第１の画素群及び第２の画素群に被写体像を連続的に結像させて複数の第１の被写体像及び複数の第２の被写体像がそれぞれ取得される。複数の第１の被写体像のうちの重複する部分を重ね合わせて複数の第１の被写体像をつなぎ合わせ、かつ複数の第２の被写体像のうちの重複する部分を重ね合わせて複数の第２の被写体像をつなぎ合わせる。これにより、立体視が可能なパノラマ画像を撮影することができる。 According to the three-dimensional panoramic image photographing apparatus of the first aspect, the light beam that has passed through the photographing optical system is divided into a plurality of light beams and formed on the first pixel group and the second pixel group, respectively. The rotation angle of the imaging element with respect to the horizontal direction is detected, and the imaging element is rotated in a plane perpendicular to the optical axis of the imaging optical system based on the detected rotation angle with respect to the horizontal direction so that the imaging element is leveled and adjacent. A plurality of first subject images and a plurality of second subject images are obtained by continuously forming subject images on the first pixel group and the second pixel group so that a part of the photographing range overlaps. Is done. The overlapping portions of the plurality of first subject images are overlapped to connect the plurality of first subject images, and the overlapping portions of the plurality of second subject images are overlapped to overlap the plurality of second subject images. Stitch together the subject images. As a result, a panoramic image capable of stereoscopic viewing can be taken.
請求項２に記載の立体パノラマ画像撮影装置は、請求項１に記載の立体パノラマ画像撮影装置において、前記撮影光学系は、フォーカスレンズを含み、所定の距離にある被写体が合焦するように前記フォーカスレンズを移動させるフォーカスレンズ移動手段を備え、前記本撮影手段は、前記フォーカスレンズが前記所定の距離にある被写体に合焦するように移動された状態で、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得することを特徴とする。
The stereoscopic panoramic image photographing device according to
請求項２に記載の立体パノラマ画像撮影装置によれば、所定の距離にある被写体が合焦するように撮影光学系に含まれるフォーカスレンズが移動され、複数の第１の被写体像及び複数の第２の被写体像が取得される。これにより、つなぎ目が自然で立体感に違和感の無いパノラマ画像を生成することができる。
According to the stereoscopic panoramic image photographing apparatus of
請求項３に記載の立体パノラマ画像撮影装置は、請求項２に記載の立体パノラマ画像撮影装置において、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得する前に、前記第１の画素群及び前記第２の画素群の少なくとも１つに所定の条件下で被写体像を結像させる前撮影手段と、前記前撮影手段により結像された被写体像に基づいて被写体までの距離を示す距離情報を取得する第１の距離情報取得手段と、前記取得された距離情報に基づいて前記所定の距離を決定するフォーカス位置決定手段と、を備えたことを特徴とする。
The stereoscopic panoramic image photographing device according to claim 3 is the stereoscopic panoramic image photographing device according to
請求項３に記載の立体パノラマ画像撮影装置によれば、本撮影の前に第１の画素群及び第２の画素群の少なくとも１つに所定の条件下で被写体像が結像され、この被写体像に基づいて被写体までの距離を示す距離情報が取得され、取得された距離情報に基づいてフォーカス位置が決定される。これにより、適切な立体感のあるパノラマ画像を得ることができる。 According to the three-dimensional panoramic image photographing apparatus according to claim 3, a subject image is formed on at least one of the first pixel group and the second pixel group before the actual photographing under a predetermined condition. Distance information indicating the distance to the subject is acquired based on the image, and the focus position is determined based on the acquired distance information. Thereby, a panoramic image having an appropriate stereoscopic effect can be obtained.
請求項４に記載の立体パノラマ画像撮影装置は、請求項３に記載の立体パノラマ画像撮影装置において、前記前撮影手段は、前記本撮影手段により連続的に結像される被写体像と略同じ撮影範囲で前記第１の画素群及び前記第２の画素群の少なくとも１つに被写体像を結像させることを特徴とする。
The stereoscopic panoramic image photographing device according to
請求項４に記載の立体パノラマ画像撮影装置によれば、本撮影と略同じ撮影範囲で前撮影を行い、前撮影で得られた画像データに基づいてフォーカス位置が決定される。これにより、パノラマ画像に含まれる全ての被写体に基づいて適切なフォーカス位置を決定することができる。 According to the stereoscopic panoramic image photographing apparatus of the fourth aspect, the pre-photographing is performed in substantially the same photographing range as the main photographing, and the focus position is determined based on the image data obtained by the pre-photographing. Thereby, it is possible to determine an appropriate focus position based on all the subjects included in the panoramic image.
請求項５に記載の立体パノラマ画像撮影装置は、請求項３又は４に記載の立体パノラマ画像撮影装置において、前記第１の距離情報取得手段は、前記前撮影手段により結像された被写体像の距離情報を画素毎に取得し、前記フォーカス位置決定手段は、前記距離情報の略中間値を前記所定の距離と決定することを特徴とする。
The stereoscopic panorama image photographing device according to
請求項５に記載の立体パノラマ画像撮影装置によれば、距離情報の略中間値がフォーカス位置と決定される。これにより、適切な立体感のあるパノラマ画像を得ることができる。 According to the stereoscopic panorama image photographing device of the fifth aspect, the substantially intermediate value of the distance information is determined as the focus position. Thereby, a panoramic image having an appropriate stereoscopic effect can be obtained.
請求項６に記載の立体パノラマ画像撮影装置は、請求項３又は４に記載の立体パノラマ画像撮影装置において、前記被写体像から主要被写体を検出する主要被写体検出手段を備え、前記第１の距離情報取得手段は、前記距離情報として前記検出された主要被写体までの距離を取得し、前記フォーカス位置決定手段は、前記検出された主要被写体までの距離に基づいて前記検出された主要被写体が合焦するように前記所定の距離を決定することを特徴とする。
The stereoscopic panorama image photographing device according to
請求項６に記載の立体パノラマ画像撮影装置によれば、被写体像から主要被写体が検出され、検出された主要被写体が合焦するようにフォーカス位置が決定される。これにより、主要被写体にピントが合ったパノラマ画像を得ることができる。 According to the stereoscopic panoramic image photographing apparatus of the sixth aspect, the main subject is detected from the subject image, and the focus position is determined so that the detected main subject is in focus. Thereby, a panoramic image in which the main subject is in focus can be obtained.
請求項７に記載の立体パノラマ画像撮影装置は、請求項６に記載の立体パノラマ画像撮影装置において、前記フォーカス位置決定手段は、前記検出された主要被写体が被写界深度の前記撮影光学系から遠い側の端と略一致するように前記所定の距離を決定することを特徴とする。
The stereoscopic panorama image photographing device according to claim 7 is the stereoscopic panoramic image photographing device according to
請求項７に記載の立体パノラマ画像撮影装置によれば、検出された主要被写体が被写界深度の後端と略一致する、すなわち主要被写体の若干手前が合焦するようにフォーカス位置が決定される。これにより、背景をよりボケやすくすることができる。 According to the stereoscopic panorama image photographing device of claim 7, the focus position is determined so that the detected main subject substantially coincides with the rear end of the depth of field, that is, slightly in front of the main subject is in focus. The As a result, the background can be more easily blurred.
請求項８に記載の立体パノラマ画像撮影装置は、請求項６又は７に記載の立体パノラマ画像撮影装置において、前記フォーカス位置決定手段は、前記主要被写体までの距離が所定の距離閾値より遠い主要被写体が合焦するように前記所定の距離を決定することを特徴とする。
The stereoscopic panorama image photographing device according to claim 8 is the stereoscopic panoramic image photographing device according to
請求項８に記載の立体パノラマ画像撮影装置によれば、主要被写体までの距離が所定の距離閾値より遠い主要被写体が合焦するようにフォーカス位置が決定される。これにより、距離が近すぎる被写体が合焦することで視差が大きくなり、全体として見にくい写真となることを防止することができる。 According to the stereoscopic panorama image photographing apparatus of the eighth aspect, the focus position is determined so that the main subject whose distance to the main subject is farther than the predetermined distance threshold is focused. Accordingly, it is possible to prevent the parallax from being increased due to focusing on a subject that is too close, and to prevent a photograph that is difficult to see as a whole.
請求項９に記載の立体パノラマ画像撮影装置は、請求項１から８のいずれかに記載の立体パノラマ画像撮影装置において、前記複数の第１の被写体像及び前記複数の第２の被写体像の被写体までの距離を示す距離情報を画素毎に取得する第２の距離情報取得手段を備え、前記画像生成手段は、前記取得された距離情報が等しい画素を重ねあわせることにより前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせることを特徴とする。
The stereoscopic panoramic image photographing device according to claim 9 is the stereoscopic panoramic image photographing device according to any one of
請求項９に記載の立体パノラマ画像撮影装置によれば、本撮影により得られた複数の第１の被写体像及び複数の第２の被写体像の各画素毎に被写体までの距離を示す距離情報が取得され、取得された距離情報が等しい画素を重ねあわせることにより複数の第１の被写体像及び複数の第２の被写体像がそれぞれつなぎ合わされる。これにより、つなぎ目が自然な立体パノラマ画像を得ることができる。 According to the stereoscopic panoramic image photographing device of claim 9, distance information indicating the distance to the subject for each pixel of the plurality of first subject images and the plurality of second subject images obtained by the main photographing. A plurality of first subject images and a plurality of second subject images are joined together by superimposing pixels acquired and having the same distance information. Thereby, it is possible to obtain a stereoscopic panoramic image with natural joints.
請求項１０に記載の立体パノラマ画像撮影装置は、請求項９に記載の立体パノラマ画像撮影装置において、前記撮像素子回転手段は、前記撮像素子が水平な状態と、当該水平な状態との重複範囲が最大となるように前記水平な状態から９０度回転された垂直な状態との間で前記撮像素子を回転させ、前記本撮影手段は、前記撮像素子が前記水平な状態及び前記垂直な状態で前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像をそれぞれ複数取得し、前記第２の距離情報取得手段は、前記横向きの第１の被写体像と前記横向きの第２の被写体像とに基づいて前記横向きの第１の被写体像及び前記横向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第１の距離情報という）を画素毎に取得し、かつ前記縦向きの第１の被写体像と前記縦向きの第２の被写体像とに基づいて前記縦向きの第１の被写体像及び前記縦向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第２の距離情報という）を画素毎に取得し、前記画像生成手段は、前記横向きの第１の被写体像と前記縦向きの第１の被写体像との重なる範囲を前記横向きの第１の被写体像から切り出して第１の切り出し画像を複数生成すると共に前記横向きの第２の被写体像と前記縦向きの第２の被写体像との重なる範囲を前記横向きの第２の被写体像から切り出して第２の切り出し画像を複数生成し、前記第１の距離情報及び前記第２の距離情報の少なくとも１つに基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする。
The stereoscopic panoramic image photographing device according to
請求項１０に記載の立体パノラマ画像撮影装置によれば、撮像素子が水平な状態及び垂直な状態で第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像がそれぞれ複数取得される。横向きの第１の被写体像と縦向きの第１の被写体像との重なる範囲を横向きの第１の被写体像から切り出して第１の切り出し画像が複数生成されると共に、横向きの第２の被写体像と縦向きの第２の被写体像との重なる範囲を横向きの第２の被写体像から切り出して第２の切り出し画像が複数生成される。第１の距離情報及び第２の距離情報が画素毎に取得され、第１の距離情報及び第２の距離情報の少なくとも１つに基づいて複数の第１の切り出し画像及び複数の第２の切り出し画像がそれぞれつなぎ合わされる。これにより、距離情報の誤検出を低減させ、精度の良いパノラマ画像を生成することができる。
According to the stereoscopic panoramic image photographing device according to
請求項１１に記載の立体パノラマ画像撮影装置は、請求項１０に記載の立体パノラマ画像撮影装置において、前記第１の距離情報の画素数が所定の画素数より多いか否かを判断する手段を備え、前記第１の距離情報の画素数が所定の画素数より多い場合には、前記本撮影手段は、前記複数の縦向きの第１の被写体像及び前記複数の縦向きの第２の被写体像を撮影しないことを特徴とする。
The stereoscopic panorama image photographing device according to claim 11 is a stereoscopic panoramic image photographing device according to
請求項１１に記載の立体パノラマ画像撮影装置によれば、第１の距離情報の画素数が所定の画素数より多い場合には、複数の縦向きの第１の被写体像及び複数の縦向きの第２の被写体像は撮影されない。これにより、必要の無い撮影をする手間を省くことができる。 According to the stereoscopic panorama image capturing device of claim 11, when the number of pixels of the first distance information is greater than the predetermined number of pixels, the plurality of vertical first subject images and the plurality of vertical orientations. The second subject image is not taken. Thereby, it is possible to save the trouble of shooting unnecessary.
請求項１２に記載の立体パノラマ画像撮影装置は、請求項１０又は１１に記載の立体パノラマ画像撮影装置において、前記画像生成手段は、前記第１の距離情報の画素数と、前記第２の距離情報の画素数とを比較し、前記第１の距離情報と前記第２の距離情報とのうちの画素数が多い方の距離情報に基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする。
The stereoscopic panorama image photographing device according to
請求項１２に記載の立体パノラマ画像撮影装置によれば、第１の距離情報の画素数と、第２の距離情報の画素数とが比較され、画素数が多い方の距離情報に基づいて複数の第１の切り出し画像及び複数の第２の切り出し画像がそれぞれつなぎ合わされる。これにより、精度の良い距離情報をつなぎ合わせに用いることができる。
According to the stereoscopic panorama image photographing device of
請求項１３に記載の立体パノラマ画像撮影装置は、請求項１から１２のいずれかに記載の立体パノラマ画像撮影装置において、前記検出手段は、前記撮像素子と一体となるように配設され、重力加速度を検出する加速度センサと、前記撮像素子と一体となるように配設され、当該撮像素子の回転位置を検出する位置検出装置と、を有し、前記撮像素子回転手段は、前記撮像素子を回転させるアクチュエータと、前記加速度センサ及び前記位置検出装置からの出力に基づいて前記アクチュエータの駆動を制御する駆動制御手段と、を有することを特徴とする。
The stereoscopic panoramic image photographing device according to claim 13 is the stereoscopic panoramic image photographing device according to any one of
請求項１３に記載の立体パノラマ画像撮影装置によれば、重力加速度を検出する加速度センサと、撮像素子の回転位置を検出する位置検出装置とが撮像素子と一体となるように配設され、加速度センサ及び位置検出装置からの出力に基づいてアクチュエータの駆動が制御される。これにより、撮像素子が常に水平方向になるように制御することができる。また、フィードバック制御によりハンチングを防止することができる。 According to the three-dimensional panoramic image photographing device according to claim 13, the acceleration sensor that detects the gravitational acceleration and the position detection device that detects the rotational position of the image sensor are disposed so as to be integrated with the image sensor, and the acceleration is performed. The drive of the actuator is controlled based on the output from the sensor and the position detection device. Thereby, it can control so that an image sensor may always become a horizontal direction. Further, hunting can be prevented by feedback control.
本発明によれば、立体視可能なパノラマ画像を撮影することができる。 According to the present invention, a stereoscopically panoramic image can be taken.
以下、添付図面に従って本発明に係る立体パノラマ画像撮影装置の実施の形態について説明する。 Embodiments of a stereoscopic panorama image photographing apparatus according to the present invention will be described below with reference to the accompanying drawings.
＜第１の実施の形態＞
［撮像装置の全体構成］
図１は本発明に係る第１の実施の形態の撮像装置である立体パノラマ画像撮影装置１の一実施形態を示す斜視図である。図２は、上記立体パノラマ画像撮影装置１の一実施形態を示す背面図である。この立体パノラマ画像撮影装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラである。
<First Embodiment>
[Overall configuration of imaging device]
FIG. 1 is a perspective view showing an embodiment of a stereoscopic panorama
立体パノラマ画像撮影装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。
The
なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。 A battery insertion portion and a memory card slot are provided on the lower surface of the camera body 10 (not shown) via a tripod screw hole and an openable / closable cover. The battery insertion portion and the memory card slot have a battery and a memory. The card is loaded.
レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
The
ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。
The
シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体パノラマ画像撮影装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、立体パノラマ画像撮影装置１は、投影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。
The
電源／モードスイッチ２４は、立体パノラマ画像撮影装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体パノラマ画像撮影装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体パノラマ画像撮影装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
The power /
モードダイヤル２６は、立体パノラマ画像撮影装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体パノラマ画像撮影装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。
The
この液晶モニタ２８は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
The liquid crystal monitor 28 is a stereoscopic display unit that can display a stereoscopic image (left viewpoint image and right viewpoint image) as a directional image having a predetermined directivity by a parallax barrier. When a stereoscopic image is input to the
ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。立体パノラマ画像撮影装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
The
十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
The
ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
The MENU /
再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。
The
ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
The
［撮影光学系、撮像素子の構成例］
図３は、立体パノラマ画像撮影装置１の要部断面図である。レンズユニット１２は、主として撮影レンズ１４、リレーレンズ１５、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７で構成される。
[Configuration example of imaging optical system and imaging device]
FIG. 3 is a cross-sectional view of a main part of the stereoscopic panoramic
撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。図３では、模式的に、撮影レンズ１４を複数のレンズを代表する１枚のメインレンズで表している。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６、リレーレンズ１５を介して位相差ＣＣＤ１７の受光面に結像される。
The photographing
位相差ＣＣＤ１７の背面側には、位相差ＣＣＤ１７を回転させるアクチュエータ１８が配設されている。アクチュエータ１８は、立体パノラマ画像撮影装置１の傾きに応じて位相差ＣＣＤ１７をレンズユニット１２の光軸に垂直な同一平面内で光軸を中心に回転させる（後に詳述する）。
An actuator 18 that rotates the
図４は位相差ＣＣＤ１７の構成例を示す図である。
FIG. 4 is a diagram illustrating a configuration example of the
位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
The
図４に示すように位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
As shown in FIG. 4, among the pixels provided with R (red), G (green), and B (blue) color filters on the odd lines (1, 3, 5,...) Of the
図５は撮影レンズ１４、リレーレンズ１５、及び位相差ＣＣＤ１７の主、副画素の１画素ずつを示した図であり、図６は図５の要部拡大図である。図５では、図３と同様に、撮影レンズ１４を１枚のメインレンズで表している。なお、図５では、図３に示したリレーレンズ１５を省略している。
FIG. 5 is a diagram showing each of the main and sub-pixels of the photographing
位相差ＣＣＤ１７の主画素、副画素の前面には、それぞれ遮光部材１７Ａ、１７Ｂが形成されている。図６（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。図６（Ｂ）に示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図６（Ｃ）に示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。すなわち、遮光部材１７Ａ、１７Ｂは瞳分割機能を有している。
このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。
In this way, by allowing the main pixel of the
図７（Ａ）〜（Ｃ）は、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図７では、フォーカスによる分離の違いを比較するために絞り１６を省略している。
FIGS. 7A to 7C are diagrams illustrating separation states of images formed on the image sensor by the difference between the front lens, the in-focus (best focus), and the rear pin. In FIG. 7, the
図７（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図７（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。 As shown in FIG. 7B, the focused image of the pupil-divided images is formed (matched) at the same position on the image sensor, but FIGS. 7A and 7C. As shown in FIG. 5, the images to be the front pin and the rear pin are formed (separated) at different positions on the image sensor.
従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差の異なる左視点画像及び右視点画像（立体視画像）を取得することができる。
Accordingly, by acquiring the subject image that is pupil-divided in the left-right direction via the
尚、上記構成の位相ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
The
［撮像装置の内部構成］
図８は本発明の第１の実施の形態に係る立体パノラマ画像撮影装置１の実施の形態を示すブロック図である。
[Internal configuration of imaging device]
FIG. 8 is a block diagram showing an embodiment of the stereoscopic panorama
この立体パノラマ画像撮影装置１は、撮像した画像をメモリカード１５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
The stereoscopic panoramic
操作部１３８（シャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等）からの信号はＣＰＵ１４０に入力され、ＣＰＵ１４０は入力信号に基づいて立体パノラマ画像撮影装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。
Signals from the operation unit 138 (
ＣＰＵ１４０によって制御されるレンズ駆動部１３６によってフォーカスレンズ、ズームレンズが駆動され、フォーカス制御、ズーム制御等が行われる。
A focus lens and a zoom lens are driven by a
レンズ駆動部１３６は、ＣＰＵ１４０からの指令に従い、フォーカスレンズを光軸方向に移動させ、焦点位置を可変する。また、レンズ駆動部１３６は、ＣＰＵ１４０からの指令に従い、ズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
The
絞り１６は、例えば、５枚の絞り羽根からなり、ＣＰＵ１４０によって制御される絞り駆動部１３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
The
また、ＣＰＵ１４０は、絞り駆動部１３４を介して絞り１６を制御するとともに、ＣＣＤ制御部１３２を介して位相差ＣＣＤ１７での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１７からの画像信号の読み出し制御等を行う。
Further, the
さらに、ＣＰＵ１４０は、立体パノラマ画像撮影装置１の傾きを検出するジャイロセンサ（図示せず）の検出結果に応じて、検出された傾きを打ち消すように位相差ＣＣＤ１７が回転され、位相差ＣＣＤ１７が水平となるようにアクチュエータ１８を制御する。
Further, the
図９Ａ、図９Ｂは、アクチュエータ１８の制御について説明する図であり、図９Ａ（Ａ）はレンズユニット１２近傍の要部を示す正面図であり、図９Ａ（Ｂ）はレンズユニット１２近傍の要部を示す断面図である。同図（Ｂ）には、アクチュエータ１８の制御のための電気的な内部構成があわせて記載されている。
9A and 9B are diagrams for explaining the control of the
位相差ＣＣＤ１７の背面には基板１７Ａが配設されており、基板１７の背面には、アクチュエータ１８の出力軸１８Ａの中心が位相差ＣＣＤ１７の中央と略一致するように、出力軸１８Ａが固定されている。
A
位置検出装置１９は、基板１７Ａの回転位置を検出するものであり、ホールセンサ１９Ａと磁石１９Ｂとで構成される。磁石１９Ｂは、基板１７Ａの上側の辺の中央近傍に固定され、基板１７Ａと共に移動する。ホールセンサ１９Ａは、磁石１９Ｂに対向するようにカメラボディ１０に固定され、磁石１９Ｂによる磁界を検出し、その大きさに比例したアナログ信号を出力する。これにより、位置検出装置１９からは基板１７Ａの回転角度に応じた信号が出力される。位置検出装置１９からの出力は、センサアンプ１６０で増幅されてアクチュエータ駆動回路１６５へ入力される。なお、位置検出装置１９は、ホールセンサ１９Ａと磁石１９Ｂとで構成される物に限られず、様々な公知の技術を用いることができる。
The
加速度センサ２０Ａは、重力加速度を検出するセンサであり、位相差ＣＣＤ１７の傾きを検出するセンサである。角速度センサ２０Ｂは、位相差ＣＣＤ１７のｚ軸周りの角速度を検出するセンサである。加速度センサ２０Ａ、角速度センサ２０Ｂからの出力は、それぞれアンプ１６１Ａ、１６１Ｂで増幅され、Ａ／Ｄ変換器１６２Ａ、１６２Ｂでデジタル信号に変換されてマイコン１６３に入力される。
The acceleration sensor 20 </ b> A is a sensor that detects gravitational acceleration, and is a sensor that detects the inclination of the
マイコン１６３は、アクチュエータ駆動回路１６５を介してアクチュエータ１８の駆動を制御するもので、Ａ／Ｄ変換器１６２Ｂから入力された信号に基づいて角速度センサ２０Ｂの出力を打ち消すように位相差ＣＣＤ１７を回転させることを決定する。マイコン１６３は、決定した回転量をＤ／Ａ変換器１６４を介してアクチュエータ駆動回路１６５に出力し、アクチュエータ駆動回路１６５は、マイコン１６３からの出力に基づいてアクチュエータ１８を駆動する。
The
それに加え、マイコン１６３は、Ａ／Ｄ変換器１６２Ａから入力された信号、すなわち加速度センサ２０Ａからの出力に基づいてアクチュエータ１８の駆動量を決定する。図９Ｂ（Ｃ）は、マイコン１６３が加速度センサ２０Ａからの出力に基づいてアクチュエータ１８の駆動量を決定する処理の流れを示すフローチャートである。
In addition, the
図９Ｂ（Ｄ）に示すように、加速度センサ２０Ａでは重力方向の加速度（鉛直下向き）が検出されるが、基板１７Ａが傾いている場合には、検出された加速度はｘ方向の成分（以下、ｘ成分という）及びｙ方向の成分（以下、ｙ成分という）に分解可能である。まず、マイコン１６３は、Ａ／Ｄ変換器１６２Ａからの信号からｘ成分を検出し、閾値ｘ１、ｘ２と比較することでレベルを判定する（ステップＳ１）。閾値ｘ１、ｘ２は、少なくとも駆動１パルス分に相当するｘ成分の変化量となるように設定される。
As shown in FIG. 9B (D), the
ｘ成分がｘ１より大きい場合（ステップＳ２）には、位相差ＣＣＤ１７が正面から見て時計回りに所定の角度以上回転している場合であるため、マイコン１６３は、位相差ＣＣＤ１７を反時計回り（図９Ｂ（Ｄ）Ｌ方向）に１パルス移動させることを決定する（ステップＳ５）。
When the x component is larger than x1 (step S2), since the
ｘ成分がｘ１以下、ｘ２以上である場合（ステップＳ３）は、位相差ＣＣＤ１７の傾きが０又は微小である場合であるため、マイコン１６３は、位相差ＣＣＤ１７を回転させないことを決定する。
When the x component is equal to or smaller than x1 and equal to or larger than x2 (step S3), the
ｘ成分がｘ２より小さい場合（ステップＳ４）には、位相差ＣＣＤ１７が正面から見て反時計回りに所定の角度以上回転している場合であるため、マイコン１６３は、位相差ＣＣＤ１７を時計回り（図９Ｂ（Ｄ）Ｒ方向）に１パルス移動させることを決定する（ステップＳ６）。
When the x component is smaller than x2 (step S4), since the
そして、図９Ｂ（Ｃ）のフローチャートにより決定された回転量をＤ／Ａ変換器１６４を介してアクチュエータ駆動回路１６５に出力する。アクチュエータ駆動回路１６５には位置検出装置１９からの信号が入力されており、アクチュエータ駆動回路１６５は、位置検出装置１９により基板１７Ａ（すなわち位相差ＣＣＤ１７）の回転が０となった場合には、角速度センサ２０Ｂの出力を打ち消すように決定された量だけアクチュエータ１８が駆動されていない場合であってもアクチュエータ１８の駆動を停止する。このようなフィードバック制御を行うことにより、ハンチングを防止することができる。
Then, the rotation amount determined by the flowchart of FIG. 9B (C) is output to the
図８の説明に戻る。位相差ＣＣＤ１７に蓄積された信号電荷は、ＣＣＤ制御部１３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部１２０に加えられる。
Returning to the description of FIG. The signal charge accumulated in the
アナログ信号処理部１２０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器１２１に加えられる。Ａ／Ｄ変換器１２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ１２２に出力する。
The analog
デジタル信号処理部１２４は、画像入力コントローラ１２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
The digital
ここで、図４（Ｂ）及び（Ｃ）に示すように，位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
Here, as shown in FIGS. 4B and 4C, the main image data read from the odd-line main pixels of the
デジタル信号処理部１２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ１５０に入力される。ＶＲＡＭ１５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ１５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ１５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ１５０から読み出された３Ｄ画像データはビデオ・エンコーダ１２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ２８に出力され、これにより３Ｄの被写体像が液晶モニタ２８の表示画面上に表示される。
The left viewpoint image data and right viewpoint image data (3D image data) processed by the digital
また、操作部１３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部１３６を介して撮影レンズ１４内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器１２１から出力される画像データは、ＡＥ検出部１４４に取り込まれる。
In addition, when the shutter button of the
ＡＥ検出部１４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ１４０に出力する。ＣＰＵ１４０は、ＡＥ検出部１４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部１３４を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部１３２を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。
The
ＡＦ処理部１４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。なお、ＡＦ処理は、所定のフォーカス領域内の画像データを対象にしてもよいし、画像データの全画素を対象にしてもよい。また、ＡＦ処理部１４２は、ＣＰＵ１４０から合焦すべき被写体の位置（以下、フォーカス位置という）が入力された場合には、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
The
距離情報取得部１４６は、ＡＦ処理部１４２がコントラストＡＦ処理を行う場合には、ＡＦ評価値が極大となるようにフォーカスレンズが制御された際のレンズ位置から被写体像までの距離を算出する。距離情報取得部１４６は、ＡＦ処理部１４２が位相差ＡＦ処理を行う場合には、ＡＦ処理部１４２で得られたデフォーカス量から距離情報を算出する。距離情報とは被写体までの距離であり、距離情報取得部１４６は各画素毎に距離情報を算出する。なお、距離情報の算出方法はこれに限られず、外測位相差検出方式、超音波センサ方式、赤外線センサ方式等の任意の方式を採用してもよい。
When the
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器１２１から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ１２２からメモリ(SDRAM)１４８に入力し、一時的に記憶される。
When the AE operation and the AF operation are completed and the shutter button is pressed in the second stage (full press), the left corresponding to the main pixel and the sub pixel output from the A /
メモリ１４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部１２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ１４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部１２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ１４８に記憶される。
The two pieces of image data temporarily stored in the
メモリ１４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ１５２により読み出され、メモリカード１５４に記録される。
A multi-picture file (MP file: a file in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the
顔検出部１５６は、ＣＰＵ１４０からの指令に従い、画像データから画像内の顔領域を抽出し、その位置（たとえば、顔領域の重心）を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。
The face detection unit 156 extracts a face area in the image from the image data according to a command from the
［撮像装置の動作の説明］
次に、立体パノラマ画像撮影装置１の動作について説明する。この撮像処理はＣＰＵ１４０によって制御される。この撮像処理をＣＰＵ１４０に実行させるためのプログラムはＣＰＵ１４０内のプログラム格納部に記憶されている。立体パノラマ画像撮影装置１は、平面画像、立体視画像の両方が撮影可能である。
[Description of Operation of Imaging Device]
Next, the operation of the stereoscopic panorama
（１）平面画像の撮影処理
モードダイヤル２６により平面画像撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素のみを用いて撮影を行う。
(1) Plane Image Shooting Processing When the
撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。ＣＣＤ制御部１３２は位相差ＣＣＤ１７の主画素に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ信号処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してデジタル信号処理部１２４に順次入力され、左視点画像データが順次生成される。生成された左視点画像データは順次ＶＲＡＭ１５０に入力される。
The subject light that has passed through the photographing
左視点画像データはＶＲＡＭ１５０から順次出力され、デジタル信号処理部１２４で輝度／色差信号が生成され、その信号がビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。
The left viewpoint image data is sequentially output from the
この処理を順次行うことにより、位相差ＣＣＤ１７の主画素で撮像される画像が液晶モニタ２８にリアルタイムに表示される。撮影者は、この液晶モニタ２８に液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。
By sequentially performing this process, an image captured by the main pixel of the
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ／ＡＦ動作を実施する。平面画像の撮影処理においては、ＡＦ処理部１４２は、コントラストＡＦ処理によりＦ動作を行う。
When the shutter button is half-pressed, an S1 ON signal is input to the
この後、シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。
Thereafter, when the shutter button is fully pressed, an S2 ON signal is input to the
位相差ＣＣＤ１７から出力された画像信号は、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。ＶＲＡＭ１５０に格納された左視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、平面画像が撮影、記録される。
The image signal output from the
（２）立体視画像の撮影処理
モードダイヤル２６により立体視画像撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素、副画素の全てを用いて撮影を行う。
(2) Stereoscopic Image Shooting Processing When the
撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。ＣＣＤ制御部１３２は位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ信号処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してデジタル信号処理部１２４に順次入力され、左視点画像データ及び右視点画像データが順次生成される。生成された左視点画像データ及び右視点画像データは順次ＶＲＡＭ１５０に入力される。
The subject light that has passed through the photographing
左視点画像データ及び右視点画像データはＶＲＡＭ１５０から順次出力され、デジタル信号処理部１２４で輝度／色差信号が生成され、その信号がビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左視点画像データと右視点画像データとの短冊状の画像断片が交互に配列して表示される。
The left viewpoint image data and the right viewpoint image data are sequentially output from the
この処理を順次行うことにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。撮影者は、この液晶モニタ２８に液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。
By sequentially performing this processing, an image picked up by the main pixel and sub-pixel of the
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部１４２は、位相差ＡＦ処理によりＡＦ動作を行う。
When the shutter button is half-pressed, an S1 ON signal is input to the
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。
When the shutter button is fully pressed, an S2ON signal is input to the
位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力された２枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。ＶＲＡＭ１５０に格納された左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
Two pieces of image data respectively output from the main pixel and sub-pixel of the
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体視画像が撮影、記録される。
An MP file is generated from the two compressed data stored in the
（３）立体パノラマ画像の撮影処理
モードダイヤル２６により立体パノラマ撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素、副画素の全てを用いて撮影を行う。図１０は、図１１（ａ）に示すパノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。図１１（ｂ）は、図１１（ａ）に示すパノラマ画像の撮影範囲を示す図である。
(3) Stereo panoramic image shooting processing When the
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。このスルー画像の撮影は、図１１（ｃ）に示すように、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲で行われる。
(Step S10) The
（ステップＳ１２）ＡＦ処理部１４２は、リアルタイムに主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
(Step S12) The
算出された距離情報は、ＣＰＵ１４０に入力される。ＣＰＵ１４０は、主要被写体が被写界深度の後端（撮影レンズ１４から遠い側の端）近傍に位置するように、距離情報に基づいてフォーカス位置を決定する。
The calculated distance information is input to the
本実施の形態では、顔検出部１５６により顔領域が抽出された人物を主要被写体とするが、他の方法により主要被写体を求めてもよい。顔検出部１５６により複数の顔領域が検出されている場合には、最も大きい顔領域を主要被写体とすればよい。顔検出部１５６により顔領域が検出されなかった場合には、スルー画像から特徴点検出等により検出された被写体を主要被写体とすればよい。 In this embodiment, the person whose face area is extracted by the face detection unit 156 is the main subject, but the main subject may be obtained by other methods. When a plurality of face areas are detected by the face detection unit 156, the largest face area may be set as the main subject. When the face area is not detected by the face detection unit 156, the subject detected by the feature point detection or the like from the through image may be set as the main subject.
図１２は、被写界深度を説明する図である。厳密に言えば点Ｂが合焦位置であるが、点Ａ〜点Ｃまでの範囲にある被写体は感覚的には合焦しているように見える。この点Ａ〜点Ｃまでの範囲が被写界深度である。被写界深度の後端は、図１２の点Ａである。 FIG. 12 is a diagram illustrating the depth of field. Strictly speaking, point B is the in-focus position, but a subject in the range from point A to point C seems to be in focus in a sense. The range from point A to point C is the depth of field. The rear end of the depth of field is point A in FIG.
このように、主要被写体が被写界深度の後端に位置する、すなわちフォーカス位置を主要被写体の若干手前にすると、背景がよりボケ易くなる。背景がボケている場合は心理効果によって主要被写体の立体視による浮かび具合が際立つため、立体視画像の品質を向上させることができる。 As described above, when the main subject is located at the rear end of the depth of field, that is, when the focus position is slightly in front of the main subject, the background is more easily blurred. When the background is blurred, the floating state of the main subject in the stereoscopic view is conspicuous due to the psychological effect, so that the quality of the stereoscopic image can be improved.
（ステップＳ１４）ＣＰＵ１４０は、ステップＳ１２で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
(Step S14) The
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作を実施する。立体パノラマ写真撮影では、フォーカス位置が決定されているため、ＡＦ処理は行われない。
When the shutter button is half-pressed, an S1 ON signal is input to the
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、図１１（ｄ）に示すように、パノラマ写真の撮影範囲の端を含む撮影範囲（図１１（ａ）の撮影範囲Ａ）で１枚目の左視点画像データ及び右視点画像データを取得する。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
When the shutter button is fully pressed, an S2ON signal is input to the
（ステップＳ１６）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ１４のフォーカス位置のまま、図１１（ｅ）に示すように１枚目とは異なる撮影範囲（図１１（ａ）の撮影範囲Ｂ）で２枚目の左視点画像データ及び右視点画像データを取得する。撮影範囲の移動は、撮影者が立体パノラマ画像撮影装置１の位置を変えないで立体パノラマ画像撮影装置１の向きを左右に振る、すなわちパンニングすることにより行われる。なお、パンニングの方向は特に限定されない。
(Step S16) When the shutter button is fully pressed again, a second S2 ON signal is input to the
ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。２枚目の撮影範囲は、図１１（ｄ）、（ｅ）に示すように１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。したがって、２枚目の左視点画像データ及び右視点画像データは、１枚目の左視点画像データ及び右視点画像データと一部が重複している。
The
ステップＳ１４、Ｓ１６で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。
The four pieces of image data output from the main pixel and subpixel of the
（ステップＳ１８）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。ＣＰＵ１４０は、距離情報取得部１４６により算出された１枚目の左視点画像データ及び２枚目の左視点画像データの各画素の距離情報に基づいて１枚目の左視点画像データと２枚目の左視点画像データとの互いに重複する部分のなかから距離情報が同一の領域を検出する。図１３の斜線部は、１枚目の左視点画像データと２枚目の左視点画像データとの互いに重複する部分のなかから距離情報が同一の領域である。ＣＰＵ１４０は、この領域を重ね合わせるようにして１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせる。
(Step S18) The
また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の右視点画像データと２枚目の右視点画像データをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
Further, the
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
The panoramic image left viewpoint image data and right viewpoint image data stored in the
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
An MP file is generated from the two compressed data stored in the
以上のようにしてメモリカード１５４に記録された画像は、再生ボタンにより立体パノラマ画像撮影装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。
The image recorded on the
再生モードに設定されると、ＣＰＵ１４０は、メディア・コントローラ１５２にコマンドを出力し、メモリカード１５４に最後に記録された画像ファイルを読み出させる。
When the playback mode is set, the
読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部１２６に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。
The compressed image data of the read image file is added to the compression /
画像のコマ送りは、十字キーの左右のキー操作によって行なわれ、十字キーの右キーが押されると、次の画像ファイルがメモリカード１５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルがメモリカード１５４から読み出され、液晶モニタ２８に再生表示される。
Image frame advance is performed by operating the left and right keys of the cross key. When the right key of the cross key is pressed, the next image file is read from the
本実施の形態によれば、立体パノラマ画像撮影装置が傾いた場合にも、位相差ＣＣＤの傾きを容易に補正することができる。これにより、１枚目の左目用画像データ、右目用画像データの視差の方向と、２枚目の左目用画像データ、右目用画像データの視差の方向とが一致し、１枚目の画像データと２枚目の画像データとの連結が可能となる。すなわち、単眼立体撮影装置で１枚の位相差ＣＣＤを用いて立体視画像を撮影することにより、立体パノラマ写真の生成が可能となる。 According to the present embodiment, it is possible to easily correct the tilt of the phase difference CCD even when the stereoscopic panoramic image photographing device is tilted. Thus, the parallax direction of the first left-eye image data and right-eye image data matches the parallax direction of the second left-eye image data and right-eye image data, and the first image data And the second image data can be linked. That is, a stereoscopic panoramic photograph can be generated by photographing a stereoscopic image using a single phase difference CCD with a monocular stereoscopic photographing device.
また、本実施の形態によれば、主要被写体よりも若干手前にくるようにフォーカス位置を決定するため、主要被写体にピントが合いかつ背景がボケた、適切な立体感のパノラマ画像とすることができる。 In addition, according to the present embodiment, since the focus position is determined to be slightly ahead of the main subject, it is possible to obtain a panoramic image with an appropriate stereoscopic effect in which the main subject is in focus and the background is blurred. it can.
また、本実施の形態によれば、同じフォーカス位置で２枚の立体視画像を撮影し、これをつなぎ合わせて立体パノラマ画像を生成するため、つなぎ目が自然で違和感の無い綺麗な立体パノラマ画像を得ることができる。 In addition, according to the present embodiment, two stereoscopic images are taken at the same focus position, and these are joined to generate a stereoscopic panorama image. Therefore, a beautiful stereoscopic panoramic image with a natural joint and no sense of incongruity is obtained. Obtainable.
また、本実施の形態によれば、全画素に対して距離情報を算出し、これを用いて画像をつなぎ合わせるため、高精度に画像をつなぎ合わせることができる。したがって、つなぎ目が自然となり、違和感の無い立体パノラマ画像を得ることができる。 Further, according to the present embodiment, distance information is calculated for all the pixels, and the images are joined using the distance information. Therefore, the images can be joined with high accuracy. Therefore, the joints become natural and a stereoscopic panoramic image without a sense of incongruity can be obtained.
なお、本実施の形態では、主要被写体よりも若干手前にくるようにフォーカス位置を決定したが、主要被写体までの距離に応じてフォーカス位置の設定を変えてもよい。撮影装置からの距離が近い被写体は視差が大きくなる。このため、その被写体に視差を合わせてしまうと、主要被写体以外の被写体は視差が不適切となるため、結果的に全体として見にくい写真となってしまう。したがって、ＣＰＵ１４０は、まず主要被写体の距離情報を取得し、主要被写体が所定の閾値よりも近い位置にあると判断した場合は、この主要被写体と異なる被写体を対象にフォーカス位置を決定する。例えば、顔検出部１５６により複数の顔領域が検出されている場合には所定の閾値よりも遠い人物を異なる被写体とすればよい。なお、この閾値はあらかじめ設定されており、その設定された値がメモリ１４８等に記憶されている。
In the present embodiment, the focus position is determined so as to be slightly in front of the main subject. However, the focus position setting may be changed according to the distance to the main subject. A subject close to the photographing apparatus has a large parallax. For this reason, if the parallax is adjusted to the subject, the subject other than the main subject has an inappropriate parallax, resulting in a photograph that is difficult to see as a whole. Therefore, the
また、本実施の形態では、主要被写体が被写界深度の後端（図１２の点Ａ）にくるようにフォーカス位置を決定したが、フォーカス位置の設定方法はこれに限られない。例えば、主要被写体が合焦位置（図１２の点Ｂ）にくるようにフォーカス位置を決定してもよい。この場合には、背景が遠い位置にあれば背景をぼかすことができる。また、主要被写体が確実にボケないようにするため、主要被写体が図１２の点Ａと点Ｂと中間にくるようにフォーカス位置を決定してもよい。 In the present embodiment, the focus position is determined so that the main subject comes to the rear end (point A in FIG. 12) of the depth of field, but the method for setting the focus position is not limited to this. For example, the focus position may be determined so that the main subject comes to the in-focus position (point B in FIG. 12). In this case, the background can be blurred if the background is far away. Further, in order to ensure that the main subject does not blur, the focus position may be determined so that the main subject is in the middle of points A and B in FIG.
また、本実施の形態では、スルー画像用の画像データからフォーカス位置決定用の距離情報を取得するが、距離情報を取得する画像データはこれに限らない。フォーカス位置決定用の距離情報は本撮影の前に取得されていればよいのでＳ１ＯＮの時に取得される画像データから距離情報を求めてもよいし、プリ撮影等距離情報取得用の画像データを別途撮影するようにしてもよい。 In this embodiment, distance information for determining a focus position is acquired from image data for a through image. However, image data for acquiring distance information is not limited to this. Since the distance information for determining the focus position only needs to be acquired before the actual shooting, the distance information may be obtained from the image data acquired at the time of S1 ON, or image data for acquiring distance information such as pre-shooting is separately obtained. You may make it photograph.
また、本実施の形態では、右目用画像データ、左目用画像データの両方についてフォーカス位置決定用の距離情報を取得したが、どちらか一方でもよい。また、本実施の形態では、右目用画像データ、左目用画像データの各画素毎に距離情報を取得したが、各画素毎に距離情報を取得できない場合も考えられる。一般的には、画像のつなぎ合わせに用いる領域（１枚目の画像データと２枚目の画像データとの互いに重複する部分のなかから距離情報が同一の領域）のうちの約２０％程度の画素で距離情報が得られているのであれば、つなぎ合わせは可能であるため、全画素で距離情報が取得できなくても問題はない。 In the present embodiment, the distance information for determining the focus position is acquired for both the right-eye image data and the left-eye image data, but either one may be used. In the present embodiment, distance information is acquired for each pixel of the right-eye image data and the left-eye image data. However, there may be a case where distance information cannot be acquired for each pixel. Generally, it is about 20% of the area used for joining images (the area where the distance information is the same from the overlapping part of the first image data and the second image data). If the distance information is obtained from the pixels, it is possible to connect them. Therefore, there is no problem even if the distance information cannot be obtained from all the pixels.
また、本実施の形態では、位相差ＣＣＤ１７の回転用にアクチュエータ１８を配設したが、回転方向のθ軸回りに撮像素子を移動させることで手ブレを補正する機械式の手ブレ補正機構を有する場合には、この手ブレ補正機構を用いて位相差ＣＣＤ１７を水平にしてもよい。
In this embodiment, the
＜第２の実施の形態＞
本発明の第１の実施の形態は、主要被写体よりも若干手前にくるようにフォーカス位置を決定するものであるが、フォーカス位置の設定の方法はこれに限られない。
<Second Embodiment>
In the first embodiment of the present invention, the focus position is determined to be slightly ahead of the main subject, but the method for setting the focus position is not limited to this.
本発明の第２の実施の形態は、１枚目の画像の距離情報と２枚目の画像の距離情報とに基づいてすべての被写体までの距離の略中間位置をフォーカス位置とするものである。以下、第２の実施の形態に係る立体パノラマ画像撮影装置２について説明する。なお、立体パノラマ画像撮影装置１と立体パノラマ画像撮影装置２とは、立体パノラマ撮影モードの処理のみが異なるため、立体パノラマ画像撮影装置２については立体パノラマ撮影モードの処理についてのみ説明し、その他は説明を省略する。
In the second embodiment of the present invention, the focus position is set to a substantially intermediate position of the distances to all subjects based on the distance information of the first image and the distance information of the second image. . Hereinafter, the stereoscopic panorama
図１４は、パノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。 FIG. 14 is a flowchart illustrating a flow of a stereoscopic panorama image photographing process when a panoramic image is photographed.
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。
(Step S10) The
（ステップＳ２０）パノラマ画像を生成する１枚目、２枚目の画像の撮影（本撮影）前にプリ撮影を行う。シャッタボタンが半押しされると、１回目のＳ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作及びＡＦ動作を実施する。この１回目のプリ撮影は、本撮影の１枚目の画像撮影（ステップＳ２６、後に詳述）と略同じ撮影範囲で行われる。
(Step S20) Pre-shooting is performed before shooting (main shooting) of the first and second images for generating a panoramic image. When the shutter button is half-pressed, the first S1 ON signal is input to the
ＡＦ処理部１４２は、１回目のプリ撮影により主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。
The
（ステップＳ２２）再度シャッタボタンが半押しされると、２回目のＳ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作及びＡＦ動作を実施する。この２回目のプリ撮影は、本撮影の２枚目の画像撮影（ステップＳ２８、後に詳述）と略同じ撮影範囲で行われる。２枚目の画像の撮影範囲は、１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。
(Step S22) When the shutter button is half-pressed again, the second S1 ON signal is input to the
ＡＦ処理部１４２は、２回目のプリ撮影により主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
The
（ステップＳ２４）ＣＰＵ１４０は、ステップＳ２０、Ｓ２２で算出された距離情報を取得する。そして、距離情報の中間値をフォーカス位置と決定する。距離情報の中間値をフォーカス位置と決定することにより、主要被写体を検出せず適切なフォーカス位置を決定することができる。なお、中間値は、全ての画素に対して算出された距離情報の最大値と最小値との中間値でもよいし、全ての画素に対して算出された距離情報の平均値でもよい。
(Step S24) The
（ステップＳ２６）ＣＰＵ１４０は、ステップＳ２４で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
(Step S <b> 26) The
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、ステップＳ２０と同じ撮影範囲で１枚目の左視点画像データ及び右視点画像データを取得する。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
When the shutter button is fully pressed, an S2 ON signal is input to the
（ステップＳ２８）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ２６のフォーカス位置のまま、１枚目とは異なる撮影範囲で２枚目の左視点画像データ及び右視点画像データを取得する。２枚目の左視点画像データ及び右視点画像データは、１枚目の左視点画像データ及び右視点画像データと一部が重複している。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
(Step S28) When the shutter button is fully pressed again, the second S2 ON signal is input to the
ステップＳ２６、Ｓ２８で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。
The four pieces of image data output from the main pixel and subpixel of the
（ステップＳ１８）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の右視点画像データと２枚目の右視点画像データをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
(Step S18) The
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
The panoramic image left viewpoint image data and right viewpoint image data stored in the
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
An MP file is generated from the two compressed data stored in the
本実施の形態によれば、主要被写体を検出せずに適切なフォーカス位置を決定することができる。そのため、立体感に違和感の無い立体パノラマ画像を得ることができる。 According to the present embodiment, an appropriate focus position can be determined without detecting the main subject. Therefore, it is possible to obtain a stereoscopic panoramic image without a sense of incongruity in the stereoscopic effect.
なお、第１の実施の形態と第２の実施の形態とは、別々に実施してもよいし、組み合わせて実施してもよい。また、第１の実施の形態と第２の実施の形態では、２枚の立体視画像をつなぎ合わせて立体パノラマ写真を生成したが、枚数は２枚に限定されない。また、パノラマ画像に限らず、３６０°の撮影範囲を有する全方位画像の生成を行なうようにしてもよい。 Note that the first embodiment and the second embodiment may be implemented separately or in combination. In the first embodiment and the second embodiment, a stereoscopic panoramic photograph is generated by connecting two stereoscopic images, but the number is not limited to two. Further, not only a panoramic image but also an omnidirectional image having a 360 ° photographing range may be generated.
＜第３の実施の形態＞
本発明の第１の実施の形態は、同じフォーカス位置で２枚の立体視画像を撮影し、これをつなぎ合わせて立体パノラマ画像を生成するものであるが、立体パノラマ画像の生成の方法はこれに限られない。
<Third Embodiment>
In the first embodiment of the present invention, two stereoscopic images are taken at the same focus position, and these are connected to generate a stereoscopic panorama image. Not limited to.
本発明の第３の実施の形態は、１枚目の画像、２枚目の画像のそれぞれについて縦、横の２通りの画像を撮影することで、画像のつなぎ合わせの精度をよくするものである。以下、第３の実施の形態に係る立体パノラマ画像撮影装置３について説明する。なお、立体パノラマ画像撮影装置１と立体パノラマ画像撮影装置３とは、立体パノラマ撮影モードの処理のみが異なるため、立体パノラマ画像撮影装置３については立体パノラマ撮影モードの処理についてのみ説明し、その他は説明を省略する。
The third embodiment of the present invention improves the accuracy of stitching images by taking two images, vertical and horizontal, for each of the first image and the second image. is there. Hereinafter, the stereoscopic panorama image photographing device 3 according to the third embodiment will be described. The stereoscopic panorama
図１５は、パノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。 FIG. 15 is a flowchart illustrating a flow of a stereoscopic panorama image photographing process when a panoramic image is photographed.
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。
(Step S10) The
（ステップＳ１２）ＡＦ処理部１４２は、リアルタイムに主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
(Step S12) The
算出された距離情報は、ＣＰＵ１４０に入力される。ＣＰＵ１４０は、主要被写体が被写界深度の後端（撮影レンズ１４から遠い側の端）近傍に位置するように、距離情報に基づいてフォーカス位置を決定する。
The calculated distance information is input to the
（ステップＳ３０）ＣＰＵ１４０は、ステップＳ１２で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。図１６は、このようにしてフォーカスレンズが制御された後の撮影処理の流れを示すフローチャートである。
(Step S30) The
（ステップＳ４０）シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作を実施する。立体パノラマ写真撮影では、フォーカス位置が決定されているため、ＡＦ処理は行われない。シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、図１７の実線で示すように位相差ＣＣＤ１７が横向き（通常の状態）の場合における１枚目の左視点画像データ（以下、横向きの左視点データという）及び右視点画像データ（以下、横向きの右視点データという）を取得する。この横向きの左視点データと横向きの右視点データは、左右方向に視差を持っている。
(Step S40) When the shutter button is half-pressed, an S1 ON signal is input to the
ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して左視点画像データ及び右視点画像データの各画素毎に距離情報を算出する。この場合には、左右方向の視差に基づいて距離情報が算出される。
The
（ステップＳ４２）ＣＰＵ４０は、アクチュエータ駆動回路１５６を介して位相差ＣＣＤ１７を既定回転方向（図１７では反時計回り）に既定パルス分だけ、すなわち位相差ＣＣＤ１７が９０度回転するようにアクチュエータ１８を駆動する。これにより、図１７の点線で示すように、位相差ＣＣＤ１７の略中央を中心として位相差ＣＣＤ１７が９０度回転された縦向きの状態となる。この縦向きの状態においては、横向きの状態との重複エリア（図１７参照）が最大となる。
(Step S42) The CPU 40 drives the
ＣＰＵ１４０は、この状態で撮影を行い、位相差ＣＣＤ１７が縦向きの場合における１枚目の左視点画像データ（以下、縦向きの左視点画像データという）及び右視点画像データ（以下、縦向きの右視点画像データという）を取得する。この縦向きの左視点画像データと縦向きの右視点画像データは、左視点画像データが下側、右視点画像データが上側の上下方向に視差を持っている。
The
ＡＦ処理部１４２は、撮影された縦向きの左視点画像データ及び縦向きの右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して縦向きの左視点画像データ及び縦向きの右視点画像データの各画素毎に距離情報を算出する。この場合には、上下方向の視差に基づいて距離情報が算出される。
The
（ステップＳ４４）ステップＳ４０、Ｓ４２で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、関連付けてＶＲＡＭ１５０に格納される。
(Step S44) The image data for the four images output from the main pixel and subpixel of the
これにより、１枚目の画像撮影処理が終了される。 Thereby, the first image capturing process is completed.
（ステップＳ３２）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ１４のフォーカス位置のまま、１枚目とは異なる撮影範囲で２枚目の横向きの左視点画像データ及び横向きの右視点画像データを取得する。ステップＳ１６と同様、２枚目の撮影範囲は、１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。
(Step S32) When the shutter button is fully pressed again, the second S2 ON signal is input to the
その後、ステップＳ３０と同様、ＣＰＵ１４０は図１６に示すフローチャートに従って、位相差ＣＣＤ１７が横向きの状態及び縦向きの状態で画像を撮影し、２枚目の縦向きの左視点画像データ及び縦向きの右視点画像データを取得する。
After that, as in step S30, the
さらに、ステップＳ３０と同様の方法により、２枚目の横向きの左視点画像データ及び横向きの右視点画像データと、２枚目の縦向きの左視点画像データ及び縦向きの右視点画像データとについて各画素毎に距離情報が算出され、４枚分の画像データが関連付けてＶＲＡＭ１５０に格納される。
Further, the second horizontal left viewpoint image data and the horizontal right viewpoint image data, and the second vertical left viewpoint image data and the vertical right viewpoint image data by the same method as in step S30. Distance information is calculated for each pixel, and image data for four images is stored in the
（ステップＳ３４）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の横向きの左視点画像データと２枚目の横向きの左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。
(Step S <b> 34) The
本実施の形態では、１枚目、２枚目共に位相差ＣＣＤ１７が横向きの状態及び縦向きの状態で画像が撮影されているため、図１７に示すように、位相差ＣＣＤ１７が横向きの状態で撮影された画像と、位相差ＣＣＤ１７が縦向きの状態で撮影された画像との重複エリアがパノラマ画像の基となる。
In the present embodiment, since the first and second images are taken with the
したがって、ＣＰＵ４０は、１枚目の横向きの左視点画像データから重複エリアを切り出し、２枚目の横向きの左視点画像データから重複エリアを切り出す。そして、切り出された１枚目の重複エリアと２枚目の重複エリアとをつなぎ合わせる。 Accordingly, the CPU 40 cuts out an overlapping area from the first horizontal left-view image data and cuts out an overlapping area from the second horizontal left-view image data. Then, the cut out first overlapping area and the second overlapping area are joined together.
この重複エリアについては、位相差ＣＣＤ１７が横向きの状態で撮影された画像及び縦向きの状態で撮影された画像のそれぞれに対して画像距離情報取得部１４６において距離情報が算出されている。一般的に画像が横縞模様の場合には、水平方向の視差に基づいて算出された距離は誤検出が発生しやすく、垂直方向に視差に基づいて算出された距離のほうが精度が高い。逆に画像の縦縞模様の場合には、垂直方向の視差に基づいて算出された距離は誤検出が発生しやすく、水平方向に視差に基づいて算出された距離のほうが精度が高い。そのため、ＣＰＵ１４０は、画像を解析し、横縞模様が含まれる画像が撮影された場合には、縦向きの左視点画像データ及び縦向きの右視点画像データから算出された距離情報を採用し、縦縞模様が含まれる画像が撮影された場合には、横向きの左視点画像データ及び横向きの右視点画像データから算出された距離情報を採用する。これにより、距離情報の誤検出を低減することができる。
For this overlapping area, the distance information is calculated by the image distance information acquisition unit 146 for each of the image taken with the
なお、ＣＰＵ１４０は、ステップＳ３２、Ｓ３４で距離情報が全ての画素に対して算出されなかった場合には、横向きの左視点画像データ及び横向きの右視点画像データの距離情報の画素数と、縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報の画素数とを比較し、画素数が多い方の距離情報を採用するようにしてもよい。
If the distance information is not calculated for all the pixels in steps S32 and S34, the
ＣＰＵ１４０は、このようにして採用された１枚目の左視点画像データの重複エリア及び２枚目の左視点画像データの重複エリアの各画素の距離情報に基づいて、１枚目の重複エリアと２枚目の重複エリアとをつなぎ合わせる。
Based on the distance information of each pixel in the overlapping area of the first left viewpoint image data and the overlapping area of the second left viewpoint image data, the
また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の横向きの右視点画像データから重複エリアを切り出し、２枚目の横向きの右視点画像データから重複エリアを切り出す。そして、横向きの左視点画像データ及び横向きの右視点画像データの距離情報、又は縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報に基づいて１枚目の右視点画像データの重複エリアと２枚目の右視点画像データの重複エリアとをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
In addition, the
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
The panoramic image left viewpoint image data and right viewpoint image data stored in the
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
An MP file is generated from the two compressed data stored in the
本実施の形態によれば、距離情報の誤検出が低減されるため、より高精度に画像をつなぎ合わせることができる。したがって、つなぎ目が自然となり、違和感の無い立体パノラマ画像を得ることができる。 According to the present embodiment, since erroneous detection of distance information is reduced, images can be stitched together with higher accuracy. Therefore, the joints become natural and a stereoscopic panoramic image without a sense of incongruity can be obtained.
なお、本実施の形態では、横向きの左視点データ及び右視点データ、縦向きの左視点データ及び右視点データのそれぞれについて距離情報を算出し、精度がよいと思われる方や距離情報が算出された画素数の多い方を採用して重複エリアをつなぎ合わせたが、横向きの左視点データ及び右視点データから精度の良い距離情報が算出されるのであれば縦向きの左視点データ及び右視点データの撮影は必須ではない。例えば、横向きの左視点データ及び右視点データの距離情報の画素数が所定の画素数以上であるか（例えば、つなぎ合わせに用いられることが想定される領域の約２０％以上の画素であるか。但し、これに限定されるものではない）否かをＣＰＵ１４０が判断し、画素数が所定の画素数以上である場合には、縦向きの左視点データ及び縦向きの右視点データの撮影を行わないようにしてもよい。この場合において、ＣＰＵ１４０が横向きの左視点データ及び横向きの右視点データの距離情報の画素数が所定の画素数以下であると判断した場合には、縦向きの左視点データ及び縦向きの右視点データの撮影と距離情報の算出を行い、不足している距離情報を補うようにしてもよいし、横向きの左視点画像データ及び横向きの右視点画像データの距離情報の画素数と、縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報の画素数とを比較し、画素数が多い方の距離情報を採用するようにしてもよい。
In the present embodiment, distance information is calculated for each of the horizontal left viewpoint data and right viewpoint data, and the vertical left viewpoint data and right viewpoint data, and the distance accuracy information and distance information are calculated. The overlapped areas are connected by adopting the one with the larger number of pixels, but if the accurate distance information is calculated from the horizontal left viewpoint data and right viewpoint data, the vertical left viewpoint data and right viewpoint data Shooting is not essential. For example, whether the number of pixels of the distance information of the horizontal left viewpoint data and the right viewpoint data is equal to or greater than a predetermined number of pixels (for example, about 20% or more of a region assumed to be used for joining) (However, the present invention is not limited to this.) The
また、本実施の形態では、位相差ＣＣＤ１７が横向きの状態（通常状態）と、位相差ＣＣＤ１７の略中央を中心として位相差ＣＣＤ１７が９０度回転された縦向きの状態とで画像を撮影したが、重複エリアの大きさが最大となるのであれば縦向きの状態はこの形態に限られない。例えば、図１８に示すように、位相差ＣＣＤ１７の受光エリアの角（例えば右上の角）が一致するように位相差ＣＣＤ１７を回転させるようにしてもよい。この場合には、出力軸１８Ａが回転中心と一致するようにアクチュエータ１８を基板１７Ａに配設するか、位相差ＣＣＤ１７を９０度回転させるためのアクチュエータを別途配設するようにすればよい。
In this embodiment, the
図１７に示す場合には、重複エリアをつなぎ合わせに用いたが、図１８に示す場合には横向きの左視点画像データ、横向きの右視点画像データ全体をつなぎ合わせに用いることができる。但し、１枚目の画像撮影後に立体パノラマ画像撮影装置を時計回りに回転させて２枚目の画像を撮影した場合には、１枚目の画像は精度の良い距離情報が得られる重複エリアをつなぎ合わせに用いるが、２枚目の画像については重複エリア以外をつなぎ合わせに用いることとなる。この場合には、距離情報の補間、予測等に基づいて距離情報を補うことが可能であるため、重複エリアが無い場合と比較してつなぎ合わせの精度を向上させることができる。 In the case shown in FIG. 17, the overlapping areas are used for joining. In the case shown in FIG. 18, the horizontal left viewpoint image data and the entire horizontal right viewpoint image data can be used for joining. However, when the second image is taken by rotating the stereoscopic panorama image pickup device clockwise after the first image is taken, the first image has an overlapping area where accurate distance information can be obtained. Although used for joining, the second image is used for joining other than the overlapping area. In this case, since distance information can be supplemented based on interpolation, prediction, and the like of distance information, the joining accuracy can be improved as compared with the case where there is no overlapping area.
１、２：立体パノラマ画像撮影装置、１３：偏光部材、１４：撮影レンズ、１５：遮光部材、１６：絞り、１７、：位相差ＣＣＤ、１３２：ＣＣＤ制御部、１３４：絞り駆動部、１３６：レンズ駆動部、１４０：ＣＰＵ、１５４：メモリカード 1, 2: Stereoscopic panoramic image capturing device, 13: Polarizing member, 14: Shooting lens, 15: Light shielding member, 16: Aperture, 17: Phase difference CCD, 132: CCD control unit, 134: Aperture driving unit, 136: Lens drive unit, 140: CPU, 154: memory card
Claims (13)
前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
前記瞳分割手段により分割された光束がそれぞれ結像される第１の画素群及び第２の画素群が同一平面上に２次元状に配設された撮像素子と、
前記撮像素子の水平方向に対する回転角度を検出する検出手段と、
前記検出された水平方向に対する回転角度に基づいて前記撮像素子が水平になるように前記撮像素子を前記撮影光学系の光軸に垂直な平面内で回転させる撮像素子回転手段と、
前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで前記第１の被写体像及び前記第２の被写体像をそれぞれ複数取得する本撮影手段と、
前記取得された複数の第１の被写体像のうちの重複する部分及び前記取得された複数の第２の被写体像のうちの重複する部分を重ね合わせて前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせる画像生成手段と、
を備えたことを特徴とする立体パノラマ画像撮影装置。 Photographic optics,
Pupil dividing means for dividing the light beam that has passed through the photographing optical system into a plurality of light beams;
An image sensor in which a first pixel group and a second pixel group on which light beams divided by the pupil dividing unit are respectively formed are two-dimensionally arranged on the same plane;
Detecting means for detecting a rotation angle of the image sensor with respect to a horizontal direction;
An image sensor rotating means for rotating the image sensor in a plane perpendicular to the optical axis of the imaging optical system so that the image sensor is horizontal based on the detected rotation angle with respect to the horizontal direction;
The process of forming a subject image on the first pixel group and the second pixel group to obtain the first subject image and the second subject image is continued so that a part of the adjacent shooting range overlaps. A main photographing means for acquiring a plurality of the first subject images and the second subject images respectively by performing
The plurality of first subject images and the plurality of overlapped portions of the acquired plurality of first subject images and the overlapping portions of the plurality of acquired second subject images are overlapped. Image generating means for connecting the second subject images of
A stereoscopic panoramic image photographing device characterized by comprising:
所定の距離にある被写体が合焦するように前記フォーカスレンズを移動させるフォーカスレンズ移動手段を備え、
前記本撮影手段は、前記フォーカスレンズが前記所定の距離にある被写体に合焦するように移動された状態で、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得することを特徴とする請求項１に記載の立体パノラマ画像撮影装置。 The photographing optical system includes a focus lens,
A focus lens moving means for moving the focus lens so that a subject at a predetermined distance is in focus;
The main photographing unit acquires the plurality of first subject images and the plurality of second subject images in a state where the focus lens is moved so as to focus on a subject at the predetermined distance. The stereoscopic panoramic image photographing device according to claim 1, wherein:
前記前撮影手段により結像された被写体像に基づいて被写体までの距離を示す距離情報を取得する第１の距離情報取得手段と、
前記取得された距離情報に基づいて前記所定の距離を決定するフォーカス位置決定手段と、
を備えたことを特徴とする請求項２に記載の立体パノラマ画像撮影装置。 Before acquiring the plurality of first subject images and the plurality of second subject images, subject images are connected to at least one of the first pixel group and the second pixel group under predetermined conditions. Pre-shooting means to image,
First distance information acquisition means for acquiring distance information indicating a distance to the subject based on the subject image formed by the previous photographing means;
Focus position determining means for determining the predetermined distance based on the acquired distance information;
The stereoscopic panorama image photographing device according to claim 2, comprising:
前記フォーカス位置決定手段は、前記距離情報の略中間値を前記所定の距離と決定することを特徴とする請求項３又は４に記載の立体パノラマ画像撮影装置。 The first distance information acquisition means acquires distance information of the subject image formed by the pre-shooting means for each pixel,
5. The stereoscopic panorama image photographing apparatus according to claim 3, wherein the focus position determination unit determines a substantially intermediate value of the distance information as the predetermined distance.
前記第１の距離情報取得手段は、前記距離情報として前記検出された主要被写体までの距離を取得し、
前記フォーカス位置決定手段は、前記検出された主要被写体までの距離に基づいて前記検出された主要被写体が合焦するように前記所定の距離を決定することを特徴とする請求項３又は４に記載の立体パノラマ画像撮影装置。 A main subject detecting means for detecting a main subject from the subject image;
The first distance information acquisition means acquires a distance to the detected main subject as the distance information,
5. The focus position determining unit determines the predetermined distance based on a distance to the detected main subject so that the detected main subject is in focus. 3D panoramic image shooting device.
前記画像生成手段は、前記取得された距離情報が等しい画素を重ねあわせることにより前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせることを特徴とする請求項１から８のいずれかに記載の立体パノラマ画像撮影装置。 A second distance information acquisition unit configured to acquire, for each pixel, distance information indicating a distance to the subject of the plurality of first subject images and the plurality of second subject images;
2. The image generation means, wherein the plurality of first subject images and the plurality of second subject images are joined together by superimposing pixels having the same acquired distance information. The stereoscopic panoramic image photographing device according to any one of claims 8 to 10.
前記本撮影手段は、前記撮像素子が前記水平な状態及び前記垂直な状態で前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像をそれぞれ複数取得し、
前記第２の距離情報取得手段は、前記横向きの第１の被写体像と前記横向きの第２の被写体像とに基づいて前記横向きの第１の被写体像と前記横向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第１の距離情報という）を画素毎に取得し、かつ前記縦向きの第１の被写体像と前記縦向きの第２の被写体像とに基づいて前記縦向きの第１の被写体像と前記縦向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第２の距離情報という）を画素毎に取得し、
前記画像生成手段は、前記横向きの第１の被写体像と前記縦向きの第１の被写体像との重なる範囲を前記横向きの第１の被写体像から切り出して第１の切り出し画像を複数生成すると共に前記横向きの第２の被写体像と前記縦向きの第２の被写体像との重なる範囲を前記横向きの第２の被写体像から切り出して第２の切り出し画像を複数生成し、前記第１の距離情報及び前記第２の距離情報の少なくとも１つに基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする請求項９に記載の立体パノラマ画像撮影装置。 The image pickup device rotating means is configured to move the image pickup device between a horizontal state and a vertical state rotated 90 degrees from the horizontal state so that an overlapping range between the horizontal state and the horizontal state is maximized. Rotate
The main photographing unit forms a subject image on the first pixel group and the second pixel group in a state where the image sensor is in the horizontal state and the vertical state, and thereby forms a first subject image and a second subject image. By performing the process of acquiring the subject image continuously so that a part of the adjacent shooting ranges overlaps, the horizontal first subject image, the vertical first subject image, and the horizontal second subject image. And multiple vertical second subject images,
The second distance information acquisition unit is configured to subject the horizontal first subject image and the horizontal second subject image based on the horizontal first subject image and the horizontal second subject image. Distance information (hereinafter, referred to as first distance information) for each pixel, and the vertical direction based on the first subject image in the vertical direction and the second subject image in the vertical direction. Distance information (hereinafter referred to as second distance information) indicating the distance between the first subject image in the orientation and the subject in the second subject image in the portrait orientation is acquired for each pixel;
The image generation means generates a plurality of first cut-out images by cutting out a range where the horizontal first subject image and the vertical first subject image overlap from the horizontal first subject image. A plurality of second cut-out images are generated by cutting out the overlapping range of the horizontal second subject image and the vertical second subject image from the horizontal second subject image, and the first distance information The plurality of generated first cutout images and the generated plurality of second cutout images based on at least one of the second distance information and the generated plurality of second cutout images are connected to each other. The three-dimensional panoramic image photographing apparatus described.
前記第１の距離情報の画素数が所定の画素数より多い場合には、前記本撮影手段は、前記複数の縦向きの第１の被写体像及び前記複数の縦向きの第２の被写体像を撮影しないことを特徴とする請求項１０に記載の立体パノラマ画像撮影装置。 Means for determining whether or not the number of pixels of the first distance information is greater than a predetermined number of pixels;
When the number of pixels of the first distance information is greater than a predetermined number of pixels, the main photographing unit captures the plurality of first vertical subject images and the plurality of second vertical subject images. The stereoscopic panorama image photographing device according to claim 10, wherein photographing is not performed.
前記撮像素子と一体となるように配設され、重力加速度を検出する加速度センサと、
前記撮像素子と一体となるように配設され、当該撮像素子の回転位置を検出する位置検出装置と、を有し、
前記撮像素子回転手段は、
前記撮像素子を回転させるアクチュエータと、
前記加速度センサ及び前記位置検出装置からの出力に基づいて前記アクチュエータの駆動を制御する駆動制御手段と、を有することを特徴とする請求項１から１２のいずれかに記載の立体パノラマ画像撮影装置。 The detection means includes
An acceleration sensor disposed so as to be integrated with the image sensor and detecting gravitational acceleration;
A position detection device that is disposed so as to be integrated with the image sensor and detects a rotational position of the image sensor;
The image sensor rotating means includes:
An actuator for rotating the image sensor;
The stereoscopic panorama image photographing device according to any one of claims 1 to 12, further comprising: a drive control unit that controls driving of the actuator based on outputs from the acceleration sensor and the position detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010131306A JP2011259168A (en) | 2010-06-08 | 2010-06-08 | Stereoscopic panoramic image capturing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010131306A JP2011259168A (en) | 2010-06-08 | 2010-06-08 | Stereoscopic panoramic image capturing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011259168A true JP2011259168A (en) | 2011-12-22 |
Family
ID=45474871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010131306A Pending JP2011259168A (en) | 2010-06-08 | 2010-06-08 | Stereoscopic panoramic image capturing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011259168A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085608A (en) * | 2012-10-26 | 2014-05-12 | Nikon Corp | Imaging device |
| JP2014228727A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Imaging device and method for controlling the same device |
| CN105472372A (en) * | 2014-09-26 | 2016-04-06 | 三星电子株式会社 | Image generating apparatus and method for generation of 3D panorama image |
| WO2016067648A1 (en) * | 2014-10-30 | 2016-05-06 | オリンパス株式会社 | Focal point adjustment device, camera system, and focal point adjustment method |
| JP2016116120A (en) * | 2014-12-16 | 2016-06-23 | 日本電信電話株式会社 | Image correction device and computer program |
| CN106651755A (en) * | 2016-11-17 | 2017-05-10 | 宇龙计算机通信科技(深圳)有限公司 | Panoramic image processing method and device for terminal and terminal |
| WO2018121401A1 (en) * | 2016-12-28 | 2018-07-05 | 深圳市掌网科技股份有限公司 | Splicing method for panoramic video images, and panoramic camera |
| KR102062736B1 (en) | 2018-04-26 | 2020-01-06 | 주식회사 텐앤투 | Wide angle image providing method and system |
| KR102062734B1 (en) | 2018-04-26 | 2020-01-06 | 주식회사 텐앤투 | Wide angle image providing method and system |
| JP2020005108A (en) * | 2018-06-27 | 2020-01-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control apparatus, imaging apparatus, mobile body, control method, and program |
| WO2020090420A1 (en) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | Information processing device, control method therefor, program, and storage medium |
| JP2021057919A (en) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | Imaging apparatus and imaging method |
| CN112950481A (en) * | 2021-04-22 | 2021-06-11 | 上海大学 | Water bloom shielding image data collection method based on image mosaic network |
-
2010
- 2010-06-08 JP JP2010131306A patent/JP2011259168A/en active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085608A (en) * | 2012-10-26 | 2014-05-12 | Nikon Corp | Imaging device |
| JP2014228727A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Imaging device and method for controlling the same device |
| CN105472372A (en) * | 2014-09-26 | 2016-04-06 | 三星电子株式会社 | Image generating apparatus and method for generation of 3D panorama image |
| US10559063B2 (en) | 2014-09-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Image generating apparatus and method for generation of 3D panorama image |
| CN105472372B (en) * | 2014-09-26 | 2018-06-22 | 三星电子株式会社 | For generating the video generation device of 3D panoramic pictures and method |
| US10171724B2 (en) | 2014-10-30 | 2019-01-01 | Olympus Corporation | Focal point adjustment device and focal point adjustment method |
| WO2016067648A1 (en) * | 2014-10-30 | 2016-05-06 | オリンパス株式会社 | Focal point adjustment device, camera system, and focal point adjustment method |
| JP2016090649A (en) * | 2014-10-30 | 2016-05-23 | オリンパス株式会社 | Focus adjustment device, camera system and focus adjustment method |
| CN107111102A (en) * | 2014-10-30 | 2017-08-29 | 奥林巴斯株式会社 | Focus-regulating device, camera arrangement and focus adjusting method |
| JP2016116120A (en) * | 2014-12-16 | 2016-06-23 | 日本電信電話株式会社 | Image correction device and computer program |
| CN106651755A (en) * | 2016-11-17 | 2017-05-10 | 宇龙计算机通信科技(深圳)有限公司 | Panoramic image processing method and device for terminal and terminal |
| WO2018090455A1 (en) * | 2016-11-17 | 2018-05-24 | 宇龙计算机通信科技(深圳)有限公司 | Method and device for processing panoramic image of terminal, and terminal |
| CN108616733B (en) * | 2016-12-28 | 2020-01-10 | 深圳市掌网科技股份有限公司 | Panoramic video image splicing method and panoramic camera |
| WO2018121401A1 (en) * | 2016-12-28 | 2018-07-05 | 深圳市掌网科技股份有限公司 | Splicing method for panoramic video images, and panoramic camera |
| CN108616733A (en) * | 2016-12-28 | 2018-10-02 | 深圳市掌网科技股份有限公司 | A kind of joining method and panorama camera of full-view video image |
| KR102062734B1 (en) | 2018-04-26 | 2020-01-06 | 주식회사 텐앤투 | Wide angle image providing method and system |
| KR102062736B1 (en) | 2018-04-26 | 2020-01-06 | 주식회사 텐앤투 | Wide angle image providing method and system |
| JP2020005108A (en) * | 2018-06-27 | 2020-01-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control apparatus, imaging apparatus, mobile body, control method, and program |
| WO2020090420A1 (en) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | Information processing device, control method therefor, program, and storage medium |
| US11729494B2 (en) | 2018-10-30 | 2023-08-15 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and storage medium |
| JP2021057919A (en) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | Imaging apparatus and imaging method |
| JP7215472B2 (en) | 2020-12-28 | 2023-01-31 | 株式会社リコー | Imaging device and imaging method |
| CN112950481A (en) * | 2021-04-22 | 2021-06-11 | 上海大学 | Water bloom shielding image data collection method based on image mosaic network |
| CN112950481B (en) * | 2021-04-22 | 2022-12-06 | 上海大学 | Water bloom shielding image data collection method based on image mosaic network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8885026B2 (en) | Imaging device and imaging method | |
| JP2011259168A (en) | Stereoscopic panoramic image capturing device | |
| JP5385462B2 (en) | Monocular stereoscopic imaging apparatus, shading correction method for monocular stereoscopic imaging apparatus, and program for monocular stereoscopic imaging apparatus | |
| JP5595499B2 (en) | Monocular stereoscopic imaging device | |
| JP4875225B2 (en) | Stereo imaging device | |
| JP4897940B2 (en) | Stereo imaging device | |
| JP5269252B2 (en) | Monocular stereoscopic imaging device | |
| WO2011162227A1 (en) | Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program | |
| JP5469258B2 (en) | Imaging apparatus and imaging method | |
| JP5166650B2 (en) | Stereo imaging device, image playback device, and editing software | |
| US20110234767A1 (en) | Stereoscopic imaging apparatus | |
| JP5611469B2 (en) | Stereoscopic imaging apparatus and method | |
| JP5087519B2 (en) | Imaging device | |
| JP2010103949A (en) | Apparatus, method and program for photographing | |
| JP2012124650A (en) | Imaging apparatus, and imaging method | |
| JP2010200024A (en) | Three-dimensional image display device and three-dimensional image display method |