JP6086666B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6086666B2 JP6086666B2 JP2012164565A JP2012164565A JP6086666B2 JP 6086666 B2 JP6086666 B2 JP 6086666B2 JP 2012164565 A JP2012164565 A JP 2012164565A JP 2012164565 A JP2012164565 A JP 2012164565A JP 6086666 B2 JP6086666 B2 JP 6086666B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- subject
- parallax
- recommended
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、撮像装置に関するものである。 The present invention relates to an imaging apparatus.
一般にステレオ撮影された立体像の見え方は、観察条件（画面サイズと視距離）と左右画像の視差量の大きさで決まり、視差量の大きさは撮影条件で決まる。視差量が大きすぎると立体像は見づらくなるため、撮影するときには注意が必要とされる。 In general, the appearance of a stereoscopic image taken in stereo is determined by the viewing conditions (screen size and viewing distance) and the amount of parallax between the left and right images, and the amount of parallax is determined by the shooting conditions. If the amount of parallax is too large, it is difficult to see the stereoscopic image, so care must be taken when shooting.
また、立体像が不自然に歪んで見える立体歪という現象が知られている。被写体の大きさが狂って見えたり、被写体がひどくつぶれて見えたりするが、これも撮影条件が不適切なときに起こりやすい。 In addition, a phenomenon called stereoscopic distortion in which a stereoscopic image appears unnaturally distorted is known. The size of the subject looks out of place, or the subject looks very crushed. This is also likely to occur when the shooting conditions are inappropriate.
そのため、撮影者は全体の視差量の大きさとともに、不自然な歪が発生しないように、被写体の配置や撮影条件などを工夫しなければならない。しかし、熟練者でなければ、撮影条件をどうすれば良いのかを撮影現場で臨機応変に判断するのは難しい。 For this reason, the photographer must devise the arrangement of the subject, shooting conditions, and the like so that unnatural distortion does not occur along with the overall amount of parallax. However, it is difficult for non-experts to flexibly determine what to do with shooting conditions at the shooting site.
特に、歪については、完全な無歪状態は特定の撮影条件でしか成り立たないので、実際には少し歪がでても許容することになるが、どこまでずらしても良しとするかを判断するのは容易でない。 In particular, as for distortion, a completely undistorted state can only be realized under specific shooting conditions, so in practice it is acceptable even if a little distortion occurs, but it is judged how far it can be shifted. Is not easy.
表示画面が立体表示対応になっているカメラもあるが、立体像の見え方は観察条件に依存するため、想定する観察条件がカメラの表示画面の観察条件とは大きく異なる場合、例えば大型ＴＶなどで観察する場合には、歪の出方を予想するのは難しい。 Some cameras have a display screen that supports stereoscopic display. However, since the appearance of a stereoscopic image depends on the observation conditions, if the assumed observation conditions differ significantly from the observation conditions on the camera display screen, for example, a large TV When observing with, it is difficult to predict the distortion.
前述のように、従来は適切な撮影条件を判断するのが難しく、立体画像の撮影を面倒なものにしていた。又は視差量の大きさや歪を考慮せず、非常に不自然な立体画像を撮影していた。
このような問題を解決するために、特許文献１の立体画像再現歪み出力装置では、立体歪情報を出力する装置を提案している。これは、撮影現場で撮影条件・空間条件・観察条件を入力して、空間歪パラメータとそれによる不自然さ量を計算するものである。この提案ではメッシュを設定し、メッシュの各点に於いて空間歪パラメータと不自然さ量を計算し、メッシュの変形や色・テクスチャの違いによって画面に図示している。
As described above, conventionally, it has been difficult to determine appropriate shooting conditions, and it has been difficult to shoot stereoscopic images. Alternatively, a very unnatural stereoscopic image was taken without considering the magnitude and distortion of the parallax amount.
In order to solve such a problem, the stereoscopic image reproduction distortion output apparatus disclosed in
しかしながら、特許文献１に記載の立体画像再現歪み出力装置では、メッシュの各点で空間歪パラメータとそれによる不自然さ量を計算するだけで、全体としての歪評価値を出しているわけではない。このため、例えば複数の撮影条件の歪を比較したり、歪の許容範囲を決めたり、といったことが簡単ではない。また特許文献１に記載の表示は、小さな民生用デジタルカメラの背面ディスプレイでは見やすいとはいえない。
However, the stereoscopic image reproduction distortion output device described in
本発明は、上記に鑑みてなされたものであって、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示可能であって、これにより、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる撮像装置を提供することを目的としている。 The present invention has been made in view of the above, and can display a distortion evaluation value representing distortion of the entire subject within a set subject distance range, thereby enabling comparison between shooting conditions and setting of an allowable range. An object of the present invention is to provide an imaging apparatus that facilitates examination of imaging conditions.
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、複数の撮影条件の各々に応じた歪評価値の情報を表示する表示部と、を備えることを特徴としている。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that acquires parallax images under a plurality of imaging conditions, each of the plurality of imaging conditions, a predetermined observation condition, and a subject distance. A stereoscopic image distortion evaluation value deriving unit for deriving a distortion evaluation value representative of the entire subject within the subject distance range for distortion of the stereoscopic image observed from the parallax image under a predetermined viewing condition, and a plurality of shooting conditions And a display unit that displays information on distortion evaluation values corresponding to each of the above.
本発明に係る撮像装置において、歪評価値は、圧縮率及び線形率の少なくとも一方を含み、撮影条件の各々に応じて変化することが好ましい。 In the imaging apparatus according to the present invention, distortion evaluation value is seen contains at least one of the compression rate and linear rate, it is preferable that changes in accordance with the respective imaging conditions.
本発明に係る撮像装置は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部を備え、表示部は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示することが好ましい。 The imaging apparatus according to the present invention includes a distance-recommended recommended distance and a parallax limit range, which are the farthest subject distance that is a parallax amount within the parallax limit range from each of a plurality of shooting conditions, a predetermined viewing condition, and a parallax limit range. The recommended subject range deriving unit for deriving the recommended near-distance limitation distance that is the latest subject distance that becomes the amount of parallax within, and the display unit recommends the far-restricted recommended distance and the near limit recommendation derived by the recommended subject range deriving unit It is preferable to display the distance.
本発明に係る撮像装置において、線形率は、被写体距離範囲内の最遠の距離について導出した立体像の大きさと、最近の距離について導出した立体像の大きさと、その中間の距離について導出した立体像の大きさと、を用いて表されることが好ましい。 In the image pickup apparatus according to the present invention, the linear rate is calculated based on the size of the stereoscopic image derived for the farthest distance within the subject distance range, the size of the stereoscopic image derived for the latest distance, and the stereoscopic image derived for the intermediate distance. The size of the image is preferably used to express the image.
本発明に係る撮像装置において、圧縮率は、被写体の奥行き方向の大きさと横方向の大きさの比と、被写体距離範囲内の所定の距離について導出した立体像の奥行き方向の大きさと横方向の大きさの比と、の関係で表されることが好ましい。 In the imaging apparatus according to the present invention, the compression rate is determined by the ratio of the size in the depth direction and the size in the horizontal direction of the subject, and the size in the depth direction and the horizontal direction of the stereoscopic image derived for a predetermined distance within the subject distance range. It is preferable to be expressed by the relationship between the size ratios.
本発明に係る撮像装置において、線形率は次式（１１）で表され、圧縮率は次式（１５）で表されることが好ましい。 In the imaging apparatus according to the present invention, it is preferable that the linear rate is expressed by the following formula (11) and the compression rate is expressed by the following formula (15).
遠方制限推奨距離を、視差制限範囲内の視差量になる最遠の被写体距離、 The distance limit recommended distance is set to the farthest subject distance that makes the amount of parallax within the parallax limit range,
近方制限推奨距離を、視差制限範囲内の視差量になる最近の被写体距離、 The recommended distance to the near limit is the distance to the latest subject that has a parallax amount within the parallax limit range.
とそれぞれしたとき、And each
Ｘｖｃ１は、近方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、 Xvc1 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the near limit recommended distance,
Ｘｖｃ２は、遠方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、 Xvc2 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the distance limitation recommended distance,
Ｘｖ０は、合焦距離について、所定の被写体サイズに対する立体像のサイズ、 Xv0 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the in-focus distance,
である。It is.
Ｘｏは、被写体サイズ、 Xo is the subject size,
Ｘｖ０は、合焦距離について、所定の被写体サイズに対する立体像のサイズ、 Xv0 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the in-focus distance,
ΔＺｏは、被写体距離の差であり、所定の微小距離、 ΔZo is a difference in subject distance, which is a predetermined minute distance,
ΔＺｖ０は、立体像の奥行き方向の大きさの差であり、合焦距離Ｚｏ０と、合焦距離Ｚｏ０と所定の微小距離ΔＺｏだけ離れた距離Ｚｏ１に対応する立体像の再現奥行きをそれぞれＺｖ０とＺｖ１としたとき、Ｚｖ１−Ｚｖ０で示される。 ΔZv0 is the difference in size of the stereoscopic image in the depth direction, and the reproduction depth of the stereoscopic image corresponding to the in-focus distance Zo0 and the distance Zo1 away from the in-focus distance Zo0 by a predetermined minute distance ΔZo is respectively Zv0 and Zv1. Is expressed as Zv1-Zv0.
本発明に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出し、被写体距離範囲を遠方制限推奨距離と近方制限推奨距離の間に設定することが好ましい。 In the imaging apparatus according to the present invention, the stereoscopic image distortion evaluation value deriving unit is a farthest subject distance that becomes a parallax amount within the parallax limit range from each of the plurality of shooting conditions, a predetermined observation condition, and the parallax limit range. Deriving a certain distance limit recommended distance and the near limit recommended distance, which is the latest subject distance that is the amount of parallax within the parallax limit range, and set the subject distance range between the distance limit recommended distance and the distance limit recommended distance It is preferable.
本発明に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部をさらに備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離と歪評価値を変更することが好ましい。
本発明に係る撮像装置において、歪評価値は、被写体距離範囲内の被写体全体を代表する１つの値であり、撮影条件間の比較または撮影条件の設定のための値であることが好ましい。
In the imaging apparatus according to the present invention, the stereoscopic image distortion evaluation value deriving unit further includes a correction processing setting unit that specifies a correction process for the parallax image according to each of a plurality of shooting conditions and sets an image correction parameter. The subject range deriving unit preferably changes the recommended distance restriction recommended distance, the recommended distance restriction near distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions.
In the imaging apparatus according to the present invention, the distortion evaluation value is one value representing the entire subject within the subject distance range, and is preferably a value for comparison between photographing conditions or setting of photographing conditions.
本発明に係る撮像装置は、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示可能であって、これにより、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる、という効果を奏する。 The imaging apparatus according to the present invention can display a distortion evaluation value that represents distortion of the entire subject within a set subject distance range, thereby facilitating comparison between shooting conditions and setting an allowable range. There is an effect that it becomes easy to study.
以下に、本発明に係る撮像装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
まず、本発明の実施形態に係る撮像装置の構成及び作用効果について説明する。
Hereinafter, embodiments of an imaging apparatus according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by the following embodiment.
First, the configuration and operational effects of the imaging apparatus according to the embodiment of the present invention will be described.
本発明の実施形態に係る撮像装置は、複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、複数の撮影条件の各々に応じた歪評価値の情報を表示する表示部と、を備えることを特徴としている。 An imaging apparatus according to an embodiment of the present invention includes an imaging unit that acquires parallax images under a plurality of shooting conditions, a parallax under a predetermined observation condition, each of the plurality of shooting conditions, a predetermined observation condition, and a subject distance range. A stereoscopic image distortion evaluation value deriving unit for deriving a distortion evaluation value representative of the entire subject within the object distance range for distortion of the stereoscopic image observed from the image, and information on the distortion evaluation value according to each of a plurality of shooting conditions And a display unit for displaying.
この構成により、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示することができるため、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる。また、ステレオ撮影時に、現在の撮影条件で撮影され想定する観察条件下で観察される立体映像について、立体歪の程度を表す歪評価値を導出し、カメラの背面表示画面に表示することにより、撮影者は立体歪を改善させるように撮影条件を調整することができ、自然な立体映像の撮影が容易になる。 With this configuration, it is possible to display a distortion evaluation value that represents the distortion of the entire subject within the set subject distance range, making it easy to compare between shooting conditions and set an allowable range, and to easily examine shooting conditions. . In addition, by obtaining a distortion evaluation value representing the degree of stereoscopic distortion and displaying it on the rear display screen of the camera for a stereoscopic image that is shot under the current shooting conditions and observed under the assumed observation conditions during stereo shooting, The photographer can adjust the shooting conditions so as to improve the stereoscopic distortion, and it is easy to shoot a natural stereoscopic video.
本発明の実施形態に係る撮像装置において、歪評価値は、圧縮率及び線形率の少なくとも一方を含むことが好ましい。
本発明の実施形態に係る撮像装置は、さらに、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部を備え、表示部は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示することが好ましい。
これにより、あらかじめ設定した視差範囲制限を満たすような被写体範囲も同時に表示できるため、撮影者は歪具合と視差範囲のバランスを考慮して撮影条件や被写体配置を調整できる。特にマクロ撮影のように被写体距離が短いときは、推奨被写体範囲が狭くなりやすいため、このような表示が効果的である。
In the imaging apparatus according to the embodiment of the present invention, the distortion evaluation value preferably includes at least one of a compression rate and a linear rate.
The imaging apparatus according to the embodiment of the present invention further recommends far-distance limitation, which is the farthest subject distance that becomes the parallax amount within the parallax restriction range from each of the plurality of shooting conditions, the predetermined observation condition, and the parallax restriction range. A recommended subject range deriving unit for deriving a distance and a recommended near limit recommended distance that is a recent subject distance that is a parallax amount within the parallax limit range is provided, and the display unit is a recommended far limit recommended distance derived by the recommended subject range deriving unit It is preferable to display the recommended distance for near limit.
Accordingly, since a subject range that satisfies a preset parallax range limit can be displayed at the same time, the photographer can adjust shooting conditions and subject placement in consideration of the balance between the degree of distortion and the parallax range. In particular, when the subject distance is short as in macro photography, the recommended subject range tends to be narrow, and thus such a display is effective.
本発明の実施形態に係る撮像装置において、線形率は次式（１１）で表され、圧縮率は次式（１５）で表されることが好ましい。 In the imaging device according to the embodiment of the present invention, it is preferable that the linear rate is expressed by the following equation (11) and the compression rate is expressed by the following equation (15).
本発明の実施形態に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出し、被写体距離範囲を遠方制限推奨距離と近方制限推奨距離の間に設定することが好ましい。
これにより、あらかじめ設定した視差範囲制限を満たすような距離範囲内の被写体について、全体を代表する歪評価値を導出するため、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる。
In the imaging apparatus according to the embodiment of the present invention, the stereoscopic image distortion evaluation value deriving unit is the farthest disparity amount within the parallax limit range from each of the plurality of shooting conditions, the predetermined observation condition, and the parallax limit range. Deriving the distance limit recommended distance that is the subject distance and the near limit recommended distance that is the latest subject distance that is the amount of parallax within the parallax limit range, and the subject distance range is between the distance limit recommended distance and the distance limit recommended distance It is preferable to set to.
As a result, a distortion evaluation value representative of the entire object is derived for a subject within a distance range that satisfies a preset parallax range restriction, so that comparison between shooting conditions and setting of an allowable range are facilitated. It becomes easy to consider.
本発明の実施形態に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部をさらに備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離と歪評価値を変更することが好ましい。
これにより、画像シフトや画像の拡縮により視差量を調整する機能をもったカメラの場合も、調整によってどのように歪が変わるのかが示されるため、撮影時に適切な調整が可能になる。
In the imaging device according to the embodiment of the present invention, the stereoscopic image distortion evaluation value deriving unit further includes a correction processing setting unit that specifies correction processing for a parallax image corresponding to each of a plurality of shooting conditions and sets an image correction parameter. The recommended subject range deriving unit preferably changes the recommended distance limit recommended distance, the recommended distance limit near distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions.
Accordingly, even in the case of a camera having a function of adjusting the parallax amount by image shift or image enlargement / reduction, it is shown how the distortion changes due to the adjustment, so that appropriate adjustment can be performed at the time of shooting.
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置１００の構成を示すブロック図である。
図１に示すように、撮像装置１００は、第１条件設定部１１０、第２条件設定部１２０、撮影条件取得部１３０、第１導出部１４０、表示制御部１５０、表示部１６０、第２導出部１７０、及び撮像光学系１８０を備える。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an
As illustrated in FIG. 1, the
撮像装置１００において、第１条件設定部１１０（視差範囲制限条件設定部）、第２条件設定部１２０（観察条件設定部）、及び撮影条件取得部１３０の出力は、第１導出部１４０（推奨被写体範囲導出部）に入力される。第１導出部１４０は、歪評価値を導出する被写体範囲を設定する。第１導出部１４０は、設定した被写体範囲と観察条件と撮影条件のデータを出力し、それらは第２導出部１７０（立体像歪評価値導出部）に入力される。第２導出部１７０では、入力された被写体範囲について歪評価値を計算し、その結果と撮影条件の一部が表示制御部１５０に出力され、表示制御部１５０で重畳された映像信号（図示は省略）は表示部１６０で表示される。
In the
以下、撮像装置１００を構成する各部の構成・作用について説明する。
第１条件設定部１１０は、観察時視差角の最大値Δφｃ１と最小値Δφｃ２を設定する。第１実施形態では、後で説明する快適視差範囲の考え方に基づいて、最大値Δφｃ１と最小値Δφｃ２にはあらかじめ初期値が設定されているが、ユーザー入力により変更可能にしてもよい。
Hereinafter, the configuration and operation of each unit constituting the
The first
観察条件設定部としての第２条件設定部１２０は、想定する表示画面の横幅Ｗｄ、観察距離Ｄｖ、及び観察者（ユーザー）の瞳孔間距離ＩＰＤを設定する。いずれもあらかじめ初期値が設定されているが、ユーザー入力により変更可能である。変更方法は、いくつかある候補の中から観察者が選択するようにしても良いし、任意の数値を入力してもよい。
The second
撮影条件取得部１３０は、レンズ情報取得部１３１と基線長導出部１３２を備える。レンズ情報取得部１３１では、定期的に又は撮像光学系１８０に変化があったときに、撮像光学系１８０からレンズの焦点距離ｆ、絞り大きさＦ、合焦距離Ｚｏ０の値を取得する。基線長導出部１３２は、焦点距離ｆと絞りの大きさＦに基づいて瞳分割撮影の基線長ＳＢ（図２）を導出する。そして、撮影条件取得部１３０は、焦点距離ｆと合焦距離Ｚｏ０と基線長ＳＢを第１導出部１４０へ出力する。
The imaging
推奨被写体範囲導出部としての第１導出部１４０は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する。
より具体的には、第１導出部１４０は、
（１）快適視差範囲の視差角の最大値Δφｃ１と最小値Δφｃ２、
（２）想定する表示装置の横幅Ｗｄ、
（３）観察距離Ｄｖ、
（４）観察者の瞳孔間距離ＩＰＤ、並びに、
（５）焦点距離ｆ、合焦距離Ｚｏ０、及び基線長ＳＢ
の値から、想定する観察条件（所定の観察条件）下で、
（ａ）観察時視差角が最大値Δφｃ１になるような被写体距離Ｚｏｃ１、及び
（ｂ）観察時視差角が最小値Δφｃ２になるような被写体距離Ｚｏｃ２、
を導出する。
The
More specifically, the
(1) The maximum value Δφc1 and the minimum value Δφc2 of the parallax angle in the comfortable parallax range,
(2) The assumed width Wd of the display device,
(3) Observation distance Dv,
(4) Observer pupillary distance IPD, and
(5) Focal length f, focusing distance Zo0, and baseline length SB
From the assumed observation conditions (predetermined observation conditions)
(A) Subject distance Zoc1 so that the observation parallax angle becomes the maximum value Δφc1, and (b) Subject distance Zoc2 so that the observation parallax angle becomes the minimum value Δφc2.
Is derived.
被写体距離Ｚｏｃ１（近方制限推奨距離）の位置にある被写体が快適に観察できる最も近方の被写体であり、被写体距離Ｚｏｃ２（遠方制限推奨距離）の距離にある被写体が快適に観察できる最も遠方の被写体である。撮影においては、近方制限推奨距離から遠方制限推奨距離までの範囲を超える被写体があまり写りこまないように、又は目立たないようにすることが望ましい。 The subject at the subject distance Zoc1 (recommended distance for near limit) is the closest subject that can be comfortably observed, and the farthest object that can be comfortably observed at the distance of the subject distance Zoc2 (recommended distance for far limit) The subject. In photographing, it is desirable that an object exceeding the range from the recommended distance for the near limit to the recommended distance for the far limit is not captured so much or is not noticeable.
立体像歪評価値導出部としての第２導出部１７０は、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する。第２導出部１７０は、前段で導出された被写体距離Ｚｏｃ１、Ｚｏｃ２と、想定する表示画面の幅Ｗｄ、観察距離Ｄｖ、及び瞳孔間距離ＩＰＤと、撮影レンズの焦点距離ｆ、合焦距離Ｚｏ０、及び基線長ＳＢの値から、線形率Ｌｉｎと圧縮率Ｅｘｐａを導出し、表示制御部へ線形率Ｌｉｎと圧縮率Ｅｘｐａと基線長ＳＢを出力する。
線形率Ｌｉｎは、被写体空間と観察者が感じる再現立体空間の線形性を現す評価値であり、圧縮率Ｅｘｐａは、被写体空間の奥行きに対して再現立体空間の奥行きが過小に見えたり過大に見えたりする程度を表す評価値である。
The
The linear rate Lin is an evaluation value that represents the linearity of the subject space and the reproduced three-dimensional space felt by the observer, and the compression rate Expa is the depth of the reproduced three-dimensional space that appears to be too small or too large relative to the depth of the subject space. It is an evaluation value representing the degree of
表示制御部１５０は、第２導出部１７０から線形率Ｌｉｎと圧縮率Ｅｘｐａと基線長ＳＢを受け取り、これらの値を、センサ１８３から受けた映像信号に重畳して表示部１６０へ出力する。
The
表示部１６０は、複数の撮影条件の各々に応じた歪評価値の情報を表示する。また、表示部１６０は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示する。
The
次に、撮像光学系１８０による視差画像取得について説明する。
撮像部としての撮像光学系１８０は、複数の撮影条件で視差画像を取得する。ここでは、撮像光学系１８０は、瞳分割方式の光学系を想定する。撮像光学系１８０は、レンズ１８１、絞り１８２（図２）、センサ１８３、及び、駆動回路１８４を備える。駆動回路１８４はレンズ１８１をその光軸Ａｘに沿った方向に移動させ、その移動に関する情報をレンズ情報取得部１３１へ出力する。
Next, parallax image acquisition by the imaging
The imaging
立体映像を撮影するときは、２系統の光学系を用いる２眼式（平行法・交差法）が一般的だが、瞳分割方式は、１系統の光学系の入射瞳の一部を通過した光束と別の一部を通過した光束を２系統の光学系を通過した光束のように扱い、視差量のある左右画像を得るものである。詳細は後で説明するが、２眼式と異なり、フォーカスの合ったところの視差量が０になり、ボケたところほど視差量の絶対値が大きくなるという特徴がある。また２眼式撮影では、左右の光軸がどれだけ離れているかを示す基線長は通常固定されているが、瞳分割方式ではレンズの焦点距離や絞りの大きさによって基線長が変化するという特徴もある。なお、左右の光軸が離れているほど視差量が大きくなりやすい。 When shooting stereoscopic images, the binocular method (parallel method / intersection method) that uses two optical systems is common, but the pupil division method uses a light beam that has passed through part of the entrance pupil of one optical system. A light beam that has passed through another part is treated like a light beam that has passed through two optical systems, and a right and left image with a parallax amount is obtained. Although details will be described later, unlike the twin-lens system, the parallax amount at the point of focus becomes 0, and the absolute value of the parallax amount increases as the blur occurs. In binocular photography, the base length indicating how far the left and right optical axes are apart is usually fixed, but in the pupil division method, the base length changes depending on the focal length of the lens and the size of the stop. There is also. Note that the amount of parallax tends to increase as the left and right optical axes become farther apart.
図２は、瞳分割方式光学系を概念的に説明する図であって、前側焦点位置に絞り１８２を置いたテレセントリック光学系を用いて瞳分割方式の撮影を行う場合の説明図である。図２において、レンズ１８１の中心からセンサ１８３のセンサ面１８３ａまでの距離はｂ０、被写体Ｔからの光が交差する点からレンズ１８１の中心までの距離はｂである。
FIG. 2 is a diagram conceptually illustrating the pupil division type optical system, and is an explanatory diagram in the case of performing pupil division type photographing using a telecentric optical system in which a
図２は、レンズ１８１の中心からの距離Ｚｏの位置に被写体Ｔがあり、レンズ１８１の中心からの距離Ｚｏ０の位置に被写体Ｔ０があり、被写体Ｔ０にフォーカスを合わせたときの様子を示している。図２では、焦点距離ｆの位置にある絞り１８２を左右２つの領域に分けて考え、左側領域の中心ＡＬｃと右側領域の中心ＡＲｃ（図２）を通る光線を表している。
FIG. 2 shows a state where the subject T is located at a distance Zo from the center of the
センサ１８３のセンサ面１８３ａでは、合焦被写体Ｔ０上の点から出た光は１点に収束するが、それより遠方の被写体Ｔ上の点から出た光ははセンサ面より手前で１点に収束する。図２に示すように、被写体Ｔから出て絞り１８２の左右領域の中心ＡＬｃ、ＡＲｃをそれぞれ通った光はセンサ面１８３ａ上で重ならず異なる位置にずれる。この位置のずれは被写体と撮像光学系１８０との距離に応じて変わる。したがって、絞り１８２の左側領域を通った光と右側領域を通った光を別々に取り出すことができれば、一般的な２眼式の立体撮像と同様に、被写体距離に応じた左右画像のズレすなわち視差量のある２枚の画像が得られる。ただし、瞳分割方式光学系においては、合焦被写体の視差量は常に０になるという特徴がある。
On the
ここで、絞り１８２の左右領域を通った光を分離するには、例えばレンズ１８１の入射瞳の右半分と左半分を交互に遮蔽して、時間的に左右を分離したり、光路上にプリズムなどをいれて別々のセンサに導いたり、画素ごとに左右を振り分けたりといった方法がある。
Here, in order to separate the light that has passed through the left and right regions of the
以上により、最終的に、図３のような２つの画像が保存される。図３は撮像光学系からの出力画像を示す図である。図３（ａ）は、絞り１８２の左側領域を通った光による、被写体Ｔの画像ＩＴ＿Ｌと被写体Ｔ０の画像ＩＴ０＿Ｌを示し、（ｂ）は、絞り１８２の右側領域を通った光による、被写体Ｔの画像ＩＴ＿Ｒと被写体Ｔ０の画像ＩＴ０＿Ｒを示している。
As a result, two images as shown in FIG. 3 are finally stored. FIG. 3 is a diagram illustrating an output image from the imaging optical system. 3A shows the image IT_L of the subject T and the image IT0_L of the subject T0 by the light passing through the left region of the
センサ１８３上での視差量の計算は次のように考える。
入射瞳の右半分の重心と左半分の重心との間の距離を基線長ＳＢとする。基線長ＳＢは、レンズ１８１の焦点距離ｆと、絞り１８２の大きさを表すＦ値と、の比に係数をかけたものとして計算できる。さらに、被写体Ｔから絞り１８２の左側領域の中心ＡＬｃを通った光線がセンサ１８３上に達した点と、右側領域の中心ＡＲｃを通った光線がセンサ１８３上に達した点と、のセンサ面１８３ａ上での距離を、被写体Ｔのセンサ１８３上での視差量Δｘｓとする。この視差量Δｘｓと被写体距離Ｚｏの関係は、収差などの影響を無視すれば、次式（１）のようになる。
The calculation of the amount of parallax on the
A distance between the center of gravity of the right half and the center of gravity of the left half of the entrance pupil is defined as a base line length SB. The baseline length SB can be calculated by multiplying the ratio of the focal length f of the
また、レンズ１８１の光軸Ａｘに垂直な面内において、被写体Ｔの大きさ（横サイズ）をＸｏとすると、センサ１８３上での被写体像の大きさＸｓは次式（２）のようになる。
If the size of the subject T (lateral size) is Xo in the plane perpendicular to the optical axis Ax of the
次に撮影された視差画像を想定する立体表示対応ＴＶなどで表示して観察する場合の視差量と立体像の再現位置について説明する。図４は、立体表示対応テレビにＬ画像（左眼用画像）及びＲ画像（右眼用画像）を表示した状態を示す図である。図５は、観察者Ｖが感じる立体像の再現位置と大きさを示す図である。 Next, the amount of parallax and the reproduction position of a stereoscopic image in the case of displaying and observing a captured parallax image on a stereoscopic display compatible TV or the like will be described. FIG. 4 is a diagram illustrating a state in which an L image (left eye image) and an R image (right eye image) are displayed on a stereoscopic display-compatible television. FIG. 5 is a diagram showing the reproduction position and size of the stereoscopic image that the observer V feels.
図４では、画面１６１に、被写体ＴのＬ画像ＩＴ＿ＬとＲ画像ＩＴ＿Ｒの両方が表示されているが、専用メガネＶＧをかけた観察者Ｖには、左眼ＥＬ（図５）ではＬ画像、右眼ＥＲ（図５）ではＲ画像のみが見える。撮像された被写体ＴのＬ画像ＩＴ＿ＬとＲ画像ＩＴ＿Ｒは、画面１６１において視差量Δｘｄだけずれて表示されている。これに対して、被写体Ｔ０のＬ画像ＩＴ０＿ＬとＲ画像ＩＴ０＿Ｒは丁度重なって表示されている。
In FIG. 4, both the L image IT_L and the R image IT_R of the subject T are displayed on the
図５に示すように、観察者Ｖには画面１６１上の視差量に応じた奥行き位置に被写体があるように見えている。再現される立体像ＶＴの奥行き位置（観察者Ｖからの距離Ｚｖの位置）は、画面１６１に対する観察距離Ｄｖ、観察者Ｖの瞳孔間距離ＩＰＤ、及び画面１６１上の視差量Δｘｄで決まる。被写体Ｔの立体像ＶＴの再現奥行きを定める距離Ｚｖは、次式（３）のようになる。
As shown in FIG. 5, the viewer V appears to have a subject at a depth position corresponding to the amount of parallax on the
一方、被写体Ｔ０の立体像ＶＴ０については、視差量が０となるため、Ｌ画像ＩＴ０＿Ｌ及びＲ画像ＩＴ０＿Ｒと丁度重なって画面１６１上に再現される。
また、再現される立体像ＶＴの大きさ（横サイズ）Ｘｖは、画面１６１上の被写体像の大きさＸｄ、観察距離Ｄｖ（観察者Ｖから画面１６１までの距離）、及び、立体像ＶＴの再現奥行き距離Ｚｖで決まる。再現奥行き距離Ｚｖは、上式（３）で決まるため、立体像ＶＴの大きさＸｖは、画面１６１上の被写体像の大きさＸｄ、観察者Ｖの瞳孔間距離ＩＰＤ、及び、画面上視差量Δｘｄ（Ｌ画像ＩＴ＿Ｌの中心とＲ画像ＩＴ＿Ｒの中心の距離）で決まることになり、次式（４）のように表せる。
なお、「横サイズ」とは、図２、図４、図５における被写体やセンサ面上の被写体像や表示画面に表示される被写体像および再現される立体像の左右方向の大きさである。
On the other hand, the stereoscopic image VT0 of the subject T0 has a parallax amount of 0, and thus is reproduced on the
The size (horizontal size) Xv of the reproduced stereoscopic image VT is the size Xd of the subject image on the
The “horizontal size” is the horizontal size of the subject in FIG. 2, FIG. 4, FIG. 5, the subject image on the sensor surface, the subject image displayed on the display screen, and the reproduced stereoscopic image.
なお、画面１６１上における、視差量Δｘｄ及び被写体像の大きさＸｄ（図５）は、それぞれセンサ１８３上における、視差量Δｘｓ及び被写体像の大きさＸｓ（図２）に比例する。表示装置（表示部１６０）の画面１６１の横サイズをＷｄ、センサ１８３の横サイズをＷｓとすると、画面１６１上の視差量Δｘｄは、センサ１８３上の視差量Δｘｓに画面サイズＷｄとセンササイズＷｓの比Ｍｓｄ＝Ｗｄ／Ｗｓを掛けたものになり、次式（５）のように表せる。式（５）において、符号はセンサ１８３上と画面１６１上で逆になり、式（５）では立体像を観察したときに画面１６１の奥に見える場合の視差量の符号が正、画面１６１より飛び出して見える場合の視差量の符号が負になる。
The parallax amount Δxd and the subject image size Xd (FIG. 5) on the
視差量ΔＸｄと同様に、画面１６１上の被写体サイズＸｄは、センサ１８３上の被写体像の大きさＸｓに画面サイズＷｄとセンササイズＷｓの比Ｍｓｄを掛けたものになり、次式（６）のように表せる。
Similar to the parallax amount ΔXd, the subject size Xd on the
次に快適視差範囲（コンフォートゾーン）について説明する。図６は、快適視差範囲を説明する概念図である。
両眼視差を利用した立体表示を観察する場合、画面上視差量の絶対値が大きすぎると立体像は見づらくなり、極端な場合は融像できなくなる。そこで視差量がどれくらいで融像困難になるか、どの範囲（快適視差範囲）なら快適に見られるか、を調査する研究がこれまでに数多くなされ、おおよその目安となる値も発表されている（参考：３Ｄコンソーシアム「３ＤＣ安全ガイドライン」）。
Next, the comfortable parallax range (comfort zone) will be described. FIG. 6 is a conceptual diagram illustrating a comfortable parallax range.
When observing stereoscopic display using binocular parallax, if the absolute value of the amount of parallax on the screen is too large, it is difficult to see the stereoscopic image, and in an extreme case, fusion cannot be performed. So, many studies have been conducted to find out how much parallax is difficult to fuse and what range (comfortable parallax range) can be seen comfortably, and approximate values have been announced ( Reference: 3D Consortium “3DC Safety Guidelines”).
立体像が快適に見られる画面上視差量は、画面１６１に対する視距離に応じて変わってしまうため、快適視差範囲は立体像に対する視差角で示されることが多い。視差角とは、立体像を見るときの観察者の視線の為す角度（輻輳角）と画面１６１に対する輻輳角の差である。
The amount of parallax on the screen where a stereoscopic image can be comfortably viewed varies depending on the viewing distance with respect to the
例えば図６に示すように、快適に見られる最も近方の立体像ｃ１を見るときの視線の為す角度（輻輳角）をφｃ１、快適に見られる最も遠方の立体像ｃ２を見るときの輻輳角をφｃ２、及び、画面１６１に対する輻輳角をθｖとする。このとき、快適に見られる最も近方の立体像ｃ１を見るときの輻輳角φｃ１と画面１６１に対する輻輳角θｖの差Δφｃ１が快適に見られる最も近方の立体像ｃ１に対する視差角であり、快適に見られる最も遠方の立体像ｃ２を見るときの輻輳角φｃ２と画面１６１に対する輻輳角θｖの差Δφｃ２が快適に見られる最も遠方の立体像ｃ２に対する視差角である。これら２つの視差角Δφｃ１、Δφｃ２の間の範囲が快適視差範囲となる。これらの視差角Δφｃ１、Δφｃ２の具体的な数値としては、例えば「３ＤＣ安全ガイドライン」にΔφｃ１＝１度、Δφｃ２＝−１度が示されている。
For example, as shown in FIG. 6, the angle (convergence angle) of the line of sight when viewing the nearest stereoscopic image c1 that can be seen comfortably is φc1, and the convergence angle when viewing the farthest stereoscopic image c2 that can be seen comfortably Is φc2 and the convergence angle with respect to the
次に、第１導出部１４０で、観察時視差角が最大値Δφｃ１になるような被写体距離（近方制限推奨距離）Ｚｏｃ１と、観察時視差角が最小値Δφｃ２になるような被写体距離（遠方制限推奨距離）Ｚｏｃ２と、を導出する方法について説明する。
Next, in the
＜被写体距離の導出＞
視差角Δφ（Δφｃ１、Δφｃ２）は、上述のように、再現された立体像に対する輻輳角と画面１６１に対する輻輳角の差であり、画面１６１を観察するときの観察距離Ｄｖと観察者Ｖの瞳孔間距離ＩＰＤに依存し、画面１６１上の視差量Δｘｄを用いて次式（７）で表せる。
<Derivation of subject distance>
As described above, the parallax angle Δφ (Δφc1, Δφc2) is a difference between the convergence angle with respect to the reproduced stereoscopic image and the convergence angle with respect to the
上式（７）で算出した視差角Δφを用いて、視差角Δφとなるような画面１６１上の視差量Δｘｄが次式（８）で決められる。
Using the parallax angle Δφ calculated by the above equation (7), the parallax amount Δxd on the
この式（８）のΔφに、視差角Δφｃ１、Δφｃ２を代入すれば、視差角Δｘｄをそれぞれ算出でき、これらにより画面上視差量Δｘｄｃ１、Δｘｄｃ２が決まる。さらに、上式（５）から逆算していけば画面上視差量Δｘｄｃ１、Δｘｄｃ２にそれぞれ対応する被写体距離Ｚｏｃ１、Ｚｏｃ２が計算できる。このため、最終的には、視差角が最大値Δφｃ１になるような被写体距離Ｚｏｃ１は次式（９）のような形で表すことができる。 By substituting the parallax angles Δφc1 and Δφc2 into Δφ in equation (8), the parallax angles Δxd can be calculated, respectively, and the on-screen parallax amounts Δxdc1 and Δxdc2 are determined. Furthermore, subject distances Zoc1 and Zoc2 corresponding respectively to the on-screen parallax amounts Δxdc1 and Δxdc2 can be calculated by calculating backward from the above equation (5). Therefore, in the end, the subject distance Zoc1 at which the parallax angle becomes the maximum value Δφc1 can be expressed by the following equation (9).
また、視差角が最小値Δφｃ２になるような被写体距離Ｚｏｃ２は上式（９）のΔφｃ１をΔφｃ２に置き換えた次式（１０）で表せる。 The subject distance Zoc2 at which the parallax angle becomes the minimum value Δφc2 can be expressed by the following equation (10) in which Δφc1 in the above equation (9) is replaced with Δφc2.
ここで、例外判定（例外処理）について説明する。
画面上視差量Δｘｄｃ２は画面１６１より奥に立体像が再生されるような視差量だが、画面上視差量Δｘｄｃが観察者Ｖの瞳孔間距離ＩＰＤを超えてしまうと視線が開散状態になり、快適に見ることはできなくなる。そこで、ＩＰＤ未満でＩＰＤに近い値ＸＤＭＸについて
Δｘｄｃ２＞ＸＤＭＸ
が成り立つとき、別言すると上式（１０）において
Ｂ／Ｃ＞ＸＤＭＸ
が成り立つときは、例外処理としてＢ／Ｃ＝ＸＤＭＸとする。
ＸＤＭＸは例えばＸＤＭＸ＝ＩＰＤ×0.95とする。
Here, exception determination (exception processing) will be described.
The on-screen parallax amount Δxdc2 is a parallax amount such that a stereoscopic image is reproduced in the back of the
In other words, in the above equation (10), B / C> XDMX
Is satisfied, B / C = XDMX is set as exception processing.
For example, XDMX is set to XDMX = IPD × 0.95.
また、条件によっては
Ｚｏｃ２＜０
となることがある。これは後で説明する立体歪により遠方被写体に対する視差量が小さくなって、視差角が最小値Δφｃ２になるような被写体距離Ｚｏｃ２が存在しない状態を示す。このような場合は、遠方制限推奨距離Ｚｏｃ２を無限大とする。
Depending on the conditions, Zoc2 <0
It may become. This shows a state in which there is no subject distance Zoc2 such that the amount of parallax with respect to a distant subject is reduced due to stereoscopic distortion described later, and the parallax angle becomes the minimum value Δφc2. In such a case, the recommended distance restriction distance Zoc2 is set to infinity.
次に、第２導出部１７０における、線形率Ｌｉｎと圧縮率Ｅｘｐａの導出について説明する。
まず、立体像の歪について説明する。
一般に立体映像を撮影するとき、撮影条件と観察条件の幾何学的な関係によって再現される立体像が歪み、不自然な見え方になることがある。ここでは歪の出方を大別して２つに分けて扱う。
Next, the derivation of the linear rate Lin and the compression rate Expa in the
First, the distortion of a stereoscopic image will be described.
In general, when a stereoscopic image is captured, a stereoscopic image reproduced due to the geometric relationship between the imaging condition and the observation condition may be distorted and look unnatural. Here, the method of distortion is roughly divided into two parts.
１つ目の歪みとしての非線形歪は、被写体空間と再現立体像空間が非線形になることにより、ある程度遠方の被写体がひとつの面に張り付いて見えたり、奥行きによって被写体の大きさが狂って見えたりするものである。 Non-linear distortion as the first distortion is that the subject space and the reconstructed stereoscopic image space become nonlinear, so that a subject far away to some extent appears to stick to one surface, or the subject size appears to be distorted due to depth. It is something to do.
図７、図８、図９は非線形歪を説明する図であって、図７は被写体空間と再現立体像空間が線形の場合、図８、図９は非線形歪が発生している場合を示す。また、図７〜図９において、（ａ）は被写体奥行きに対する再現立体像の奥行きを示したグラフ、（ｂ）は被写体奥行きに応じて再現立体像の大きさが変わることを示したグラフ、（ｃ）は被写体奥行きに応じて変わる再現立体像の見え方を示したものである。図８（ａ）、（ｂ）、図９（ａ）、（ｂ）において、破線は、被写体空間と再現立体像空間が線形の場合を示しており、実線は、非線形歪が発生している場合を示している。図８と図９は、非線形歪の現れ方が逆になっている。 7, 8, and 9 are diagrams for explaining nonlinear distortion. FIG. 7 shows a case where the subject space and the reproduced stereoscopic image space are linear, and FIGS. 8 and 9 show a case where nonlinear distortion occurs. . 7 to 9, (a) is a graph showing the depth of the reproduced stereoscopic image with respect to the subject depth, (b) is a graph showing that the size of the reproduced stereoscopic image changes according to the subject depth, c) shows how the reproduced stereoscopic image changes according to the subject depth. 8A, 8B, 9A, and 9B, the broken line indicates a case where the subject space and the reproduced stereoscopic image space are linear, and the solid line indicates that nonlinear distortion occurs. Shows the case. In FIGS. 8 and 9, the appearance of nonlinear distortion is reversed.
図７に示す場合では、被写体奥行きと再現奥行きは線形関係にあり、観察者が感じる再現立体像の大きさは奥行きによって変わらない。したがって、奥行きの異なる同じ大きさの２つの被写体を撮影したときに、再現立体像でも２つは同じ大きさに感じられる。
これに対して図８に示す場合では、被写体奥行きが大きいほど、すなわち遠くにあるものほど、再現奥行きも大きさも強調されるため、手前にあるものが小さくなったような見え方になる（図８（ｃ））。
また、図９に示す場合は、図８に示す場合と逆であって、遠くにあるものほど奥行きと大きさが圧縮されるため、ある程度遠くのものが全て平面に張り付いたように見える（図９（ｃ））。
In the case shown in FIG. 7, the subject depth and the reproduction depth are in a linear relationship, and the size of the reproduced stereoscopic image felt by the observer does not change with the depth. Therefore, when two subjects having the same depth and different sizes are photographed, the two reproduced stereoscopic images are felt to be the same size.
On the other hand, in the case shown in FIG. 8, the larger the subject depth, that is, the farther the subject, the more the reproduction depth and size are emphasized, so that the one in front is smaller (see FIG. 8). 8 (c)).
The case shown in FIG. 9 is the reverse of the case shown in FIG. 8, and the depth and size of the object farther away is compressed, so that it seems that everything far away is stuck to a plane ( FIG. 9 (c)).
この現象は、例えば被写体距離に対して基線長や焦点距離が大きすぎると図８のようになり、観察画面が小さすぎると図９のようになる傾向があるが、関与するパラメータは基線長、焦点距離、合焦距離、観察画面サイズ、観察者の瞳孔間距離などがあり、歪とパラメータが１対１対応しているわけではない。 For example, this phenomenon tends to be as shown in FIG. 8 if the baseline length or focal length is too large relative to the subject distance, and tends to be as shown in FIG. 9 if the observation screen is too small, but the parameters involved are the baseline length, There are a focal distance, a focusing distance, an observation screen size, a distance between pupils of an observer, and the like, and distortion and parameters do not have a one-to-one correspondence.
２つ目の歪を圧縮歪と呼ぶ。図１０は、第１実施形態において被写体奥行きと被写体サイズの比率に対する再現奥行きと再現立体像サイズの比率の関係を示すグラフである。図１１は、第１実施形態において発生した圧縮歪の例を示す図である。
図１０において、破線Ｌ０は被写体空間と再現立体像空間が相似形の場合、実線Ｌ１はサイズに比較して奥行きが強調された場合、実線Ｌ２はサイズに比較して奥行きが圧縮された場合をそれぞれ示している。図１１において、再現立体像Ｓ１は、そのサイズと奥行きの比率が、被写体Ｓ０のサイズと奥行きの比率と同じ場合、再現立体像Ｓ２は奥行きが強調された場合、再現立体像Ｓ３は奥行きが圧縮された場合をそれぞれ示している。
The second distortion is called compression distortion. FIG. 10 is a graph showing the relationship between the ratio of the reproduction depth and the reproduction stereoscopic image size to the ratio of the object depth and the object size in the first embodiment. FIG. 11 is a diagram illustrating an example of compression distortion generated in the first embodiment.
In FIG. 10, a broken line L0 indicates a case where the subject space and the reproduced stereoscopic image space are similar, a solid line L1 indicates that the depth is emphasized compared to the size, and a solid line L2 indicates a case where the depth is compressed compared to the size. Each is shown. In FIG. 11, the reproduced stereoscopic image S1 has the same size / depth ratio as that of the subject S0, the reproduced stereoscopic image S2 has the depth enhanced, and the reproduced stereoscopic image S3 has the compressed depth. Each case is shown.
被写体空間と再現空間が線形であっても、図１０のようにサイズと奥行きの比率が被写体空間と再現空間で大きく異なることがあり、その結果、図１１の再現立体像Ｓ３のように全体が圧縮されてレリーフのように見えたり、逆に、再現立体像Ｓ２のように奥行きが強調されすぎて奇妙な見え方になることがある。この現象は、主に撮影画角と観察画角が大きく異なることが原因で、例えば撮影レンズの焦点距離が長すぎる、すなわち撮影画角が狭い場合、奥行きが圧縮された見えになりやすい。ただし線形でないときは合焦距離などの他のパラメータも影響してくる。 Even if the subject space and the reproduction space are linear, the ratio of the size and the depth may be greatly different between the subject space and the reproduction space as shown in FIG. 10, and as a result, the whole is reproduced like the reproduced stereoscopic image S3 in FIG. In some cases, the image may be compressed and look like a relief, or conversely, the depth may be overemphasized and look strange as in the reproduced stereoscopic image S2. This phenomenon is mainly caused by a large difference between the shooting angle of view and the observation angle of view. For example, when the focal length of the shooting lens is too long, that is, when the shooting angle of view is narrow, the depth tends to appear compressed. However, when it is not linear, other parameters such as the in-focus distance also affect.
このような歪の両方を完全になくすような理想的な条件の実現は多くの場合困難である。実際には、用途にもよるが、歪具合が小さければ観察者は気にしないため、歪が大きくなりすぎない程度に撮影条件を理想からずらして撮影することになる。そのためには、撮影者が、現在の撮影条件ではどのような歪の状態になるかを簡単にモニターできると都合が良い。
そこで、第１実施形態の撮像装置では、歪の状態を表す評価値Ｄ１として、線形性を表す数値としての線形率Ｌｉｎと、奥行き強調・圧縮の程度を表す数値としての圧縮率ｅｘ（Ｅｘｐａ）と、をカメラの表示画面１６１に表示する（図１２）。図１２は、第１実施形態における表示例を示す図である。
In many cases, it is difficult to realize an ideal condition that completely eliminates both such distortions. Actually, although depending on the application, since the observer does not care if the degree of distortion is small, the photographing conditions are shifted from ideal so that the distortion does not become too large. For this purpose, it is convenient if the photographer can easily monitor the distortion state under the current photographing conditions.
Therefore, in the imaging apparatus according to the first embodiment, as the evaluation value D1 representing the state of distortion, the linear rate Lin as a numerical value representing linearity and the compression rate ex (Expa) as a numerical value representing the degree of depth enhancement / compression. Are displayed on the
非線形歪みの程度は、被写体の奥行き範囲をどう設定するかで変わるが、ここでは前述の第１導出部１４０で導出した近方制限推奨距離Ｚｏｃ１と遠方制限推奨距離Ｚｏｃ２を用いる。
Although the degree of nonlinear distortion varies depending on how the depth range of the subject is set, here, the recommended near limit recommended distance Zoc1 and the recommended far limit restricted distance Zoc2 derived by the
以下、歪評価値Ｄ１の導出の具体的な計算方法について説明する。
＜１．線形率 Ｌｉｎ＞
線形率は、近方制限推奨距離Ｚｏｃ１、遠方制限推奨距離Ｚｏｃ２、及び、合焦距離Ｚｏ０の３点のデータから導出する。なお、遠方制限推奨距離Ｚｏｃ２が無限大の場合は、視差量に関してはほとんど無限大とみなせるような大きな有限の距離で置き換えて計算する。
線形性が崩れると、図８（ｂ）や図９（ｂ）のグラフに示すように、再現される立体像のサイズが奥行きによって大きく変わる。そこで、近方制限推奨距離Ｚｏｃ１、遠方制限推奨距離Ｚｏｃ２、及び、合焦距離Ｚｏ０について、所定の被写体サイズＸｏに対する立体像のサイズＸｖｃ１、Ｘｖｃ２、Ｘｖ０を求め、設定した範囲内で最も近い立体像のサイズＸｖｃ１と最も遠い立体像のサイズＸｖｃ２の差を合焦位置の立体像（画面１６１上の像）のサイズＸｖ０で割って１を加えたものを線形率Ｌｉｎとする。ここで、線形率Ｌｉｎは、次式（１１）のようになる。
Hereinafter, a specific calculation method for deriving the strain evaluation value D1 will be described.
<1. Linear rate Lin>
The linear rate is derived from data of three points, that is, a recommended near limit recommended distance Zoc1, a recommended far limit recommended distance Zoc2, and a focusing distance Zo0. When the distance restriction recommended distance Zoc2 is infinite, the parallax amount is calculated by replacing with a large finite distance that can be regarded as almost infinite.
When the linearity is lost, as shown in the graphs of FIGS. 8B and 9B, the size of the three-dimensional image to be reproduced greatly varies depending on the depth. Therefore, for the near limit recommended distance Zoc1, the far limit recommended distance Zoc2, and the focusing distance Zo0, the stereoscopic image sizes Xvc1, Xvc2, and Xv0 for the predetermined subject size Xo are obtained, and the closest stereoscopic image within the set range is obtained. The linear ratio Lin is obtained by dividing the difference between the size Xvc1 and the size Xvc2 of the farthest stereoscopic image by the size Xv0 of the in-focus stereoscopic image (image on the screen 161) and adding 1. Here, the linear rate Lin is expressed by the following equation (11).
立体像のサイズＸｖｃ１、Ｘｖｃ２、Ｘｖ０は、上式（４）のように画面１６１上の被写体像の大きさと観察者の瞳孔間距離と画面上視差量で決まり、次式（１２）、（１３）、（１４）のように表される。
The three-dimensional image sizes Xvc1, Xvc2, and Xv0 are determined by the size of the subject image on the
ここで、画面上被写体像の大きさＸｄｃ１、Ｘｄｃ２、画面上視差量Δｘｄｃ１、Δｘｄｃ２などは、上式（５）、（６）のＺｏにＺｏｃ１やＺｏｃ２を代入して計算する。
線形率Ｌｉｎは、その値が１のとき線形性が成り立っており、１＜Ｌｉｎのときは図８のような歪が発生しており、Ｌｉｎ＜１のときは図９のような歪が発生しており、値が１から離れるほど歪の程度が大きい。
Here, on-screen subject image sizes Xdc1, Xdc2, on-screen parallax amounts Δxdc1, Δxdc2, etc. are calculated by substituting Zoc1 and Zoc2 for Zo in the above equations (5) and (6).
The linearity Lin is linear when the value is 1, and distortion as shown in FIG. 8 occurs when 1 <Lin, and distortion as shown in FIG. 9 occurs when Lin <1. The degree of distortion increases as the value deviates from 1.
＜２．圧縮率 Ｅｘｐａ＞
線形率が１でないとき、被写体距離によって圧縮率は異なってくるが、第１実施形態では合焦距離Ｚｏ０の被写体について導出した圧縮率を全体の圧縮率の代表値とする。
<2. Compression rate Expa>
When the linear rate is not 1, the compression rate varies depending on the subject distance. In the first embodiment, the compression rate derived for the subject at the focusing distance Zo0 is used as a representative value of the overall compression rate.
大きさ（横サイズ）Ｘｏの被写体が、合焦距離Ｚｏ０と所定の微小距離ΔＺｏだけ離れた距離Ｚｏ１にある場合を考える。ここで、合焦距離Ｚｏ０と距離Ｚｏ１に対応する立体像の再現奥行きＺｖ０とＺｖ１、及び、奥行きＺｖ０に再現される立体像の横サイズＸｖ０を求め、立体像の奥行き差Ｚｖ１−Ｚｖ０とサイズＸｖ０の比を被写体距離の差ΔＺｏとサイズＸｏの比で割ったものを圧縮率Ｅｘｐａとする。所定の微小距離ΔＺｏを被写体の奥行き方向の大きさ、立体像の奥行き差Ｚｖ１−Ｚｖ０を立体像の奥行き方向の大きさΔＺｖ０と言い換えても良い。圧縮率Ｅｘｐａを式で表すと次式（１５）のようになる。 Consider a case where a subject of size (horizontal size) Xo is at a distance Zo1 that is a predetermined minute distance ΔZo away from the focusing distance Zo0. Here, the stereoscopic image reproduction depths Zv0 and Zv1 corresponding to the in-focus distance Zo0 and the distance Zo1 and the lateral size Xv0 of the stereoscopic image reproduced at the depth Zv0 are obtained, and the stereoscopic image depth difference Zv1-Zv0 and the size Xv0 are obtained. Is divided by the ratio of the subject distance difference ΔZo and the size Xo as the compression ratio Expa. The predetermined minute distance ΔZo may be paraphrased as the size of the subject in the depth direction, and the depth difference Zv1-Zv0 of the stereoscopic image may be paraphrased as the size ΔZv0 of the stereoscopic image in the depth direction. The compression rate Expa is expressed by the following equation (15).
圧縮率Ｅｘｐａは、その値が１００％のとき、再現された立体像はもとの被写体と相似形であり、Ｅｘｐａ＜１００％のときは奥行きが圧縮された状態を示し、１００％＜Ｅｘｐａのときは奥行きが強調された状態を示し、圧縮率Ｅｘｐａが１００％から離れるほど、歪の程度が大きいことを示す。 When the compression rate Expa is 100%, the reproduced stereoscopic image is similar to the original subject. When Expa <100%, the depth is compressed, and 100% <Expa. In some cases, the depth is emphasized, and the degree of distortion increases as the compression ratio Expa departs from 100%.
上式（１１）、（１５）の計算では、観察条件のパラメータとして、想定する表示画面の幅Ｗｄ、観察距離Ｄｖ、及び、瞳孔間距離ＩＰＤを用い、撮影条件のパラメータとして、撮影レンズの焦点距離ｆ、合焦距離Ｚｏ０、及び基線長ＳＢ、を用いる。そのため、第２導出部１７０には、第１導出部１４０で導出した被写体距離Ｚｏｃ１と被写体距離Ｚｏｃ２のほかに、想定する表示画面の幅Ｗｄ、観察距離Ｄｖ、瞳孔間距離ＩＰＤ、撮影レンズの焦点距離ｆ、合焦距離Ｚｏ０、及び、基線長ＳＢの値が入力される。第２導出部１７０は、線形率Ｌｉｎと圧縮率Ｅｘｐａを導出し、表示制御部１５０に対して、線形率Ｌｉｎ、圧縮率Ｅｘｐａ、及び基線長ＳＢを出力する。
In the calculations of the above equations (11) and (15), the assumed display screen width Wd, observation distance Dv, and inter-pupil distance IPD are used as observation condition parameters, and the focus of the photographing lens is used as imaging condition parameters. The distance f, the focusing distance Zo0, and the baseline length SB are used. Therefore, in addition to the subject distance Zoc1 and the subject distance Zoc2 derived by the
次に図１２を用いて、表示部１６０における歪評価値の表示について説明する。図１２（ａ）は、カメラの背面液晶などの表示部１６０の画面１６１に、ライブビュー画像ＬＶに重畳して、歪評価値ＤＥ（線形率Ｌｉｎと圧縮率Ｅｘｐａ）と基線長ＳＢの値を表示した様子を示したものである。画面１６１にはＡＦ（オートフォーカス）などで使用したフォーカスエリアＦＡも同時に表示している。図１２（ｂ）、（ｃ）、（ｄ）は、撮影者による何らかのカメラ操作によって撮影条件が変わったことにより、歪評価値が変化したときの表示の様子を示す。
Next, display of distortion evaluation values on the
撮影者は、図１２（ａ）の表示を見て現在の歪評価値を把握できる。その後、例えばレンズの絞りを操作して基線長ＳＢを変化させると、表示は図１２（ｂ）のように基線長ＳＢと歪評価値ＤＥの値が更新される。一方、被写体にフォーカスしたまま被写体に近づいた場合は図１２（ｃ）のように、被写体にフォーカスしたまま被写体から遠ざかった場合は図１２（ｄ）のように、それぞれ基線長ＳＢの表示は変わらず歪評価値が更新される。 The photographer can grasp the current distortion evaluation value by looking at the display of FIG. Thereafter, for example, when the base length SB is changed by operating the lens aperture, the display updates the values of the base length SB and the distortion evaluation value DE as shown in FIG. On the other hand, the display of the base line length SB changes as shown in FIG. 12C when the subject approaches the subject while focusing on the subject, and as shown in FIG. 12D when the subject moves away from the subject while focusing on the subject. First, the distortion evaluation value is updated.
このような表示により、撮影者は現在の撮影条件でどのような歪（歪評価値）になるかを簡単に知ることができ、また歪が改善するように撮影条件を工夫することが容易になる。また、歪評価値が変化したときは強調表示になるようにすると、よりわかりやすくて良い。さらに、歪評価値が改善したときと劣化したときで表示の色や強調の仕方を変えるとさらにわかりやすいため好ましい。 With such a display, the photographer can easily know what distortion (distortion evaluation value) the current shooting condition will be, and can easily devise the shooting condition to improve the distortion. Become. Further, when the distortion evaluation value changes, it may be easier to understand if it is highlighted. Furthermore, it is preferable to change the display color and the method of emphasis when the distortion evaluation value is improved and when it is deteriorated because it is easier to understand.
（第２実施形態）
第１実施形態に係る撮像装置では、撮影された画像に特に補正処理を加えない場合を想定していたが、第２実施形態に係る撮像装置では、撮影後のＬ画像及びＲ画像にシフト処理やズーム処理その他の補正処理を施してから画像を保存、又は補正処理を指定する情報を画像に付加して保存する場合を想定している。
(Second Embodiment)
In the imaging apparatus according to the first embodiment, it is assumed that correction processing is not particularly applied to the captured image. However, in the imaging apparatus according to the second embodiment, shift processing is performed on the L image and the R image after shooting. It is assumed that the image is stored after performing correction processing such as zooming or other processing, or information specifying correction processing is added to the image and stored.
第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置の構成に加えて、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部２９０をさらに備える。推奨被写体範囲導出部としての第１導出部２４０は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更する。
In addition to the configuration of the imaging apparatus according to the first embodiment, the imaging apparatus according to the second embodiment specifies a correction process for a parallax image corresponding to each of a plurality of shooting conditions, and sets an image correction parameter. A
図１３は、第２実施形態に係る撮像装置２００の構成を示すブロック図である。図１４は、第２実施形態における表示例を示す図である。
撮像装置２００における、第１条件設定部２１０、第２条件設定部２２０、撮影条件取得部２３０、レンズ情報取得部２３１、基線長導出部２３２、第１導出部２４０、表示制御部２５０、表示部２６０、撮像光学系２８０、レンズ２８１、撮像光学系２８０の絞り（不図示）、センサ２８３、及び駆動回路２８４は、第１実施形態の撮像装置１００の第１条件設定部１１０、第２条件設定部１２０、撮影条件取得部１３０、レンズ情報取得部１３１、基線長導出部１３２、第１導出部１４０、表示制御部１５０、表示部１６０、撮像光学系１８０、レンズ１８１、絞り１８２、センサ１８３、及び駆動回路１８４にそれぞれ対応する。
FIG. 13 is a block diagram illustrating a configuration of the
In the
補正処理設定部２９０による補正処理は、撮影条件が制限されているときでも線形性や圧縮率を改善する効果がある。例えば、第１実施形態のような瞳分割方式の撮像光学系において、広角レンズを使用して基線長のわりに撮影距離を短くできないような場合、線形率は１より小さくなり圧縮も目立ってしまう。このような場合、Ｌ画像及びＲ画像をそれぞれ外側へ、すなわちＬ画像は左へ、Ｒ画像は右へそれぞれシフトすることで、線形率も圧縮率も改善することができる。また、画像を拡大することでも、線形率や圧縮率を改善可能である。なお、実際のシフト処理や拡大処理は、画像自体を処理してもよいし、センサ２８３から信号を読み出す際に読み出し位置や読み出す範囲を変更する方法で実現しても良い。
The correction processing by the correction
観察者が補正処理を設定する場合、例えばカメラの表示部の画面２６１（図１４）にＬ画像及びＲ画像を重畳表示して、画像シフトの様子を確認しながら補正処理設定操作に割り当てられたボタンを操作する。画面２６１には、画像と同時に立体像歪評価値ＤＥ（線形率、圧縮率）が表示され、観察者は歪評価値を確認しながら、適切な補正値を設定する。
When the observer sets the correction process, for example, the L image and the R image are superimposed on the screen 261 (FIG. 14) of the display unit of the camera and assigned to the correction process setting operation while checking the state of the image shift. Operate the button. The
補正処理設定部２９０は、図示しないインターフェースを介した観察者の操作に基づいて、シフト設定値Ｓｈｉｆｔとズーム設定値Ｚｏｏｍを設定する。このシフト設定値Ｓｈｉｆｔとズーム設定値Ｚｏｏｍは第１導出部２４０へ入力される。
第１導出部２４０では、
（１）快適視差範囲の視差角の最大値Δφｃ１と最小値Δφｃ２、
（２）想定する表示装置の横幅Ｗｄ、
（３）観察距離Ｄｖ、
（４）観察者の瞳孔間距離ＩＰＤ、
（５）焦点距離ｆ、合焦距離Ｚｏ０、及び基線長ＳＢ、並びに
（６）シフト設定値Ｓｈｉｆｔ、及びズーム設定値Ｚｏｏｍ
から、想定する観察条件下で、
（ａ）観察時視差角が最大値Δφｃ１になるような近方制限推奨距離Ｚｏｃ１、及び
（ｂ）観察時視差角が最小値Δφｃ２になるような遠方制限推奨距離Ｚｏｃ２
を導出する。ただし、最小値Δφｃ２に対する画面上での視差量が瞳孔間距離ＩＰＤによって決まる値ＸＤＭＸを超えるときは、画面２６１上での視差量＝ＸＤＭＸとなるような被写体距離を遠方制限推奨距離Ｚｏｃ２とする。ＸＤＭＸはＩＰＤより小さい値で例えばＩＰＤの９５％となるような値とする。
The correction
In the
(1) The maximum value Δφc1 and the minimum value Δφc2 of the parallax angle in the comfortable parallax range,
(2) The assumed width Wd of the display device,
(3) Observation distance Dv,
(4) observer's interpupillary distance IPD,
(5) Focal length f, in-focus distance Zo0, and base line length SB, and (6) shift set value Shift and zoom set value Zoom.
From the assumed observation conditions,
(A) Recommended near limit distance Zoc1 so that the observation parallax angle becomes the maximum value Δφc1, and (b) Recommended far limit restriction distance Zoc2 so that the observation parallax angle becomes the minimum value Δφc2.
Is derived. However, when the amount of parallax on the screen with respect to the minimum value Δφc2 exceeds the value XDMX determined by the interpupillary distance IPD, the subject distance such that the amount of parallax on the
第２導出部２７０では、距離Ｚｏｃ１、Ｚｏｃ２、想定する表示画面の幅Ｗｄ、観察距離Ｄｖ、瞳孔間距離ＩＰＤ、撮影レンズの焦点距離ｆ、合焦距離Ｚｏ０、基線長ＳＢの値、シフト設定値Ｓｈｉｆｔ、及びズーム設定値Ｚｏｏｍから、線形率Ｌｉｎと圧縮率Ｅｘｐａを導出し、表示制御部１５０へ、線形率Ｌｉｎ、圧縮率Ｅｘｐａ、シフト設定値Ｓｈｉｆｔ、及びズーム設定値Ｚｏｏｍの値を出力する。表示制御部１５０は、これらの情報を、センサ２８３から受けた映像信号に重畳して表示部２６０へ出力し、表示部２６０はこれらを表示する（図１４）。
なお、その他の構成、作用、効果については、第１実施形態と同様である。
In the
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
（第３実施形態）
第３実施形態に係る撮像装置は、画面３６１（図１６）に、歪評価値ＤＥに加えて先に導出した推奨被写体範囲の情報（近方制限推奨距離Ｚｏｃ１、遠方制限推奨距離Ｚｏｃ２）も表示する点が第１実施形態に係る撮像装置と異なる。
(Third embodiment)
The imaging apparatus according to the third embodiment also displays information about the recommended subject range derived earlier (recommended near limit restricted Zoc1 and recommended far limit restricted distance Zoc2) in addition to the distortion evaluation value DE on the screen 361 (FIG. 16). This is different from the imaging apparatus according to the first embodiment.
図１５は、第３実施形態に係る撮像装置３００の構成を示すブロック図である。図１６は、第３実施形態における表示例を示す図である。
撮像装置３００における、第１条件設定部３１０、第２条件設定部３２０、撮影条件取得部３３０、レンズ情報取得部３３１、基線長導出部３３２、第１導出部３４０、表示制御部３５０、表示部３６０、第２導出部３７０、撮像光学系３８０、レンズ３８１、撮像光学系３８０の絞り（不図示）、センサ３８３、及び駆動回路３８４は、第１実施形態の撮像装置１００の第１条件設定部１１０、第２条件設定部１２０、撮影条件取得部１３０、レンズ情報取得部１３１、基線長導出部１３２、第１導出部１４０、表示制御部１５０、表示部１６０、第２導出部１７０、撮像光学系１８０、レンズ１８１、絞り１８２、センサ１８３、及び駆動回路１８４にそれぞれ対応する。
FIG. 15 is a block diagram illustrating a configuration of an
In the
第１導出部３４０の動作は第１実施形態の第１導出部１４０の動作と同様である。第２導出部３７０は、第１実施形態の第２導出部１７０と同様に線形率Ｌｉｎと圧縮率Ｅｘｐａを導出し、線形率Ｌｉｎ、圧縮率Ｅｘｐａ、基線長ＳＢに加えて、近方制限推奨距離Ｚｏｃ１、遠方制限推奨距離Ｚｏｃ２、及び合焦距離Ｚｏ０の情報を表示制御部２５０へ出力する。表示制御部２５０ではこれらの情報を、センサ２８３から受けた映像信号に重畳して表示部２６０へ出力し、表示部２６０はこれらを表示する。
The operation of the
立体歪を改善するために基線長や焦点距離を長くすると、全体に視差量が大きくなるため推奨被写体範囲が狭くなり、撮影したい被写体が推奨被写体範囲を超えてしまうこともある。そのような場合、歪と被写体範囲のバランスを考えて撮影する必要がある。
第３実施形態の撮像装置では、歪評価値とともに推奨被写体範囲も表示されるため、立体歪の改善だけでなく全体の見易さも同時に考慮しながら撮影条件を調整できる。特にマクロ撮影のように被写体距離が短いときは、推奨被写体範囲が狭くなりやすいため、このような表示が効果的である。
なお、その他の構成、作用、効果については、第１実施形態と同様である。
If the base line length or focal length is increased in order to improve the stereoscopic distortion, the amount of parallax increases as a whole, so that the recommended subject range becomes narrow, and the subject to be photographed may exceed the recommended subject range. In such a case, it is necessary to shoot in consideration of the balance between distortion and the subject range.
In the image pickup apparatus according to the third embodiment, the recommended subject range is displayed together with the distortion evaluation value, so that it is possible to adjust the shooting conditions while considering not only the improvement of the stereoscopic distortion but also the overall visibility. In particular, when the subject distance is short as in macro photography, the recommended subject range tends to be narrow, and thus such a display is effective.
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
（第４実施形態）
図１７は第４実施形態に係る撮像装置４００の構成を示すブロック図である。図１８は、第４実施形態における表示例を示す図である。
第４実施形態の撮像装置４００は、第２実施形態と同様に補正処理設定部４９０を備え、表示部４６０で表示される情報として推奨被写体範囲の情報を加えている。
(Fourth embodiment)
FIG. 17 is a block diagram illustrating a configuration of an
The
撮像装置４００における、第１条件設定部４１０、第２条件設定部４２０、撮影条件取得部４３０、レンズ情報取得部４３１、基線長導出部４３２、第１導出部４４０、表示制御部４５０、表示部４６０、撮像光学系４８０、レンズ４８１、撮像光学系４８０の絞り（不図示）、センサ４８３、及び駆動回路４８４は、第１実施形態の撮像装置１００の第１条件設定部１１０、第２条件設定部１２０、撮影条件取得部１３０、レンズ情報取得部１３１、基線長導出部１３２、第１導出部１４０、表示制御部１５０、表示部１６０、撮像光学系１８０、レンズ１８１、絞り１８２、センサ１８３、及び駆動回路１８４にそれぞれ対応する。
In the
瞳分割方式では補正処理がなければ「合焦距離＝視差ゼロ距離」になるが、シフト処理を行うと、合焦距離と視差ゼロ距離がずれる。例えば、Ｌ画像及びＲ画像を外側へそれぞれシフトさせると、合焦被写体の視差量は０より大きくなり、立体像の再現位置は表示画面より奥側に移動し、手前の別の被写体が画面上に再現される。しかし、第３実施形態の図１６のような表示では、そのことがわかりにくい。 In the pupil division method, “in-focus distance = zero-parallax distance” is obtained when there is no correction process. For example, when the L image and the R image are shifted outward, the parallax amount of the focused subject becomes larger than 0, the reproduction position of the stereoscopic image moves to the back side of the display screen, and another subject in front is moved on the screen. Is reproduced. However, in the display as shown in FIG. 16 of the third embodiment, this is difficult to understand.
そこで、第４実施形態では、図１８に示すように、合焦距離Ｚｏ０とは別に、補正処理を加えたときに視差量が０になる距離Ｚｏ０’（視差ゼロ距離）を表示するようにしている。
これにより、第２実施形態の撮像装置とは異なり、第１導出部４４０では、近方制限推奨距離Ｚｏｃ１と遠方制限推奨距離Ｚｏｃ２に加え、視差ゼロ距離Ｚｏ０’を導出する。第２導出部４７０の動作は第２実施形態の第２導出部２７０と同様だが、視差ゼロ距離Ｚｏ０’の情報が追加で入力され、そのまま表示制御部２５０へ出力される。表示部４６０では、図１８に示すように、歪評価値ＤＥとしての立体歪評価値の線形率Ｌｉｎ及び圧縮率Ｅｘｐａと、補正処理設定ＣＳとしてのシフト設定値Ｓｈｉｆｔ及びズーム設定値Ｚｏｏｍと、近方制限推奨距離Ｚｏｃ１、遠方制限推奨距離Ｚｏｃ２、合焦距離Ｚｏ０、及び視差ゼロ距離Ｚｏ０’と、を表示する。
なお、その他の構成、作用、効果については、第１実施形態と同様である。
Therefore, in the fourth embodiment, as shown in FIG. 18, in addition to the focusing distance Zo0, a distance Zo0 ′ (zero parallax distance) at which the parallax amount becomes 0 when correction processing is applied is displayed. Yes.
Thus, unlike the imaging device of the second embodiment, the
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
（第５実施形態）
図１９は第５実施形態に係る撮像装置５００の構成を示すブロック図である。
第５実施形態に係る撮像装置では、第１実施形態の第１条件設定部１１０と第１導出部１４０の代わりに被写体範囲設定部５１０を備え、この被写体範囲設定部５１０は被写体サイズ設定部５１１と被写体距離範囲導出部５１２を含む。
(Fifth embodiment)
FIG. 19 is a block diagram illustrating a configuration of an
The imaging apparatus according to the fifth embodiment includes a subject
撮像装置５００における、第２条件設定部５２０、撮影条件取得部５３０、レンズ情報取得部５３１、基線長導出部５３２、表示制御部５５０、表示部５６０、撮像光学系５８０、レンズ５８１、撮像光学系５８０の絞り（不図示）、センサ５８３、及び駆動回路５８４は、第１実施形態の撮像装置１００の第２条件設定部１２０、撮影条件取得部１３０、レンズ情報取得部１３１、基線長導出部１３２、表示制御部１５０、表示部１６０、撮像光学系１８０、レンズ１８１、絞り１８２、センサ１８３、及び駆動回路１８４にそれぞれ対応する。
In the
第５実施形態の撮像装置５００は、例えば特定のオブジェクトを撮影したいようなときに向いている。観察者は、図示しないインターフェース部を介して、被写体のサイズを、焦点を合わせる位置より手前にＯｂｒ１、奥にＯｂｒ２という形で設定する。被写体距離範囲導出部５１２では、撮影条件取得部５３０より合焦距離Ｚｏ０の値を受け取り、これと被写体サイズ設定部５１１で設定されたサイズＯｂｒ１、Ｏｂｒ２から、近方設定距離Ｚｏｒ１と遠方設定距離Ｚｏｒ２を導出する。ここで、
Ｚｏｒ１＝Ｚｏ０＋Ｏｂｒ１
Ｚｏｒ２＝Ｚｏ０＋Ｏｂｒ２
となる。
The
Zor1 = Zo0 + Obr1
Zor2 = Zo0 + Obr2
It becomes.
第２導出部５７０では、まず例外処理を行う。Ｚｏｒ２から計算される画面上視差量Δｘｄｃ２がＩＰＤによって決まる値ＸＤＭＸ（例えばＸＤＭＸ＝ＩＰＤ×0.95）より大きいときは、Δｘｄｃ２＝ＸＤＭＸとし、遠方設定距離Ｚｏｒ２の値をΔｘｄｃ２に応じた値に更新する。その後、距離Ｚｏｒ１、Ｚｏｒ２と、想定する表示画面の幅Ｗｄ、観察距離Ｄｖ、及び瞳孔間距離ＩＰＤと、撮影レンズの焦点距離ｆ、合焦距離Ｚｏ０、及び基線長ＳＢの値と、から、線形率Ｌｉｎと圧縮率Ｅｘｐａを導出し、表示制御部５５０へ、線形率Ｌｉｎ、圧縮率Ｅｘｐａ、及び基線長ＳＢを出力する。
なお、被写体範囲設定部５１０は、観察者が近方設定距離Ｚｏｒ１と遠方設定距離Ｚｏｒ２を直接設定するようにしてもよい。
なお、その他の構成、作用、効果については、第１実施形態と同様である。
The
Note that the subject
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
（変形例）
上述の第１実施形態では瞳分割方式の撮像光学系１８０を想定し、基線長は焦点距離と絞り１８２の大きさから計算する場合を挙げた。第２〜第５実施形態の撮像光学系についても同様である。これに対して、撮像光学系のレンズに、図２０に示すような、２つの開口部１９２ａ、１９２ｂをもつ第２の絞り１９２を挿入するタイプを用いることもできる。その場合、基線長ＳＢは、基線長ＳＢは第２の絞り１９２の２つの開口部１９２ａ、１９２ｂの間隔と焦点距離から導出する。
(Modification)
In the first embodiment described above, the pupil division imaging
また、瞳分割方式の光学系に限る必要は無く、一般的な２系統の光学系を用いることもできる。その場合の基線長は焦点距離や絞りの大きさには依存しないため、固定の値を用いる、又は、２系統の光学系を制御する機構から基線長情報を取得して用いる。 Further, the optical system is not limited to the pupil division type optical system, and two general optical systems can be used. In this case, since the base line length does not depend on the focal length or the size of the stop, a fixed value is used, or base line length information is acquired from a mechanism that controls two optical systems.
さらにまた、第１〜第５実施形態の撮像装置では、第１条件設定部１１０、２１０、３１０、４１０で設置する値については、一般的な快適視差範囲を例にとって説明したが、これに限られるものではない。例えば、一部の裸眼立体表示装置は、視差量が大きくなると急激に解像度が落ちる性質をもっているため、解像度が落ちない視差範囲を制限条件として設定しても良い。
Furthermore, in the imaging devices of the first to fifth embodiments, the values set by the first
さらに、推奨被写体範囲を表示する場合、第１導出部１４０、２４０、３４０、４４０、および第２導出部５７０で例外処理を行ったとき、すなわち遠方限界推奨距離Ｚｏｃ２が開散限界の距離の場合は、その情報も表示制御部１５０、２５０、３５０、４５０、５５０へ送り、遠方制限推奨距離Ｚｏｃ２の表示にマークをつけるなど通常とは違う表示にして開散限界であることを明示すると、これより遠方の被写体を入れてはいけないことを認識しやすくなるのでなお良い。
また、歪評価値として線形率と圧縮率の２つの値を表示しているが、これらを統合してひとつの歪評価値を算出して表示するようにすると、両方の値を見なくてもすむので特に不慣れな撮影者にとってはわかりやすくなって良い。
Furthermore, when the recommended subject range is displayed, when the
In addition, although two values of linear rate and compression rate are displayed as strain evaluation values, if these are integrated and one strain evaluation value is calculated and displayed, both values need not be viewed. It can be easy to understand for photographers who are not used to it.
以上のように、本発明に係る撮像装置は、撮影条件間の比較や許容範囲の設定に有用である。 As described above, the imaging apparatus according to the present invention is useful for comparison between imaging conditions and for setting an allowable range.
１００ 撮像装置
１１０ 第１条件設定部（視差範囲制限条件設定部）
１２０ 第２条件設定部（観察条件設定部）
１３０ 撮影条件取得部
１３１ レンズ情報取得部
１３２ 基線長取得部
１４０ 第１導出部（推奨被写体範囲導出部）
１５０ 表示制御部
１６０ 表示部
１６１ 画面
１７０ 第２導出部（立体像歪評価値導出部）
１８０ 撮像光学系
１８１ レンズ
１８２ 絞り
１８３ センサ
１８３ａ センサ面
１８４ 駆動回路
１９２ 第２の絞り
１９２ａ、１９２ｂ 開口部
２００ 撮像装置
２１０ 第１条件設定部（視差範囲制限条件設定部）
２２０ 第２条件設定部（観察条件設定部）
２３０ 撮影条件取得部
２４０ 第１導出部（推奨被写体範囲導出部）
２５０ 表示制御部
２６０ 表示部
２６１ 画面
２７０ 第２導出部
２８０ 撮像光学系
２９０ 補正処理設定部
３００ 撮像装置
３１０ 第１条件設定部（視差範囲制限条件設定部）
３２０ 第２条件設定部（観察条件設定部）
３３０ 撮影条件取得部
３４０ 第１導出部（推奨被写体範囲導出部）
３５０ 表示制御部
３６０ 表示部
３６１ 画面
３７０ 第２導出部
３８０ 撮像光学系
４００ 撮像装置
４１０ 第１条件設定部（視差範囲制限条件設定部）
４２０ 第２条件設定部（観察条件設定部）
４３０ 撮影条件取得部
４４０ 第１導出部（推奨被写体範囲導出部）
４５０ 表示制御部
４６０ 表示部
４６１ 画面
４７０ 第２導出部
４８０ 撮像光学系
４９０ 補正処理設定部
５００ 撮像装置
５１０ 被写体範囲設定部
５１１ 被写体サイズ設定部
５１２ 被写体距離範囲導出部
５２０ 第２条件設定部（観察条件設定部）
５３０ 撮影条件取得部
５５０ 表示制御部
５６０ 表示部
５６１ 画面
５７０ 第２導出部
５８０ 撮像光学系
ＡＬｃ 左側領域の中心
ＡＲｃ 右側領域の中心
Ａｘ 光軸
ＤＥ 歪評価値
Ｄｖ 観察距離
Ｅｘｐａ 圧縮率
ｆ 焦点距離
Ｆ 絞りの大きさ
ＦＡ フォーカスエリア
ＩＰＤ 瞳孔間距離
ＩＴ＿Ｌ、ＩＴ＿Ｒ 被写体Ｔの画像
ＩＴ０＿Ｌ、ＩＴ０＿Ｒ 被写体Ｔ０の画像
ＬＶ ライブビュー画像
Ｌｉｎ 線形率
Ｓ０ 被写体
Ｓ１、Ｓ２、Ｓ３ 再現立体像
ＳＢ 基線長
Ｔ、Ｔ０ 被写体
Ｖ 観察者
Ｗｄ 画面サイズ
Ｗｓ センササイズ
φｖｃ１ 近方視差制限値
φｖｃ２ 遠方視差制限値
φｖｃ３ 近方限界視差角
φｖｃ４ 遠方限界視差角
Ｚｏ０ 合焦距離
Ｚｏｃ１ 近方制限推奨距離
Ｚｏｃ２ 遠方制限推奨距離
Ｚｏ０’ 視差ゼロ距離
100
120 Second condition setting unit (observation condition setting unit)
130 imaging
150
180
220 Second condition setting unit (observation condition setting unit)
230 Shooting
250
320 Second condition setting unit (observation condition setting unit)
330 shooting
350
420 Second condition setting unit (observation condition setting unit)
430 Imaging
450
530 Shooting condition acquisition unit
550
Claims (9)
前記複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、前記所定の観察条件下で前記視差画像から観察される立体像の歪について前記被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、
前記複数の撮影条件の各々に応じた前記歪評価値の情報を表示する表示部と、
を備えることを特徴とする撮像装置。 An imaging unit that acquires parallax images under a plurality of shooting conditions;
From each of the plurality of shooting conditions, a predetermined viewing condition, and a subject distance range, distortion representative of the entire subject within the subject distance range with respect to the distortion of the stereoscopic image observed from the parallax image under the predetermined viewing condition A stereoscopic image distortion evaluation value deriving unit for deriving an evaluation value;
A display unit that displays information on the distortion evaluation value corresponding to each of the plurality of imaging conditions;
An imaging apparatus comprising:
前記表示部は、前記推奨被写体範囲導出部が導出した前記遠方制限推奨距離及び前記近方制限推奨距離を表示することを特徴とする請求項１又は請求項２に記載の撮像装置。 From each of the plurality of shooting conditions, the predetermined viewing condition, and the parallax limit range, a recommended distance limit that is the farthest subject distance that is a parallax amount within the parallax limit range and a parallax amount within the parallax limit range A recommended subject range deriving unit for deriving a near limit recommended distance which is a recent subject distance
The imaging apparatus according to claim 1, wherein the display unit displays the recommended distance limit recommended distance and the recommended distance limit recommended by the recommended subject range deriving unit.
遠方制限推奨距離を、視差制限範囲内の視差量になる最遠の被写体距離、
近方制限推奨距離を、視差制限範囲内の視差量になる最近の被写体距離、
とそれぞれしたとき、
Ｘｖｃ１は、前記近方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、
Ｘｖｃ２は、前記遠方制限推奨距離について、所定の前記被写体サイズに対する立体像のサイズ、
Ｘｖ０は、合焦距離について、所定の前記被写体サイズに対する立体像のサイズ、
Ｘｏは、前記被写体サイズ、
ΔＺｏは、被写体距離の差であり、所定の微小距離、
ΔＺｖ０は、立体像の奥行き方向の大きさの差であり、合焦距離Ｚｏ０と、前記合焦距離Ｚｏ０と所定の前記微小距離ΔＺｏだけ離れた距離Ｚｏ１に対応する立体像の再現奥行きをそれぞれＺｖ０とＺｖ１としたとき、Ｚｖ１−Ｚｖ０で示される。 The imaging apparatus according to claim 2, wherein the linear rate is expressed by the following equation (11), and the compression rate is expressed by the following equation (15).
The distance limit recommended distance is set to the farthest subject distance that makes the amount of parallax within the parallax limit range,
The recommended distance to the near limit is the distance to the latest subject that has a parallax amount within the parallax limit range.
And each
Xvc1 is a size of a stereoscopic image with respect to a predetermined subject size with respect to the near limit recommended distance,
Xvc2 is a stereoscopic image size with respect to a predetermined subject size with respect to the distance limitation recommended distance,
Xv0 is the size of the stereoscopic image with respect to the predetermined subject size with respect to the in-focus distance,
Xo is the subject size,
ΔZo is a difference in subject distance, which is a predetermined minute distance,
ΔZv0 is a difference in size in the depth direction of the stereoscopic image, and the reproduction depth of the stereoscopic image corresponding to the in-focus distance Zo0 and the distance Zo1 separated from the in-focus distance Zo0 by the predetermined minute distance ΔZo is Zv0. And Zv1 are indicated by Zv1-Zv0.
前記推奨被写体範囲導出部は、前記複数の撮影条件の各々に応じた前記画像補正パラメータに応じて、前記遠方制限推奨距離と前記近方制限推奨距離と前記歪評価値を変更することを特徴とする請求項３に記載の撮像装置。 The stereoscopic image distortion evaluation value derivation unit further includes a correction processing setting unit that specifies correction processing for the parallax image according to each of the plurality of shooting conditions and sets an image correction parameter,
The recommended subject range derivation unit changes the recommended distance limit recommended distance, the recommended distance limit recommended distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions. The imaging device according to claim 3 .
2. The distortion evaluation value is a value representative of the entire subject within the subject distance range, and is a value for comparison between the photographing conditions or setting of the photographing conditions. The imaging device described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012164565A JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012164565A JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014027391A JP2014027391A (en) | 2014-02-06 |
| JP2014027391A5 JP2014027391A5 (en) | 2015-10-08 |
| JP6086666B2 true JP6086666B2 (en) | 2017-03-01 |
Family
ID=50200690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012164565A Expired - Fee Related JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6086666B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7517339B2 (en) | 2019-08-08 | 2024-07-17 | ソニーグループ株式会社 | Surgery image display system, image processing device, and image processing method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4436080B2 (en) * | 2003-06-30 | 2010-03-24 | 日本放送協会 | Stereoscopic image reproduction distortion output device, stereoscopic image reproduction distortion output method, and stereoscopic image reproduction distortion output program |
| WO2012023168A1 (en) * | 2010-08-19 | 2012-02-23 | パナソニック株式会社 | Stereoscopic image capturing device, and stereoscopic image capturing method |
-
2012
- 2012-07-25 JP JP2012164565A patent/JP6086666B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014027391A (en) | 2014-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5963422B2 (en) | Imaging apparatus, display apparatus, computer program, and stereoscopic image display system | |
| JP5346266B2 (en) | Image processing apparatus, camera, and image processing method | |
| JP5355208B2 (en) | Three-dimensional display device and digital zoom correction method | |
| KR100770019B1 (en) | Apparatus and Method for correction of the image distortion of stereo-camera | |
| KR101824439B1 (en) | Mobile Stereoscopic Camera Apparatus and Method of Shooting thereof | |
| JP5368350B2 (en) | Stereo imaging device | |
| JP2006208407A (en) | Microscopic system for observing stereoscopic picture | |
| WO2013038863A1 (en) | Monocular stereoscopic imaging device, imaging method, and program | |
| WO2012001970A1 (en) | Image processing device, method, and program | |
| WO2013065543A1 (en) | Disparity adjustment device and method, photography device, and play display device | |
| JP2012085030A (en) | Stereoscopic imaging device and stereoscopic imaging method | |
| JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| JP5484577B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2017134399A (en) | Glasses-free 3d display device without requiring interpupillary distance adjustment | |
| US9154771B2 (en) | Apparatus for capturing stereoscopic image | |
| JP4988971B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP6170725B2 (en) | Image processing apparatus and program | |
| JP6086666B2 (en) | Imaging device | |
| JP6063662B2 (en) | Imaging apparatus and imaging method | |
| JP5918982B2 (en) | IMAGING DEVICE, REPRODUCTION DEVICE, ITS CONTROL METHOD, IMAGING SYSTEM, AND PROGRAM | |
| US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
| JP2012015620A (en) | Solid imaging device | |
| WO2012001958A1 (en) | Image processing device, method and program | |
| JP2015094831A (en) | Stereoscopic imaging device, control method thereof, and control program | |
| JP2012075079A (en) | Shading correction device, shading correction method, shading correction program, and photographing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170131 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6086666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |