JP3614898B2

JP3614898B2 - PHOTOGRAPHIC APPARATUS, IMAGE PROCESSING APPARATUS, AND STEREOGRAPHIC CREATION METHOD

Info

Publication number: JP3614898B2
Application number: JP27346594A
Authority: JP
Inventors: 金城　　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1994-11-08
Filing date: 1994-11-08
Publication date: 2005-01-26
Anticipated expiration: 2020-01-26
Also published as: JPH08140116A

Description

【０００１】
【産業上の利用分野】
本発明は、通常の平面写真を撮影すると共に、記録媒体に距離値等を記録することによって、立体写真作成用の記録媒体を提供できる写真撮影装置及び距離値等が記録された記録媒体の画像からディジタル画像処理を行うことにより立体写真を作成する画像処理装置又は立体写真作成方法に関する。
【０００２】
【従来の技術】
従来の立体視用ネガフィルムでは、立体視のためのプリント作成のために以下のような手段を講じていた。
【０００３】
カメラに装着する立体写真専用のアダプタ（鏡を複数枚組み合わせた構造）をレンズの全面に装着し、光路を２分して撮影することによって、ネガ上に１コマにつき左右の目の対応する画像２コマ分を記録するようにしていた。
【０００４】
また、立体写真専用のカメラ機構（被写体を３方向から捉える）を必要とし、ネガ上には、１コマにつき３コマ分を記録するようにしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術は、特殊なアダプターや３つのレンズを備えたカメラを必要とするので、携帯性に乏しく、不経済であるという問題点が生じる。一方、立体写真として撮影したシーンを後に通常の平面写真のプリントとして作成するためには、却って特殊なプリント工程を必要とし、コスト、労力の点で不利である。
【０００６】
本発明は上記事実を考慮し、通常の撮影が可能なカメラにおいて、特殊なアダプターや特殊な装置を用いることなく、簡単な切替え操作のみによって、通常の平面写真を撮影すると共に立体写真作成を容易に得ることができる写真撮影装置、画像処理装置及び立体写真作成方法を得ることが目的である。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、記録媒体に画像を記録する写真撮影装置において、
複数に分割された撮影領域における分割領域の各々について、撮影地点から前記分割領域の範囲内にある撮影対象までの距離値を測定する測距手段と、
前記測距手段によって測定された前記分割領域毎の距離値を前記画像と共に前記記録媒体に記録する記録手段と、
を有することが特徴である。
請求項２に記載の発明は、前記請求項１に記載の発明において、通常の平面写真を撮影すると共に前記測距手段及び前記記録手段を作動させる立体写真撮影モードと、単に通常の平面写真のみを撮影するモードとを選択する選択手段と、
をさらに有することが特徴である。
請求項３に記載の発明は、前記請求項１又は請求項２に記載の写真撮影装置によって記録された画像を処理する画像処理装置であって、
前記記録手段によって前記画像と共に前記記録媒体に記録された前記分割領域毎の距離値に基づいて立体写真を作成する立体写真作成手段を備えたことが特徴である。
【０００８】
請求項４に記載の発明は、記録媒体に記録された画像に基づいてディジタル原画像を作成し、作成された該原画像に基づいてディジタル処理を行う画像処理装置において、
前記記録媒体に記録された画像が表現される撮影画面を複数に分割する分割領域毎の距離値を読み取る読取手段と、
前記撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線が、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と交わる点をそれぞれ投影点とし、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記各地点から延長した直線が前記投影面と交わる点をそれぞれ交点とした場合において、前記投影点と前記投影点に対応する交点との距離値であるシフト量を、前記分割領域に対応する画素の各々について算出するシフト量算出手段と、
前記ディジタル原画像を構成する各画素を、当該画素が属する前記分割領域において前記シフト量算出手段により得られた前記シフト量だけ各々移動させることによって、前記各地点から仮想的に撮影した場合に得られる画像を各々作成する仮想画像作成手段と、
前記仮想画像作成手段によって得られた前記画像の各々から、画素値の与えられていない画素から構成される空き領域を抽出すると共に、前記空き領域の周囲の画素における画素値に基づいて前記空き領域の画素値を推定し、前記空き領域の画素全てに画素値を与える補間手段と、
前記補間手段によって最終的に完成された画像の各々を出力する出力手段と、
を有することが特徴である。
【０００９】
請求項５に記載の発明は、撮影画面を複数に分割する分割領域毎に、撮影地点から前記分割領域の範囲内にある撮影対象までの距離値を測定し、前記分割領域毎の距離値を記録媒体に記録する機能を備えた写真撮影装置で撮影すると共に、当該撮影後、前記記録媒体に記録された画像に基づいてディジタル原画像を作成し、
前記記録媒体から前記分割領域毎の距離値を読取り、
前記撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線が、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と交わる点をそれぞれ投影点とし、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記各地点から延長した直線が前記投影面と交わる点をそれぞれ交点とした場合において、前記投影点と前記投影点に対応する交点との距離値であるシフト量を、前記分割領域に対応する画素の各々について算出し、
前記ディジタル原画像を構成する各画素を、当該画素が属する前記分割領域において前記シフト量算出手段により得られた前記シフト量だけ各々移動させることによって、前記各地点から仮想的に撮影した場合に得られる画像を各々作成し、
さらに前記画像の各々から、画素値の与えられていない空き領域を抽出し、前記空き領域の周囲の画素における画素値に基づいて前記空き領域の画素値を推定し、
前記空き領域の画素全てに画素値を与え、最終的に得られた画像の各々を出力する立体写真作成方法であることが特徴である。
【００１０】
【作用】
請求項１に記載の発明によれば、例えば比較的近距離の人物等及び遠距離の背景から成るシーンを撮影した場合において、撮影画面を複数に分割する分割領域の各々に対して、測距手段により当該分割領域の範囲内にある撮影対象までの距離値が与えられる。当該シーンの場合には、撮影画面上における人物等が、その範囲に存在する分割領域で検出される距離は比較的小さい値を示す一方、背景等に係る分割領域で検出される距離は大きい値を示す。同時に各分割領域毎に検出された距離値は記録媒体に記録される。なお、この記録方法として、磁気層が塗布された写真フィルムに磁気的に記録する方法などがある。
【００１１】
従って、複数のレンズを装備したり、立体写真専用のカメラを用意する必要もなくなり通常の写真撮影装置と同様の装置により立体写真作成のための情報を記録した記録媒体を提供でき、携帯性の優れた写真撮影装置が実現できる。また、平面写真と同様に１つの記録媒体に全シーンを撮影するので、かかる立体写真を作成するための撮影をした場合でも通常の平面写真を１つの記録媒体から従来と同様に容易に作成できる。
請求項２に記載の発明によれば、選択手段によって通常の平面写真の撮影モードを選択すれば、全ての分割領域の測距等に時間を取られるおそれも無くなり、１台で平面写真、立体写真の撮り分けが可能となる。
請求項３に記載の発明によれば、立体写真作成手段によって、記録された前記距離値に基づいて立体写真を作成することができる。
【００１２】
請求項４に記載の発明によれば、先ず記録媒体に記録された画像に基づいてディジタル原画像が作成される。ここで、このディジタル原画像は通常の平面写真に相当するが、後述する処理によって、この画像に基づいて立体画像が作成される。
【００１３】
そして、記録媒体から、読取手段によって各分割領域毎の距離値が読み取られ、当該情報はメモリに格納される。
【００１４】
次に、当該撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点（右地点及び左地点）が設定される。ここで、立体写真の仕上がり精度を高めるために、撮影地点として前記撮影画面の中心位置が設定されることが好ましい。また、前記右地点及び前記左地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線と、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と、の交わる点が、それぞれ右投影点及び左投影点として設定される。さらに、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記右地点及び左地点から延長した直線と、前記投影面と、の交わる点がそれぞれ右交点及び左交点として設定される。また、前記右投影点と前記右交点との距離値であるシフト量（右シフト量）及び前記左投影点と前記左交点との距離値であるシフト量（左シフト量）が、前記分割領域に対応する画素の各々について算出される。
【００１５】
そして、仮想画像作成手段によって、前記ディジタル原画像を構成する各画素が、当該画素が属する前記分割領域において前記シフト量算出手段により得られた前記右シフト量及び左シフト量だけそれぞれ移動されることによって、前記右地点及び左地点から仮想的に撮影した場合に得られる画像（右目画像及び左目画像）が作成される。
【００１６】
次に補間手段によって、先ず原画像と右目画像及び左目画像とが比較され、右目画像及び左目画像において画素値の与えられていない空き領域が抽出される。そして、さらに補間手段により、この空き領域の周囲の画素の画素値に基づいて空き領域の画素値が推定され、画像（右目画像及び左目画像）が完成される。
【００１７】
右目画像及び左目画像が完成されると、出力部により、例えば右目画像及び左目画像が並んだ状態で１枚にプリント出力される。オペレータが、左右の画像を拡大して２眼でステレオ画像を見せる立体視ビュワー等を用いることによって、当該プリントを観察すると、左右各々の距離に応じた微妙なずれを伴った画像が一度に視覚されるため、立体写真を得ることができる。
【００１８】
請求項５に記載の発明によれば、例えば比較的近距離の人物、中距離の建物及び遠距離の自然風景から成るシーンを写真撮影装置により撮影すると、撮影画面を複数に分割する分割領域の各々について測距が行われ、各分割領域毎の距離値が検出される。そして、前記各分割領域毎の距離値は、記録媒体に記録される。即ち、当該シーンでは、人物に係る微小領域には小さい距離値、建物に係る微小領域には中程度の距離値そして自然風景に係る微小領域には大きい距離値が与えられる。
【００１９】
次に、撮影が終了すると、記録媒体に記録された画像に基づいてディジタル原画像が作成された後、ディジタル原画像データはメモリに格納される。また当該記憶媒体に記録されている前記各分割領域毎の距離値も読み取られ、メモリに格納される。
【００２０】
次に、当該撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点（右地点及び左地点）が設定される。ここで、立体写真の仕上がり精度を高めるために、撮影地点として前記撮影画面の中心位置が設定されることが好ましい。また、前記右地点及び前記左地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線と、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と、の交わる点が、それぞれ右投影点及び左投影点として設定される。さらに、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記右地点及び左地点から延長した直線と、前記投影面と、の交わる点がそれぞれ右交点及び左交点として設定される。また、前記右投影点と前記右交点との距離値であるシフト量（右シフト量）及び前記左投影点と前記左交点との距離値であるシフト量（左シフト量）が、前記分割領域に対応する画素の各々について算出される。
【００２１】
そして、ディジタル原画像の画素を前記左右のシフト量だけ移動させることによって画像（左目画像及び右目画像）が作成される。従って、近距離の人物は、右目画像では左に左目画像では右に大きくシフトされ、中距離にある建物は、右目画像では左に左目画像では右に人物よりも小さくシフトされる。そして遠距離の自然風景は、左右の画像ともほとんどシフトされない。
【００２２】
左右の画像が作成されると、上記シフトに伴い、左右の画像において画素値の与えられていない空き領域が存在する場合がある。そこで、右目画像及び左目画像の中から前記空き領域がサーチされ、前記空き領域が存在する場合には、当該領域が抽出され、存在しない場合には、出力ステップに移行する。
【００２３】
空き領域が抽出された場合には、当該空き領域の周囲の画素値が読み取られ、前記周囲の画素値に基づいて、当該空き領域の画素値が推定され、画像（右目画像及び左目画像）が完成される。
【００２４】
右目画像及び左目画像が完成すると、これらに基づき立体画像が出力される。例えば前記右目画像及び左目画像を１コマとしてプリントアウトし、立体視ビュワー等でプリントされた２つの画像を同時に観測すると、距離に応じたずれを伴う画像が知覚され立体感覚を得ることができる。また、立体ホログラフィー等により出力する方法などもある。
【００２５】
以上の方法により、従来のように立体写真を得るために光路を２分し２コマを撮影するためのアダプターをレンズ前面に装着させて撮影したり、３つのレンズを有する特殊な立体写真専用のカメラで撮影する必要は無くなり、１台のカメラで通常の写真を撮影すると同時に立体写真を得ることが可能となる。
【００２６】
【実施例】
（カメラ）
図１は、本実施例に係るカメラの構成の概要を示すブロック図である。
【００２７】
図１において、マイクロコンピュータ（以下「マイコン１００」という）は、自動カメラを制御するための中央処理装置であって、測距センサー１０２及び測距データ記録部１０６が接続されている。測距センサー１０２は、マイコン１００からの指令があると、撮影画面上を構成する多数の微小領域における被写体までの焦点を検出し、当該焦点に関する情報は、マイコン１００に伝達される。ここで、焦点に関する情報とは、例えば位相差検出法では位相差に相当する。そして、当該情報がマイコン１００に伝達されると、マイコン１００では、当該情報に基づいて距離値が算出される。
【００２８】
この距離値の算出は、例えば次のようにして行われる。即ち、レンズの回転部には、光学式エンコーダが取り付けられており、レンズの回転位置が検出できるようになっている。そして、当該レンズには、当該レンズにおいて焦点を合わせた場合における被写体までの距離値と回転位置との関数情報がレンズ内ＩＣに予めインプットされており、当該関数情報は、レンズを装着した際にマイコン１００に伝達される。そして、マイコン１００は、伝達された位相差等のデータ及び当該関数情報に基づいて、被写体までの距離値を算出する。算出された距離値は、測距データとして測距データメモリ１０４に送られ、そこで一時的に格納される。但し、被写体までの距離値が撮影画面を構成する多数の微小領域毎に求められる方法であれば測距の方法は問わず、上記のものには限られない。
【００２９】
また、マイコン１００及び測距データメモリ１０４には、測距データ記録部１０６が接続されている。そして、測距データメモリ１０４に格納されている測距データは、マイコン１００の指令により、測距データ記録部１０６によって読み取られ、磁気層が塗布されたネガフィルム上に記録される。このため、測距データ記録部１０６は、図示しないネガフィルム面に近接することのできる位置、例えば裏蓋のフィルム圧着板やフィルム巻き取り部付近に設けられている。
【００３０】
図２は、本実施例に係るカメラのより詳細な構成を示すブロック図である。なお、図１と同様の構成要件については同一の番号を付して説明を省略する。
【００３１】
図２において、カメラ１１８の撮影画面１０８は図示の如く多数の微小領域に分割されている。例えば撮影画面１０８において黒く塗りつぶした領域１１０が撮影画面１０８を構成する一つの微小領域であり、このような微小領域の一つ一つに対して測距センサー１０２による測距が行われる。即ち、各々の微小領域は一種のフォーカスエリアに相当している。この微小領域毎に測距する手段として、微小領域毎に一個ずつ測距センサー１０２を設ける方法の他、例えば、１又は２以上の測距センサー１０２を画面上で走査して、全画面領域を測距するようにしてもよい。
【００３２】
また、上述のように測距データ記録部１０６によって、カメラ１１８に装填されたフィルム１１６に測距データ等が記録されるわけであるが、測距データは例えば図３に示されるようなフィルム面上の位置に記録される。図３によれば、フィルム１１６における１撮影コマ１５０における記録データは、撮影コマ１５０を挟む上下の領域に塗布された磁気層１５７及び１５８に記録されるようになっている。例えば図２の微小領域１１０、１１１ａ、１１１ｂにおいて検出された測距データは、例えば図３の磁気層１５７における黒く塗られた位置１５２、１５４、１５６のように各微小領域の撮影画面上の位置と対応がとれた領域にそれぞれ磁気的に記録される。但し、記録位置は、これに限るものではなく当該撮影画面１０８上のどの微小領域の測距データであるかが識別できる限り、どの位置に記録されてもよい。
【００３３】
また、図２におけるカメラ１１８に装着されたレンズ１１７には、図示しない当該レンズの焦点距離を記憶したＩＣが内蔵されており、レンズ１１７をカメラ１１８のボディに装着する時又はズーミングして焦点距離を変化させると、当該焦点距離の情報は、マイコン１００に伝達されるようになっている。なお、レンズを交換しない固定焦点のレンズを備えたカメラの場合には、マイコン１００に当該焦点距離を予め格納しておくようにしてもよい。
【００３４】
また、マイコン１００には、レンズ焦点距離記録部１１２も接続されており、マイコン１００の指令により動作するようになっている。レンズ焦点距離記録部１１２は、撮影と同時又は撮影後次のコマがセットされる前までに、レンズの焦点距離情報をフィルム１１６に記録することができる。例えば、図３において撮影コマ１５０の画面枠外側に塗布された磁気層１５８の右すみの位置１６０に記録される。
【００３５】
さらにカメラ１１８には、立体写真モード変換スイッチ１１４が用意されている。この立体写真モードスイッチ１１４は、マイコン１００と接続されており、このスイッチをオン操作することにより、通常の平面写真撮影のための処理と共に立体写真作成のための処理が実行されるようになっている。また、この立体写真モード変換スイッチ１１４をオフ操作することによって、立体写真モードは解除され、通常の平面写真撮影のみが可能となる。
【００３６】
次に本実施例に係るカメラの作用について図２に従い説明する。
先ず、撮影者が立体写真作成モードスイッチ１１４を操作すると、その旨がマイコン１００に伝達され、立体写真作成のための準備が整う。
【００３７】
この場合において、例えば比較的近距離の人物等及び遠距離の背景から成るシーンを撮影したとする。すると、前記微小領域の各々に対して、測距センサー１０２による測距が行われ、微小領域の各々について被写体までの距離値が得られる。そして、微小領域毎の距離値は、検出されると順次測距データメモリ１０４に格納されていく。ここで、撮影画面上における人物等に係る微小領域で検出される距離は比較的小さく、背景等に係る微小領域で検出される距離は大きい値を示し、微小領域毎に様々な値を示す。
【００３８】
撮影画面１０８の全微小領域の測距データが検出され、全て測距データメモリ１０４に格納されると、マイコン１００は、次のコマに巻き上げる前に測距データ記録部１０６を作動させ、測距データメモリ１０４内の測距データを、磁気層が塗布されたフィルム１１６の所定の位置に記録させる。
【００３９】
また、レンズ１１７を交換すると、レンズ装着と同時に、レンズ内ＩＣに記録された焦点距離の情報がマイコン１００に伝達される。一方、レンズ１１７がズームレンズの場合には、ズーミングと同時にその時点における焦点距離がマイコン１００に伝達され、マイコン１００のバッファには、常に最新のレンズの焦点距離が格納されている。しかし、立体写真作成モードで撮影すると、撮影時点の焦点距離が固定され、マイコン１００は、レンズ焦点距離記録部１１２を作動させ、フィルム１１６の所定の位置に当該焦点距離の情報を記録させる。
【００４０】
なお、立体写真モード変換スイッチ１１４を操作しない場合には、上記処理は実行されず、通常の平面写真の撮影のみとなるが、カメラ１１８がオートフォーカスカメラである場合には、測距センサー１０２による測距が行われるようにしてもよい。但し、全画面に渡る測距ではなく、従来のオートフォーカスカメラのようにいくつかの微小領域における測距だけであってもよい。
【００４１】
以上により、複数のレンズを装備したり、立体写真専用のカメラを用意する必要もなくなり通常の写真撮影装置と同様の装置により立体写真作成のための情報を記録したフィルムを提供でき、携帯性の優れた写真撮影装置が実現できる。また、平面写真と同様に１枚のネガに全シーンを撮影するので、かかる立体写真を作成するための撮影をした場合でも通常の平面写真を１枚のネガから従来と同様に容易に作成できる。さらに、選択手段によって通常の平面写真の撮影モードを選択すれば、微小領域毎の測距等に時間を取られるおそれも無くなり、１台で平面写真、立体写真の撮り分けが可能となる。
【００４２】
なお、写真フィルムに情報を記録する方法として、磁気層が塗布された写真フィルムに磁気的に記録する方法を例として挙げたが、磁気記録のみに限定されるものではない。例えば、光学的に記録する方法であってもよい。
（画像処理装置）
図４は、本実施例に係る画像処理装置の構成を示すブロック図である。
【００４３】
図４において、画像データ読取部１２０は、現像定着されたネガフィルムから画像を読み取って、ディジタル画像に変換する機能を有する。例えば、光線を順次ネガフィルム上に走査し、その透過光の濃度を予め定められた画素毎に量子化するスキャナ等がこれに該当する。そして、変換されたディジタル原画像データは、ディジタル原画像データメモリ１２２に蓄えられる。
【００４４】
一方、ネガフィルム面には、測距データ読取部１２４が近接しており、磁気層を塗布したネガフィルムに磁気的に記録された測距データを読み取ることができるようになっている。この測距データ読取部１２４は、磁気ヘッド等から構成され、フィルム面の測距データの記録位置にアクセスするように設定されている。また、測距データ読取部１２４には、測距データメモリ１２６が接続されており、読み取られた測距データが一時的に蓄えられるようになっている。なお、この測距データは、撮影画面を多数に分割する微小領域毎の測距データである。
【００４５】
また、ネガフィルム面には、焦点距離読取部１２８も近接しており、ネガフィルムに記録された撮影レンズの焦点距離を読み取ることができるようになっている。この焦点距離読取部１２８は、焦点距離メモリ１３０と接続されており、読み取られた焦点距離情報が格納されるようになっている。なお、測距データ読取部１２４と焦点距離読取部１２８とは、同一の磁気ヘッド等であってもよい。
【００４６】
測距データメモリ１２６及び焦点距離メモリ１３０とは、シフト量計算部１３２に接続され、測距データ及び焦点距離情報を伝達できるようになっている。
【００４７】
シフト量計算部１３２では、撮影画面を撮影した際における撮影画面の中心位置である撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた右地点及び左地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線が、前記撮影地点から前記焦点距離離れたレンズ光軸に対して垂直な平面である投影面と交わる点をそれぞれ右投影点及び左投影点とし、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記右地点及び左地点から延長した直線が前記投影面と交わる点をそれぞれ右交点及び左交点とした場合において、前記右投影点と前記右交点との距離値である右シフト量及び前記左投影点と前記左交点との距離値である左シフト量が、各微小領域に対応する画素の各々について算出される。
【００４８】
このシフト量計算部１３２には、シフト量メモリ１３３が接続されており、計算結果である全微小領域の右シフト量及び左シフト量は、ここに格納される。
【００４９】
そして、ディジタル原画像メモリ１２２とシフト量メモリ１３３には、画像変換部１３４が接続されており、ここで立体画像のためのデータが作成される。具体的には、ディジタル原画像を構成する画素の各々について、当該画素が属する微小領域におけるシフト量だけ画素の位置をシフトした画像が右位置から見た右目画像及び左位置から見た左目画像の各々について作成され、それぞれ右目画像メモリ１３６及び左目画像メモリ１３８に格納される。
【００５０】
右目画像メモリ１３６及び左目画像メモリ１３８には、空き領域検出部１４０が接続され、ここで、画素のシフトに伴う画素値の与えられていない空き領域の検出が行われる。
【００５１】
右目画像メモリ１３６、左目画像メモリ１３８及び空き領域検出部１４０には、補間部１４２が接続され、ここで空き領域の周囲の画素に基づく補間処理が行われる。
【００５２】
そして、補間部１４２、右目画像メモリ１３６及び左目画像メモリ１３８には、立体画像データメモリ１４４が接続され、最終的に得られた立体画像データがここに格納される。
【００５３】
立体画像データメモリ１４４に格納されている立体画像データは、立体画像出力部１４６に送られ、立体画像として出力される。例えば、プリント用紙に２コマ又は３コマ分の平面画像が出力され、その画像を基にユーザが複眼ステレオ立体視用のビュワー等を用いて立体画像を得る。また、他にレンチキュラー画像、ホログラフィックステレオ画像、投写型立体画像等を出力する方法等がある。
【００５４】
次に、立体画像データをディジタル原画像から作成する処理について説明するが、立体画像データを原画像から作成する処理には、上述したように画像変換部１３４による右目画像と左目画像の作成及び補間部１４２による補間処理の二つのプロセスから構成される。以下に、各々別個に分けて説明する。
【００５５】
先ず、図５は右目画像と左目画像の作成プロセスを表すフローチャートである。ステップ２２０では、処理を開始するための画素番号ｉに１を代入して初期化する。即ち、画素番号１の画素から以下の処理を開始する。なお、画素番号ｉの画素を次から画素ｉと略す。
【００５６】
ステップ２２２では、当該コマを撮影したレンズの焦点距離ｆを読み取る。この焦点距離ｆの情報も磁気層を塗布したネガフィルム上に記録されている。
【００５７】
次のステップ２２４では、画素ｉの画素値が読み取られる。この画素値は、例えば、ネガ上の原画像を８ビットで量子化した場合には、２５６段階の番号で表されている。なお、カラーネガフィルムの場合は、ＲＧＢ各色毎に画素値が与えられており、以下の処理についても全く同様である。
【００５８】
ステップ２２６では、画素ｉにおける測距データがネガフィルムから読み取られる。ここで、測距データが画素ｉに係る対象物までの距離値ｄ_ｉそのものである場合は、当該値がそのまま用いられるが、距離値でない形式で表されている場合には、距離値ｄ_ｉに変換される。なお、ここで画素ｉに係る距離値をｄ_ｉとした。
【００５９】
以上のステップにより、画素ｉにおける画素値及び距離値ｄ_ｉが求められたこととなる。そして以下のステップによって、当該値に基づいて右目画像及び左目画像が作成される。
【００６０】
ステップ２２８では、仮想的に右目及び左目で見た場合における画素ｉの位置ずれ量が次のような原理に基づき計算される。
【００６１】
図６（ａ）は、仮想的に設定された右目位置より被写体を見た場合における被写体の位置ずれ量を説明するための図である。図６（ａ）において、カメラの撮影地点をＣ点とし、レンズ光軸をＣＣ’とする。ここで、着目する被写体をＱ点、被写体Ｑ点を含み、レンズ光軸ＣＣ’に垂直な平面を被写体面３１２として設定する。このとき、被写体面とカメラＣ点との距離は被写体距離ｄである。また、レンズ光軸ＣＣ’に垂直であり、カメラＣ点より距離がｆ（レンズの焦点距離）となる平面を、投影面３１０として設定する。
【００６２】
カメラＣ点を含み、レンズ光軸ＣＣ’に垂直な平面３０８を設定し、この平面３０８上にカメラＣ点から撮影画面の正立状態を基準にして右側に距離Ｌの位置に右目Ｒ点を取る。ここでいう撮影画面の正立状態とは、カメラそのものの正立状態ではなく、実際の画面に映る物体の正立状態をいう。従って、カメラの構えが縦横のいずれであっても、撮影画面の正立状態を基準にして右側及び左側に右目及び左目を基準にする。なお、Ｌは人の両目の感覚の１／２に相当する。ここで、線分ＣＲ方向にＸ軸を設定する。
【００６３】
カメラＣ点で撮影した撮影画像は、投影面上の画像で表現でき、例えば、図６（ｂ）に示されたようになる。撮影画像の中心点Ｏ点は、レンズ光軸ＣＣ’と投影面３１０との交点である。また、被写体Ｑ点は、投影面３１０上ではＰ点となり、撮影画像上では図６（ｂ）のＰ点に示された位置になる。
【００６４】
一方、右目に映る画像も投影面３１０上の右目画像で表現でき、例えば、図６（ｃ）に示されたようになる。ここで、右目Ｒ点を通り、レンズ光軸ＣＣ’に平行な右目光軸ＲＲ’を設定し、この右目光軸ＲＲ’と投影面３１０との交点をＯ_ｒ点とすると、Ｏ_ｒ点が右目画像の中心点となる。このとき、被写体Ｑ点は投影面３１０上ではＰ_ｒ点（右投影点）となり、右目画像上では図６（ｃ）のＰ_ｒ点に示された位置になる。
【００６５】
カメラ撮影画像を、右目画像の位置に平行移動したと想定した場合、Ｐ_ｒ’点（右交点）がＰ点に相当する。三角形ＣＣ’Ｑと三角形ＲＲ’Ｑ’とは、平行移動した関係だからである。
【００６６】
即ち、カメラ撮影画像でＰ点の位置にある被写体Ｑ点は、右目画像ではＰ_ｒ点の位置となるから、視点の位置ずれにより発生する画像上の位置ずれ量Δｘは、Ｐ_ｒ点とＰ_ｒ’点との距離となる（図６（ａ）、図６（ｃ）参照）。この位置ずれ量Δｘは、以下のように求められる。
【００６７】
被写体面３１２と投影面３１０とは平行であるので、三角形ＲＱＱ’と三角形ＲＰ_ｒＰ_ｒ’とは、相似関係である。同様に、三角形ＲＲ’Ｑ’と三角形ＲＯ_ｒＰ_ｒとは、相似関係である。従って、次式が成立する。
【００６８】
Δｘ／Ｌ＝｜ＲＰ_ｒ’｜／｜ＲＱ’｜＝｜ＲＯ_ｒ｜／｜ＲＲ’｜・・▲１▼
ここで、線分ＲＯ_ｒの長さはレンズ焦点距離ｆ、線分ＲＲ’の長さは、距離ｄであるから、▲１▼式に代入すると、▲２▼式が求まる。
【００６９】
Δｘ＝Ｌ×ｆ／ｄ・・・ ▲２▼
▲２▼式から分かるように、位置ずれ量Δｘは、距離ｄが小さい程、大きくなる。また、被写体Ｑ点の被写体面上の位置に依存しない。即ち、カメラ撮影画面上の位置にかかわらず、右目画像上の位置ずれ量は、被写体距離ｄ、レンズ焦点距離ｆ及び右目とカメラとの想定距離Ｌで求まる。なお、Ｙ軸（Ｘ軸に垂直）方向に関しては、カメラ画像と右目画像との間に位置ずれは発生しない。
【００７０】
左目画像についても、全く同様に計算できる。但し、位置ずれの方向は、右目画像については左方向にずれ、左目画像については右方向にずれる。
【００７１】
以上より、画像各点毎に測距データが存在するので、各点毎にずれ量を計算し、左右の目に対応する仮想画像を作成できる。そこで、以下に右目画像における各点毎の位置ずれ量を右シフト量Δｘ_ｒ、左目画像における各点毎の位置ずれ量を左シフト量Δｘ_ｌとして説明する。
【００７２】
次のステップ２３０では、右シフト量Δｘ_ｒ及び左シフト量Δｘ_ｌに基づいて右目画像及び左目画像における画素ｉの位置が各々求められる。即ち、画素ｉの原画像における座標を（ｘ，ｙ）とすれば、右目画像における画素ｉの座標は（ｘ−Δｘ_ｒ，ｙ）、左目画像における画素ｉの座標は（ｘ＋Δｘ_ｌ，ｙ）となる。但し、ここでは画像に向かって右方向を正の方向としている。
【００７３】
次のステップ２３２では、画素ｉにおける右目画像及び左目画像をメモリ上に実際に追加する作業を行う。即ち、右目画像メモリの座標（ｘ−Δｘ_ｒ，ｙ）及び左目画像メモリの座標（ｘ＋Δｘ_ｌ，ｙ）に画素値Ｌ_ｉを代入する。なお、この処理において、例えば背景と手前の物体とが重なり合い座標値が一致する場合がある。かかる場合には、距離値の小さい画素、即ち、手前にある物体の画素値を優先的に代入する。また、計算された座標値が右目画像及び左目画像の範囲を越えることとなる場合には、その越える部分は、画像領域外としてメモリ上に追加しないようにする。
【００７４】
また、ここで距離値による遠近差を強調する処理（小さい距離をさらに小さくする処理等）により、実際よりもさらに立体感を強調した立体用画像を作成する等、特殊処理を施してもよい。
【００７５】
次のステップ２３４では、画素ｉが最後のものであるか否かの判定を行い、否定判定の場合、即ち、まだ変換すべき画素が残っている場合には、次のステップ２３６で画素番号ｉを１つ更新して、再びステップ２２４に戻って同様の処理を繰り返す。また、肯定判定の場合、即ち、ディジタル原画像の画素全てについて上記変換が終了した場合には、処理を終了させる。
【００７６】
以上の右目画像及び左目画像への変換処理が終了すると、次の処理として補間処理を行う。この補間処理を行う理由として次のことが挙げられる。
先ず、一つの例として図７で示された状況を考える。図７では、原画像４００に示される撮影シーンは、手前にある人物４０２及び２つの山々、空等からなる背景４０４から構成される。ここで、右目画像４１０において、人物４０２はカメラとの距離が小さいため、より大きく左へシフトするが、背景４０４は、距離が大きいため、ほとんどシフトしない。従って、人物４０２の右側部分には、原画像４００において見えなかった部分が空き領域４１２の如く存在する。全く同様に、左目画像４２０では、人物４０２はカメラとの距離が小さいため、より大きく右へシフトするが、背景４０４は距離が大きいため、ほとんどシフトしない。従って、この場合には人物４０２の左側部分に空き領域４２２が存在する。なお、これらの空き領域は、右目画像メモリ及び左目画像メモリにおいてＬ_ｉが代入されなかったアドレス領域として存在する。
【００７７】
これらの空き領域に対して何らかの妥当な画素値を与えない限り、画像中に濃度の無い領域ができることとなり好ましくない。そこで、図８のフローチャートに示されるような補間処理を行って画素の埋め合わせを行う。以下、図８のフローチャートに沿って説明する。
【００７８】
先ず、ステップ２５０では、空き領域の抽出を行う。即ち、図５の変換処理によって作成された右目画像及び左目画像をサーチし、画素値の代入されていない領域を全て抽出する。
【００７９】
次のステップ２５２では、抽出した空き領域に隣接する背景領域を抽出する。そして、ステップ２５４では、当該背景領域の画素に基づき、空き領域の画素を埋める補間処理を行う。当該補間処理について、具体的に図９に沿って説明する。
【００８０】
図９に示された如く、抽出された空き領域４５０は、右側境界画素列４５２及び左側境界画素列４５４によって左右を囲まれている。ここで、右側境界画素列４５２は、右画素１（Ｘ_１，Ｙ_１；Ｂ_１）〜右画素ｎ（Ｘ_ｎ，Ｙ_ｎ；Ｂ_ｎ）から構成される。なお、ここでは前記括弧内の表示のように、右画素ｋのＸ座標値をＸ_ｋ、Ｙ座標値をＹ_ｋ、画素値をＢ_ｋと表すこととする。また同様に、左側境界画素列４５４は、左画素１（Ｘ_１−ΔＸ_１，Ｙ_１；Ｂ_１’）〜左画素ｎ（Ｘ_ｎ−ΔＸ_ｎ，Ｙ_ｎ；Ｂ_ｎ’）から構成される。なお、今度は、左画素ｋのＸ座標値は右画素ｋのＸ座標よりも左にシフトしているのでＸ_ｋ−ΔＸ_ｋと表し、Ｙ座標値は同じであるためＹ_ｋとするが、画素値は異なるため、Ｂ_ｋ’と表している。
【００８１】
以上のような設定の下に、右目画像の場合には、右側画素列４５２が背景領域であり、左側画素列４５４が手前の物体、例えば人物領域である。ここで、本来、空き領域４５０を埋めるべきものは、背景領域であるから右画素１から左画素１にかけてのＹ座標値が同じ空き領域の部分には、右画素１の画素値Ｂ_１を代入する。同様な処理を右画素ｎから左画素ｎに至る空き領域の部分まで適用する。
【００８２】
一方、左目画像の場合には、逆に左側境界画素列４５４が背景領域となり、右側境界画素列４５２が手前の物体、例えば人物領域となる。従って、今度は空き領域４５０は左画素の画素値Ｂ_１’〜Ｂ_ｎ’で埋め尽くすこととなる。
【００８３】
以上の考え方は、いわゆる最近傍法に則っている。最近傍法とは、最も近い観測画素上の画素値を推定画素の画素値とする推定方法をいう。この方法により、右目画像及び左目画像の空き領域は、埋め尽くされることとなる。
【００８４】
さて、次のステップ２５６では、ステップ２５０において抽出された空き領域が全て補間処理されたか否かの判定を行い、まだ空き領域が残っている場合には、ステップ２５２に戻って同様の補間処理を繰り返し、残っていない場合には、当該補間処理を終了させる。
【００８５】
なお、上記ステップによって作成された右目画像及び左目画像に対して、さらに画質を向上させるための画像処理（平滑化処理等）を行うようにしてもよい。
【００８６】
以上の処理によって、通常の平面プリントを得ると共に、立体視のための画像を容易に得ることができる。
【００８７】
【発明の効果】
以上説明した如く本発明によれば、写真撮影装置において、記録媒体に距離値を記録し、後に画像処理装置において当該記録媒体に記録された画像をディジタル画像処理するだけで、立体写真を得る装置を提供できるので、複数のレンズを装備した立体写真専用の写真撮影装置を用意する必要は無くなり、１台でもって通常の平面写真と立体写真を選択して撮影できるという優れた効果を有する。これにより、携帯性、コストの点で優れた立体写真を作成するための写真撮影装置を提供できる。
【００８８】
また、全画面分の距離データを持っているため、縦横変更や、仮想的に視点移動した場合の立体用画像を作成することもできる。
【００８９】
さらに、距離データによる遠近差を強調する処理（小さい距離値をさらに小さくする処理等）により、実際よりもさらに立体感を強調した立体用画像を作成する等、特殊効果も実現できる。
【図面の簡単な説明】
【図１】本実施例に係るカメラの構成の概要を示すブロック図である。
【図２】本実施例に係るカメラの構成の詳細を示すブロック図である。
【図３】本実施例に係る発明によって記録される情報のフィルム上の位置を示す図である。
【図４】本実施例に係る画像処理装置の構成を示すブロック図である。
【図５】ディジタル原画像から立体画像を得るための処理を表すフローチャートである。
【図６】（ａ）は被写体までの距離値及びレンズの焦点距離に基づいて位置のシフト量を計算する原理を説明するための参考図、（ｂ）は撮影画像における被写体の位置を示す図、（ｃ）は右目画像における被写体の位置のずれを説明するための図である。
【図７】空き領域が存在する理由を説明するための図である。
【図８】補間処理を表すフローチャートである。
【図９】補間方法を説明するための参考図である。
【符号の説明】
１０２測距センサー
１０６測距データ記録部
１１２レンズ焦点距離記録部
１２０画像データ読取部
１２４測距データ読取部
１２８焦点距離読取部
１３４画像変換部
１４２補間部
１４６立体画像出力部[0001]
[Industrial application fields]
The present invention takes a normal plane photograph, recoding media By recording the distance value etc. on the recoding media Can provide Photo Recording device and distance values were recorded Image of recording medium The present invention relates to an image processing apparatus or a stereoscopic photo creation method for creating a stereoscopic photograph by performing digital image processing from the above.
[0002]
[Prior art]
In the conventional negative film for stereoscopic vision, the following means have been taken for creating a print for stereoscopic vision.
[0003]
By attaching a 3D photo adapter (a combination of multiple mirrors) attached to the camera to the entire surface of the lens and taking a picture with the optical path divided into two, images corresponding to the left and right eyes per frame on the negative Two frames were recorded.
[0004]
In addition, a camera mechanism dedicated to stereoscopic photography (capturing the subject from three directions) is required, and three frames are recorded for each frame on the negative.
[0005]
[Problems to be solved by the invention]
However, the above conventional technique requires a camera equipped with a special adapter and three lenses, so that there is a problem that it is not portable and uneconomical. On the other hand, in order to create a scene photographed as a three-dimensional photograph later as a normal plane photograph print, a special printing process is required instead, which is disadvantageous in terms of cost and labor.
[0006]
In consideration of the above facts, the present invention can easily capture a normal plane photograph and easily create a stereoscopic photograph by a simple switching operation without using a special adapter or a special device in a camera capable of normal photographing. Can get into Photo It is an object to obtain a photographing apparatus, an image processing apparatus, and a stereoscopic photograph creation method.
[0007]
[Means for Solving the Problems]
The invention described in claim 1 On recording media Record images Photo In the shooting device,
Distance measuring means for measuring a distance value from a shooting point to a shooting target within the range of the divided area for each of the divided areas in the divided shooting area;
The distance value for each of the divided areas measured by the distance measuring means Along with the image on the recording medium Recording means for recording;
It is the characteristic to have.
The invention according to claim 2 is the invention according to claim 1, in which a normal planar photograph is taken and a stereoscopic photography mode in which the distance measuring means and the recording means are operated, and only a normal planar photograph is taken. Selecting means for selecting a mode for shooting
It is the characteristic that it has further.
The invention according to claim 3 is the invention according to claim 1 or claim 2. Photo An image processing device for processing an image recorded by a photographing device,
By the recording means Along with the image on the recording medium A feature is that a stereoscopic photograph creating means for creating a stereoscopic photograph based on the recorded distance value for each divided region is provided.
[0008]
The invention according to claim 4 Based on images recorded on recording media In an image processing apparatus that creates a digital original image and performs digital processing based on the created original image,
An image recorded on the recording medium is represented. Reading means for reading a distance value for each divided area for dividing the photographing screen into a plurality of areas;
It is within the range of the divided area from each point separated by a predetermined distance on the right side and the left side in the plane perpendicular to the lens optical axis from the shooting point when shooting the shooting screen, with reference to the upright state of the shooting screen. A straight line connecting the shooting point and the shooting target is a point where a straight line connecting to the shooting target intersects with a projection plane that is a plane perpendicular to the lens optical axis at a predetermined distance from the shooting point. When a straight line extending from each point in parallel with the projection plane intersects the projection plane, a shift amount that is a distance value between the projection point and the intersection corresponding to the projection point is set in the divided region. Shift amount calculating means for calculating each of the corresponding pixels;
Obtained when each pixel constituting the digital original image is virtually photographed from each point by moving each pixel by the shift amount obtained by the shift amount calculation means in the divided region to which the pixel belongs. Virtual image creation means for creating each of the images to be created,
From each of the images obtained by the virtual image creation means , Painting Extracting a vacant area composed of pixels to which no prime value is given, estimating a pixel value of the vacant area based on pixel values in pixels around the vacant area, and adding pixels to all the pixels in the vacant area An interpolation means for giving a value;
Output means for outputting each of the images finally completed by the interpolation means;
It is the characteristic to have.
[0009]
In the invention according to claim 5, for each divided area for dividing the shooting screen into a plurality of areas, Shooting point To measure the distance value from the object to be imaged within the area of the divided area, and determine the distance value for each divided area. recoding media Take a picture with a photo shooter equipped with the function to record in Based on the image recorded on the recording medium To create a digital original image,
Above recoding media Read the distance value for each of the divided areas from,
It is within the range of the divided area from each point separated by a predetermined distance on the right side and the left side in the plane perpendicular to the lens optical axis from the shooting point when shooting the shooting screen, with reference to the upright state of the shooting screen. A straight line connecting the shooting point and the shooting target is a point where a straight line connecting to the shooting target intersects a projection plane that is a plane perpendicular to the lens optical axis at a predetermined distance from the shooting point. When a straight line extending from each point in parallel with the projection plane intersects the projection plane, a shift amount that is a distance value between the projection point and the intersection corresponding to the projection point is set in the divided region. Calculate for each corresponding pixel,
Obtained when each pixel constituting the digital original image is virtually photographed from each point by moving each pixel by the shift amount obtained by the shift amount calculation means in the divided region to which the pixel belongs. Each created image,
Further, from each of the images, a free area where no pixel value is given is extracted, and the pixel value of the free area is estimated based on the pixel values in the pixels around the free area,
It is a feature of a stereoscopic photo creation method in which pixel values are given to all the pixels in the empty area and each of the finally obtained images is output.
[0010]
[Action]
According to the first aspect of the present invention, for example, when a scene composed of a relatively close-up person or the like and a long-distance background is photographed, distance measurement is performed for each of the divided areas into which the photographing screen is divided into a plurality of areas. The distance value to the photographing object within the range of the divided area is given by the means. In the case of the scene, the distance detected in the divided area existing in the range of the person on the shooting screen shows a relatively small value, while the distance detected in the divided area related to the background is a large value. Indicates. At the same time, the distance value detected for each divided area is recoding media To be recorded. As this recording method, there is a method of magnetically recording on a photographic film coated with a magnetic layer.
[0011]
Therefore, there is no need to equip multiple lenses or to prepare a dedicated camera for stereo photography. Photo Recorded information for creating a 3D photo using the same device as the camera recoding media Can provide and excellent portability Photo An imaging device can be realized. Also, 1 One of recoding media Since all scenes are shot in this way, even when shooting to create such a stereoscopic photo, a normal plane photo is taken. One of recoding media Can be created easily as before.
According to the second aspect of the present invention, if a normal plane photo shooting mode is selected by the selection means, there is no risk of taking time for ranging and the like of all the divided areas, and a single plane photo, 3D You can take photos separately.
According to the third aspect of the present invention, a stereoscopic photograph can be created by the stereoscopic photograph creating means based on the recorded distance value.
[0012]
According to the invention described in claim 4, first, Based on images recorded on recording media Thus, a digital original image is created. Here, although this digital original image corresponds to a normal plane photograph, a stereoscopic image is created based on this image by processing to be described later.
[0013]
And recoding media Then, the distance value for each divided region is read by the reading means, and the information is stored in the memory.
[0014]
Next, each point (the right point and the left point) separated by a predetermined distance on the right side and the left side on the basis of the upright state of the shooting screen within the plane perpendicular to the lens optical axis from the shooting point at the time of shooting the shooting screen ) Is set. Here, it is preferable that the center position of the photographing screen is set as the photographing point in order to improve the accuracy of the finish of the stereoscopic photograph. Further, a straight line connecting the right point and the left point to the shooting target within the range of the divided area, and the shooting point Predetermined The points where the projection plane, which is a plane perpendicular to the optical axis of the lens separated from the distance, intersects are set as the right projection point and the left projection point, respectively. Furthermore, the points where the straight line extending from the right point and the left point in parallel with the straight line connecting the shooting point and the shooting target and the projection plane intersect are set as the right intersection and the left intersection, respectively. Further, a shift amount (right shift amount) that is a distance value between the right projection point and the right intersection point and a shift amount (left shift amount) that is a distance value between the left projection point and the left intersection point are the divided regions. Is calculated for each of the pixels corresponding to.
[0015]
Then, each pixel constituting the digital original image is moved by the virtual image creating means by the right shift amount and the left shift amount obtained by the shift amount calculating means in the divided region to which the pixel belongs. Can be obtained when shooting virtually from the right and left points. image( Right eye image and left eye image ) Is created.
[0016]
Next, the interpolating means first compares the original image with the right eye image and the left eye image, and extracts an empty area to which no pixel value is given in the right eye image and the left eye image. Further, the interpolation unit estimates the pixel value of the empty area based on the pixel values of the pixels around the empty area, image( Right eye image and left eye image ) Is completed.
[0017]
When the right eye image and the left eye image are completed, the output unit prints out, for example, one sheet with the right eye image and the left eye image arranged side by side. When an operator observes the print by using a stereoscopic viewer that enlarges the left and right images and shows a stereo image with two eyes, an image with a subtle shift according to the distance between the left and right is visible at a time. Therefore, a three-dimensional photograph can be obtained.
[0018]
According to the invention described in claim 5, for example, a scene composed of a relatively short-distance person, a medium-distance building, and a long-distance natural landscape is obtained. Photo When the image is taken by the photographing apparatus, the distance is measured for each of the divided areas that divide the photographing screen into a plurality of areas, and the distance value for each divided area is detected. The distance value for each of the divided areas is recoding media To be recorded. That is, in the scene, a small distance value is given to the minute area related to the person, a medium distance value is given to the minute area related to the building, and a large distance value is given to the minute area related to the natural scenery.
[0019]
Next, shooting is over Finish Then Based on images recorded on recording media Digital original image Created After that, the digital original image data is stored in the memory. Also Storage medium The distance value for each of the divided areas recorded in the table is also read and stored in the memory.
[0020]
Next, each point (the right point and the left point) separated by a predetermined distance on the right side and the left side on the basis of the upright state of the shooting screen within the plane perpendicular to the lens optical axis from the shooting point at the time of shooting the shooting screen ) Is set. Here, it is preferable that the center position of the photographing screen is set as the photographing point in order to improve the accuracy of the finish of the stereoscopic photograph. Further, a straight line connecting the right point and the left point to the shooting target within the range of the divided area, and the shooting point Predetermined The points where the projection plane, which is a plane perpendicular to the optical axis of the lens separated from the distance, intersects are set as the right projection point and the left projection point, respectively. Furthermore, the points where the straight line extending from the right point and the left point in parallel with the straight line connecting the shooting point and the shooting target and the projection plane intersect are set as the right intersection and the left intersection, respectively. Further, a shift amount (right shift amount) that is a distance value between the right projection point and the right intersection and a shift amount (left shift amount) that is a distance value between the left projection point and the left intersection are the divided regions. Is calculated for each of the pixels corresponding to.
[0021]
Then, by moving the pixels of the digital original image by the left and right shift amounts, image( Left eye image and right eye image ) Is created. Accordingly, a person at a short distance is greatly shifted to the left in the right-eye image and to the right in the left-eye image, and a building at a medium distance is shifted to the left in the right-eye image and to the right in the left-eye image smaller than the person. In the long-distance natural scenery, the left and right images are hardly shifted.
[0022]
When the left and right images are created, there may be an empty area where no pixel value is given in the left and right images due to the shift. Therefore, the empty area is searched from the right-eye image and the left-eye image. If the empty area exists, the empty area is extracted. If not, the process proceeds to an output step.
[0023]
When the empty area is extracted, the pixel values around the empty area are read, and based on the surrounding pixel values, the pixel values of the empty area are estimated, image( Right eye image and left eye image ) Is completed.
[0024]
When the right eye image and the left eye image are completed, a stereoscopic image is output based on these. For example, when the right-eye image and the left-eye image are printed out as one frame and two images printed by a stereoscopic viewer or the like are observed at the same time, an image with a shift according to the distance is perceived and a stereoscopic feeling can be obtained. There is also a method of outputting by three-dimensional holography or the like.
[0025]
By using the above method, you can divide the optical path in half to obtain a stereoscopic picture and attach an adapter for taking two frames in front of the lens. There is no need to take a picture with a camera, and it is possible to obtain a stereoscopic picture at the same time as taking a normal picture with one camera.
[0026]
【Example】
(camera)
FIG. 1 is a block diagram illustrating an outline of the configuration of the camera according to the present embodiment.
[0027]
In FIG. 1, a microcomputer (hereinafter referred to as “microcomputer 100”) is a central processing unit for controlling an automatic camera, and is connected to a distance measuring sensor 102 and a distance measurement data recording unit 106. The distance measuring sensor 102 is a microcomputer 10 0 If there is a command from, the focus to the subject in a large number of minute areas constituting the photographing screen is detected, and information related to the focus is transmitted to the microcomputer 100. Here, the information regarding the focus corresponds to the phase difference in the phase difference detection method, for example. When the information is transmitted to the microcomputer 100, the microcomputer 100 calculates a distance value based on the information.
[0028]
The distance value is calculated as follows, for example. That is, an optical encoder is attached to the rotating portion of the lens so that the rotational position of the lens can be detected. Then, the function information of the distance value to the subject and the rotation position when the lens is focused is input to the in-lens IC in advance, and the function information is obtained when the lens is mounted. It is transmitted to the microcomputer 100. Then, the microcomputer 100 calculates a distance value to the subject based on the transmitted data such as the phase difference and the function information. The calculated distance value is sent to the distance measurement data memory 104 as distance measurement data, where it is temporarily stored. However, the distance measurement method is not limited to the above method as long as the distance value to the subject is obtained for each of a large number of minute regions constituting the photographing screen.
[0029]
A distance measurement data recording unit 106 is connected to the microcomputer 100 and the distance measurement data memory 104. The distance measurement data stored in the distance measurement data memory 104 is read by the distance measurement data recording unit 106 in accordance with an instruction from the microcomputer 100 and recorded on the negative film coated with the magnetic layer. For this reason, the distance measurement data recording unit 106 is provided at a position where it can approach a negative film surface (not shown), for example, in the vicinity of a film crimping plate or a film winding unit on the back cover.
[0030]
FIG. 2 is a block diagram illustrating a more detailed configuration of the camera according to the present embodiment. The same constituent elements as those in FIG. 1 are denoted by the same reference numerals and description thereof is omitted.
[0031]
In FIG. 2, the photographing screen 108 of the camera 118 is divided into a number of minute regions as shown. For example, a region 110 painted black in the photographing screen 108 is one minute region constituting the photographing screen 108, and distance measurement by the distance measuring sensor 102 is performed on each of such minute regions. That is, each minute area corresponds to a kind of focus area. As a means for measuring the distance for each minute area, in addition to a method of providing one distance measuring sensor 102 for each minute area, for example, one or more distance measuring sensors 102 are scanned on the screen to display the entire screen area. You may make it measure a distance.
[0032]
In addition, as described above, the distance measurement data recording unit 106 records distance measurement data or the like on the film 116 loaded in the camera 118. The distance measurement data is, for example, a film surface as shown in FIG. Recorded in the upper position. According to FIG. 3, the recording data of one shooting frame 150 on the film 116 is recorded on the magnetic layers 157 and 158 applied to the upper and lower regions sandwiching the shooting frame 150. For example, the distance measurement data detected in the minute areas 110, 111a, and 111b in FIG. 2 are the positions on the photographing screen of the minute areas such as the positions 152, 154, and 156 painted black in the magnetic layer 157 in FIG. Are magnetically recorded in the corresponding areas. However, the recording position is not limited to this, and the recording position may be recorded at any position as long as it is possible to identify which minute area of the photographing screen 108 is the distance measurement data.
[0033]
The lens 117 attached to the camera 118 in FIG. 2 incorporates an IC (not shown) that stores the focal length of the lens, and the focal length when the lens 117 is attached to the body of the camera 118 or zoomed. Is changed, the information on the focal length is transmitted to the microcomputer 100. In the case of a camera having a fixed-focus lens that does not replace the lens, the focal length may be stored in the microcomputer 100 in advance.
[0034]
In addition, a lens focal length recording unit 112 is also connected to the microcomputer 100 and operates according to a command from the microcomputer 100. The lens focal length recording unit 112 can record lens focal length information on the film 116 at the same time as shooting or before the next frame is set after shooting. For example, in FIG. 3, the image is recorded at the position 160 on the right corner of the magnetic layer 158 applied to the outside of the screen frame of the imaging frame 150.
[0035]
Furthermore, the camera 118 is provided with a stereoscopic photograph mode conversion switch 114. The stereoscopic photograph mode switch 114 is connected to the microcomputer 100, and by turning on this switch, a process for creating a stereoscopic photograph is executed together with a process for taking a normal plane photograph. Yes. Further, by turning off the stereoscopic photograph mode conversion switch 114, the stereoscopic photograph mode is canceled, and only normal plane photography can be performed.
[0036]
Next, the operation of the camera according to the present embodiment will be described with reference to FIG.
First, when the photographer operates the 3D photo creation mode switch 114, the fact is transmitted to the microcomputer 100, and preparation for creating a 3D photo is completed.
[0037]
In this case, for example, it is assumed that a scene composed of a relatively close person and a long distance background is photographed. Then, distance measurement by the distance measuring sensor 102 is performed on each of the minute areas, and a distance value to the subject is obtained for each of the minute areas. When the distance value for each minute area is detected, it is sequentially stored in the distance measurement data memory 104. Here, the distance detected in the micro area related to the person or the like on the photographing screen is relatively small, the distance detected in the micro area related to the background or the like shows a large value, and various values are shown for each micro area.
[0038]
When the distance measurement data of the entire minute area of the photographing screen 108 is detected and stored in the distance measurement data memory 104, the microcomputer 100 operates the distance measurement data recording unit 106 before winding up to the next frame, and the distance measurement data is recorded. Ranging data in the data memory 104 is recorded at a predetermined position on the film 116 coated with the magnetic layer.
[0039]
When the lens 117 is replaced, the focal length information recorded in the in-lens IC is transmitted to the microcomputer 100 at the same time as the lens is mounted. On the other hand, when the lens 117 is a zoom lens, the focal length at that time is transmitted to the microcomputer 100 simultaneously with zooming, and the microcomputer 100 always stores the latest focal length of the lens. However, when shooting in the stereoscopic photo creation mode, the focal length at the time of shooting is fixed, and the microcomputer 100 activates the lens focal length recording unit 112 to record information on the focal length at a predetermined position on the film 116.
[0040]
If the stereoscopic photograph mode conversion switch 114 is not operated, the above processing is not executed and only normal plane photography is taken. However, when the camera 118 is an autofocus camera, the distance sensor 102 Ranging may be performed. However, the distance measurement is not limited to the entire screen, but may be only the distance measurement in several minute areas as in the conventional autofocus camera.
[0041]
As described above, it is not necessary to equip a plurality of lenses or to prepare a camera dedicated to stereoscopic photography, and it is possible to provide a film on which information for creating a stereoscopic photograph is recorded by a device similar to a normal photography apparatus, and to be portable. An excellent photography device can be realized. Also, since all scenes are shot on a single negative as with a flat photo, even when shooting for creating such a stereoscopic photo, a normal flat photo can be easily created from a single negative as before. . Furthermore, if a normal planar photo shooting mode is selected by the selection means, there is no possibility of taking time for ranging or the like for each minute area, and it is possible to separately take a planar photo and a stereoscopic photo with one unit.
[0042]
As a method for recording information on a photographic film, a method for magnetically recording on a photographic film coated with a magnetic layer has been described as an example, but the method is not limited to magnetic recording. For example, an optical recording method may be used.
(Image processing device)
FIG. 4 is a block diagram illustrating the configuration of the image processing apparatus according to the present embodiment.
[0043]
In FIG. 4, an image data reading unit 120 has a function of reading an image from a negative film that has been developed and fixed, and converting it into a digital image. For example, a scanner that sequentially scans light rays on a negative film and quantizes the density of the transmitted light for each predetermined pixel corresponds to this. The converted digital original image data is stored in the digital original image data memory 122.
[0044]
On the other hand, a distance measurement data reading unit 124 is close to the negative film surface so that distance measurement data magnetically recorded on a negative film coated with a magnetic layer can be read. The distance measurement data reading unit 124 includes a magnetic head or the like, and is set to access a recording position of distance measurement data on the film surface. In addition, a distance measurement data memory 126 is connected to the distance measurement data reading unit 124, and the read distance measurement data is temporarily stored. The distance measurement data is distance measurement data for each minute area that divides the shooting screen into a large number.
[0045]
Further, the focal length reading unit 128 is also close to the negative film surface, so that the focal length of the photographing lens recorded on the negative film can be read. The focal length reading unit 128 is connected to the focal length memory 130 and stores the read focal length information. The distance measurement data reading unit 124 and the focal length reading unit 128 may be the same magnetic head or the like.
[0046]
The distance measurement data memory 126 and the focal length memory 130 are connected to the shift amount calculation unit 132 so that distance measurement data and focal length information can be transmitted.
[0047]
In the shift amount calculation unit 132, a predetermined distance on the right side and the left side on the basis of the upright state of the shooting screen within the plane perpendicular to the lens optical axis from the shooting point that is the center position of the shooting screen when the shooting screen is shot. A point where a straight line connecting a right point and a left point away from the shooting target within the range of the divided area intersects a projection plane that is a plane perpendicular to the lens optical axis that is the focal distance away from the shooting point. Are the right projection point and the left projection point, respectively, and the points where straight lines extending from the right point and the left point intersect the projection plane in parallel with the straight line connecting the photographing point and the photographing object are the right intersection point and the left intersection point, respectively. In this case, a right shift amount that is a distance value between the right projection point and the right intersection point and a left shift amount that is a distance value between the left projection point and the left intersection point are each a pixel corresponding to each minute region. Nitsu It is calculated Te.
[0048]
A shift amount memory 133 is connected to the shift amount calculation unit 132, and the right shift amount and the left shift amount of all the minute regions, which are the calculation results, are stored here.
[0049]
The digital original image memory 122 and the shift amount memory 133 are connected to an image conversion unit 134, where data for a stereoscopic image is created. Specifically, for each pixel constituting the digital original image, an image obtained by shifting the position of the pixel by a shift amount in a minute region to which the pixel belongs is a right-eye image viewed from the right position and a left-eye image viewed from the left position. Each is created and stored in the right eye image memory 136 and the left eye image memory 138, respectively.
[0050]
The right-eye image memory 136 and the left-eye image memory 138 are connected to an empty area detection unit 140, where an empty area to which no pixel value is given due to pixel shift is detected.
[0051]
An interpolation unit 142 is connected to the right-eye image memory 136, the left-eye image memory 138, and the empty area detection unit 140, and interpolation processing based on pixels around the empty area is performed here.
[0052]
The interpolation unit 142, the right-eye image memory 136, and the left-eye image memory 138 are connected to the stereoscopic image data memory 144, and finally obtained stereoscopic image data is stored here.
[0053]
The stereoscopic image data stored in the stereoscopic image data memory 144 is sent to the stereoscopic image output unit 146 and output as a stereoscopic image. For example, a plane image for two frames or three frames is output on a print sheet, and a user obtains a stereoscopic image using a viewer for compound-eye stereo stereoscopic viewing based on the image. In addition, there are methods for outputting a lenticular image, a holographic stereo image, a projection stereoscopic image, and the like.
[0054]
Next, a process of creating stereoscopic image data from a digital original image will be described. In the process of creating stereoscopic image data from an original image, as described above, creation and interpolation of a right eye image and a left eye image by the image conversion unit 134 are performed. It comprises two processes of interpolation processing by the unit 142. In the following, each will be described separately.
[0055]
First, FIG. 5 is a flowchart showing a creation process of a right eye image and a left eye image. In step 220, initialization is performed by substituting 1 into the pixel number i for starting the processing. That is, the following processing is started from the pixel with pixel number 1. The pixel with pixel number i is abbreviated as pixel i from the next.
[0056]
In step 222, the focal length f of the lens that captured the frame is read. Information on the focal length f is also recorded on the negative film coated with the magnetic layer.
[0057]
In the next step 224, the pixel value of pixel i is read. For example, when the original image on the negative is quantized with 8 bits, the pixel value is represented by a 256-level number. In the case of a color negative film, a pixel value is given for each color of RGB, and the following processing is exactly the same.
[0058]
In step 226, ranging data at pixel i is read from the negative film. Here, the distance data d is the distance value d to the object related to the pixel i. _i If it is, the value is used as it is, but if it is expressed in a format other than the distance value, the distance value d _i Is converted to Here, the distance value for pixel i is d _i It was.
[0059]
With the above steps, the pixel value and distance value d in pixel i _i Is required. Then, by the following steps, a right eye image and a left eye image are created based on the value.
[0060]
In step 228, the positional deviation amount of the pixel i when virtually viewed with the right eye and the left eye is calculated based on the following principle.
[0061]
FIG. 6A is a diagram for explaining the positional deviation amount of the subject when the subject is viewed from the virtually set right eye position. In FIG. 6A, the photographing point of the camera is point C, and the lens optical axis is CC ′. Here, the subject of interest is set as a subject plane 312 including a Q point, a subject Q point, and a plane perpendicular to the lens optical axis CC ′. At this time, the distance between the subject surface and the camera C point is the subject distance d. A plane perpendicular to the lens optical axis CC ′ and having a distance f (lens focal length) from the camera C point is set as the projection plane 310.
[0062]
A plane 308 including the camera C point and perpendicular to the lens optical axis CC ′ is set, and the right eye R point is positioned on the plane 308 on the right side at a distance L from the camera C point on the basis of the upright state of the photographing screen. take. The upright state of the photographing screen here is not the upright state of the camera itself, but the upright state of the object shown on the actual screen. Therefore, regardless of whether the camera is held vertically or horizontally, the right eye and the left eye are used as a reference on the right and left sides based on the upright state of the shooting screen. Note that L corresponds to half of the sense of both eyes of a person. Here, the X axis is set in the direction of the line segment CR.
[0063]
A photographed image photographed by the camera C can be expressed as an image on the projection plane, for example, as shown in FIG. The center point O of the captured image is the intersection of the lens optical axis CC ′ and the projection plane 310. The subject Q point is a point P on the projection plane 310, and is a position indicated by a point P in FIG.
[0064]
On the other hand, the image shown in the right eye can also be expressed by the right eye image on the projection surface 310, for example, as shown in FIG. Here, a right-eye optical axis RR ′ passing through the right-eye R point and parallel to the lens optical axis CC ′ is set, and an intersection between the right-eye optical axis RR ′ and the projection plane 310 is set to O. _r If it is a point, O _r The point becomes the center point of the right eye image. At this time, the subject Q point is P on the projection plane 310. _r Point (right projection point), and on the right-eye image, P in FIG. _r It becomes the position indicated by the point.
[0065]
Assuming that the camera shot image is translated to the position of the right eye image, P _r 'Point (right intersection) corresponds to P point. This is because the triangle CC′Q and the triangle RR′Q ′ have a parallel movement relationship.
[0066]
That is, the subject Q point at the position of the point P in the camera image is P in the right eye image. _r Since this is the position of the point, the positional deviation amount Δx on the image caused by the positional deviation of the viewpoint _r Point and P _r 'This is the distance to the point (see FIGS. 6A and 6C). This positional deviation amount Δx is obtained as follows.
[0067]
Since the object plane 312 and the projection plane 310 are parallel, the triangle RQQ ′ and the triangle RP _r P _r 'Is a similar relationship. Similarly, triangle RR'Q 'and triangle RO _r P _r Is a similar relationship. Therefore, the following equation is established.
[0068]
Δx / L = | RP _r '| / | RQ' | = | RO _r | / | RR '| ・・ ▲ 1 ▼
Where line segment RO _r Is the lens focal length f, and the length of the line segment RR ′ is the distance d. Therefore, substituting into the equation (1) yields the equation (2).
[0069]
Δx = L × f / d (2)
As can be seen from the equation (2), the positional deviation amount Δx increases as the distance d decreases. Further, it does not depend on the position of the subject Q point on the subject surface. That is, regardless of the position on the camera shooting screen, the amount of displacement on the right-eye image can be obtained from the subject distance d, the lens focal length f, and the assumed distance L between the right eye and the camera. Note that no displacement occurs between the camera image and the right-eye image in the Y-axis (perpendicular to the X-axis) direction.
[0070]
The same calculation can be performed for the left-eye image. However, the direction of the position shift is shifted to the left for the right eye image and shifted to the right for the left eye image.
[0071]
As described above, since distance measurement data exists for each point of the image, a deviation amount is calculated for each point, and a virtual image corresponding to the left and right eyes can be created. Therefore, the positional shift amount for each point in the right eye image is expressed as the right shift amount Δx below. _r , The amount of positional deviation for each point in the left eye image is represented by the left shift amount Δx _l Will be described.
[0072]
In the next step 230, the right shift amount Δx _r And left shift amount Δx _l Based on the above, the position of the pixel i in the right eye image and the left eye image is obtained. That is, if the coordinates of the pixel i in the original image are (x, y), the coordinates of the pixel i in the right-eye image are (x−Δx _r , Y), the coordinates of the pixel i in the left-eye image are (x + Δx _l , Y). However, here, the right direction toward the image is the positive direction.
[0073]
In the next step 232, an operation of actually adding the right eye image and the left eye image at the pixel i to the memory is performed. That is, the coordinates of the right eye image memory (x−Δx _r , Y) and the coordinates of the left eye image memory (x + Δx _l , Y) to the pixel value L _i Is assigned. In this process, for example, the background and the object in front may overlap and the coordinate values may match. In such a case, a pixel having a small distance value, that is, a pixel value of an object in front is preferentially substituted. Further, when the calculated coordinate value exceeds the range of the right eye image and the left eye image, the exceeding portion is not added to the memory as being outside the image area.
[0074]
In addition, special processing such as creating a stereoscopic image in which the stereoscopic effect is further emphasized more than actual may be performed by processing for enhancing the perspective difference based on the distance value (processing for further reducing the small distance, etc.).
[0075]
In the next step 234, it is determined whether or not the pixel i is the last one. If the determination is negative, that is, if there are still pixels to be converted, the pixel number i is determined in the next step 236. Is updated by one, and the process returns to step 224 again to repeat the same processing. If the determination is affirmative, that is, if the conversion has been completed for all the pixels of the digital original image, the process is terminated.
[0076]
When the conversion processing to the right eye image and the left eye image is completed, interpolation processing is performed as the next processing. The reason why this interpolation processing is performed is as follows.
First, consider the situation shown in FIG. 7 as an example. In FIG. 7, the shooting scene shown in the original image 400 includes a person 402 in the foreground and a background 404 including two mountains, the sky, and the like. Here, in the right eye image 410, the person 402 shifts to the left more because the distance to the camera is small, but the background 404 hardly shifts because the distance is large. Therefore, a portion that cannot be seen in the original image 400 exists in the right side portion of the person 402 as an empty region 412. Exactly the same, in the left eye image 420, the person 402 shifts to the right more because the distance to the camera is small, but the background 404 hardly shifts because the distance is large. Therefore, in this case, a free area 422 exists on the left side of the person 402. Note that these empty areas are L in the right-eye image memory and the left-eye image memory. _i Exists as an address area that has not been assigned.
[0077]
Unless any appropriate pixel value is given to these empty areas, an area having no density is formed in the image, which is not preferable. Therefore, interpolation processing as shown in the flowchart of FIG. 8 is performed to make up for pixels. Hereinafter, a description will be given along the flowchart of FIG.
[0078]
First, in step 250, an empty area is extracted. That is, the right-eye image and the left-eye image created by the conversion process of FIG. 5 are searched, and all areas where pixel values are not substituted are extracted.
[0079]
In the next step 252, a background area adjacent to the extracted empty area is extracted. In step 254, based on the pixels in the background area, an interpolation process for filling the pixels in the empty area is performed. The interpolation process will be specifically described with reference to FIG.
[0080]
As shown in FIG. 9, the extracted empty area 450 is surrounded on the left and right by the right boundary pixel column 452 and the left boundary pixel column 454. Here, the right boundary pixel column 452 includes the right pixel 1 (X ₁ , Y ₁ ; B ₁ ) To right pixel n (X _n , Y _n ; B _n ). Here, the X coordinate value of the right pixel k is set to X as shown in the parentheses. _k , Y coordinate value is Y _k , The pixel value is B _k It shall be expressed as Similarly, the left boundary pixel column 454 includes the left pixel 1 (X ₁ -ΔX ₁ , Y ₁ ; B ₁ ') To left pixel n (X _n -ΔX _n , Y _n ; B _n '). Note that this time, the X coordinate value of the left pixel k is shifted to the left from the X coordinate of the right pixel k. _k -ΔX _k Y coordinate value is the same and Y _k However, since the pixel values are different, B _k '
[0081]
Under the above settings, in the case of a right-eye image, the right pixel column 452 is a background region, and the left pixel column 454 is a front object, for example, a person region. Here, since it is the background area that should originally fill the empty area 450, the pixel value B of the right pixel 1 is in the empty area portion where the Y coordinate value from the right pixel 1 to the left pixel 1 is the same. ₁ Is assigned. Similar processing is applied to the empty area from the right pixel n to the left pixel n.
[0082]
On the other hand, in the case of the left eye image, the left boundary pixel column 454 is a background region, and the right boundary pixel column 452 is a front object, for example, a human region. Therefore, this time the empty area 450 is the pixel value B of the left pixel. ₁ '~ B _n It will be filled with '.
[0083]
The above concept is based on the so-called nearest neighbor method. The nearest neighbor method is an estimation method in which the pixel value on the closest observed pixel is the pixel value of the estimated pixel. By this method, the empty areas of the right eye image and the left eye image are filled up.
[0084]
In the next step 256, it is determined whether or not all the free areas extracted in step 250 have been interpolated. If there are still free areas remaining, the process returns to step 252 and the same interpolation process is performed. If it does not remain, the interpolation process is terminated.
[0085]
Note that image processing (smoothing processing or the like) for further improving image quality may be performed on the right-eye image and left-eye image created in the above steps.
[0086]
Through the above processing, an ordinary flat print can be obtained and an image for stereoscopic viewing can be easily obtained.
[0087]
【The invention's effect】
As explained above, according to the present invention, Photo In the shooting device, recoding media The distance value is recorded on the Images recorded on a recording medium Because it can provide a device that can obtain a 3D photograph simply by digital image processing, it can be used only for 3D photography equipped with multiple lenses. Photo There is no need to prepare a photographing apparatus, and it has an excellent effect that a single plane photograph and stereoscopic photograph can be selected and photographed with one apparatus. This makes it possible to create 3D photographs that are superior in terms of portability and cost. Photo An imaging device can be provided.
[0088]
In addition, since the distance data for the entire screen is stored, it is possible to create a stereoscopic image when the aspect is changed vertically or when the viewpoint is virtually moved.
[0089]
Furthermore, special effects such as creating a stereoscopic image with a more enhanced stereoscopic effect than actual can be realized by a process of enhancing the perspective difference based on the distance data (a process of further reducing a small distance value, etc.).
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an outline of a configuration of a camera according to an embodiment.
FIG. 2 is a block diagram illustrating details of the configuration of the camera according to the present embodiment.
FIG. 3 is a diagram showing positions on the film of information recorded by the invention according to the present embodiment.
FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus according to the present embodiment.
FIG. 5 is a flowchart showing a process for obtaining a stereoscopic image from a digital original image.
6A is a reference diagram for explaining the principle of calculating a position shift amount based on a distance value to a subject and a focal length of a lens, and FIG. 6B is a diagram showing a position of the subject in a captured image; (C) is a figure for demonstrating the shift | offset | difference of the position of the to-be-photographed object in a right eye image.
FIG. 7 is a diagram for explaining the reason why a free area exists.
FIG. 8 is a flowchart showing an interpolation process.
FIG. 9 is a reference diagram for explaining an interpolation method;
[Explanation of symbols]
102 Ranging sensor
106 Ranging data recording unit
112 Lens focal length recording unit
120 Image data reading unit
124 Distance data reader
128 Focal length reading unit
134 Image converter
142 Interpolator
146 Stereoscopic image output unit

Claims

記録媒体に画像を記録する写真撮影装置において、
複数に分割された撮影領域における分割領域の各々について、撮影地点から前記分割領域の範囲内にある撮影対象までの距離値を測定する測距手段と、
前記測距手段によって測定された前記分割領域毎の距離値を前記画像と共に前記記録媒体に記録する記録手段と、
を有することを特徴とする写真撮影装置。 In a photography apparatus for recording an image on a recording medium ,
Distance measuring means for measuring a distance value from a shooting point to a shooting target within the range of the divided area for each of the divided areas in the divided shooting area;
Recording means for recording the distance value for each of the divided areas measured by the distance measuring means together with the image on the recording medium ;
Photographing apparatus characterized by having a.

通常の平面写真を撮影すると共に前記測距手段及び前記記録手段を作動させる立体写真撮影モードと、単に通常の平面写真のみを撮影するモードとを選択する選択手段と、
をさらに有することを特徴とする請求項１記載の写真撮影装置。Selection means for selecting a stereoscopic photo shooting mode for taking a normal plane photograph and operating the distance measuring means and the recording means, and a mode for simply taking only a normal plane photograph;
Photography apparatus according to claim 1, further comprising a.

請求項１又は請求項２に記載の写真撮影装置によって記録された画像を処理する画像処理装置であって、
前記記録手段によって前記画像と共に前記記録媒体に記録された前記分割領域毎の距離値に基づいて立体写真を作成する立体写真作成手段を備えたことを特徴とする画像処理装置。An image processing apparatus for processing the recorded image by the photographing apparatus according to claim 1 or claim 2,
An image processing apparatus comprising: a three-dimensional photograph creating means for creating a three-dimensional photograph based on a distance value for each of the divided areas recorded on the recording medium together with the image by the recording means.

現像済写真フィルムの撮影画面に光を照射し、その反射光又は透過光の光量を予め定められた画素毎に量子化してディジタル原画像を作成し、作成された該原画像に基づいてディジタル処理を行う画像処理装置において、
写真フィルムに記録されている撮影画面を複数に分割する分割領域毎の距離値を読み取る読取手段と、
前記撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線が、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と交わる点をそれぞれ投影点とし、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記各地点から延長した直線が前記投影面と交わる点をそれぞれ交点とした場合において、前記投影点と前記投影点に対応する交点との距離値であるシフト量を、前記分割領域に対応する画素の各々について算出するシフト量算出手段と、
前記ディジタル原画像を構成する各画素を、当該画素が属する前記分割領域において前記シフト量算出手段により得られた前記シフト量だけ各々移動させることによって、前記各地点から仮想的に撮影した場合に得られる画像を各々作成する仮想画像作成手段と、
前記仮想画像作成手段によって得られた前記画像の各々から、反射光量又は透過光量の量子化された値である画素値の与えられていない画素から構成される空き領域を抽出すると共に、前記空き領域の周囲の画素における画素値に基づいて前記空き領域の画素値を推定し、前記空き領域の画素全てに画素値を与える補間手段と、
前記補間手段によって最終的に完成された画像の各々を出力する出力手段と、
を有することを特徴とする画像処理装置。Light is applied to the shooting screen of the developed photographic film, the amount of reflected or transmitted light is quantized for each predetermined pixel to create a digital original image, and digital processing is performed based on the generated original image In the image processing apparatus that performs
A reading means for reading a distance value for each divided area for dividing the photographing screen recorded on the photographic film into a plurality of areas;
It is within the range of the divided area from each point separated by a predetermined distance on the right side and the left side in the plane perpendicular to the lens optical axis from the shooting point when shooting the shooting screen, with reference to the upright state of the shooting screen. A straight line connecting the shooting point and the shooting target is a point where a straight line connecting to the shooting target intersects with a projection plane that is a plane perpendicular to the lens optical axis at a predetermined distance from the shooting point. When a straight line extending from each point in parallel with the projection plane intersects the projection plane, a shift amount that is a distance value between the projection point and the intersection corresponding to the projection point is set in the divided region. Shift amount calculating means for calculating each of the corresponding pixels;
Obtained when each pixel constituting the digital original image is virtually taken from each point by moving each pixel by the shift amount obtained by the shift amount calculation means in the divided region to which the pixel belongs. Virtual image creation means for creating each of the images to be created,
From each of the images obtained by the virtual image creating means, a free area composed of pixels to which a pixel value that is a quantized value of the reflected light quantity or transmitted light quantity is not given is extracted, and the empty area Interpolating means for estimating the pixel value of the empty area based on the pixel values in the surrounding pixels, and giving pixel values to all the pixels of the empty area;
Output means for outputting each of the images finally completed by the interpolation means;
An image processing apparatus comprising:

撮影画面を複数に分割する分割領域毎に、写真フィルム面から前記分割領域の範囲内にある撮影対象までの距離値を測定し、前記分割領域毎の距離値を写真フィルムに記録する機能を備えた写真撮影装置で撮影すると共に、
当該撮影後、かつ現像済の前記写真フィルムに光を照射し、その反射光又は透過光の光量を予め定められた画素毎に量子化してディジタル原画像を作成し、
前記写真フィルムから前記分割領域毎の距離値を読取り、
前記撮影画面を撮影した際における撮影地点よりレンズ光軸に対して垂直平面内に撮影画面の正立状態を基準として右側及び左側に所定の距離離れた各地点から前記分割領域の範囲内にあった撮影対象までを結ぶ直線が、前記撮影地点から所定距離離れたレンズ光軸に対して垂直な平面である投影面と交わる点をそれぞれ投影点とし、前記撮影地点と前記撮影対象とを結ぶ直線と平行に前記各地点から延長した直線が前記投影面と交わる点をそれぞれ交点とした場合において、前記投影点と前記投影点に対応する交点との距離値であるシフト量を、前記分割領域に対応する画素の各々について算出し、
前記ディジタル原画像を構成する各画素を、当該画素が属する前記分割領域において前記シフト量算出手段により得られた前記シフト量だけ各々移動させることによって、前記各地点から仮想的に撮影した場合に得られる画像を各々作成し、
さらに前記画像の各々から、画素値の与えられていない空き領域を抽出し、前記空き領域の周囲の画素における画素値に基づいて前記空き領域の画素値を推定し、
前記空き領域の画素全てに画素値を与え、最終的に得られた画像の各々を出力する
ことを特徴とする立体写真作成方法。For each divided area that divides the shooting screen into a plurality of areas, the distance value from the photographic film surface to the shooting target within the range of the divided area is measured, and the distance value for each divided area is recorded on the photographic film. Taking a picture with a photo shoot device,
After the shooting, the developed photographic film is irradiated with light, the amount of reflected light or transmitted light is quantized for each predetermined pixel to create a digital original image,
Read the distance value for each of the divided areas from the photographic film,
It is within the range of the divided area from each point separated by a predetermined distance on the right side and the left side in the plane perpendicular to the lens optical axis from the shooting point when shooting the shooting screen, with reference to the upright state of the shooting screen. A straight line connecting the shooting point and the shooting target is a point where a straight line connecting to the shooting target intersects a projection plane that is a plane perpendicular to the lens optical axis at a predetermined distance from the shooting point. When a straight line extending from each point in parallel with the projection plane intersects the projection plane, a shift amount that is a distance value between the projection point and the intersection corresponding to the projection point is set in the divided region. Calculate for each corresponding pixel,
Obtained when each pixel constituting the digital original image is virtually photographed from each point by moving each pixel by the shift amount obtained by the shift amount calculation means in the divided region to which the pixel belongs. Each created image,
Further, from each of the images, a free area where no pixel value is given is extracted, and the pixel value of the free area is estimated based on the pixel values in the pixels around the free area,
A method for creating a stereoscopic photograph, wherein pixel values are given to all the pixels in the empty area, and each finally obtained image is output.