JP2780296B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP2780296B2 JP2780296B2 JP63326804A JP32680488A JP2780296B2 JP 2780296 B2 JP2780296 B2 JP 2780296B2 JP 63326804 A JP63326804 A JP 63326804A JP 32680488 A JP32680488 A JP 32680488A JP 2780296 B2 JP2780296 B2 JP 2780296B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- camera
- distance
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【発明の詳細な説明】 (産業上の利用分野) 本発明はデジタル信号処理に関し、特に被写体を異な
る位置から撮像し、両眼立体視の方法でカメラから被写
体までの距離を求め、求めた距離をもとにデジタルフィ
ルタを構成して画像処理をおこなう方法に関する。
る位置から撮像し、両眼立体視の方法でカメラから被写
体までの距離を求め、求めた距離をもとにデジタルフィ
ルタを構成して画像処理をおこなう方法に関する。
(従来の技術) カメラで撮った画像にデジタルフィルタをかける画像
処理方法の従来例のブロック図を第2図に示す。第2図
はカメラにテレビジョン用のカメラ(以下TVカメラと略
す)を使った例である。第2図の画像処理方法の動作は
次にようになる。TVカメラ1で撮像した画像の輝度及び
色差信号はたとえばNTSC信号に変換され、出力される。
これは標本化回路2で標本化され、アナログデジタル変
換(以下A/D変換と略す)回路3でデジタル信号に変換
される。次に輝度信号色差信号分離(以下Y/C分離と略
す)回路13で輝度信号と色差信号に分離される。輝度信
号はデジタルフィルタ4でフィルタをかけられ、これと
Y/C分離回路13で分離された色差信号をRGB合成回路14で
加算してRGB信号を合成する。これらはデジタルアナロ
グ変換(以下D/A変換と略す)回路5でアナログ信号に
変換され、低域通過フィルタ(以下LPFと略す)6で連
続信号に変換されて出力端子7に出力される。こうして
TVカメラで撮った画像にデジタルフィルタをかけてい
る。デジタルフィルタ4は標本化された画像の輝度信号
をa(m,n)(m,nはそれぞれ水平方向、垂直方向の座標
を表わす整数とする)、デジタルフィルタのインパルス
応答をh(m,n)、出力される画像の輝度信号をb(m,
n)としたとき、(1)式で表わされる処理を行なうも
のである。
処理方法の従来例のブロック図を第2図に示す。第2図
はカメラにテレビジョン用のカメラ(以下TVカメラと略
す)を使った例である。第2図の画像処理方法の動作は
次にようになる。TVカメラ1で撮像した画像の輝度及び
色差信号はたとえばNTSC信号に変換され、出力される。
これは標本化回路2で標本化され、アナログデジタル変
換(以下A/D変換と略す)回路3でデジタル信号に変換
される。次に輝度信号色差信号分離(以下Y/C分離と略
す)回路13で輝度信号と色差信号に分離される。輝度信
号はデジタルフィルタ4でフィルタをかけられ、これと
Y/C分離回路13で分離された色差信号をRGB合成回路14で
加算してRGB信号を合成する。これらはデジタルアナロ
グ変換(以下D/A変換と略す)回路5でアナログ信号に
変換され、低域通過フィルタ(以下LPFと略す)6で連
続信号に変換されて出力端子7に出力される。こうして
TVカメラで撮った画像にデジタルフィルタをかけてい
る。デジタルフィルタ4は標本化された画像の輝度信号
をa(m,n)(m,nはそれぞれ水平方向、垂直方向の座標
を表わす整数とする)、デジタルフィルタのインパルス
応答をh(m,n)、出力される画像の輝度信号をb(m,
n)としたとき、(1)式で表わされる処理を行なうも
のである。
デジタルフィルタ4としては各種のフィルタがあるが
たとえば画像の輪郭を強調する輪郭強調フィルタや画像
の高周波成分を減衰させる低域通過フィルタなどがあ
る。
たとえば画像の輪郭を強調する輪郭強調フィルタや画像
の高周波成分を減衰させる低域通過フィルタなどがあ
る。
(発明が解決しようとする課題) 撮像した被写体が奥行きを持っている場合や、画面に
カメラからの距離が異なる被写体が写っている場合は、
撮像時のカメラの撮像光学系の設定によっては画像にピ
ントが合っている部分とピンドがはずれている部分が生
じる。カメラから被写体までの距離を考えると焦点が合
う距離の前後に人の目の許容範囲で鮮明に写っていると
判断できる範囲がある。この範囲は一般に被写界深度と
呼ばれる。この被写界深度はカメラの撮像光学系の設定
によって変わり、レンズの焦点距離が短いほど広く、ま
た絞りが小さいほど広くなる。したがって被写界深度内
にある被写体は鮮明に写り、被写界深度の外にある被写
体は焦点が合う距離からずれるほどぼける。このように
撮像した画像には鮮明に写っている部分とぼけている部
分がある場合がある。撮像素子が撮像できる明るさの範
囲が限られているので、特に被写体が暗くて絞りを大き
くして撮像しなければならない場合には被写界深度は狭
くなってしまう。またシャッタースピードを変えること
ができる種類のカメラで、動いている被写体を撮像する
時や手ぶれを防ぎたい時に鮮明な画像を撮るためにシャ
ッタースピードを速くして撮る場合がある。この場合も
必要な明るさを得るために絞りを大きくして撮影しなけ
ればならないことがある。したがって被写界深度は狭く
なってしまう。このような理由から、撮像した画像に鮮
明に写っている部分とぼけている部分が生じることが多
い。このような画像を前述した従来の画像処理方法で処
理するとデジタルフィルタのインパルス応答h(m,n)
が全画面で一定なのでデジタルフィルタの効果が画面内
の場所によっては生じないことがある。例えば輪郭強調
フィルタをかけた場合には鮮明に写っていた部分の輪郭
は強調されるがぼけていた部分の輪郭はあまり強調され
ないといったことが起こることがある。また低域通過フ
ィルタの場合でも鮮明に写っていた部分とぼけていた部
分ではデジタルフィルタの効果が異なることがある。
カメラからの距離が異なる被写体が写っている場合は、
撮像時のカメラの撮像光学系の設定によっては画像にピ
ントが合っている部分とピンドがはずれている部分が生
じる。カメラから被写体までの距離を考えると焦点が合
う距離の前後に人の目の許容範囲で鮮明に写っていると
判断できる範囲がある。この範囲は一般に被写界深度と
呼ばれる。この被写界深度はカメラの撮像光学系の設定
によって変わり、レンズの焦点距離が短いほど広く、ま
た絞りが小さいほど広くなる。したがって被写界深度内
にある被写体は鮮明に写り、被写界深度の外にある被写
体は焦点が合う距離からずれるほどぼける。このように
撮像した画像には鮮明に写っている部分とぼけている部
分がある場合がある。撮像素子が撮像できる明るさの範
囲が限られているので、特に被写体が暗くて絞りを大き
くして撮像しなければならない場合には被写界深度は狭
くなってしまう。またシャッタースピードを変えること
ができる種類のカメラで、動いている被写体を撮像する
時や手ぶれを防ぎたい時に鮮明な画像を撮るためにシャ
ッタースピードを速くして撮る場合がある。この場合も
必要な明るさを得るために絞りを大きくして撮影しなけ
ればならないことがある。したがって被写界深度は狭く
なってしまう。このような理由から、撮像した画像に鮮
明に写っている部分とぼけている部分が生じることが多
い。このような画像を前述した従来の画像処理方法で処
理するとデジタルフィルタのインパルス応答h(m,n)
が全画面で一定なのでデジタルフィルタの効果が画面内
の場所によっては生じないことがある。例えば輪郭強調
フィルタをかけた場合には鮮明に写っていた部分の輪郭
は強調されるがぼけていた部分の輪郭はあまり強調され
ないといったことが起こることがある。また低域通過フ
ィルタの場合でも鮮明に写っていた部分とぼけていた部
分ではデジタルフィルタの効果が異なることがある。
本発明の画像処理方法はこのような従来の画像処理方
法の問題点を解決するために被写体からカメラまでの距
離によって特性が異なるデジタルフィルタをかけて、従
来の画像処理方法ではできなかった画面の広い範囲にわ
たって効果的な画像処理を行なうことを目的とする。
法の問題点を解決するために被写体からカメラまでの距
離によって特性が異なるデジタルフィルタをかけて、従
来の画像処理方法ではできなかった画面の広い範囲にわ
たって効果的な画像処理を行なうことを目的とする。
(課題を解決するための手段) 本発明の画像処理方法は異なる位置から被写体を撮像
し、両眼立体視の方法で画面に写っている被写体とカメ
ラの間の距離を求め、この距離をもとにデジタルフィル
タのインパルス応答を計算して、これを被写体の像にか
けることにより、被写体とカメラの距離に対応した画像
処理を行なうものである。本発明の画像処理方法は 被写体を第1のカメラにより第1の位置から撮像して
得た第1の画像においてこの被写体の像の位置を求め、
この被写体を第1のカメラあるいは第2のカメラにより
第1の位置とは異なる位置から撮像して得た第2の画像
においてこの被写体の像の位置を求め、第1および第2
の画像におけるこの被写体の像の位置の差からこの被写
体と第1のカメラの距離を求め、第1の画像のこの被写
体の像にこの被写体と第1のカメラの距離によって異な
る特性を持つフィルタをかけることを特徴とする画像処
理方法である。
し、両眼立体視の方法で画面に写っている被写体とカメ
ラの間の距離を求め、この距離をもとにデジタルフィル
タのインパルス応答を計算して、これを被写体の像にか
けることにより、被写体とカメラの距離に対応した画像
処理を行なうものである。本発明の画像処理方法は 被写体を第1のカメラにより第1の位置から撮像して
得た第1の画像においてこの被写体の像の位置を求め、
この被写体を第1のカメラあるいは第2のカメラにより
第1の位置とは異なる位置から撮像して得た第2の画像
においてこの被写体の像の位置を求め、第1および第2
の画像におけるこの被写体の像の位置の差からこの被写
体と第1のカメラの距離を求め、第1の画像のこの被写
体の像にこの被写体と第1のカメラの距離によって異な
る特性を持つフィルタをかけることを特徴とする画像処
理方法である。
あるいは 第1の被写体および第1の被写体の周辺にある被写体
を第1のカメラにより第1の位置から撮像して得た第1
の画像において前記第1の被写体および第1の被写体の
周辺にある被写体の像の位置を求め、第1の被写体およ
び第1の被写体の周辺にある被写体を第1のカメラある
いは第2のカメラにより第1の位置とは異なる位置から
撮像して得た第2の画像において第1の被写体および第
1の被写体の周辺にある被写体の像の位置を求め、第1
および第2の画像における第1の被写体および第1の被
写体の周辺にある被写体の像の位置の差から第1の被写
体および第1の被写体の周辺にある被写体と第1のカメ
ラの距離を求め、第1の画像の第1の被写体の像に第1
の被写体および第1の被写体の周辺にある被写体と第1
のカメラの距離の組合せによって異なる特性を持つフィ
ルタをかけることを特徴とする画像処理方法である。
を第1のカメラにより第1の位置から撮像して得た第1
の画像において前記第1の被写体および第1の被写体の
周辺にある被写体の像の位置を求め、第1の被写体およ
び第1の被写体の周辺にある被写体を第1のカメラある
いは第2のカメラにより第1の位置とは異なる位置から
撮像して得た第2の画像において第1の被写体および第
1の被写体の周辺にある被写体の像の位置を求め、第1
および第2の画像における第1の被写体および第1の被
写体の周辺にある被写体の像の位置の差から第1の被写
体および第1の被写体の周辺にある被写体と第1のカメ
ラの距離を求め、第1の画像の第1の被写体の像に第1
の被写体および第1の被写体の周辺にある被写体と第1
のカメラの距離の組合せによって異なる特性を持つフィ
ルタをかけることを特徴とする画像処理方法である。
(作用) 本発明の画像処理方法は被写体像から両眼立体視の方
法で被写体とカメラの間の距離を求める。ここで両眼立
体視について説明する。両眼立体視とは人が2つの目で
距離情報を得るのと同様に、2台のカメラでえ被写体を
撮像し、得られた2つの画像に写っている被写体の位置
の差から被写体までの距離を求める方法である。2台以
上のカメラで撮像してもよく、その場合は2台のカメラ
を使った場合より距離が正確に求められることが期待で
きる。また静止している被写体を撮る場合は1台のカメ
ラを使って2ヵ所から撮ってもよい。ここでは2台のカ
メラを使って距離情報を求める方法について説明する。
2台のカメラはTVカメラとし、これらは光学的にも電気
的にも全く同じ特性を持つとする。すなわち電気信号に
変換するときの特性や、撮像光学系の焦点距離、絞りの
大きさ、ピントを合わせた距離も等しいと仮定する。TV
カメラはNTSC方式では525本の走査線を持ち、撮像素子
上に結像した画像を走査して1次元の電気信号に変換す
る。ここでは2台のTVカメラを両眼立体視に都合がよい
ように固定するものとする。一つの固定方法は2台のTV
カメラをそれぞれの光軸が平行で、それぞれのレンズの
中心が光軸に垂直な同一平面上にあり、さらに2台のTV
カメラの対応する走査線が同一線上に載るように固定す
る方法である。ここでは説明を簡単にするため、2台の
カメラが水平に並んでいるものとし、2台を左のTVカメ
ラと右のTVカメラと呼ぶ。このとき左右のTVカメラの対
応する走査線はともに水平な同一直線上にある。すなわ
ち左のTVカメラの上からn番目の走査線は右のTVカメラ
の上からn番目の走査線と同じ水平な直線上にある。こ
の場合に左右のTVカメラのレンズの中心を通り、光軸に
垂直な平面から被写体までの距離(以下被写体までの距
離と略す)を求める方法を説明する。
法で被写体とカメラの間の距離を求める。ここで両眼立
体視について説明する。両眼立体視とは人が2つの目で
距離情報を得るのと同様に、2台のカメラでえ被写体を
撮像し、得られた2つの画像に写っている被写体の位置
の差から被写体までの距離を求める方法である。2台以
上のカメラで撮像してもよく、その場合は2台のカメラ
を使った場合より距離が正確に求められることが期待で
きる。また静止している被写体を撮る場合は1台のカメ
ラを使って2ヵ所から撮ってもよい。ここでは2台のカ
メラを使って距離情報を求める方法について説明する。
2台のカメラはTVカメラとし、これらは光学的にも電気
的にも全く同じ特性を持つとする。すなわち電気信号に
変換するときの特性や、撮像光学系の焦点距離、絞りの
大きさ、ピントを合わせた距離も等しいと仮定する。TV
カメラはNTSC方式では525本の走査線を持ち、撮像素子
上に結像した画像を走査して1次元の電気信号に変換す
る。ここでは2台のTVカメラを両眼立体視に都合がよい
ように固定するものとする。一つの固定方法は2台のTV
カメラをそれぞれの光軸が平行で、それぞれのレンズの
中心が光軸に垂直な同一平面上にあり、さらに2台のTV
カメラの対応する走査線が同一線上に載るように固定す
る方法である。ここでは説明を簡単にするため、2台の
カメラが水平に並んでいるものとし、2台を左のTVカメ
ラと右のTVカメラと呼ぶ。このとき左右のTVカメラの対
応する走査線はともに水平な同一直線上にある。すなわ
ち左のTVカメラの上からn番目の走査線は右のTVカメラ
の上からn番目の走査線と同じ水平な直線上にある。こ
の場合に左右のTVカメラのレンズの中心を通り、光軸に
垂直な平面から被写体までの距離(以下被写体までの距
離と略す)を求める方法を説明する。
このように固定された2台のTVカメラによる像の形成
のようすを第3図に示す。第3図で被写体の一点Pは左
のTVカメラのレンズ30により撮像素子上に結像する。こ
の撮像素子上に結像した画像を32(水平方向、垂直方向
の座標軸をそれぞれxL′,yL′とする)で表わしてい
る。点Pの像はPL′である。画像32はレンズ30により反
転している。これをレンズ30に対して対象な位置に移動
させて通常のTV画面と同じ向きの画像34を考えこれを左
画像(水平方向、垂直方向の座標軸をそれぞれxL,yLと
する)と呼ぶことにする。左画像34上の点Pの像をPLと
する。PLはPとPL′を結ぶ左画像と交差する点になる。
同様に右のTVカメラのレンズ31による撮像素子に結像し
た画像を33、点Pの像をPR′とし、それをレンズ31に対
して対象な位置に移動させて通常のTV画像と同じ向きの
画像35を考え、これを右画像(水平方向、垂直方向の座
標軸をそれぞれxR,yRとする)と呼ぶことにする。右画
像35上の点Pの像をPRとする。なおzLはレンズ30の光
軸、zRはレンズ31の光軸でありこれらは上に述べた通り
平行でその間隔をAとする。また左右それぞれのレンズ
と撮像素子上の結像した画像の間隔をBとする。左のレ
ンズと左画像、右のレンズと右画像の間隔もBとなる。
Bはピントを合わせる距離によって決まり、ピントを合
わせる距離をzf、レンズの焦点距離をfLとするとレンズ
の法則から(2)式のようになる。
のようすを第3図に示す。第3図で被写体の一点Pは左
のTVカメラのレンズ30により撮像素子上に結像する。こ
の撮像素子上に結像した画像を32(水平方向、垂直方向
の座標軸をそれぞれxL′,yL′とする)で表わしてい
る。点Pの像はPL′である。画像32はレンズ30により反
転している。これをレンズ30に対して対象な位置に移動
させて通常のTV画面と同じ向きの画像34を考えこれを左
画像(水平方向、垂直方向の座標軸をそれぞれxL,yLと
する)と呼ぶことにする。左画像34上の点Pの像をPLと
する。PLはPとPL′を結ぶ左画像と交差する点になる。
同様に右のTVカメラのレンズ31による撮像素子に結像し
た画像を33、点Pの像をPR′とし、それをレンズ31に対
して対象な位置に移動させて通常のTV画像と同じ向きの
画像35を考え、これを右画像(水平方向、垂直方向の座
標軸をそれぞれxR,yRとする)と呼ぶことにする。右画
像35上の点Pの像をPRとする。なおzLはレンズ30の光
軸、zRはレンズ31の光軸でありこれらは上に述べた通り
平行でその間隔をAとする。また左右それぞれのレンズ
と撮像素子上の結像した画像の間隔をBとする。左のレ
ンズと左画像、右のレンズと右画像の間隔もBとなる。
Bはピントを合わせる距離によって決まり、ピントを合
わせる距離をzf、レンズの焦点距離をfLとするとレンズ
の法則から(2)式のようになる。
上に述べた仮定から、レンズ30と31の中心を結ぶ直線
が水平で、左画像と右画像の対応する走査線は同じ水平
な直線上にあり、かつ走査線とレンズの中心を結ぶ直線
は平行となるので、PL′を含む走査線とPR′を含む走査
線は同一直線上にある。したがってこれらをそれぞれ左
右のレンズに対して対称に移動させたPLを含む走査線と
PRを含む走査線も同一直線上にある。すなわちPLの座標
を左画像上で(XL,YL)、PLの座標を右画像上で(XR,
YR)とするとYLとYRは等しい。また求めようとしている
被写体までの距離(光軸に垂直でレンズ30、31の中心を
通る平面から点Pまでの距離)をzとするとzとXL,XR
の関係は第4図にようになる。これは第3図で点P、
PL、PRをxLzL平面(xRzR平面と同じ)に投影したもので
それぞれP″、PL″、PR″で示している。P″からz
L軸、zR軸への足をそれぞれP1、P2とし、第4図から線
分P1P2の長さに対する方程式をつくると(3)式のよう
になる。
が水平で、左画像と右画像の対応する走査線は同じ水平
な直線上にあり、かつ走査線とレンズの中心を結ぶ直線
は平行となるので、PL′を含む走査線とPR′を含む走査
線は同一直線上にある。したがってこれらをそれぞれ左
右のレンズに対して対称に移動させたPLを含む走査線と
PRを含む走査線も同一直線上にある。すなわちPLの座標
を左画像上で(XL,YL)、PLの座標を右画像上で(XR,
YR)とするとYLとYRは等しい。また求めようとしている
被写体までの距離(光軸に垂直でレンズ30、31の中心を
通る平面から点Pまでの距離)をzとするとzとXL,XR
の関係は第4図にようになる。これは第3図で点P、
PL、PRをxLzL平面(xRzR平面と同じ)に投影したもので
それぞれP″、PL″、PR″で示している。P″からz
L軸、zR軸への足をそれぞれP1、P2とし、第4図から線
分P1P2の長さに対する方程式をつくると(3)式のよう
になる。
(3)式よりいずれの場合ともzは(4)式のように
XL、XRの差で表わされる。
XL、XRの差で表わされる。
以上説明したように一つの点の像を左画像上、右画像
上で求めることができれば(4)式により被写体までの
距離を求めることができる。ただし実際には左画像、右
画像とも標本化して離散画像として処理するのでXL、XR
はその標本間隔以下の精度では求められない。したがっ
て求めた被写体までの距離には標本間隔に起因する誤差
が含まれる。また(4)式から被写体までの距離が小さ
いほどその精度が高くなることが期待できる。ただし左
画像と右画像の領域は有限なので被写体までの距離を求
めることができる範囲は左画像と右画像の両方に表われ
る領域に限られる。したがって左画像の左端付近と右画
像の右端付近に写っている被写体までの距離は求められ
ない。
上で求めることができれば(4)式により被写体までの
距離を求めることができる。ただし実際には左画像、右
画像とも標本化して離散画像として処理するのでXL、XR
はその標本間隔以下の精度では求められない。したがっ
て求めた被写体までの距離には標本間隔に起因する誤差
が含まれる。また(4)式から被写体までの距離が小さ
いほどその精度が高くなることが期待できる。ただし左
画像と右画像の領域は有限なので被写体までの距離を求
めることができる範囲は左画像と右画像の両方に表われ
る領域に限られる。したがって左画像の左端付近と右画
像の右端付近に写っている被写体までの距離は求められ
ない。
次に左画像、右画像で同じ点の像を求める方法につい
て説明する。これは対応探索と呼ばれる。上に述べたよ
うに点Pの像が左画像の上からn番目の走査線にある
時、右画像でも同じ上からn番目の走査線上にあるので
n番目の走査線上でのみ像を捜せばよい。したがって以
下では左画像と右画像の一組の走査線上で同じ点の像を
捜す方法について説明する。対応探索は人が目でみて判
断しておこなってもよいが、計算でおこなう方法もいく
つか知られておりかなり正確に対応探索ができる。これ
らはたとえば文献「0 Plus E別冊、“画像処理アルゴリ
ズムの最新動向”、高木、鳥脇、田村編、新技術コミュ
ニケーションズ社の第8章3次元情報の再構成とモデル
化」に詳しく説明されている。ここではこの中の1つの
方法を説明する。第5図にこの対応探索の方法を示す。
第5図で(a)に示す中央が手前にくぼんだ被写体を上
に述べた左右のTVカメラで撮像した場合の左画像の走査
線(以下左走査線と略す)上の画像信号(たとえば輝度
信号)を(b)の横軸に、右画像の対応する走査線(以
下右走査線と略す)上の画像信号を(b)の縦軸に表わ
している。ここで左右のTVカメラの特性は等しいと仮定
しているので、同じ被写体の像にあたる画像信号は左右
の走査線上で等しくなり、その位置が左右の走査線で変
わる。まず左走査線上の画像信号を微分してエッジを抽
出し、左端を0として左から第5図(b)のように番号
をつける。同様に右走査線上の画像信号も微分してエッ
ジを抽出し、左端を0として左から番号をつける。離散
画像の微分は隣接する標本との差をとっておこなう。走
査線の両端もエッジとみなす。ここでは左走査線上の画
像信号の右端の番号は4となり、右走査線上の画像信号
の右の番号は5となる。番号mの左走査線上の画像信号
のエッジと番号nの右走査線上の画像信号のエッジの組
合せを縦線と横線の交点(m,n)として表わす。そして
このエッジの組合せの中から被写体の同じ点の像の組合
せであると判断される組合せを捜して、そのエッジの組
みを順に接続し第5図(b)のように左上(0,0)から
右下(4,5)にいたるパスをつくる。ここでは第5図
(a)のa〜eの面の対応を第5図(b)に記入してあ
る。dの面は左画像ではcの面に隠れてみえないのでえ
この区間のパスは垂直になっている。左走査線の左端付
近に写っていて左走査線上の画像に写っていない被写体
も同様に隠れているとみなすことになる。この左上(0,
0)から右下(4,5)にいたるパスにより左走査線上の画
像信号のエッジと右走査線上の画像信号のエッジの対応
を一意に決める。このパスを求める方法を第5図に示す
例で説明する。
て説明する。これは対応探索と呼ばれる。上に述べたよ
うに点Pの像が左画像の上からn番目の走査線にある
時、右画像でも同じ上からn番目の走査線上にあるので
n番目の走査線上でのみ像を捜せばよい。したがって以
下では左画像と右画像の一組の走査線上で同じ点の像を
捜す方法について説明する。対応探索は人が目でみて判
断しておこなってもよいが、計算でおこなう方法もいく
つか知られておりかなり正確に対応探索ができる。これ
らはたとえば文献「0 Plus E別冊、“画像処理アルゴリ
ズムの最新動向”、高木、鳥脇、田村編、新技術コミュ
ニケーションズ社の第8章3次元情報の再構成とモデル
化」に詳しく説明されている。ここではこの中の1つの
方法を説明する。第5図にこの対応探索の方法を示す。
第5図で(a)に示す中央が手前にくぼんだ被写体を上
に述べた左右のTVカメラで撮像した場合の左画像の走査
線(以下左走査線と略す)上の画像信号(たとえば輝度
信号)を(b)の横軸に、右画像の対応する走査線(以
下右走査線と略す)上の画像信号を(b)の縦軸に表わ
している。ここで左右のTVカメラの特性は等しいと仮定
しているので、同じ被写体の像にあたる画像信号は左右
の走査線上で等しくなり、その位置が左右の走査線で変
わる。まず左走査線上の画像信号を微分してエッジを抽
出し、左端を0として左から第5図(b)のように番号
をつける。同様に右走査線上の画像信号も微分してエッ
ジを抽出し、左端を0として左から番号をつける。離散
画像の微分は隣接する標本との差をとっておこなう。走
査線の両端もエッジとみなす。ここでは左走査線上の画
像信号の右端の番号は4となり、右走査線上の画像信号
の右の番号は5となる。番号mの左走査線上の画像信号
のエッジと番号nの右走査線上の画像信号のエッジの組
合せを縦線と横線の交点(m,n)として表わす。そして
このエッジの組合せの中から被写体の同じ点の像の組合
せであると判断される組合せを捜して、そのエッジの組
みを順に接続し第5図(b)のように左上(0,0)から
右下(4,5)にいたるパスをつくる。ここでは第5図
(a)のa〜eの面の対応を第5図(b)に記入してあ
る。dの面は左画像ではcの面に隠れてみえないのでえ
この区間のパスは垂直になっている。左走査線の左端付
近に写っていて左走査線上の画像に写っていない被写体
も同様に隠れているとみなすことになる。この左上(0,
0)から右下(4,5)にいたるパスにより左走査線上の画
像信号のエッジと右走査線上の画像信号のエッジの対応
を一意に決める。このパスを求める方法を第5図に示す
例で説明する。
まず(m,n)から(m′,n′)(m′はmあるいはm
+1、n′はnあるいはn+1、ただしm′=mかつ
n′=nではない)への接続を原子パスと呼ぶことにす
る。そして各原子パスに対してコストを定める。コスト
は例えば左走査線上の画像信号のエッジmとm′にはさ
まれた区間と右走査線上の画像信号のエッジnとn′に
はさまれた区間の相関から決める。すなわち、左走査線
上の画像信号のエッジmとm′にはさまれた区間をa
L(i)(i=0,I−1)、右走査線上の画像信号のエッ
ジnとn′にはさまれた区間をaR(j)(j=0,J−
1)としたとき、まず短い方の区間を長い方の区間と同
じ長さに伸張する。ここでIJとするとaR(j)(j
=0,J−1)を長さがIになるように必要な標本を補間
してaR′(i)(i=0,I−1)をつくる。そして
(5)式の値dを計算してこの原子パスのコストとす
る。dはaL(i)とaR′(i)の差の絶対値の和に区間
の長さの重みをつけたものであり、aL(i)とaR(i)
の相関が高いほど小さくなる。
+1、n′はnあるいはn+1、ただしm′=mかつ
n′=nではない)への接続を原子パスと呼ぶことにす
る。そして各原子パスに対してコストを定める。コスト
は例えば左走査線上の画像信号のエッジmとm′にはさ
まれた区間と右走査線上の画像信号のエッジnとn′に
はさまれた区間の相関から決める。すなわち、左走査線
上の画像信号のエッジmとm′にはさまれた区間をa
L(i)(i=0,I−1)、右走査線上の画像信号のエッ
ジnとn′にはさまれた区間をaR(j)(j=0,J−
1)としたとき、まず短い方の区間を長い方の区間と同
じ長さに伸張する。ここでIJとするとaR(j)(j
=0,J−1)を長さがIになるように必要な標本を補間
してaR′(i)(i=0,I−1)をつくる。そして
(5)式の値dを計算してこの原子パスのコストとす
る。dはaL(i)とaR′(i)の差の絶対値の和に区間
の長さの重みをつけたものであり、aL(i)とaR(i)
の相関が高いほど小さくなる。
ただしm′=mのときとn′=nのときは、その走査
線上では他方の走査線上の区間に対応する区間がない、
すなわちほかの被写体などに隠れて見えない場合なの
で、他方の走査線上の区間の長さに比例した値をその原
子パスのコストに当てる。J>Iの場合もaL(i)(i
=0,I−1)の方を補間して(5)式と同様にdを定め
ることができる。そして(0,0)から(4,5)にいたる可
能なルートについてそのルートに沿った原子パスのコス
トの和を求め、そのコストの和が最初となるルートを上
で述べた(0,0)から(4,5)にいたるパスとする。可能
なルートとは(0,0)から上で定義した原子パスを接続
して(4,5)にいたることができるルートである。
線上では他方の走査線上の区間に対応する区間がない、
すなわちほかの被写体などに隠れて見えない場合なの
で、他方の走査線上の区間の長さに比例した値をその原
子パスのコストに当てる。J>Iの場合もaL(i)(i
=0,I−1)の方を補間して(5)式と同様にdを定め
ることができる。そして(0,0)から(4,5)にいたる可
能なルートについてそのルートに沿った原子パスのコス
トの和を求め、そのコストの和が最初となるルートを上
で述べた(0,0)から(4,5)にいたるパスとする。可能
なルートとは(0,0)から上で定義した原子パスを接続
して(4,5)にいたることができるルートである。
こうして被写体を撮像した時にエッジとなる点の左走
査線上の位置と右走査線上の位置を求める。そしてこの
エッジの座標から(4)式によってこの被写体の点まで
の距離を求めることができる。エッジにはさまれた区間
に写っている被写体までの距離はその区間の両端にある
エッジとなる点までの距離から線形近似で求めることが
できる。以上説明したように撮像した時にエッジとなる
被写体の点の左走査線上の像と右走査線上の像を求め、
これから被写体までの距離を求めることができる。
査線上の位置と右走査線上の位置を求める。そしてこの
エッジの座標から(4)式によってこの被写体の点まで
の距離を求めることができる。エッジにはさまれた区間
に写っている被写体までの距離はその区間の両端にある
エッジとなる点までの距離から線形近似で求めることが
できる。以上説明したように撮像した時にエッジとなる
被写体の点の左走査線上の像と右走査線上の像を求め、
これから被写体までの距離を求めることができる。
また以上の説明では2台のTVカメラの光軸は平行と仮
定したが、このTVカメラの位置から光軸を同じ角度だけ
内側に傾けた場合についても同様にして被写体までの距
離を求めることができる。またここでは説明を簡単にす
るため2台のTVカメラの位置関係をこのように制限した
が、2台のTVカメラの位置関係が正確に求められていれ
ば一方のTVカメラで撮像した画像を変換して、他方のTV
カメラで撮像した画像と上に述べた関係になる画像を生
成できることがある。したがってこの場合にもここで述
べた両眼立体視の方法で被写体までの距離を求めること
ができる。さらに以上の説明では2台のTVカメラはまっ
たく同じ特性を持つと仮定したが、これらの特性が多少
違っていても、正しい対応に相当する原子パスのコスト
が正しくない対応の原子パスのコストに比べて小さけれ
ば、正しいパスが求められるので被写体までの距離を求
めることができる。また2台のTVカメラの特性の違いに
あまり影響されない原子パスのコストの決め方もある。
従って2台のTVカメラの特性が多少違っても両眼立体視
の方法で被写体までの距離を求めることができる場合が
多い。
定したが、このTVカメラの位置から光軸を同じ角度だけ
内側に傾けた場合についても同様にして被写体までの距
離を求めることができる。またここでは説明を簡単にす
るため2台のTVカメラの位置関係をこのように制限した
が、2台のTVカメラの位置関係が正確に求められていれ
ば一方のTVカメラで撮像した画像を変換して、他方のTV
カメラで撮像した画像と上に述べた関係になる画像を生
成できることがある。したがってこの場合にもここで述
べた両眼立体視の方法で被写体までの距離を求めること
ができる。さらに以上の説明では2台のTVカメラはまっ
たく同じ特性を持つと仮定したが、これらの特性が多少
違っていても、正しい対応に相当する原子パスのコスト
が正しくない対応の原子パスのコストに比べて小さけれ
ば、正しいパスが求められるので被写体までの距離を求
めることができる。また2台のTVカメラの特性の違いに
あまり影響されない原子パスのコストの決め方もある。
従って2台のTVカメラの特性が多少違っても両眼立体視
の方法で被写体までの距離を求めることができる場合が
多い。
(実施例) 第1図に本発明の画像処理方法の実施例のブロック図
を示す。第1図の画像処理方法の動作は次のようになっ
ている。TVカメラ1で撮像した画像の輝度及び色差信号
はNTSC信号に変換されて変調され、出力される。これは
標本化回路2で標本化され、A/D変換回路3でデジタル
信号に変換される。次にY/C分離回路13で輝度信号と色
差信号に分離される。またTVカメラ8で撮像した画像の
輝度及び色差信号はNTSC信号に変換されて変調され、出
力される。これは標本化回路9で標本化され、A/D変換
回路10でデジタル信号に変換される。次にY/C分離回路1
5で輝度信号と色差信号に分離される。ここでTVカメラ
1とTVカメラ2は光軸が並行で、それぞれのレンズの中
心が光軸に垂直な同一平面上にあり、それぞれの対応す
る走査線が同一直線上に載るように固定されており、TV
カメラ1と2は光学的特性、電気的特性が等しくなるよ
うに調整する。デジタル信号に変換されたTVカメラ1と
2の画像の輝度信号は両眼立体視処理11で作用の項に述
べた両眼立体視の処理をおこない、TVカメラ1で撮った
画像とTVカメラ2で撮った画像にともに写っている範囲
について各標本毎に、TVカメラ1のレンズの中心を通
り、光軸に垂直な平面からその標本に写っている被写体
までの距離を求める。そしてこの距離をデジタルフィル
タ12に出力する。デジタルフィルタ12は、TVカメラ1の
画像の輝度信号の各標本に対して両眼立体視処理11から
出力された距離によって特性が変わるデジタルフィルタ
をかける。そしてデジタルフィルタ12の出力とY/C分離
回路13で分離されたTVカメラ1の画像の色差信号をRGB
合成回路14で加算してRGB信号を合成する。そしてD/A変
換回路5でアナログ信号に変換され、LPF6で連続信号に
変換それ出力端子7に出力される。こうしてTVカメラで
撮った画像の輝度信号に、写っている被写体とTVカメラ
の間の距離によって特性が変わるデジタルフィルタをか
けている。
を示す。第1図の画像処理方法の動作は次のようになっ
ている。TVカメラ1で撮像した画像の輝度及び色差信号
はNTSC信号に変換されて変調され、出力される。これは
標本化回路2で標本化され、A/D変換回路3でデジタル
信号に変換される。次にY/C分離回路13で輝度信号と色
差信号に分離される。またTVカメラ8で撮像した画像の
輝度及び色差信号はNTSC信号に変換されて変調され、出
力される。これは標本化回路9で標本化され、A/D変換
回路10でデジタル信号に変換される。次にY/C分離回路1
5で輝度信号と色差信号に分離される。ここでTVカメラ
1とTVカメラ2は光軸が並行で、それぞれのレンズの中
心が光軸に垂直な同一平面上にあり、それぞれの対応す
る走査線が同一直線上に載るように固定されており、TV
カメラ1と2は光学的特性、電気的特性が等しくなるよ
うに調整する。デジタル信号に変換されたTVカメラ1と
2の画像の輝度信号は両眼立体視処理11で作用の項に述
べた両眼立体視の処理をおこない、TVカメラ1で撮った
画像とTVカメラ2で撮った画像にともに写っている範囲
について各標本毎に、TVカメラ1のレンズの中心を通
り、光軸に垂直な平面からその標本に写っている被写体
までの距離を求める。そしてこの距離をデジタルフィル
タ12に出力する。デジタルフィルタ12は、TVカメラ1の
画像の輝度信号の各標本に対して両眼立体視処理11から
出力された距離によって特性が変わるデジタルフィルタ
をかける。そしてデジタルフィルタ12の出力とY/C分離
回路13で分離されたTVカメラ1の画像の色差信号をRGB
合成回路14で加算してRGB信号を合成する。そしてD/A変
換回路5でアナログ信号に変換され、LPF6で連続信号に
変換それ出力端子7に出力される。こうしてTVカメラで
撮った画像の輝度信号に、写っている被写体とTVカメラ
の間の距離によって特性が変わるデジタルフィルタをか
けている。
デジタルフィルタ12はTVカメラ1で撮像され標本化さ
れた離散画像の輝度信号をa(m,n)(m,nはそれぞれ水
平方向、垂直方向の座標を表す整数とする)、出力され
る輝度信号をb(m,n),a(m−m1,n−n1)からb(m,
n)への寄与を表すデジタルフィルタのインパルス応答
をh(m1,n1;m,n)としたとき、(6)式で表される処
理を行うものである。
れた離散画像の輝度信号をa(m,n)(m,nはそれぞれ水
平方向、垂直方向の座標を表す整数とする)、出力され
る輝度信号をb(m,n),a(m−m1,n−n1)からb(m,
n)への寄与を表すデジタルフィルタのインパルス応答
をh(m1,n1;m,n)としたとき、(6)式で表される処
理を行うものである。
ここでh(m1,n1;m,n)が0でない範囲は、m,nにか
かわらずm1が−M1〜M1、n1が−N1〜N1としている。M1、
N1はすべてのm,nに対するインパルス応答の0でない範
囲が含まれるような値を選ぶ。このインパルス応答の例
を次に上げる。
かわらずm1が−M1〜M1、n1が−N1〜N1としている。M1、
N1はすべてのm,nに対するインパルス応答の0でない範
囲が含まれるような値を選ぶ。このインパルス応答の例
を次に上げる。
第1の例はTVカメラの撮像光学系による劣化を復元す
るフィルタである。TVカメラの撮像光学系の伝達関数は
レンズから被写体までの距離によって変わるので、撮像
した画像の劣化はそこに写っている被写体までの距離に
よって違う。したがって両眼立体視の方法で写っている
被写体までの距離を求め、それをもとに撮像光学系によ
る劣化を復元するフィルタを構成できる。まず撮像光学
系の伝達関数について説明する。これはたとえば文献
「J.W.Goodman,“Introduction to Fourier Optics"(M
cGraw-Hill 1968)」、「P.A.Stokseth,“Properties o
f a Defocused Optical System"(Journal of The Opti
cal Society of America Vol.59 No.10 1969)」に詳し
く述べられている。たとえばレンズが無収差で絞りが円
形の場合の伝達関数の周波数パラメタは対称性から、水
平方向、垂直方向の周波数をそれぞれu,vとして(7)
式の周波数sで表される。
るフィルタである。TVカメラの撮像光学系の伝達関数は
レンズから被写体までの距離によって変わるので、撮像
した画像の劣化はそこに写っている被写体までの距離に
よって違う。したがって両眼立体視の方法で写っている
被写体までの距離を求め、それをもとに撮像光学系によ
る劣化を復元するフィルタを構成できる。まず撮像光学
系の伝達関数について説明する。これはたとえば文献
「J.W.Goodman,“Introduction to Fourier Optics"(M
cGraw-Hill 1968)」、「P.A.Stokseth,“Properties o
f a Defocused Optical System"(Journal of The Opti
cal Society of America Vol.59 No.10 1969)」に詳し
く述べられている。たとえばレンズが無収差で絞りが円
形の場合の伝達関数の周波数パラメタは対称性から、水
平方向、垂直方向の周波数をそれぞれu,vとして(7)
式の周波数sで表される。
被写体が光軸に近い場所にある場合、被写体(その像
と同じ大きさになるように拡大縮小しているとする)か
らその像を生成する伝達関数をHL(s)とするとH
L(s)はレンズから被写体までの距離zoとピントが合
う距離のzfの関係により(8)式(9)式のようにな
る。
と同じ大きさになるように拡大縮小しているとする)か
らその像を生成する伝達関数をHL(s)とするとH
L(s)はレンズから被写体までの距離zoとピントが合
う距離のzfの関係により(8)式(9)式のようにな
る。
(i)zo=zf(ピントがあっている場合) (i)zo≠zf(ピントがあっていない場合) fL :レンズの焦点距離 l :円形開口の直径 B :レンズから撮像素子上の像までの距離 λ :撮像素子上の像を形成する光の波長の平均
(たとえば550nm) Wmax :光軸上の被写体の像を形成する光の光路差
の最大値 Jn(X) :n次の第1種Besse1関数 この場合には(8)式、(9)式からわかるように
zo,zf,lおよびfLからHL(s)が計算できる。このうち
zf、lおよびfLは撮像時のTVカメラの撮像光学系の設定
値なので撮像する時に求めておくことができる。またzo
は前述したように両眼立体視の方法で求めることができ
るのでTVカメラで撮像した画像の各標本に対するH
L(s)を計算できる。したがって撮像光学系の伝達関
数HL(s)によって劣化している画像を復元する復元フ
ィルタを構成することができる。復元フィルタにはいろ
いろな構成のしかたがあり、たとえば文献「0 Plus E別
冊、“画像処理アルゴリズムの最新動向”、高木、鳥
脇、田村編、新技術コミュニケーションズ社の第3章画
像復元」に詳しく説明されている。ここではこの中から
ウイーナー(Wiener)フィルタを使った復元フィルタを
説明する。ウイーナーフィルタの伝達関数をW(s)
(sは(7)式で表される周波数)とすると、W(s)
は撮像光学系の伝達関数HL(s)としたとき、(10)式
のように表される。
(たとえば550nm) Wmax :光軸上の被写体の像を形成する光の光路差
の最大値 Jn(X) :n次の第1種Besse1関数 この場合には(8)式、(9)式からわかるように
zo,zf,lおよびfLからHL(s)が計算できる。このうち
zf、lおよびfLは撮像時のTVカメラの撮像光学系の設定
値なので撮像する時に求めておくことができる。またzo
は前述したように両眼立体視の方法で求めることができ
るのでTVカメラで撮像した画像の各標本に対するH
L(s)を計算できる。したがって撮像光学系の伝達関
数HL(s)によって劣化している画像を復元する復元フ
ィルタを構成することができる。復元フィルタにはいろ
いろな構成のしかたがあり、たとえば文献「0 Plus E別
冊、“画像処理アルゴリズムの最新動向”、高木、鳥
脇、田村編、新技術コミュニケーションズ社の第3章画
像復元」に詳しく説明されている。ここではこの中から
ウイーナー(Wiener)フィルタを使った復元フィルタを
説明する。ウイーナーフィルタの伝達関数をW(s)
(sは(7)式で表される周波数)とすると、W(s)
は撮像光学系の伝達関数HL(s)としたとき、(10)式
のように表される。
ここでδは劣化する前の画像と雑音の相対的な大きさ
をもとに決められる定数である。このウイーナーフィル
タはHL(s)の絶対値がδに比べて大きい周波数では、
ほぼ1/HL(s)の特性を示してHL(s)の特性を補正
し、またHL(s)の絶対値がδに比べて小さい周波数で
は、W(s)の利得が大きくなるのをδで抑えて不安定
性を回避する特性を有している。
をもとに決められる定数である。このウイーナーフィル
タはHL(s)の絶対値がδに比べて大きい周波数では、
ほぼ1/HL(s)の特性を示してHL(s)の特性を補正
し、またHL(s)の絶対値がδに比べて小さい周波数で
は、W(s)の利得が大きくなるのをδで抑えて不安定
性を回避する特性を有している。
復元は次のようにおこなう。先ず両眼立体視の方法で
a(m,n)に写っている被写体までの距離(以下z(m,
n)で表す)を求め、これと撮像時に図っておいたzf、
l、fLから(8)式、(9)式に従い各標本毎にH
L(s)を求め、それから(10)式に従ってW(s)を
計算し、これを逆フーリエ変換してインバルス応答に変
換する。そしてこれからh(m1,n1;m,n)を構成する。
離散信号に対するフーリエ変換、逆フーリエ変換は離散
逆フーリエ変換を使って実行できる。この場合h(m1,
n1;m,n)はz(m,n)の関数となり、z(m,n)の等しい
標本点に対するh(m1,n1;m,n)は等しくなる。
a(m,n)に写っている被写体までの距離(以下z(m,
n)で表す)を求め、これと撮像時に図っておいたzf、
l、fLから(8)式、(9)式に従い各標本毎にH
L(s)を求め、それから(10)式に従ってW(s)を
計算し、これを逆フーリエ変換してインバルス応答に変
換する。そしてこれからh(m1,n1;m,n)を構成する。
離散信号に対するフーリエ変換、逆フーリエ変換は離散
逆フーリエ変換を使って実行できる。この場合h(m1,
n1;m,n)はz(m,n)の関数となり、z(m,n)の等しい
標本点に対するh(m1,n1;m,n)は等しくなる。
インパルス応答h(m1,n1;m,n)の第2の例として撮
像時の撮像光学系のパラメタであるzf、lを変更するフ
ィルタについて説明する。これはzf、lとして撮像した
画像からはzf′、l′で撮像した画像生成する処理であ
る。すなわちピントの合う距離を変えたり、被写界深度
を変えるフィルタである。この処理はzf、lで撮像した
画像の劣化を第1の例で説明したようにして復元した
後、zf′、l′とした撮像光学系のフィルタをかけるこ
とにより実現できる。この処理は次のようなデジタルフ
ィルタになる。zf、lに設定したTVカメラ1で撮像され
標本化された離散画像の輝度信号をa(m,n)、以前に
説明した両眼立体視の方法で求めたa(m,n)に写って
いる被写体までの距離をz(m,n)、第1の例に示した
この撮像光学系による劣化を復元するデジタルフィルタ
のインパルス応答をh(m1,n1;m,n)(範囲はm,nにか
かわらずm1が−M1〜M1、n1が−N1〜N1とする)。復元さ
れた輝度信号をc(m,n)、z(m,n)とzf′、l′およ
びfLから(8)式、(9)式に従って、求めた撮像光学
系の伝達関数を逆フーリエ変換して得たインパルス応答
から構成されるデジタルフィルタのインパルス応答をh2
(m2,n2;m,n)(範囲はm,nにかかわらずm2が−M2〜
M2、n2が−N2〜N2とする。M2、N2はすべてのm,nに対す
るインパルス応答の0でない範囲が含まれるような値を
選ぶ)、出力される輝度信号をb(m,n)とするとb
(m,n)は(6)式から(11)式のように表される。
像時の撮像光学系のパラメタであるzf、lを変更するフ
ィルタについて説明する。これはzf、lとして撮像した
画像からはzf′、l′で撮像した画像生成する処理であ
る。すなわちピントの合う距離を変えたり、被写界深度
を変えるフィルタである。この処理はzf、lで撮像した
画像の劣化を第1の例で説明したようにして復元した
後、zf′、l′とした撮像光学系のフィルタをかけるこ
とにより実現できる。この処理は次のようなデジタルフ
ィルタになる。zf、lに設定したTVカメラ1で撮像され
標本化された離散画像の輝度信号をa(m,n)、以前に
説明した両眼立体視の方法で求めたa(m,n)に写って
いる被写体までの距離をz(m,n)、第1の例に示した
この撮像光学系による劣化を復元するデジタルフィルタ
のインパルス応答をh(m1,n1;m,n)(範囲はm,nにか
かわらずm1が−M1〜M1、n1が−N1〜N1とする)。復元さ
れた輝度信号をc(m,n)、z(m,n)とzf′、l′およ
びfLから(8)式、(9)式に従って、求めた撮像光学
系の伝達関数を逆フーリエ変換して得たインパルス応答
から構成されるデジタルフィルタのインパルス応答をh2
(m2,n2;m,n)(範囲はm,nにかかわらずm2が−M2〜
M2、n2が−N2〜N2とする。M2、N2はすべてのm,nに対す
るインパルス応答の0でない範囲が含まれるような値を
選ぶ)、出力される輝度信号をb(m,n)とするとb
(m,n)は(6)式から(11)式のように表される。
(11)式からm1+m2をm3、n1+n2をn3として新しい変
数m3、n3によって(11)式で表されるデジタルフィルタ
を(12)式のように書き換えることができる。
数m3、n3によって(11)式で表されるデジタルフィルタ
を(12)式のように書き換えることができる。
ただしh3(m3,n3;m,n)は(11)式のh2(m2,n2;m,
n)h1(m1,n1;m−m2,n−n2)のうちm1+m2がm3、n1+n
2がn3となる項を加算したものである。したがってこのh
3(m3,n3;m,n)の計算するのにz(m,n)だけでなくま
わりのz(m3,n3)(m3はm−M1−M2〜m+M1+M2、n3
はn−N1−N2〜n+N1+N2)が必要になる。そしてこの
h3(m3,n3;m,n)が(6)式のインパルス応答になる。
n)h1(m1,n1;m−m2,n−n2)のうちm1+m2がm3、n1+n
2がn3となる項を加算したものである。したがってこのh
3(m3,n3;m,n)の計算するのにz(m,n)だけでなくま
わりのz(m3,n3)(m3はm−M1−M2〜m+M1+M2、n3
はn−N1−N2〜n+N1+N2)が必要になる。そしてこの
h3(m3,n3;m,n)が(6)式のインパルス応答になる。
第2の例でz(m,n)によりh2(m2,n2;m,n)を変え
てもよい。たとえばzf′<zo<zf″としてz(m,n)<z
oとなる標本ではzf′、l′である撮像光学系のフィル
タをかけ、zo≦z(m,n)となる標本ではzf″、l″で
ある撮像光学系のフィルタをかけるようにすれば、zf′
とzf″にピントがあってzo付近にはピントが合っていな
い画像を生成することもできる。
てもよい。たとえばzf′<zo<zf″としてz(m,n)<z
oとなる標本ではzf′、l′である撮像光学系のフィル
タをかけ、zo≦z(m,n)となる標本ではzf″、l″で
ある撮像光学系のフィルタをかけるようにすれば、zf′
とzf″にピントがあってzo付近にはピントが合っていな
い画像を生成することもできる。
撮像光学系の開口が円形でない場合の伝達関数は周波
数パラメタをu、vとして(8)式、(9)式と同様に
計算でき。またこの場合も(10)時と同様に復元フィル
タを構成できる。また実際には無収差のレンズを作るの
は難しいが、収差があってもそれが小さければ伝達関数
を無収差レンズの伝達関数で近似できるので本発明の画
像処理方法は有効である。またここでは撮像光学系の伝
達関数から構成されるディジタルフィルタのみについて
述べたが、撮像光学系とは無関係の、被写体までの距離
で特性が決まるディジタルフィルタをかけてもよい。
数パラメタをu、vとして(8)式、(9)式と同様に
計算でき。またこの場合も(10)時と同様に復元フィル
タを構成できる。また実際には無収差のレンズを作るの
は難しいが、収差があってもそれが小さければ伝達関数
を無収差レンズの伝達関数で近似できるので本発明の画
像処理方法は有効である。またここでは撮像光学系の伝
達関数から構成されるディジタルフィルタのみについて
述べたが、撮像光学系とは無関係の、被写体までの距離
で特性が決まるディジタルフィルタをかけてもよい。
(発明の効果) 以上説明したように本発明の画像の処理方法により従
来の処理方法ではできなかった。被写体までの距離に応
じたフィルタをかけることができる。このような画像処
理方法は、奥行きを持っている被写体カメラからの距離
が異なるいくつかの被写体を、被写界深度が狭い撮像光
学系で撮った場合の画像処理に特に有効である。
来の処理方法ではできなかった。被写体までの距離に応
じたフィルタをかけることができる。このような画像処
理方法は、奥行きを持っている被写体カメラからの距離
が異なるいくつかの被写体を、被写界深度が狭い撮像光
学系で撮った場合の画像処理に特に有効である。
第1図は本発明の画像処理方法のブロック図、第2図は
従来の画像処理方法のブロック図、第3図は左右のTVカ
メラによる像の形成を説明する図、第4図はzとXL、XR
の関係を説明する図、第5図は左右の走査線上の画像の
対応探索方法を説明する図である。 図において、1,8:TVカメラ、2,9:標本化回路、3,10:A/D
変換回路、4,12:ディジタルフィルタ、5:D/A変換回路、
6:LPF、11:両眼立体視処理、13,15:Y/C分離回路、14:RG
B合成回路、30,31:レンズ、32,33:画像、34:左画像、3
5:右画像。
従来の画像処理方法のブロック図、第3図は左右のTVカ
メラによる像の形成を説明する図、第4図はzとXL、XR
の関係を説明する図、第5図は左右の走査線上の画像の
対応探索方法を説明する図である。 図において、1,8:TVカメラ、2,9:標本化回路、3,10:A/D
変換回路、4,12:ディジタルフィルタ、5:D/A変換回路、
6:LPF、11:両眼立体視処理、13,15:Y/C分離回路、14:RG
B合成回路、30,31:レンズ、32,33:画像、34:左画像、3
5:右画像。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 G06T 5/20 G06T 1/00 JICSTファイル(JOIS)
Claims (2)
- 【請求項1】被写体を第1のカメラにより第1の位置か
ら撮像して得た第1の画像において前記被写体の像の位
置を求め、前記被写体を前記第1のカメラあるいは第2
のカメラにより前記第1の位置とは異なる位置から撮像
して得た第2の画像において前記被写体の位置を求め、
前記第1および第2の画像における前記被写体の像の位
置の差から前記被写体と前記第1のカメラの距離を求
め、前記第1の画像の前記被写体の像に前記被写体と前
記第1のカメラの距離によって異なる特性を持つフィル
タをかけることを特徴とする画像処理方法。 - 【請求項2】第1の被写体および前記第1の被写体の周
辺にある被写体を第1のカメラにより第1の位置から撮
像して得た第1の画像において前記第1の被写体および
前記第1の被写体の周辺にある被写体の像の位置を求
め、前記第1の被写体および前記第1の被写体の周辺に
ある被写体を前記第1のカメラあるいは第2のカメラに
より前記第1の位置とは異なる位置から撮像して得た第
2の画像において前記第1の被写体および前記第1の被
写体の周辺にある被写体の像の位置を求め、前記第1お
よび第2の画像における前記第1の被写体及び前記第1
の被写体の周辺にある被写体の像の位置の差から前記第
1の被写体および前記第1の被写体の周辺にある被写体
と前記第1のカメラの距離を求め、前記第1の画像の前
記第1の被写体の像に前記第1の被写体および前記第1
の被写体の周辺にある被写体と前記第1のカメラの距離
の組合せによって異なる特性を持つフィルタをかけるこ
とを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP63326804A JP2780296B2 (ja) | 1988-12-23 | 1988-12-23 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP63326804A JP2780296B2 (ja) | 1988-12-23 | 1988-12-23 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH02171867A JPH02171867A (ja) | 1990-07-03 |
JP2780296B2 true JP2780296B2 (ja) | 1998-07-30 |
Family
ID=18191894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP63326804A Expired - Lifetime JP2780296B2 (ja) | 1988-12-23 | 1988-12-23 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2780296B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5293950B2 (ja) * | 2008-03-04 | 2013-09-18 | 株式会社リコー | 個人認証装置及び電子機器 |
-
1988
- 1988-12-23 JP JP63326804A patent/JP2780296B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
ステレオ画像処理を用いた被写界深度変更方法の検討 林 直哉、愛甲進一、西谷隆夫 電子情報通信学会全国大会講演論文集 Vol.1989,No.Spring Pt.7 Page.7.254 |
Also Published As
Publication number | Publication date |
---|---|
JPH02171867A (ja) | 1990-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8885067B2 (en) | Multocular image pickup apparatus and multocular image pickup method | |
RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
US5602584A (en) | Apparatus for producing a panoramic image using a plurality of optical systems | |
CN108462830B (zh) | 摄像装置及摄像装置的控制方法 | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
KR20190089922A (ko) | 광학 시스템 수차들의 디지털 보정 | |
JPH06243250A (ja) | 光学像の合成方法 | |
JPH0380676A (ja) | 電子パンフォーカス装置 | |
JP2014138290A (ja) | 撮像装置及び撮像方法 | |
JP2018174502A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP3084130B2 (ja) | 画像入力装置 | |
JP2001208524A (ja) | 画像処理装置及び画像処理方法 | |
JP2012256118A (ja) | 画像復元装置およびその方法 | |
JPH05300421A (ja) | 自動焦点調節装置 | |
JP2780296B2 (ja) | 画像処理方法 | |
JP3000587B2 (ja) | 画像処理方法 | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP6728020B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11108944B2 (en) | Image processing apparatus for providing information for confirming depth range of image, control method of the same, and storage medium | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP7262940B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP4280957B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
EP1522961A2 (en) | Deconvolution of a digital image | |
JP2001298657A (ja) | 映像形成方法及び装置 | |
JP2002277730A (ja) | 電子カメラの自動焦点制御方法、装置及びプログラム |