JP4156893B2 - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP4156893B2 JP4156893B2 JP2002283818A JP2002283818A JP4156893B2 JP 4156893 B2 JP4156893 B2 JP 4156893B2 JP 2002283818 A JP2002283818 A JP 2002283818A JP 2002283818 A JP2002283818 A JP 2002283818A JP 4156893 B2 JP4156893 B2 JP 4156893B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- pair
- difference
- binocular parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 103
- 238000000034 method Methods 0.000 title claims description 35
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 description 37
- 230000015654 memory Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 230000009467 reduction Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 230000006837 decompression Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は画像処理装置、方法及びプログラムに係り、特に、両眼視差に相当する相違が生ずるように生成された一対の画像の画質を向上させる画像処理方法、該画像処理方法が適用された画像処理装置、及び、コンピュータを前記画像処理装置として機能させるためのプログラムに関する。
【0002】
【従来の技術】
立体視が可能なステレオ画像(ステレオ写真、立体写真ともいう)は、両眼視差に相当する相違が生じるように撮影された一対の画像(静止画像又は動画像)から成り、裸眼、或いはビューア等の器具を用いることで立体感を楽しむことができる。ステレオ画像は、例えば人間の両眼の間隔(瞳孔間隔)と略同一又はそれ以上の距離を隔てた2点において、同一の被写体を各々撮影することで得ることができるが、ステレオ画像の撮影は、専用のカメラを用いる以外に、通常のカメラを2台並べる等の低コストかつ簡易的な方法でも実現可能であり、現時点では一部のユーザに普及している程度であるが、今後は広範に普及する可能性もある。
【0003】
一方、光学像を撮像素子により光電変換し、該光電変換によって得られた画像信号をデジタルデータへ変換することで得られるデジタル画像のノイズ低減としては、従来より種々の手法が知られており、例えば原画像を複数の小ブロックに分割し、各小ブロック毎に、ブロック内の画像データの特徴を代表的に表すテンプレートプロファイルを算出し、算出したテンプレートプロファイルを用いて当該ブロック内の元の画像データプロファイルを近似し、該近似によって得られた元の画像データを置換することで画像データのノイズを除去する手法がある(例えば特許文献1参照)。
【0004】
また、例えば原画像データに対して平滑化・エッジ検出を行い、平滑化画像データから被写体のエッジとノイズが混在する混在画像データを求め、エッジ検出で求めたエッジ強度データからノイズの重み付け係数を求め、ノイズの重み付け係数と混在画像データからノイズデータを求める一方、ノイズ抑制の広がりを表すノイズ抑制分布関数を設定し、この関数とノイズデータとの畳み込み積分を行ってノイズ抑制分布を算出し、ノイズデータにノイズ抑制分布を乗じてノイズ抑制成分を求め、このノイズ抑制成分を変倍して画像データから減算することでノイズを抑制する手法もある(例えば特許文献2参照)。
【0005】
更に、例えばフィルム原稿を光電的に読み取って得られた入力画像信号を高周波成分とそれ以外の成分に分解し、高周波成分を強調すると共に、フィルム原稿がアンダーネガ又は高感度フィルムの少なくとも一方である場合には、最も低い周波数成分の帯域がより狭くなるように、高周波成分以外の成分を2以上の成分に分解し、高周波成分及び最も低い周波数成分以外の周波数成分を抑制することで粒状(ノイズ)を抑制する手法もある(例えば特許文献3参照)。
【0006】
【特許文献1】
特開2001−144964公報
【特許文献2】
特開平2001−285640公報
【特許文献3】
特開平11−275350号公報
【0007】
【発明が解決しようとする課題】
本願発明者等は、2台のデジタルスチルカメラ(DSC)を用いてステレオ画像を撮影し、撮影したステレオ画像をフィルム等の記録材料に記録し、立体視して画質を評価する実験を行った。その結果、ステレオ画像の左右の画像に両眼視差に相当する相違以外の相違が生じている場合、当該ステレオ画像を立体視すると、前記両眼視差に相当する相違以外の相違が、非常に顕著な画質欠陥として視認されることが明らかになった。
【0008】
例えばDSCによって撮影された画像は、撮像素子として内蔵されているCCDの特性により、特に高濃度の部分(撮影したシーン全体のうち撮影時の入射光量の低い部分)に視認可能なノイズが生ずる。このノイズは単一の画像を目視している限りはそれ程目立たないが、ランダムなノイズであるため、ステレオ画像の左右の画像に異なるパターンのノイズとして現れることになり、このようなノイズが生じているステレオ画像を立体視すると、鑑賞者には、ノイズのパターンが空間上に浮いており、且つちらついているように見え、単一の画像を目視している場合と比較してノイズが顕著に視認されることになる。
【0009】
上記の現象は、人間の視覚が、両眼で知覚した左右像のうちの相違している部分に感度が高い特性を有しており、左右像のうちの相違している部分を認識した鑑賞者の脳が、過去の経験から金属等の光沢と解釈して処理することが原因ではないかと推察される。
【0010】
これに対し、先に述べたデジタル画像のノイズ低減の手法は、何れも単一の画像を対象としたものであり、各手法をステレオ画像の個々の画像に適用したとしても、ステレオ画像を立体視する場合に顕著に視認される画質欠陥を軽減又は解消することは困難であった。
【0011】
本発明は上記事実を考慮して成されたもので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる画像処理装置、画像処理方法及びプログラムを得ることが目的である。
【0012】
【課題を解決するための手段】
上記目的を達成するために請求項1記載の発明に係る画像処理装置は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段と、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段と、を含んで構成されている。
【0013】
本発明に係る一対の画像(両眼視差に相当する相違が生ずるように生成された一対の画像)としては、例えばカメラ等の撮影手段を用い、人間の両眼の間隔と略同一又はそれ以上の距離を隔てた2点で同一の被写体を各々撮影することで生成された画像が挙げられ、例えば請求項4に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができるが、両眼視差に相当する相違が生ずるようにCG(Computer Graphics)によって生成された画像であってもよい。また、前記一対の画像は、両眼視差に相当する相違が生ずるように生成された一対の動画像から各々取り出した静止画像であってもよい。
【0014】
本発明に係る一対の画像は両眼視差に相当する相違が生ずるように生成されているので、本発明に係る一対の画像には両眼視差に相当する像構造の幾何学的な相違が生じている。これを考慮し、請求項1記載の発明に係る認識手段は、両眼視差に相当する相違が生ずるように生成された一対の画像における両眼視差に相当する像構造の幾何学的な相違を認識する。なお、認識手段による像構造の幾何学的な相違の認識は、具体的には、例えば請求項2に記載したように、一対の画像のマッチングを行うことによって実現できる。上記のマッチングには、例えば一対の画像上の対応する点対を求めるポイントパターン・マッチングや、一対の画像上の対応する線セグメント対を求めるラインパターン・マッチング等を適用できる。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違を精度良く認識することができる。
【0015】
また、本発明に係る一対の画像において、像構造の幾何学的な相違以外の相違を生じさせるノイズ成分の重畳には、詳しくは、一対の画像のうちの一方の画像にのみノイズ成分が重畳される場合と、一対の画像に相互に異なるノイズ成分が重畳される場合がある。例えば、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンを各々撮影することで一対の画像を生成する態様において、特定撮像素子の画素欠陥や、特定撮像素子の入射光学系への塵埃の付着等があれば、一対の画像のうちの一方の画像にのみノイズ成分(明瞭に視認可能な欠陥部として現れることも多い)が重畳されることで一対の画像に相違が生じ、個々の撮像素子でランダムなノイズが発生される等の場合には、一対の画像に相互に異なるノイズ成分が各々重畳されることで一対の画像に相違が生ずる。
【0016】
上記に基づき請求項1記載の発明に係る処理手段は、一対の画像を各々部分領域に分割し、認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、一対の画像において像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断する。これにより、一対の画像における両眼視差に相当する像構造の幾何学的な相違の影響を排除して、一対の画像に顕著な画質欠陥として認識される相違を生じさせているノイズ成分(一方の画像にのみ重畳しているノイズ成分や、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分)を正確に判断することができる。
【0017】
そして、請求項1記載の発明に係る処理手段は、一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去する処理、及び、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方(望ましくは両方)を行う。これにより、両眼視差に相当する相違が生ずるように生成された一対の画像における、両眼視差に相当する像構造の幾何学的な相違以外の相違を生じさせているノイズ成分、すなわち一対の画像を立体視した場合に顕著な画質欠陥として認識されるノイズ成分が減少されるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
【0021】
また、一対の画像上の対応する領域に相互に異なるノイズ成分が各々重畳している場合、重畳されているノイズ成分を一対の画像から各々除去するようにしてもよいが、ノイズ成分を完全に除去すると逆に不自然な画像に感じられることがある。上記を考慮すると、請求項1記載の発明において、処理手段は、例えば請求項3に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。これにより、一対の画像に各々重畳されたノイズ成分の相違が小さくされることで、一対の画像を立体視した場合の画質を向上させることができると共に、不自然な画像に感じられることも回避することができる。
【0022】
請求項5記載の発明に係る画像処理方法は、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識し、前記一対の画像を各々部分領域に分割し、前記認識した一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行うので、請求項1記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項5記載の発明において、例えば請求項6に記載したように、両眼視差に相当する像構造の幾何学的な相違を、一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項5記載の発明において、例えば請求項7に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項5記載の発明において、一対の画像としては、例えば請求項8に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【0023】
請求項9記載の発明に係るプログラムは、コンピュータを、両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段、及び、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段として機能させるので、請求項9記載の発明に係るプログラムをコンピュータが実行することで、当該コンピュータを請求項1記載の発明に係る画像処理装置として機能させることができる。従って、請求項1記載の発明と同様に、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる。
なお、請求項9記載の発明において、認識手段は、例えば請求項10に記載したように、前記前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することが好ましい。
また、請求項9記載の発明において、処理手段は、例えば請求項11に記載したように、一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することが好ましい。
また、請求項9記載の発明において、一対の画像としては、例えば請求項12に記載したように、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像を適用することができる。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図1には、本発明に係る画像処理装置としての機能を備えたデジタル双眼鏡10が示されている。デジタル双眼鏡10は、人間の両眼の間隔と略同じ距離を隔てて軸線が互いに平行となるように配置された2個の筒体12A,12Bが連結されると共に、正面から見て左側に、本体の把持を容易とするための突起(把持部)12Cが形成された形状とされている。なお、筒体12A,12Bの間隔を調整可能とする機構(眼幅調整機構)が設けられていてもよい。
【0025】
筒体12A,12Bの上方には、低照度での撮影等の場合に補助光を発するためのストロボ14が取付けられており、デジタル双眼鏡10本体の上面には、別体のストロボを取り付けるためのブラケット16が設けられている。また、把持部12Cの上面にはシャッタボタン18が各々設けられており、図示は省略するが、把持部12Cの側面には、スマートメディア(R)、コンパクトフラッシュ(R)、メモリスティック(R)等の各種記録メディアの何れかを装填可能なスロットが設けられている。
【0026】
なお、以下では筒体12A,12B内に収納された光学系、及び該光学系に対応して設けられた電気系の構成を順に説明するが、筒体12A,12B内に収納された光学系は同一の構成であり、これらの光学系に対応して各々設けられた電気回路も同一の構成とされている。このため、以下では筒体12Aに対応する光学系及び電気系と、筒体12Bに対応する光学系及び電気系を区別せずに説明するが、必要に応じて、筒体12Aに対応する光学系及び電気系の構成要素には符号「A」、筒体12Aに対応する光学系及び電気系の構成要素には符号「B」を付して区別する。
【0027】
筒体12A,12Bには筒体の正面側の開口を閉止するように対物レンズ20A,20Bが各々取付けられている。図2には筒体12A,12B内に設けられた光学系の構成を示す。なお、筒体12A,12B内に設けられた光学系は互いに同一の構成であるので、図2は筒体12A,12Bの一方に設けられた光学系のみを示す。図2にも示すように、対物レンズ20は、詳しくは複数枚のレンズから成るズームレンズ(焦点距離可変レンズ)であり、オートフォーカス(AF)機構を備えている。対物レンズ20の光学倍率(ズーム倍率)は、筒体12A,12Bの外周に設けられた操作リング13を回動させることで調節可能とされている。なお、モータの駆動力で光学倍率(ズーム倍率)を調節する構成を採用してもよい。また、対物レンズ20としてAF機構のみを備えた焦点距離固定レンズを用いてもよい。
【0028】
対物レンズ20の光射出側には第1プリズム22、第2プリズム24、接眼レンズ26が順に設けられている。なお、図2では接眼レンズ26を単一枚のレンズとして示しているが、実際には複数枚のレンズから成り、左右の接眼レンズ26A,26Bには視度調節機構が各々設けられている。また、第1プリズム22に入射された光が反射面22Aで射出されたときの射出方向下流側には、レンズ28、エリアCCD等から成る撮像素子30が順に配置されている。第1プリズム22は、対物レンズ20を介して入射された光を撮像素子30側及び第2プリズム24側の少なくとも一方へ射出すると共に、撮像素子30側及び第2プリズム24側への光の射出割合を変更可能とされている。
【0029】
また、第2プリズム24の側方にはレンズ32、表示デバイス34が順に配置されている。なお、表示デバイス34はカラー画像を所定値以上の輝度で表示可能な表示デバイスであればよく、例えばバックライト付きのカラーLCDや、R,G,B各色のLEDがマトリクス状に配置されて成るLEDディスプレイ等で構成することができる。
【0030】
表示デバイス34及びレンズ32は、表示デバイス34から射出された光がレンズ32を介して第2プリズム24へ入射され、反射面24Aで反射された場合には接眼レンズ26側へ射出されるように配置位置が調整されている。第2プリズム24は、表示デバイス34からの光及び第1プリズム24からの光の少なくとも一方を接眼レンズ26へ射出すると共に、表示デバイス34からの光及び第1プリズム24からの光を接眼レンズ26へ射出する割合を変更可能とされている。
【0031】
なお、接眼レンズ26を凸レンズで構成すると共に、対物レンズ20と第1プリズム22の間、或いは第1プリズム22と第2プリズム24の間にポロプリズム等のプリズムを設けることで、対物レンズ20A.20Bの光軸の間隔を人間の両眼の間隔(瞳孔間隔)よりも広くしてもよい。これにより、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像を目視した際の被写体の遠近感を更に拡大することができる。
【0032】
次に、デジタル双眼鏡10の電気系の構成について図3を参照して説明する。デジタル双眼鏡10は駆動回路36を備えており、対物レンズ20のAF機構及びズーム機構は駆動回路36によって駆動される。また、撮像素子30は、詳しくは対物レンズ20及びレンズ28から成る光学系の焦点位置に相当する位置に配置されており、第1プリズム22が入射光の一部又は全部を撮像素子30側へ反射する状態に制御されている場合、被写体を反射して対物レンズ20に入射された光は、第1プリズム22の反射面22Aで反射され、レンズ28を介して撮像素子30の受光面に結像される。撮像素子30は、駆動回路36が内蔵しているタイミング発生回路(図示省略)によって発生されたタイミング信号に同期したタイミングで駆動され、画像信号(受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表す信号)を所定周期で出力する。
【0033】
レンズ28と撮像素子30との間にはシャッタ/絞り38が配置されている。シャッタ及び絞りも駆動回路36によって駆動される。シャッタは撮像素子30から画像信号が出力されるときに、撮像素子30の受光面に光が入射することでスミアが発生することを防止するためのものであり、撮像素子30の構成によっては省略可能である。また絞りは、絞り量を連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切替える構成であってもよい。
【0034】
また、デジタル双眼鏡10はストロボ駆動回路38を備えており、ストロボ駆動回路38はストロボ14に接続されている。ストロボ14は、低照度であることが検出された場合や、ユーザによって発光が指示された場合に、ストロボ駆動回路38によって発光される。
【0035】
撮像素子30の信号出力端にはアナログ信号処理部40、A/D変換器42、デジタル信号処理部44、メモリ46、内蔵メモリ48が順に接続されている。アナログ信号処理部40は、撮像素子30から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ信号処理部40から出力された画像信号は、A/D変換器42によってデジタルの画像データに変換されてデジタル信号処理部44へ入力される。デジタル信号処理部44では、入力された画像データに対して色補正・γ補正・Y/C変換等の各種処理を行う。デジタル信号処理部44から出力された画像データは、RAM等で構成されたメモリ46に一時記憶される。
【0036】
また、メモリ46にはFIFO(First In First Out)メモリから成り複数フレーム分の画像データを記憶可能な記憶容量を有する内蔵メモリ48が接続されている。被写体からの光が対物レンズ20、第1プリズム22及びレンズ28を介して撮像素子30に入射されている間、撮像素子30からは所定周期で画像信号が出力されるので、メモリ46にも所定周期で画像データが入力され、メモリ46に一時記憶される画像データは所定周期で更新されると共に、メモリ46に一時記憶された画像データは順次内蔵メモリ48に記憶される。従って、内蔵メモリ48には、常に最新の複数フレーム分の画像データが記憶される。
【0037】
また、メモリ46には表示デバイス34が接続されている。表示デバイス34には、入力された画像データを、該画像データが表す画像を表示デバイス34に表示させるための表示制御信号へ変換する信号処理回路と、信号処理回路によって生成された表示制御信号に応じて表示デバイス34を駆動することで、入力された画像データが表す画像を表示デバイス34に表示させる駆動回路が付加されており、メモリ46に記憶された画像データは表示デバイス34にも出力され、表示デバイス34に画像(動画像)として表示される。
【0038】
駆動回路36、ストロボ駆動回路38,アナログ信号処理部40、A/D変換器42、デジタル信号処理部44、メモリ46、内蔵メモリ48及び圧縮伸張部50(後述)はバス52に接続されており、このバス52には、CPU54が接続されている。図示は省略するが、CPU54はROM、RAM、不揮発性メモリ(記憶内容を書替え可能なメモリ:例えばEEPROM等)、入出力ポート等の周辺回路を含んで構成されており、ROMには、後述するノイズ低減処理を行うためのノイズ低減プログラムが予め書き込まれている。なお、このノイズ低減プログラムは本発明に係るプログラムに対応している。
【0039】
またバス52には、各種のスイッチ類(例えば電源スイッチや動作モード切替スイッチ等:図1では図示省略)から成る操作スイッチ56、シャッタボタン18が操作されることでオンオフされるシャッタスイッチ58、ジャイロセンサ等から成りデジタル双眼鏡10の姿勢変化を検出する姿勢角センサ60が各々接続されており、第1プリズム22及び第2プリズム24も接続されている。第1プリズム22及び第2プリズム24の光の射出割合はCPU54によって制御される。
【0040】
また、圧縮伸張部50A,50Bにはスロットに装填された記録メディア62が接続される。シャッタボタン18が操作されてシャッタスイッチ58がオンされた等により、スロットに装填された記録メディア62への画像データの書き込みが指示されると、CPU54は内蔵メモリ48A,48Bから画像データを読み出して圧縮伸張部50A,50Bへ転送する。これにより、圧縮伸張部50A,50Bへ転送された画像データは、圧縮伸張部50A,50Bで圧縮された後に所定の形式(例えばEXIF形式)の画像ファイルとして記録メディア62に書き込まれる。
【0041】
なお、記録メディア62へ書き込まれる画像データの画素数は、記録画素数の設定に応じて相違すると共に、画像データに対する圧縮率も画質モードとして予め設定されたモードによって相違しており、画質モードによっては画像データが圧縮されることなく記録メディア62に書き込まれる場合もある。
【0042】
また、スロットに装填された記録メディア62に格納されている画像データが表す画像の再生(表示)が指示された場合には、記録メディア62から画像データが読み出され、読み出された画像データが圧縮されて格納されていた場合には、該被圧縮画像データが圧縮伸張部50A,50Bで伸張(解凍)された後にメモリ46A,46Bへ転送される。そして、メモリ46A,46Bに一時記憶された画像データを用いて表示デバイス34A,34Bへの画像の表示(再生)が行われる。
【0043】
次に本実施形態の作用を説明する。本実施形態に係るデジタル双眼鏡10には、動作モードとして、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像を目視するための光学像目視モード、撮像素子30によって撮影され表示デバイス34に表示された画像を目視するための撮影画像目視モード、及び、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像に、表示デバイス34A,34Bに表示された画像が合成された画像を目視するための合成画像目視モードが設けられている。これらの動作モードの選択は、デジタル双眼鏡10本体に設けられた動作モード切替スイッチ(図示省略)を操作することでユーザが選択可能とされている。
【0044】
動作モードとして光学像目視モードが選択された場合、CPU54は、対物レンズ20を介して第1プリズム22に入射された光が第2プリズム24側へのみ射出されるように第1プリズム22からの光の射出割合を変更すると共に、第1プリズム24から第2プリズム24へ入射された光のみが接眼レンズ26へ射出されるように第2プリズム24からの光の射出割合を変更する。これにより、通常の双眼鏡と同様に、接眼レンズ26A,26Bを両眼で覗いたユーザに、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像が視認(立体視)されることになる。
【0045】
この光学像目視モードでは、ユーザが操作リング13を回動操作することで、対物レンズ20の光学倍率(ズーム倍率)を調節することも可能とされている。なお、光学像目視モードにおけるピント調節については、例えばユーザが操作可能なピント調節機構を設けておき、このピント調節機構をユーザに操作させることでユーザに行わせるようにしてもよいが、これに代えて、対物レンズ20を介して第1プリズム22に入射された光が撮像素子30側へも射出されるように第1プリズム22からの光の射出割合を変更し、撮像素子30による撮影によって得られた画像に基づき、駆動回路36A,36Bを介して対物レンズ20A,20BのAF機構を駆動する(例えば画像の鮮鋭度を演算し鮮鋭度が最大となるようにAF機構を駆動する等)ことで自動的に行うようにしてもよい。
【0046】
また、動作モードとして撮影画像目視モードが選択された場合には、CPU54は、対物レンズ20を介して第1プリズム22に入射された光が撮像素子30側へのみ射出されるように第1プリズム22からの光の射出割合を変更すると共に、表示デバイス34から第2プリズム24へ入射された光のみが接眼レンズ26へ射出されるように第2プリズム24からの光の射出割合を変更し、更に、撮像素子30Aによる撮影によって得られた画像を表示デバイス34Aに表示させ、撮像素子30Bによる撮影によって得られた画像を表示デバイス34Bに表示させる。
【0047】
これにより、接眼レンズ26A,26Bを両眼で覗いたユーザに、表示デバイス34A,34Bに表示された画像が視認されることになる。撮像素子30A,30Bは、被写体から人間の両眼の間隔と略同じ距離だけ光軸が隔てられた対物レンズ20A,20Cを介して入射された光を光電変換するので、撮像素子30A,30Bによる撮影によって得られる一対の画像には、少なくとも両眼視差に相当する像構造の幾何学的な相違が生じている(ステレオ画像)。従って、表示デバイス34A,34Bに表示された前記一対の画像を接眼レンズ26A,26Bを介して両眼で視認したユーザが被写体を立体的に認識することができる(所謂立体視)。
【0048】
また、上記の撮影画像目視モードのように撮像素子30A,30Bによって撮影が行われている間、デジタル双眼鏡10では以下で説明する画像処理が行われる。
【0049】
すなわち、本実施形態ではデジタル双眼鏡10に搭載される撮像素子30A,30Bの感度特性(入射光量−出力特性)が個々の画素を単位として事前に測定され、測定された感度特性に基づいて、A/D変換器42A,42Bから入力される画像データを、均一な感度特性の一対の撮像素子で撮像したに等しい画像データへ補正するための補正データが撮像素子30A,30Bの個々の画素を単位として設定されている。デジタル信号処理部44A,44Bには上記の補正データが記憶されており、デジタル信号処理部44A,44Bは記憶されている補正データに基づき、個々の画素を単位として画像データの補正を行う。これにより、撮像素子30A,30Bの感度特性のばらつきを補正することができる。
【0050】
表示デバイス34A,34Bには撮像素子30A,30Bの感度特性のばらつきが補正された画像(動画像)が表示されるので、表示デバイス34A,34Bに表示された前記一対の画像を接眼レンズ26A,26Bを介して両眼で視認したユーザに、撮像素子30A,30Bの感度特性のばらつきが顕著な画質欠陥として認識されることを防止することができる。
【0051】
また、本実施形態に係るデジタル双眼鏡10では、A/D変換器42A,42Bから入力された画像データから、デジタル信号処理部44A,44Bにより、前記画像データが表す画像のうち所定サイズの部分領域に相当する画像データが切り出され、該部分領域の画像データが表示デバイス34A,34Bへの画像の表示等に用いられるようになっている。撮像素子30A,30Bによる撮影が行われている間、CPU54は姿勢角センサ60によって検出されるデジタル双眼鏡10の姿勢変化を監視し、デジタル双眼鏡10の姿勢が変化した場合に、デジタル双眼鏡10の姿勢変化に伴う撮像素子30A,30Bによる全撮影範囲の変化に拘らず前記部分領域に対応する撮影範囲の変化が抑制されるように、デジタル双眼鏡10の姿勢変化に応じて部分領域の新たな切り出し位置を演算し、演算した切り出し位置をデジタル信号処理部44A,44Bへ通知することを繰り返す。
【0052】
また、デジタル信号処理部44A,44Bは、CPU54から通知された切り出し位置に応じて、A/D変換器42から入力された画像データが表す画像上での部分領域の位置が変化するように、前記画像データからの部分領域に相当する画像データの切り出しを行う。これにより、デジタル双眼鏡10を把持しているユーザの手振れ等により撮像素子30A,30Bによる全撮影範囲が一時的に変動した場合にも、部分領域に対応する撮影範囲の変動を抑制することができる。そして、表示デバイス34A,34Bには上記の手振れ補正が行われた画像(動画像)が表示されるので、接眼レンズ26A,26Bを介してユーザに視認される画像が、ユーザの手振れ等により撮影範囲が変動する見苦しい画像となることを防止することができる。
【0053】
また、CPU54は撮像素子30A,30Bによって撮影が行われている間、ROMに書き込まれているノイズ低減プログラムを実行することで、デジタル信号処理部44A,44Bにおける各種の処理を経てメモリ46A,46Bに記憶された画像(データ)を対象としてノイズ低減処理を行う。以下、このノイズ低減処理について、図4のフローチャートを参照して説明する。
【0054】
このノイズ低減処理は本発明に係る画像処理方法が適用された処理であり、ノイズ低減プログラムを実行するCPU54は本発明に係る画像処理装置として機能する。なお、以下では便宜的に、メモリ46Aに記憶された画像を左チャンネルの画像、メモリ46Bに記憶された画像を右チャンネルの画像と称する。この左右チャンネルの画像は、請求項4等に記載の「両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されることで得られるデジタル画像」に対応している。
【0055】
ステップ100では、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識するために、左右チャンネルの画像のマッチング処理を行う。このマッチング処理としては、例えば左右チャンネルの画像における対応する点である可能性のある候補(対応点候補)を左右チャンネルの画像から各々抽出し、弛緩法により対応点を決定する処理を適用することができる。
【0056】
具体的には、対応点候補としては、全ての方向で濃淡レベルの大きな変化が生じている点であることが望ましく、また、対応点候補が密に存在していると対応点の決定が困難となる。このため、まず対応点候補の抽出対象の画像g(x,y)の各画素について水平・垂直・右斜め・左斜め方向の濃淡レベルの変動g'1,g'2,g'3,g'4を次式に従って求める。
【0057】
g'1(x,y)=[2・g(x,y)−(g(x-1,y)+g(x+1,y))]2
g'2(x,y)=[2・g(x,y)−(g(x,y-1)+g(x,y+1))]2
g'3(x,y)=[2・g(x,y)−(g(x+1,y-1)+g(x-1,y+1))]2
g'4(x,y)=[2・g(x,y)−(g(x-1,y-1)+g(x+1,y+1))]2
次に、適当な大きさのウインドウWを1画素ずつ動かしながら、ウインドウの中心画素(x,y)の値として、次式のオペレータ出力値g”を求める。
【0058】
【数1】
【0059】
続いて、画素(x,y)を中心とする(2w+1)×(2w+1)画素の大きさの局所領域毎にオペレータ出力値g”の最大値g*を抽出する。そして、画像中の最大のg*から順次大きなg*をもつ画素をn個抽出し、これを対応点候補とする。上記処理を左右チャンネルの画像に対して各々行うことで、例えば図5(A)に示す左チャンネルの画像からは例として図5(C)に示すような対応点候補が抽出され、例えば図5(B)に示す右チャンネルの画像からは例として図5(D)に示すような対応点候補が抽出されることになる。
【0060】
次に、抽出された対応点候補に基づいて対応点を決定する。左チャンネルの画像から抽出された対応点候補の集合をL=[L1,L2,…,Ln]、右チャンネルの画像から抽出された対応点候補の集合をR=[R1,R2,…,Rn]とし、左チャンネルの画像から抽出された対応点候補Li(i=1,2,…,n)に対し、Liを中心とする(2r+1)×(2r+1)画素の大きさの矩形領域内に存在する右チャンネルの画像の対応点候補Riを対応点対候補とする。ここで、Liを始点としRiを終点とするベクトルを相違ベクトルと称する。
【0061】
対応点の決定は、対応点候補Liに対して得られている対応点対候補(相違ベクトル候補)と、対応点候補Lj(i≠j)に対して得られている対応点対候補(相違ベクトル候補)が互いに矛盾しないように候補を絞っていくことにより成され、具体的には弛緩法(対象Liに局所的矛盾が少なくなるようにラベルλkを与える)を適用し、ラベルλkとして相違ベクトルのx,y方向の成分Δx,Δyを用いることで実現できる。これにより、例として図5(E)に示すようなマッチング結果(対応点対及び相違ベクトル)が得られ、左チャンネルの画像と右チャンネルの画像の像構造の幾何学的な相違を認識することができる。なお、上述したステップ100は請求項1に記載の認識手段(詳しくは請求項2に記載の認識手段)に対応している。
【0062】
次のステップ102以降では、左右チャンネルの画像における像構造の幾何学的な相違以外の相違を減少させる処理が行われる。次のステップ102以降の処理は本発明に係る処理手段に対応している。
【0063】
すなわち、ステップ102では、ステップ100におけるマッチング処理の結果に基づき、左右チャンネルの画像の互いに対応する位置(例えば対応点対の存在している位置)を境界として、左右チャンネルの画像を各々多数個の処理ブロックに分割する。なお、この多数個の処理ブロックへの分割は、一方のチャンネルの画像の特定の処理ブロックに対応する他方のチャンネルの画像の処理ブロックが判別可能に分割できればよく、他の分割方法を適用してもよい。また、処理ブロックの形状も矩形状に限られるものではない。上記の処理ブロックは請求項1等に記載の部分領域に対応している。
【0064】
ステップ104では、左チャンネルの画像から未処理の処理ブロックのデータを取り出し、次のステップ106では、左チャンネルの画像から取り出した処理ブロック(:処理ブロックL)に対応する右チャンネルの画像の処理ブロックを認識し、認識した処理ブロック(:処理ブロックR)のデータを取り出す。そしてステップ108では、左右チャンネルの画像から取り出した処理ブロックL,Rのデータに基づき、処理ブロックL,R内の全ての画素列j(j=1,2,…,jmax)を対象として、左右チャンネルの画像の平均データ関数fave(j)を次式に従って演算する。
【0065】
【数2】
【0066】
但し、dataL(i,j):処理ブロックL内のi行目j列目の画素
dataR(i,j):処理ブロックR内のi行目j列目の画素
n:処理ブロックL,R内の画素の行の総数
【0067】
なお、上記の平均データ関数fave(j)は左右チャンネルの画像の平均に相当するデータ関数であるので、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズも平均化される。従って、平均データ関数fave(j)は請求項3等に記載の「平均化したノイズ成分」に対応している。
【0068】
ステップ110では変数iに1を代入する。ステップ112では、処理ブロックLのi行目のデータ関数を
fLi(j)=dataL(i,j)
と表したときに、このデータ関数fLi(j)とfave(j)+kLiとの残差が最小になるときの定数kLiを最小自乗法により演算する。そしてステップ114では、処理ブロックLのi行目のデータ関数を次式により設定する。
fLi(j)←fave(j)+kLi
【0069】
また、ステップ116では、処理ブロックRのi行目のデータ関数を
fRi(j)=dataR(i,j)
と表したときに、このデータ関数fRi(j)とfave(j)+kRiとの残差が最小になるときの定数kRiを最小自乗法により演算する。そしてステップ118において、処理ブロックRのi行目のデータ関数を次式により設定する。
fRi(j)←fave(j)+kRi
【0070】
次のステップ120では、変数iが処理ブロックL,R内の画素の行の総数nに一致しているか否か判定する。判定が否定された場合にはステップ122へ移行し、変数iを1だけインクリメントしてステップ122へ戻る。これにより、ステップ104,106で取り出した処理ブロックL,Rの全ての画素の行について、ステップ112〜ステップ118の処理が各々行われることになる。
【0071】
ステップ120の判定が肯定されるとステップ124へ移行し、左右チャンネルの画像の全ての処理ブロックに対してステップ104以降の処理を行ったか否か判定する。判定が否定された場合にはステップ104に戻る。これにより、左右チャンネルの画像の全ての処理ブロックに対してステップ104以降の処理が行われることになる。ステップ124の判定が肯定されるとノイズ低減処理を終了する。
【0072】
上記のノイズ低減処理では、左右チャンネルの画像を同一の平均データ関数fave(j)に基づいて補正しているので、左右チャンネルの画像のうち、ステップ100で認識した像構造の幾何学的な相違以外の相違、詳しくは撮像素子30A,30B等を原因として左右チャンネルの画像に各々重畳されているランダムなノイズの相違が減少されることになる。なお、上記では平均データ関数fave(j)として、左右チャンネルの画像の平均に相当するデータ関数を用いていたが、これに代えて左右チャンネルの画像のうちの何れか一方の画像の平均に相当するデータ関数を用いてもよい。
【0073】
上記のノイズ低減処理は、所定周期でメモリ46に入力・記憶される画像データに対して各々行われ、表示デバイス34A,34Bには、ノイズ低減処理が行われた画像(動画像)が表示されるので、表示デバイス34A,34Bに表示された前記一対の画像を接眼レンズ26A,26Bを介して両眼で視認したユーザに、左右チャンネルの画像に重畳されているランダムなノイズが顕著な画質欠陥として認識されることを防止することができる。
【0074】
また、撮影画像目視モードにおいて、表示デバイス34A,34Bに表示されている動画像を接眼レンズ26A,26Bを介して両眼で視認しているユーザが、視認している画像を静止画像として保存することを所望した場合には、シャッタボタン18が操作されることで、スロットに装填された記録メディア62への画像データの書き込みが指示される。シャッタスイッチ58がオンすることで、シャッタボタン18が操作されたことを検知すると、CPU54は、内蔵メモリ48A,48Bから画像データを読み出して圧縮伸張部50A,50Bへ転送する。
【0075】
詳しくは、シャッタボタン18が操作されてから、シャッタスイッチ58がオンしたことを検知して画像データを読み出す迄に若干の時間がかかることを考慮し、CPU54は、内蔵メモリ48A,48Bに最新の複数フレーム分の画像データが記憶されていることを利用して、内蔵メモリ48A,48Bからの画像データの読み出し時に、撮像素子30A,30Bによって前記時間差分だけ前に撮像された画像データを読み出して圧縮伸張部50A,50Bへ転送する。これにより、シャッタボタン18が操作されたタイミングと略同一のタイミングで撮像された画像データを記録メディア62に書き込むことができる。
【0076】
一方、動作モードとして合成画像目視モードが選択された場合には、CPU54は、対物レンズ20を介して第1プリズム22に入射された光が第2プリズム24側及び撮像素子30側へ各々所定の射出割合で射出されるように第1プリズム22からの光の射出割合を変更すると共に、第1プリズム22から第2プリズム24へ入射された光及び表示デバイス34から第2プリズム24へ入射された光が各々所定の射出割合で接眼レンズ26へ射出されるように第2プリズム24からの光の射出割合を変更し、更に、表示デバイス34A,34Bに各々画像を表示させる。これにより、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像に、表示デバイス34A,34Bに表示された画像が合成された合成画像が、接眼レンズ26A,26Bを両眼で覗いたユーザに視認(立体視)されることになる。
【0077】
合成画像目視モードにおいて、表示デバイス34A,34Bには任意の画像を表示可能であり、例えば撮像素子30A,30Bによる撮像によって得られた画像を解析して画像中の動体等を認識し、認識した動体等を指し示したり、或いは強調する図形を生成して表示デバイス34A,34Bに表示することで、被写体の光学像に前記図形を合成した画像をユーザに視認させるようにしてもよい。
【0078】
なお、この態様においては、対物レンズ20及び接眼レンズ26によって形成された被写体の光学像と、表示デバイス34A,34Bに表示された画像の位置ずれを回避するために、前述の手振れ補正(部分領域の切り出し位置を変更することによる手振れ補正)の実行を停止するか、或いは、前述の手振れ補正に代えて、第1プリズム22よりも被写体側の光路上に、バリアングルプリズム等の角度を変更可能なプリズムを設けておき、姿勢角センサ60によって検出されたデジタル双眼鏡10の姿勢変化に基づき、該姿勢変化を打ち消すようにプリズムの光軸を制御することで手振れ補正を行うことが好ましい。
【0079】
また、合成画像目視モードにおいて、被写体の光学像に合成する画像は、例えばCG(Computer Graphics)等の技術を用いて生成した架空の世界の画像(仮想現実画像)であってもよい。この仮想現実画像はデジタル双眼鏡10に予め画像データとして記憶しておくようにしてもよいが、無線等の通信手段を介して外部(例えばインターネット等)と通信する機能をデジタル双眼鏡10に搭載しておき、インターネットに接続されたサーバから受信するようにしてもよい。上記のように、光学像に合成する画像が被写体と無関係な画像(撮像素子30A,30Bによる撮像によって得られた画像を利用せずに生成された画像)である場合には、撮像素子30A,30Bによって撮像を行う必要がなくなるので、対物レンズ20を介して第1プリズム22に入射された光が第2プリズム24側へのみ射出されるように第1プリズム22からの光の射出割合を変更するようにしてもよい。また、撮像素子30A,30Bによる撮像によって得られた画像、或いは姿勢角センサ60による検出結果に基づいて、デジタル双眼鏡10の姿勢角(視野方向)の変化を認識し、認識した姿勢角(視野方向)の変化に応じて、表示デバイス34に表示する仮想現実画像を変化させるようにしてもよい。また、光学像に合成する画像は文字画像等であってもよい。
【0080】
このように、本実施形態に係るデジタル双眼鏡10では、ユーザによって選択された動作モードに応じて多様な画像(光学像)がユーザに提示されるので、ユーザの利便性を向上させることができる。
【0081】
なお、上記では左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズの相違を低減させる処理として平均データ関数fave(j)を用いる処理を説明したが、これに限られるものではなく、左右チャンネルの画像に重畳しているランダムなノイズ成分を各々抽出し、抽出したノイズ成分を平均化し、抽出したノイズ成分を各々除去した左右チャンネルの画像に、平均化したノイズ成分を各々加算することで、ランダムなノイズ成分の相違を解消するようにしてもよいし、上記の平均化したノイズ成分に代えて、左右チャンネルの画像の一方から抽出したノイズ成分を適用するようにしてもよい。
【0082】
また、上記では本発明に係る画像処理手段による画像処理の一例として、左右チャンネルの画像上の対応する領域に各々重畳しているランダムなノイズ(一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分)の相違を低減させる処理(ノイズ低減処理)を説明したが、これに限定されるものではなく、左右チャンネルの画像のうちの一方の画像にのみ重畳しているノイズ成分を一方の画像から除去するノイズ成分除去処理も併せて行うようにしてもよいし、例えば撮像素子30A,30Bとして低ノイズの高性能な撮像素子を用いる等の場合には、上記のノイズ成分除去処理のみを行うようにしてもよい。
【0083】
ノイズ成分除去処理としては、例えば左右チャンネルの画像のマッチング処理を行うことで左右チャンネルの画像の像構造の幾何学的な相違を認識した後に、左右チャンネルの画像の対応する領域同士を比較し、対物レンズ20に塵埃等が付着した場合に画像上に生ずる欠陥部の規模と同程度の規模の欠陥部が一方の画像に生じていることを検知した場合に、検知した欠陥部の周囲の画像部に基づいて補間するか、又は他方の画像の対応する画像部のデータで埋めることで、検知した欠陥部を消去する処理等を適用することができる。
【0084】
また、上記では本発明に係るノイズ低減処理をCPU54が実行する例を説明したが、これに限定されるものではなく、ノイズ低減処理を実行するための専用ハードウェアを設け、このハードウェアによってノイズ低減処理を実行するようにしてもよい。これによりCPU54の負荷を低減することができる。
【0085】
更に、上記では本発明に係るノイズ低減プログラムがデジタル双眼鏡10のROMに予め書き込まれており、デジタル双眼鏡10のCPU54がノイズ低減プログラムを実行することで、本発明に係る画像処理方法が適用されたノイズ低減処理が実現され、デジタル双眼鏡10のCPU54が本発明に係る画像処理装置として機能する例を説明したが、本発明はこれに限定されるものではなく、本発明に係るプログラムを、例えばCD−ROMやDVD、FD等の記録媒体に書き込んでおき、この記録媒体をPC等のコンピュータにセットしてインストールした後に、当該コンピュータで本発明に係るプログラムを実行させることで、本発明に係る画像処理方法が適用された画像処理を実現するようにしてもよい。この態様では、前記コンピュータが本発明に係る画像処理装置として機能することになる。なお、本発明に係るプログラムは、例えばインターネット等の通信網を介して配布することも可能である。
【0086】
上記のようにコンピュータを本発明に係る画像処理装置として機能させる態様では、コンピュータに取り込み可能な任意の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することができるので、例えばDSCを両眼視差に相当する相違が生ずる複数の位置へ順に移動すると共に、各位置で同一のシーンを各々撮影することで得られる複数の画像を対象として、本発明に係る画像処理方法が適用された画像処理を実行することも可能となる。
【0087】
【発明の効果】
以上説明したように本発明は、両眼視差に相当する相違が生ずるように生成された一対の画像における像構造の幾何学的な相違以外の相違を減少させるので、両眼視差に相当する相違が生ずるように生成された一対の画像を立体視した場合の画質を向上させることができる、という優れた効果を有する。
【図面の簡単な説明】
【図1】 本実施形態に係るデジタル双眼鏡の外観を示す斜視図である。
【図2】 デジタル双眼鏡の光学系の概略図である。
【図3】 デジタル双眼鏡の電気系の概略ブロック図である。
【図4】 ノイズ低減処理の内容を示すフローチャートである。
【図5】 左右チャンネルの画像のマッチング処理を説明するためのイメージ図である。
【符号の説明】
10 デジタル双眼鏡
30 撮像素子
34 表示デバイス
54 CPU
Claims (12)
- 両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段と、
前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段と、
を含む画像処理装置。 - 前記認識手段は、前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項1記載の画像処理装置。
- 前記処理手段は、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項1記載の画像処理装置。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項1記載の画像処理装置。
- 両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識し、
前記一対の画像を各々部分領域に分割し、前記認識した一対の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う画像処理方法。 - 前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項5記載の画像処理方法。
- 前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項5記載の画像処理方法。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項5記載の画像処理方法。
- コンピュータを、
両眼視差に相当する相違が生ずるように生成された一対の画像における前記両眼視差に相当する像構造の幾何学的な相違を認識する認識手段、
及び、前記一対の画像を各々部分領域に分割し、前記認識手段によって認識された一対 の画像における像構造の幾何学的な相違に基づいて、一方の画像における特定の部分領域と対応する他方の画像の部分領域を判断し、対応する領域であると判断した部分領域同士を比較することを、個々の部分領域について各々行うことで、前記一対の画像において前記像構造の幾何学的な相違以外の相違を生じさせているノイズ成分を判断し、前記一対の画像のうちの一方の画像にのみ重畳しているノイズ成分を前記一方の画像から除去する処理、及び、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分の相違が解消又は減少するように前記一対の画像のうちの少なくとも一方を補正する処理、の少なくとも一方を行う処理手段
として機能させるためのプログラム。 - 前記認識手段は、前記両眼視差に相当する像構造の幾何学的な相違を、前記一対の画像のマッチングを行うことで認識することを特徴とする請求項1記載のプログラム。
- 前記処理手段は、前記一対の画像上の対応する領域に各々重畳している相互に異なるノイズ成分を平均化し、平均化したノイズ成分に基づいて前記一対の画像のうちの少なくとも一方を補正することを特徴とする請求項9記載のプログラム。
- 前記一対の画像は、両眼視差に相当する相違が生ずるように相対位置が調整された複数の撮像素子によって同一のシーンが各々撮影されるか、又は、両眼視差に相当する相違が生ずる複数の位置へ単一の撮像素子が順に移動され各位置で同一のシーンが各々撮影されることで得られるデジタル画像であることを特徴とする請求項9記載のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002283818A JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
US10/668,176 US7508982B2 (en) | 2002-09-27 | 2003-09-24 | Image processing apparatus, method, and storage medium for removing noise from stereoscopic image pair |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002283818A JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004118711A JP2004118711A (ja) | 2004-04-15 |
JP4156893B2 true JP4156893B2 (ja) | 2008-09-24 |
Family
ID=32025277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002283818A Expired - Fee Related JP4156893B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7508982B2 (ja) |
JP (1) | JP4156893B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7684643B2 (en) * | 2004-10-26 | 2010-03-23 | Siemens Medical Solutions Usa, Inc. | Mutual information regularized Bayesian framework for multiple image restoration |
US7660458B1 (en) * | 2004-12-14 | 2010-02-09 | Google Inc. | Three-dimensional model construction using unstructured pattern |
KR100739764B1 (ko) * | 2005-11-28 | 2007-07-13 | 삼성전자주식회사 | 입체 영상 신호 처리 장치 및 방법 |
US8189100B2 (en) | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
JP2009033369A (ja) * | 2007-07-26 | 2009-02-12 | Sony Corp | 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム |
US8090183B2 (en) * | 2009-03-12 | 2012-01-03 | Visiongate, Inc. | Pattern noise correction for pseudo projections |
JP5170249B2 (ja) * | 2008-09-29 | 2013-03-27 | パナソニック株式会社 | 立体画像処理装置および立体画像処理装置のノイズ低減方法 |
CN102197654A (zh) * | 2008-10-31 | 2011-09-21 | 松下电器产业株式会社 | 信号处理装置 |
JP2011257541A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 立体カメラ用レンズシステム |
JP5067450B2 (ja) * | 2010-06-29 | 2012-11-07 | カシオ計算機株式会社 | 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 |
US9661232B2 (en) * | 2010-08-12 | 2017-05-23 | John G. Posa | Apparatus and method providing auto zoom in response to relative movement of target subject matter |
JP5807354B2 (ja) * | 2011-03-22 | 2015-11-10 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2012132417A1 (ja) * | 2011-03-28 | 2012-10-04 | パナソニック株式会社 | 再生装置、再生方法およびコンピュータプログラム |
CN103548341A (zh) * | 2011-06-08 | 2014-01-29 | 欧姆龙株式会社 | 分布图像处理*** |
KR101841750B1 (ko) * | 2011-10-11 | 2018-03-26 | 한국전자통신연구원 | 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법 |
KR101862404B1 (ko) * | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
US10255703B2 (en) | 2015-12-18 | 2019-04-09 | Ebay Inc. | Original image generation system |
US11069054B2 (en) | 2015-12-30 | 2021-07-20 | Visiongate, Inc. | System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy |
JP6786225B2 (ja) * | 2016-02-23 | 2020-11-18 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP7024782B2 (ja) * | 2017-03-27 | 2022-02-24 | ソニーグループ株式会社 | 画像処理装置と画像処理方法および撮像装置 |
JP2020043398A (ja) * | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4709263A (en) * | 1986-01-28 | 1987-11-24 | John Brumage | Stereoscopic imaging apparatus and methods |
JPH0766445B2 (ja) * | 1988-09-09 | 1995-07-19 | 工業技術院長 | 画像処理方法 |
JPH0397449A (ja) * | 1989-09-12 | 1991-04-23 | Hitachi Ltd | 画像ノイズ除去装置および方法 |
JP3242529B2 (ja) * | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
US6549650B1 (en) * | 1996-09-11 | 2003-04-15 | Canon Kabushiki Kaisha | Processing of image obtained by multi-eye camera |
JP3500302B2 (ja) | 1998-03-26 | 2004-02-23 | 富士写真フイルム株式会社 | 画像処理方法及び装置 |
US6563536B1 (en) * | 1998-05-20 | 2003-05-13 | Intel Corporation | Reducing noise in an imaging system |
US6704042B2 (en) * | 1998-12-10 | 2004-03-09 | Canon Kabushiki Kaisha | Video processing apparatus, control method therefor, and storage medium |
US6873723B1 (en) * | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6862364B1 (en) * | 1999-10-27 | 2005-03-01 | Canon Kabushiki Kaisha | Stereo image processing for radiography |
US6714672B1 (en) * | 1999-10-27 | 2004-03-30 | Canon Kabushiki Kaisha | Automated stereo fundus evaluation |
US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP2001144964A (ja) | 1999-11-15 | 2001-05-25 | Fuji Photo Film Co Ltd | ノイズ除去方法及び装置並びにスキャナ |
JP2001285640A (ja) | 2000-03-31 | 2001-10-12 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置および記録媒体 |
US6603535B1 (en) * | 2002-08-30 | 2003-08-05 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereo imaging velocimetry system and method |
-
2002
- 2002-09-27 JP JP2002283818A patent/JP4156893B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-24 US US10/668,176 patent/US7508982B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004118711A (ja) | 2004-04-15 |
US20040062434A1 (en) | 2004-04-01 |
US7508982B2 (en) | 2009-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4156893B2 (ja) | 画像処理装置、方法及びプログラム | |
CN108055452B (zh) | 图像处理方法、装置及设备 | |
CN108154514B (zh) | 图像处理方法、装置及设备 | |
JP5390707B2 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
JP4457358B2 (ja) | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 | |
US8792019B2 (en) | Video creation device, video creation method and non-transitory computer-readable storage medium | |
JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
KR20200042536A (ko) | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US20130113875A1 (en) | Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method | |
JPH09181966A (ja) | 画像処理方法及び装置 | |
EP1521456A2 (en) | Image capture apparatus, image display method, and program | |
KR20070121717A (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
JP2004180298A (ja) | アイモニタリング機能を備えるカメラシステム | |
JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
US20080192122A1 (en) | Photographing apparatus, method and computer program product | |
KR20200031169A (ko) | 이미지 처리 방법 및 장치 | |
CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
US7570281B1 (en) | Image processing apparatus and method for detecting a main subject to be photographed | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
JP2004120600A (ja) | デジタル双眼鏡 | |
JP2004287794A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080710 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4156893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |