JPH10262176A

JPH10262176A - 映像形成方法

Info

Publication number: JPH10262176A
Application number: JP9065937A
Authority: JP
Inventors: Teiichi Okochi; 禎一大河内
Original assignee: Individual
Current assignee: Individual
Priority date: 1997-03-19
Filing date: 1997-03-19
Publication date: 1998-09-29

Abstract

(57)【要約】【課題】異る距離にある被写体を撮像して各被写体の
鮮明な映像を形成する。【解決手段】近距離、中距離及び遠距離にある被写体
Ｐ、Ｔ、Ｍに合焦した画像がそれぞれＣＣＤ８、９、１
０により形成され、メモリに格納される。各画像を合成
するために、メモリに格納されたデータに対して中心合
わせ、傾き、大きさ補正が行なわれる。この補正された
データに基づき、各画像から例えば輝度の変化率を検出
することにより鮮明な画像部分が抽出され、画素ごとに
重ね合わせることにより合成が行なわれる。重ね合わせ
は、それぞれ対応する画素の平均値をとるか、あるいは
鮮明な画像部分を他の画像の対応する部分に嵌め込むこ
とにより行なわれる。各画像の合焦した被写体部分を抽
出、合成する前に、各画像の位置合わせを行なうように
しているので、すべての距離にある被写体に対して鮮明
な映像を正確に形成することが可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像形成方法、特
にそれぞれ異る距離にある複数の被写体を撮像し、各被
写体に対して合焦した（ピントの合った）映像を形成す
る映像形成方法に関する。

【０００２】

【従来の技術】ビデオカメラで被写体を撮影し、テレビ
等のモニターで表示する場合当然のことながら合焦像は
撮影レンズの共役物点のみであり、それ以外の物体像は
ボケてしまう。

【０００３】たとえば、比較的焦点距離の長いレンズを
用いている時、近景の被写体の人物を撮影し、それに合
焦すれば得られた遠景にある背景像はボケて写し出され
る。又、背景に合焦すれば近景の被写体の人物がボケた
画面が得られる。

【０００４】近景および遠景の被写体全てにピントを合
せるためには、焦点距離の短い（広角の）レンズを用い
ることが考えられるが、この場合には、画角ないし倍率
が用途に適さないことがあり、あらゆる場面で利用でき
る解決方法とはいえない。また、絞り値を大きく取るこ
とも考えられるが、この場合も光量との兼ねあいで、や
はりあらゆる場面で利用できる解決方法とはいえない。

【０００５】

【発明が解決しようとする課題】このため、同一光学系
で焦点を遂次ずらして画像メモリに入力して、後で画像
処理して全エリアについて焦点が合うように画像合成を
行なうことが提案されている。

【０００６】あるいは、例えば近距離、中距離（それに
遠距離）に合焦した２つ（あるいは３つ）の独立した撮
影系を使ってそれぞれの被写体を撮影して後で近距離、
中距離（それに遠距離）にピントのあった画像を抽出し
て合成する方式も考えられているが、独立して得られた
２次元的な画像を重ね合わせることは極めて困難な作業
であり、カメラシステムのコストを上昇させるとともに
作業時間が長くなる、という問題があった。

【０００７】従って、本発明は、このような問題点を解
決するためになされたもので、異る距離にある被写体に
合焦した複数の画像を容易にしかも正確に合成して異る
距離にある各被写体の鮮明な映像を得ることが可能な映
像形成方法を提供することをその課題とする。

【０００８】

【課題を解決するための手段】本発明は、この課題を解
決するために、異る距離にある第１と第２の被写体を撮
像して各被写体の映像を形成する映像形成方法におい
て、それぞれ第１と第２の被写体に合焦して被写体を撮
像し、撮像して得られる第１と第２の被写体の画像の位
置合わせを行ない、位置合わせされた第１と第２の被写
体の画像から鮮明な画像部分を抽出し、前記抽出された
鮮明な画像部分を合成することにより映像信号を形成す
る構成を採用した。

【０００９】このような構成では、距離の異なる被写体
に合焦した各画像が合成される前に位置合わせされるの
で、各画像の合焦した被写体部分の抽出、合成が正確に
なり、すべての距離にある被写体に対して鮮明な映像を
形成することが可能になる。

【００１０】好ましくは、位置合わせは、各画像の中心
合わせ、傾き補正、大きさ補正あるいは歪曲補正により
行なわれる。この場合、各画像の被写体の輝度（赤、
緑、青の各輝度あるいは全体の輝度平均値）の差分が最
大になる画素の座標値を検出し、その座標値が一致する
ようにして位置合わせが行なわれる。

【００１１】このような位置合わせを行なう前に、機械
的な誤差に基づく中心合わせ、傾き補正、大きさ（ひず
み）補正、及び画面の周辺の像の歪曲（レンズの特性に
より発生する収差の一種）の修正を行なうと、各画像は
近似的にほぼ位置が合っており、位置合わせを行なう演
算の負担を軽減させることができる。

【００１２】

【発明の実施の形態】以下、図面に示す実施の形態に基
づき、本発明を詳細に説明する。

【００１３】光学系により形成される合焦した（ピント
の合った）画像ないし映像が得られる位置は、被写体と
光学系との距離に従って変化する。例えば、図１に示し
たように、遠距離（約１０ｍから∞まで）にある山Ｍ、
中距離（約５〜１０ｍ）にある木Ｔ、近距離（約１ｍ）
にある人物Ｐの撮影レンズＬによる合焦像は、それぞれ
撮影レンズの焦点距離およびこのレンズと被写体との距
離により与えられる特定の位置に得られ、像側に１枚
（面）のＣＣＤ受光素子面、フィルム面又はピントグラ
ス板を置くだけでは、これらの遠近にある各被写体Ｍ、
Ｔ、Ｐのすべての像を鮮明に見ることはできない。

【００１４】本発明は、結像位置の異なる２つの被写体
（人物、木）、３つの被写体（人物、木、山）あるいは
それ以上の被写体の像を画像処理により合成することに
よりこれらの像のすべてを１枚の平面（モニタ、フィル
ム等）上に鮮明に映し出すことができるようにしたもの
である。

【００１５】以下に、近距離（約１ｍ）にある人物Ｐ、
中距離（約５〜１０ｍ）にある木Ｔ、及び遠距離（約１
０〜∞）にある山Ｍの３つの被写体についての例を図２
を用いて説明する。

【００１６】図２において、符号１〜７は、近距離にあ
る人物の被写体Ｐ、中距離にある木Ｔ及び遠距離にある
山の被写体Ｍを同時に撮影する光学系で、共通の対物レ
ンズ１、リレー系２を有する。リレー系２の後部にはビ
ームスプリッター３が配置されており、これにより分割
された光像の１つは、被写体Ｐに合焦させるためのマス
ターレンズ４を介してＣＣＤ（あるいは他の方式の２次
元画像センサ）８に結像される。

【００１７】また、ビームスプリッター３により分割さ
れた光像は、ビームスプリッター５により更に分割さ
れ、その一方は、被写体Ｔに合焦させるためのマスター
レンズ６を介して他のＣＣＤ９（あるいは他の方式の２
次元画像センサ）に結像され、また他方は、被写体Ｍに
合焦させるためのマスターレンズ７を介して他のＣＣＤ
１０（あるいは他の方式の２次元画像センサ）に結像さ
れる。

【００１８】ＣＣＤ８、９、１０の撮像は、後述するよ
うに、それぞれ近距離用、中距離用および遠距離用の画
像処理装置１１、１２、１３を介して画像処理された後
合成回路１４で合成されてモニタ装置１５上に表示され
る。

【００１９】なお、図２では不図示であるが、マスター
レンズ４、６および７については、それぞれ主要被写体
Ｐ、Ｔ、Ｍに合焦させるための手動ないし自動の焦点調
節機構を有するものとする。

【００２０】自動焦点調節機構を採用する場合には、た
とえば、オートフォーカス制御によりマスターレンズ
４、６を駆動し、常時、焦点の合いにくい近距離、中距
離の主要被写体Ｐ、Ｔに合焦させておく。また、背景被
写体又は遠距離被写体Ｍに焦点を合わせた場合には、当
然焦点深度も深いので、マスターレンズ７は無限遠固定
にしておいても、ほぼピントは実用上差しつかえない。

【００２１】以下に、本発明による異る距離に合焦した
画像を合成してすべて被写体に合焦した映像を形成する
方法を説明する。

【００２２】まず、図３のフローチャートのステップＳ
１に示すように、ＣＣＤ８、９及び１０の出力する遠、
中、近の画像信号は、デジタル信号に変換されたあと、
それぞれ対応するメモリに格納される。

【００２３】ステップＳ２では、例えば各距離の光学系
の光学軸のずれ、傾きあるいは倍率（大きさ、ひずみ）
に相違があると、各画像の中心、傾き、大きさが相違す
ることにより画像合成ができないので、各メモリに格納
されたデータについて中心、傾き、大きさ（ひずみ）及
び歪曲に対する機械的な誤差補正が行なわれる。これ
は、使用する光学系の諸元により各ずれが分かっている
ので、各画像ピクセル（画素）の座標変換を行なうこと
により補正することができる。また、誤差のうち、歪曲
による誤差は、特に画面の周辺の像に現れ、レンズの特
性により発生する収差の一種で、樽型、又は糸巻き型の
機械的な誤差になる。この補正値は、２次以上の高次曲
線で近似できるので２次以上の高次式を用いて補正す
る。

【００２４】更に、ステップＳ３では、以後の輝度、色
調による中心合わせ、傾き、大きさなどの補正のため、
輝度補正、色調ログ補正などのフィルターリングを行な
う。これにより各ピクセルの強度値が補正される。

【００２５】このようにして各メモリに格納された補正
データが図４（Ａ）、（Ｂ）に図示されている（図４で
は、近及び中距離データのみが図示されている）。図４
において、各ピクセルＰn毎にその座標値（ｘn、ｙ
n）、（Ｘn、Ｙn）および赤（Ｒ）、緑（Ｇ）、青
（Ｂ）の輝度値Ｒ（Ｐn）、Ｇ（Ｐn）、Ｂ（Ｐn）及び
これらの輝度の平均値Ｌ（Ｐn）が格納されている状態
が示されている。座標値に対しては、ステップＳ２で機
械的な誤差が補正された座標値で、また強度値は、ステ
ップＳ３でフィルタリングされた値がそれぞれ格納され
ることになる。

【００２６】このように既知の機械的な誤差を補正して
も、なお各画像はその中心、傾き、大きさが合っていな
い可能性がある。これが図４左側にそのずれが誇張して
図示されている。例えば、図４に示した斜線部の画像
は、中距離系の近距離系に対する光学系のずれにより上
記機械的な誤差補正後も多少ずれており、各ＣＣＤのピ
クセルから取得されるデータは、近距離と中距離とで
は、異る被写体データを示すことになる。例えば、斜線
のほぼ中点にある被写体部分は、近距離系のＣＣＤから
は（ｍ、ｎ）にあるピクセルＰnから、また中距離系の
ＣＣＤからは（ｍ’、ｎ’）にあるピクセルＰn’から
得られる。

【００２７】このような誤差が存在すると、２つあるい
はそれ以上の画素ごとの正確な合成は困難になるので、
本発明では、以下に示す処理により各ピクセルに対応す
る被写体部分が近、中、遠画像でそれぞれ一致するよう
に補正する。

【００２８】ステップＳ２の機械的な誤差の補正により
近、中（遠）画像はそれぞれ近似的に一致していると考
えられるので、各画像の所定画面、例えば図４では、ピ
クセルＰk、Ｐnを含む中心部分の領域Ｚを選択して、こ
の領域Ｚを水平及び垂直走査して各ピクセルの輝度の平
均値Ｌが最小値（最大値）から最大値（最小値）に変化
する部分、又は絶対値が最大に変化する部分、すなわち
輝度平均値の差分（微分）が最大になる部分、又は絶対
値が最大になる部分の座標値を検出する（ステップＳ
４）。

【００２９】例えば、ピクセルＰn、Ｐn’の前後で輝度
平均値の差分値が最大になったとすると、そのＰnの座
標値（ｘm、ｙn）とＰn’の座標値（Ｘm'、Ｙn'）を検
出する。そして、（ｘm−Ｘm'）、（ｙn−Ｙn'）が所定
値以上ならば位置ずれがあるとして、中画像の座標系を
水平及び垂直方向に平行移動させて、上記差が所定値以
下になるようにし、中心合わせを行なう（ステップＳ
５）。

【００３０】一方、画像間に傾き、大きさ（ひずみ）の
誤差があるか否かを検出するために、領域Ｚ内で差分値
が大きくなる他のピクセルＰk、Ｐk’の座標値を検出す
る。上記平行移動によりピクセルＰk、Ｐk’の座標値も
所定の許容誤差内で一致する場合には、ステップＳ６で
中心合わせ以外の補正は必要無しと判断され、ステップ
Ｓ１０に移動する。

【００３１】一方、一致しない場合には、ステップＳ７
において、傾き補正を行なう。これは、ピクセルＰn、
Ｐn’を中心とする座標回転により行なわれる。この座
標回転によってもなお誤差が存在する場合には、ステッ
プＳ８において大きさ（ひずみ）補正が必要と判断さ
れ、ステップＳ９において大きさ（ひずみ）補正を行な
う。これは例えば、一種の倍率補正であり、一方の座標
値を所定係数で乗算することにより行なわれる。

【００３２】ステップＳ５、Ｓ７及びＳ９で行なわれる
補正は、一括して「広義の座標変換」による補正と考え
られる。従って、図４（Ｂ）の中距離画像に対して広義
の座標変換を行ない新たな座標系（Ｘ’，Ｙ’）に変換
する。この変換された座標系では、図４（Ｂ）内の傾い
た画像が、矢印で示すように、平行移動、回転及び大き
さ補正により近距離画像のｘｙ座標系に対応するＸＹ座
標に移行したことになる。従って、各ピクセルに対応す
る被写体部分は、近画像と中画像でそれぞれ許容誤差内
で一致することになる。

【００３３】このように近画像と中画像が一致したの
で、他の画像、すなわち遠画像に対しても補正する必要
が有るかがステップＳ１０で判断される。必要である場
合には、ステップＳ４に戻り、遠距離画像に対しても広
義の座標変換を行なうようにする。

【００３４】以上のステップで各画像の中心合わせ、傾
き補正、大きさ補正が終了したので、各画像から合焦部
分が抽出され、合成される。これに関して、図５、図６
に基づいて説明する。

【００３５】図５において、近距離用、中距離用のＣＣ
Ｄ８、９からの画像信号は、Ａ／Ｄ変換器２０、３５に
よりデジタル信号に変換された後メモリ２１、３６に格
納される。このメモリ２１、３６のデータに対して上述
したように機械的な誤差補正（ステップＳ２）、輝度・
色調フィルタ処理（ステップＳ３）および中心合わせ、
傾き、大きさ（ひずみ）補正（ステップＳ５、Ｓ７、Ｓ
９）が行なわれる。従って、メモリ２１、３６内のデー
タは、それぞれ図４（Ａ）、（Ｂ）の右側に表で示した
状態になっている。なお、遠距離用に対しては、繁雑さ
をさけるために、図５には図示されていないが、近（中
距離）用と同じ回路構成が用いられ、ＣＣＤ１０からの
画像信号が対応するメモリに格納される。

【００３６】近距離用のメモリ２１の各ピクセルのＲ、
Ｇ、Ｂのデータは、順次読み出されスイッチング回路２
４を介して抽出回路２７に導かれるとともに、微分回路
２５に入力される。微分回路２５で微分された画像は比
較器２６により所定のしきい値と比較された後、抽出回
路２７に入力され、これにより各ピクセルのＲ、Ｇ、Ｂ
の信号の内所定の信号が抽出される。抽出回路２７によ
り抽出された各原色の画像信号は、スイッチング回路２
８を介してそれぞれメモリ２９ｒ、２９ｇ、２９ｂに各
原色毎に格納される。

【００３７】以上は、近距離用の画像処理系であるが、
同様な構成が中（遠）距離用の画像処理に対しても用い
られる。中距離用の画像処理系で符号３７の一点鎖線で
示す部分は、近距離用の画像処理系の一点鎖線で示す部
分と同様な構成になっており、この部分で所望の画像信
号が抽出された後、各抽出された画像信号がメモリ３８
ｒ、３８ｇ、３８ｂに各原色毎に格納される。なお、遠
距離系に関しては、繁雑さを避けるために、画像処理系
は図示されていないが、近（中）距離系と同様な構成を
有する。

【００３８】近距離用および中距離用の各メモリに格納
された抽出信号は、その後スイッチング回路４０、４１
を介して各原色毎に合成回路４２に入力されて合成（重
ね合わ）され、モニタ装置４５において再生される映像
信号が形成される。映像信号はモニタ装置４５に表示さ
れる前に、一旦Ｒ、Ｇ、Ｂメモリ４４に格納される。

【００３９】なお、合成回路４２は、各信号を加算、乗
算しあるいは単純平均値あるいは加重平均値等を取る演
算装置により構成されており、また各装置ないし回路を
制御するコンピュータにより形成される制御回路４６が
設けられている。この場合、合成回路を制御回路のコン
ピュータにより代替させることもできる。更に制御回路
４６は各回路を同期させる機能も有する。

【００４０】このような構成において、図６のステップ
Ｒ１に示したように近距離用のメモリ２１から画像信号
の読み出しが行なわれる。これは、まずステップＲ２に
示すように、Ｒ、Ｇ、Ｂの内予め定められたいずれかの
信号、例えばＲ信号をライン毎に読み出すことから行な
われる。ライン毎の読み出しは、ｙ座標を一定にしてｘ
座標を変化させその座標値に対応するピクセルのＲの値
を順次読みだし、続いてｙ座標をインクリメントして同
様な操作を行なうことにより行なわれる。

【００４１】Ｒの第ｎラインの輝度が図７に示されてお
り、（ａ）、（ｂ）の左側に示したように近距離画像で
は、木Ｔの画像は不鮮明であるために、輝度値の曲線は
全体的に立ち上がりないし立ち下がりがなまっており、
一方鮮明な人物Ｐの輝度値の曲線は全体的には立上りあ
るいは立ち下がりが急峻であることがわかる。なお、輝
度値は、鮮明でも、あるいは不鮮明でも振動波形となる
が、各図では、振動部分を平滑して、すなわち包絡線の
形で図示されている。また、輝度変化（振幅）の大きい
ところ（一般に輝度値も大きい）が鮮明なところであ
る。

【００４２】また、ステップＲ２では、読み出された信
号が微分回路２５により輝度Ｆのｘに対する差分ΔＦの
絶対値が求められ、Δｘに対する比が検出される。輝度
値のｘ座標方向における値の変化ΔＦは、画像の合焦部
分（人物Ｐのところ）では、大きく、合焦していない部
分（木Ｔのところ）では小さくなるので、微分回路２５
からは図７の（ｃ）の左側に示したような波形になる。

【００４３】続いて、ステップＲ３において変化率ΔＦ
の絶対値を所定のしきい値Ｔ1と比較しそのしきい値を
越える画像部分の画素の座標（ｘ１、ｘ２）を求め、こ
の部分に対応する画像領域を抽出回路２７で抽出してＲ
用のメモリ２９ｂに格納する。このようにして抽出され
た第ｎラインの画像が図７の（ｄ）の左側に図示されて
いる。

【００４４】このような処理をＲ信号の全てのラインに
ついて行ない、まだ未走査のラインがある場合にはステ
ップＲ２に戻り、一方全てのラインの処理が終了した場
合には、ステップＲ５、Ｒ６においてＲ信号と同様な処
理をＧ、Ｂ信号に対して行なう。このようにしてメモリ
２９ｒ、２９ｇ、２９ｂには、近距離系で撮像された画
像のうち合焦した鮮明な画像部分（Ｐ）が格納されるこ
とになる。

【００４５】一方、中距離系で撮像された画像（図７の
（ａ）右側）が図６と同様なステップにより処理され
る。但し、中距離画像に対しては、鮮明部を抽出するた
めのしきい値Ｔ2をかなり低いレベルに設定し、図７の
（ｄ）のようにほぼ全画像が抽出されるようにする。

【００４６】このように、中近の両画像に対して所定の
画像部分が抽出された後、図６のステップＲ１０に示し
たように、近距離と中距離の両画像に対して抽出された
画像の合成ないし重ね合わせが合成回路４２において行
なわれる。この重ね合わせは、第１の方法として、図７
の（ｅ）に示したように、両画像の対応する各画素ごと
に輝度の平均を取ることにより行なわれる。その結果が
図７の（ｆ）に示されている。なお、平均値を取ると、
（ｘ１〜ｘ２）ないし（ｘ１’〜ｘ２’）以外の画素の
領域では、全体の輝度が低くなるので、必要な場合に
は、輝度のかさ上げを行なっておく。

【００４７】この平均値を取る方法は、加重平均をとっ
てもよく、一般化すると、（α1・Ｘ＋α2・Ｙ）・Ａ＋
Ｂの輝度を生成することに対応する。但し、α1、α2は
重み係数ないし強調係数である。

【００４８】重み係数α1、α2は、一般的には、実測に
より予め定められる定数であるが、必要な場合には、画
像の輝度値又は輝度値の変化率ΔＦ／Δｘの関数とする
ことができる。特にΔＦ／Δｘが大きくなる画像の輪郭
部分の位置ではα1、α2の値を大きな値に設定して、画
像の輪郭を際だたせ、画像の合焦部分を明瞭なものにす
ることができる。

【００４９】このように、ステップＲ１０で抽出された
各画像信号を合成回路４２により合成して全信号を映像
信号としてメモリ４４に格納し、ステップＲ１１におい
てモニタ装置４５において表示する。なお、合成回路４
２では、各画像信号がライン毎に加算されるので、一つ
のラインで見ると、図７の（ｆ）に示したように、鮮明
な画像部分が合成されるので、モニタ装置には各距離系
で撮影された画像の内合焦した鮮明な画像領域Ｐ、Ｔが
表示されることになる。

【００５０】一方、上述したような平均値を取る方法に
代えて、第２の方法として、以下のような方法も採用す
ることができる。図８の（ａ）〜（ｄ）は、図７の
（ａ）〜（ｄ）と同じである。図８に示す方法では、
（ｅ）に示したように、近距離画像の抽出された画素の
座標領域ｘ１〜ｘ２に対応する中距離画像の領域ｘ１’
〜ｘ２’の画像信号を一旦０に（暗黒に）することによ
り除去し、（ｆ）に示したように、この除去された中距
離の画像に、抽出された鮮明な近距離の画像を嵌め込む
ようにする。このような嵌め込み方式によっても中近の
両被写体に合焦した鮮明な映像を形成することができ
る。

【００５１】また、第３の方法として、以下に述べる方
法を用いることができる。この方法では、輝度分布曲線
の振幅の大きい方又は輝度の小さい方へ多量に振れた方
が合焦部分である、とする判定基準が採用される。

【００５２】この第３の方法では、近画像（近距離対象
に合焦させた映像）において、ｙ＝０の座標値でｘ方向
（水平走査線）上のピクセルの赤、緑、青の輝度値ＲN
（Ｐn）、ＧN（Ｐn）、ＢN（Ｐn）、並びにそれらの平
均値ＬN（Ｐn）（Ｐnは、ｎ番目のピクセル）が取り出
され、次にｙ＝ｙ1、……とすることにより各ピクセル
の各輝度値ないしその平均値が順次取り出される。

【００５３】次に、１水平走査線上の左端から右端まで
の値の平均値ＲNA、ＧNA、ＢNA、ＬNAを求め、更にこれ
らの平均値を中に記入した、ｘ−ＲN（Ｐn）、ｘ−ＧN
（Ｐn）、ｘ−ＢN（Ｐn）、ｘ−ＬN（Ｐn）の折れ線線
図を作成する。

【００５４】中画像に対しても、ＲM（Ｐn）、ＧM（Ｐ
n）、ＢM（Ｐn）、並びにそれらの平均値ＬM（Ｐn）を
求め、同一の水平走査線上の左端から右端までの値の平
均値ＲMA、ＧMA、ＢMA、ＬMAを求め、同様な折れ線線図
を作成する。

【００５５】次に、これらの画像の対応する走査線上の
同じＰn（n＝１、……）の点で、ＲN（Ｐn）とＲM（Ｐ
n）の値を比較し、その値の大きい方を合焦映像のピク
セルとする。

【００５６】（ＲN−ＲNA）等のような平均値との差を
比較する場合、比較される値が正、負に分かれ、負側を
合焦とする場合、上述の３通りの比較法で絶対値の大き
い方を合焦とする場合もある。

【００５７】更に上述のピクセル値の比較において、水
平走査線上の２個、３個……等の複数のピクセルＲN、
ＧN、……ＬNからなる値群、あるいはＰn点の左右上下
の長方形領域内の値群を求め、各々の値群の「平均
値」、「最大値」又は「最大絶対値」又は「平均値を０
とし、それからの減少の最も著しい値」を求め、上記の
ようなアルゴリズムで合焦部を決定することができる。

【００５８】上述の近画像と中画像との比較により得ら
れた近画像の合焦部分として抽出された画像の座標領域
ｘ1〜ｘ2は、対応する中画像の領域の画像信号を０と
し、そこへ代入される（嵌め込みされる）。これによ
り、近画像の合焦部分を含む中画像が形成されるので、
このように作成された画像と更に遠距離に合焦した画像
を同様に合成すれば、更に多くの合焦部を含む画像を創
成することが可能になる。この処理を順次継続すれば、
近距離から遠距離まですべて鮮明な映像で満たされた画
像が得られる。

【００５９】以上説明した例では、近距離に関連する画
像から鮮明な部分が抽出され、この抽出された近距離の
鮮明な画像部分と、中距離のほぼ全画像が平均値あるい
は嵌め込みにより重ね合わされたが、これを逆にして、
中距離に関連する画像から鮮明な部分を抽出し、これと
近距離のほぼ全画像に基づいて平均値あるいは嵌め込み
により合成するようにしても同様な結果が得られること
は自明である。

【００６０】また、図９に示すように、両画像に対する
鮮明な部分を抽出するしきい値Ｔを大きな値に設定し、
（ｄ）に示したように両画像からそれぞれ鮮明な部分を
抽出し、これを（ｅ）に示したように合成するようにし
てもよい。このときの合成時にも、上述した平均値を取
る方法ないし嵌め込み方法を採用することができる。

【００６１】以上のように、近距離画像と中距離画像の
合成が行なわれた後、この合成画像と遠距離画像の合成
を上述したのと同様な方法で行なう。

【００６２】このようにして、近距離、中距離、遠距離
にある被写体に合焦した各画像を合成することによりす
べての距離にある被写体にピントの合った映像を形成す
ることが可能になる。

【００６３】この合成された画像に対して、必要に応じ
てフィルタ処理を行ない輝度・色調の復元調整を行なう
ことにより元の映像の輝度・色調に対応させることがで
きる。

【００６４】なお、上述した各実施形態では、Ｒ、Ｇ、
Ｂの各原色毎にしきい値と比較したが、これに限定され
ることなく、３色あるいは２色の和を求め、それをしき
い値と比較して画像を抽出するようにしてもよい。ある
いは、メモリ２１、３６には、それぞれピクセルの輝度
値Ｌが格納されているので、この輝度値を読みだしそれ
をしきい値と比較するようにしてもよい。これが図５で
メモリからの輝度値Ｌの読み出しにより図示されてい
る。

【００６５】なお、いずれの実施形態においても、画像
ないし映像信号を処理する機器（ハードウェア）と信号
の認識・抽出（ソフトウェア）を高速で操作させれば、
動画の記録再生操作も可能となる。

【００６６】本発明では、画像ないし映像の合成に先立
ち各画像の中心合わせ、傾き補正、大きさ（ひずみ）補
正、歪曲補正を行なうことを特徴とするが、この場合、
ステップＳ２で行なわれる補正は粗調整、ステップＳ
５、Ｓ７及びＳ９で行なわれる補正は微調整と考えるこ
とができる。機械的な誤差が少ない場合には、ステップ
Ｓ２を省略して、ステップＳ５、Ｓ７及びＳ９によりす
べての補正を行なうようにすることもできる。

【００６７】また、上述した例では、各ピクセルの輝度
値Ｌの差分（微分）が最大になる部分に基づいて座標値
を検出したが（ステップＳ４）、各ピクセルの輝度値に
代えてＲ、ＧあるいはＢの原色の輝度値の差分に基づい
て座標値を検出するようにしてもよい。

【００６８】

【発明の効果】以上説明したように、本発明によれば、
距離の異なる被写体に合焦した各画像を位置合わせした
後、各画像の合焦した被写体部分を抽出、合成するよう
にしているので、すべての距離にある被写体に対して鮮
明な映像を正確に形成することが可能になる。

【図面の簡単な説明】

【図１】各距離にある被写体が撮像される状態を説明し
た説明図である。

【図２】近距離、中距離及び遠距離にある被写体の画像
から鮮明な映像を合成する構成を示した構成図である。

【図３】各画像の位置合わせを行なう流れを示したフロ
ーチャート図である。

【図４】各画像の位置合わせを行なう方法を示した説明
図である。

【図５】画像処理を行なう構成を示したブロック図であ
る。

【図６】画像処理の流れを示したフローチャート図であ
る。

【図７】近距離画像の鮮明部と中距離画像を合成する状
態を示した説明図である。

【図８】近距離画像の鮮明部を中距離画像に嵌め込むこ
とにより画像を合成する状態を示した説明図である。

【図９】近距離画像と中距離画像のそれぞれ鮮明部から
合成映像を得る状態を示した説明図である。

【符号の説明】

８、９、１０ＣＣＤ１１、１２、１３画像処理装置１４合成装置１５モニタ装置

Claims

【特許請求の範囲】

【請求項１】異る距離にある第１と第２の被写体を撮
像して各被写体の映像を形成する映像形成方法におい
て、それぞれ第１と第２の被写体に合焦して被写体を撮像
し、撮像して得られる第１と第２の被写体の画像の位置合わ
せを行ない、位置合わせされた第１と第２の被写体の画像から鮮明な
画像部分を抽出し、前記抽出された鮮明な画像部分を合成することにより映
像信号を形成することを特徴とする映像形成方法。
【請求項２】前記位置合わせが各画像の中心合わせ、
傾き補正、大きさ補正および歪曲補正により行なわれる
ことを特徴とする請求項１に記載の映像形成方法。
【請求項３】前記各画像の被写体の輝度の差分が最大
になる画素の座標値を検出し、その座標値が一致するよ
うに位置合わせを行なうことを特徴とする請求項１また
は２に記載の映像形成方法。
【請求項４】前記位置合わせを行なう前に機械的な誤
差に基づく補正を行なうことを特徴とする請求項１から
３までのいずれか１項に記載の映像形成方法。
【請求項５】前記鮮明な画像部分を合成することによ
り形成された映像信号を用いて画像を作成することを特
徴とする請求項１から４までのいずれか１項に記載の映
像形成方法。