JPH0721365A - 画像処理方法および装置 - Google Patents
画像処理方法および装置Info
- Publication number
- JPH0721365A JPH0721365A JP16707193A JP16707193A JPH0721365A JP H0721365 A JPH0721365 A JP H0721365A JP 16707193 A JP16707193 A JP 16707193A JP 16707193 A JP16707193 A JP 16707193A JP H0721365 A JPH0721365 A JP H0721365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- parameter
- filter
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 簡単な装置により、違和感のない自然な、所
望の立体感の画像を生成する方法および装置を提供す
る。 【構成】 撮像系1によって記録された画像を画像デー
タとして記憶する画像メモリ2と、記録された画像デー
タの深さ方向の情報を表す距離データを検出格納する距
離データ検出手段3,4と、画像データのぼけ量を決定
する撮像時のパラメータと、変換後の画像データのぼけ
量を決定する仮想撮像時のパラメータとによって、画像
の小領域ごとにぼけの点像分布に関するパラメータを計
算するぼけパラメータ計算手段8と、ぼけパラメータ計
算手段の出力に基づいてフィルタを作成するフィルタ作
成手段9と、作成されたフィルタと画像データとの積和
演算を行う積和演算手段10と、前記各部を制御する制
御部11とを有する。
望の立体感の画像を生成する方法および装置を提供す
る。 【構成】 撮像系1によって記録された画像を画像デー
タとして記憶する画像メモリ2と、記録された画像デー
タの深さ方向の情報を表す距離データを検出格納する距
離データ検出手段3,4と、画像データのぼけ量を決定
する撮像時のパラメータと、変換後の画像データのぼけ
量を決定する仮想撮像時のパラメータとによって、画像
の小領域ごとにぼけの点像分布に関するパラメータを計
算するぼけパラメータ計算手段8と、ぼけパラメータ計
算手段の出力に基づいてフィルタを作成するフィルタ作
成手段9と、作成されたフィルタと画像データとの積和
演算を行う積和演算手段10と、前記各部を制御する制
御部11とを有する。
Description
【0001】
【産業上の利用分野】本発明は、焦点深度の浅い画像か
ら深度の深い鮮明な画像を生成したり、焦点深度の深い
画像から深度の浅い立体感のある画像を生成する画像処
理方法および装置に関する。
ら深度の深い鮮明な画像を生成したり、焦点深度の深い
画像から深度の浅い立体感のある画像を生成する画像処
理方法および装置に関する。
【0002】
【従来の技術】光学的には撮像レンズの焦点距離やFナ
ンバーを変えることによって画像の焦点深度を変える方
法が知られている。しかしながら、撮像倍率や明るさの
制約上、所望の焦点深度の画像を撮像時に得ることは非
常に困難となる場合がある。そこで、デジタル画像処理
によって、撮像後の画像に対して深度すなわち立体感を
所望のものに変換する処理が行われている。
ンバーを変えることによって画像の焦点深度を変える方
法が知られている。しかしながら、撮像倍率や明るさの
制約上、所望の焦点深度の画像を撮像時に得ることは非
常に困難となる場合がある。そこで、デジタル画像処理
によって、撮像後の画像に対して深度すなわち立体感を
所望のものに変換する処理が行われている。
【0003】例えば、焦点深度の浅い画像から深度の深
い画像を生成する方法として、ピント位置の異なる複数
枚のデジタル画像を入力して、画像を積算したり、画像
の高周波成分を比較して高周波成分の強い画像を領域ご
とに合成して深度の深い画像を得る方法が知られてい
る。このような手法は、顕微鏡等の深度の浅い画像に対
して応用される。
い画像を生成する方法として、ピント位置の異なる複数
枚のデジタル画像を入力して、画像を積算したり、画像
の高周波成分を比較して高周波成分の強い画像を領域ご
とに合成して深度の深い画像を得る方法が知られてい
る。このような手法は、顕微鏡等の深度の浅い画像に対
して応用される。
【0004】また、焦点深度の深い画像から立体感を出
す方法として、例えばポートレートにいて人物を背景か
ら浮き出させるために人物と背景の領域を画像から分離
し、背景の領域に対して平滑化フィルタリングによって
背景をぼかす方法が知られている。
す方法として、例えばポートレートにいて人物を背景か
ら浮き出させるために人物と背景の領域を画像から分離
し、背景の領域に対して平滑化フィルタリングによって
背景をぼかす方法が知られている。
【0005】
【発明が解決しようとする課題】しかしながら、前記焦
点深度の深い画像を得る従来例では複数枚の画像を入力
する必要があり、画像データは膨大な情報量を有するた
め、画像を記憶しておくためのメモリ量が膨大になって
しまうという欠点がある。
点深度の深い画像を得る従来例では複数枚の画像を入力
する必要があり、画像データは膨大な情報量を有するた
め、画像を記憶しておくためのメモリ量が膨大になって
しまうという欠点がある。
【0006】また、前記焦点深度の深い画像から立体感
を出す従来例では人物と背景の領域を分離する必要があ
る。
を出す従来例では人物と背景の領域を分離する必要があ
る。
【0007】また、以上の従来例では画像を何らかの方
法で合成したり、分割するという処理を行っているた
め、光学処理によって得られる画像に比べて、得られる
画像が不自然になってしまう。
法で合成したり、分割するという処理を行っているた
め、光学処理によって得られる画像に比べて、得られる
画像が不自然になってしまう。
【0008】本発明は、前記問題点に鑑みてなされたも
のであり、複数枚の画像から合成処理を行ったり、画像
から特定領域を分割する必要のない、光学処理によって
得られるのと同等の違和感のない自然な、所望の立体感
の画像を生成する方法および装置を提供するものであ
る。
のであり、複数枚の画像から合成処理を行ったり、画像
から特定領域を分割する必要のない、光学処理によって
得られるのと同等の違和感のない自然な、所望の立体感
の画像を生成する方法および装置を提供するものであ
る。
【0009】
【課題を解決するための手段】本発明の画像処理方法
は、撮像系によって記録された画像データに対して、前
記画像データの深さ方向の情報を表す距離データと、前
記画像データのぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータとによって、画像の小領域ごとにフィルタ
を作成し、作成したフィルタを前記小領域に作用させる
ことによって画像の立体感を変換する。その場合、前記
パラメータは、Fナンバー、焦点距離、ピント位置の少
なくとも一つを含むのが好ましい。
は、撮像系によって記録された画像データに対して、前
記画像データの深さ方向の情報を表す距離データと、前
記画像データのぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータとによって、画像の小領域ごとにフィルタ
を作成し、作成したフィルタを前記小領域に作用させる
ことによって画像の立体感を変換する。その場合、前記
パラメータは、Fナンバー、焦点距離、ピント位置の少
なくとも一つを含むのが好ましい。
【0010】また、本発明の画像処理装置は、撮像系に
よって記録された画像を画像データとして記憶する画像
メモリと、記録された画像データの深さ方向の情報を表
す距離データを検出格納する距離データ検出手段と、画
像データのぼけ量を決定する撮像時のパラメータと、変
換後の画像データのぼけ量を決定する仮想撮像時のパラ
メータとによって、画像の小領域ごとにぼけの点像分布
に関するパラメータを計算するぼけパラメータ計算手段
と、前記ぼけパラメータ計算手段の出力に基づいてフィ
ルタを作成するフィルタ作成手段と、前記作成されたフ
ィルタと画像データとの積和演算を行う積和演算手段
と、前記各部を制御する制御部とを有する。
よって記録された画像を画像データとして記憶する画像
メモリと、記録された画像データの深さ方向の情報を表
す距離データを検出格納する距離データ検出手段と、画
像データのぼけ量を決定する撮像時のパラメータと、変
換後の画像データのぼけ量を決定する仮想撮像時のパラ
メータとによって、画像の小領域ごとにぼけの点像分布
に関するパラメータを計算するぼけパラメータ計算手段
と、前記ぼけパラメータ計算手段の出力に基づいてフィ
ルタを作成するフィルタ作成手段と、前記作成されたフ
ィルタと画像データとの積和演算を行う積和演算手段
と、前記各部を制御する制御部とを有する。
【0011】さらに、前記撮像系および画像メモリ並び
に距離データ検出手段は、複数の撮像系およびそれによ
って記録された画像を画像データとして記憶する画像メ
モリと、画像メモリに記憶された前記複数の撮像系の画
像データから画像の深さ方向の情報を表す距離データを
作成する距離マップ作成手段とから構成されるのが好ま
しい。
に距離データ検出手段は、複数の撮像系およびそれによ
って記録された画像を画像データとして記憶する画像メ
モリと、画像メモリに記憶された前記複数の撮像系の画
像データから画像の深さ方向の情報を表す距離データを
作成する距離マップ作成手段とから構成されるのが好ま
しい。
【0012】
【作用】撮影された画像の画像データと距離データとが
格納される。ぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の各小領域毎にフィルタを作
成する。作成したフィルタを対応する各小領域に作用さ
せ、画像の立体感を変換させる。
格納される。ぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の各小領域毎にフィルタを作
成する。作成したフィルタを対応する各小領域に作用さ
せ、画像の立体感を変換させる。
【0013】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図1は本発明の画像処理装置の第1の実施
例の構成を示すブロック図である。本実施例の画像処理
装置において、撮像系1によってデジタル信号に変換さ
れて画像メモリ2に取り込まれた画像データに対して、
三次元計測手段3によって距離マップメモリ4に取り込
まれた前記画像データの深さ方向の情報を表す距離デー
タと、キーボード5によって指定されたパラメータとに
よって、イメージプロセッサ6が所望の立体感の画像デ
ータを計算し、画像メモリ7に書き込む。
て説明する。図1は本発明の画像処理装置の第1の実施
例の構成を示すブロック図である。本実施例の画像処理
装置において、撮像系1によってデジタル信号に変換さ
れて画像メモリ2に取り込まれた画像データに対して、
三次元計測手段3によって距離マップメモリ4に取り込
まれた前記画像データの深さ方向の情報を表す距離デー
タと、キーボード5によって指定されたパラメータとに
よって、イメージプロセッサ6が所望の立体感の画像デ
ータを計算し、画像メモリ7に書き込む。
【0014】撮像系1は、例えば撮像レンズおよびCC
Dイメージセンサ等からなるスチルビデオカメラであ
る。撮像系1により撮像はデジタル信号に変換され画像
データとして出力され、画像メモリ2に格納される。ま
た、三次元計測手段3は、例えば図2に示すような光レ
ーダ型のレンジファインダであり、この場合、パルスレ
ーザ31からレーザ光のうちビームスプリッタ32,3
3を透過して撮像を形成することとなる対象物体に到達
し、再びビームスプリッタ33で反射して計時回路34
で検出される光成分と、パルスレーザ31から出てビー
ムスプリッタ32で反射して計時回路34で検出される
光成分との時間差から変換回路35によって距離が算出
される。また、パルスレーザ31のレーザ光を二次元的
に走査することにより撮像に対する距離データが形成さ
れる。このように形成された撮像の深さ方向の情報を表
す距離データは、距離マップメモリ4に格納される。
Dイメージセンサ等からなるスチルビデオカメラであ
る。撮像系1により撮像はデジタル信号に変換され画像
データとして出力され、画像メモリ2に格納される。ま
た、三次元計測手段3は、例えば図2に示すような光レ
ーダ型のレンジファインダであり、この場合、パルスレ
ーザ31からレーザ光のうちビームスプリッタ32,3
3を透過して撮像を形成することとなる対象物体に到達
し、再びビームスプリッタ33で反射して計時回路34
で検出される光成分と、パルスレーザ31から出てビー
ムスプリッタ32で反射して計時回路34で検出される
光成分との時間差から変換回路35によって距離が算出
される。また、パルスレーザ31のレーザ光を二次元的
に走査することにより撮像に対する距離データが形成さ
れる。このように形成された撮像の深さ方向の情報を表
す距離データは、距離マップメモリ4に格納される。
【0015】イメージプロセッサ6は、距離マップメモ
リ4の距離データとキーボード5によって入力されたパ
ラメータからぼけの点像分布に関するパラメータを計算
するぼけパラメータ計算手段8と、その出力によりデジ
タルフィルタを作成するフィルタ作成手段9と、前記フ
ィルタと画像メモリ2の画像データとの積和演算を行う
積和演算手段10と、以上各部8,9,10を制御する
制御部11とにより構成される。
リ4の距離データとキーボード5によって入力されたパ
ラメータからぼけの点像分布に関するパラメータを計算
するぼけパラメータ計算手段8と、その出力によりデジ
タルフィルタを作成するフィルタ作成手段9と、前記フ
ィルタと画像メモリ2の画像データとの積和演算を行う
積和演算手段10と、以上各部8,9,10を制御する
制御部11とにより構成される。
【0016】次に図1の実施例のイメージプロセッサの
処理について図3に示すフローチャートを参照して説明
する。本実施例では、キーボード5で指定して任意のF
ナンバー、ピント位置の画像に変換する処理の行うもの
とする。まず、画像データが撮像系1から画像メモリ2
に取り込まれた時の撮像条件等の設定が行われる(ステ
ップS1)。本実施例では撮像レンズの焦点距離f、F
ナンバーF0 、撮像時のピント位置(撮像レンズの主点
と合焦位置との距離)z0 とが設定される。本実施例に
おいては、これらのパラメータはあらかじめ初期設定さ
れているが、例えば焦点距離やFナンバー、ピント位置
の可変な撮像系を用いた場合、それぞれのパラメータを
撮像系に検出系を設けて検出し、イメージプロセッサ6
にインターフェースを介して通知してもよい。
処理について図3に示すフローチャートを参照して説明
する。本実施例では、キーボード5で指定して任意のF
ナンバー、ピント位置の画像に変換する処理の行うもの
とする。まず、画像データが撮像系1から画像メモリ2
に取り込まれた時の撮像条件等の設定が行われる(ステ
ップS1)。本実施例では撮像レンズの焦点距離f、F
ナンバーF0 、撮像時のピント位置(撮像レンズの主点
と合焦位置との距離)z0 とが設定される。本実施例に
おいては、これらのパラメータはあらかじめ初期設定さ
れているが、例えば焦点距離やFナンバー、ピント位置
の可変な撮像系を用いた場合、それぞれのパラメータを
撮像系に検出系を設けて検出し、イメージプロセッサ6
にインターフェースを介して通知してもよい。
【0017】そして、キーボード5から変換後の仮想F
ナンバーF1 およびピント位置z1の入力を受け付け
(ステップS2)、データが入力された時点から変換処
理を行う。以下の処理においてはFナンバー、ピント位
置による立体感の変換処理について説明するが、画像デ
ータのぼけ量を決定するパラメータであれば焦点距離の
ようなものでもよい。
ナンバーF1 およびピント位置z1の入力を受け付け
(ステップS2)、データが入力された時点から変換処
理を行う。以下の処理においてはFナンバー、ピント位
置による立体感の変換処理について説明するが、画像デ
ータのぼけ量を決定するパラメータであれば焦点距離の
ようなものでもよい。
【0018】変換処理においては、まず画像データを水
平方向から順次読み出すよう画素アドレスの設定を行う
(ステップS3)。例として、(i,j)番目の画素に
ついての処理について説明する。
平方向から順次読み出すよう画素アドレスの設定を行う
(ステップS3)。例として、(i,j)番目の画素に
ついての処理について説明する。
【0019】距離マップメモリ4から距離データz
(i,j)を読み込み(ステップS4)、ぼけパラメー
タ計算手段8でぼけの点像分布に関するパラメータとし
て本実施例では変換前と変換後の撮像面での錯乱円径d
0 ,d1 をそれぞれ次式のように計算する。
(i,j)を読み込み(ステップS4)、ぼけパラメー
タ計算手段8でぼけの点像分布に関するパラメータとし
て本実施例では変換前と変換後の撮像面での錯乱円径d
0 ,d1 をそれぞれ次式のように計算する。
【0020】
【式1】 但し、ξ(i,j),ξ0 ,ξ1 ,ψはそれぞれz
(i,j),z0 ,z1 ,fの逆数。
(i,j),z0 ,z1 ,fの逆数。
【0021】そして、近似的に錯乱円径の比Rd=d1
/d0 をぼけ処理の点像分布の直径として、ぼけ処理を
行うかどうかの判断をRdにより行う。すなわち、Rd
>1かどうか判断し(ステップS6)、Rd>1のとき
は、フィルタとして平滑化フィルタを作成し、Rd>1
でないときは、Rd=1かRd<1かを判断する(ステ
ップS8)。Rd<1のときは、フィルタとして鮮鋭化
フィルタを作成する(ステップS9)。Rd=1のとき
はフィルタは作成せず(ステップS10)、フィルタリ
ングは行わない。
/d0 をぼけ処理の点像分布の直径として、ぼけ処理を
行うかどうかの判断をRdにより行う。すなわち、Rd
>1かどうか判断し(ステップS6)、Rd>1のとき
は、フィルタとして平滑化フィルタを作成し、Rd>1
でないときは、Rd=1かRd<1かを判断する(ステ
ップS8)。Rd<1のときは、フィルタとして鮮鋭化
フィルタを作成する(ステップS9)。Rd=1のとき
はフィルタは作成せず(ステップS10)、フィルタリ
ングは行わない。
【0022】上述の平滑化フィルタとは、Rdを直径と
した円内の領域における平均フィルタである。また、鮮
鋭化フィルタは1/Rdを直径とした円内の領域での平
均フィルタの逆フィルタである。これらのフィルタは近
似的に同等の特性を有するものを用いてもよい。例え
ば、平滑化フィルタにはローパス特性を有するもの、鮮
鋭化フィルタにはハイパス特性を有するものが利用でき
る。
した円内の領域における平均フィルタである。また、鮮
鋭化フィルタは1/Rdを直径とした円内の領域での平
均フィルタの逆フィルタである。これらのフィルタは近
似的に同等の特性を有するものを用いてもよい。例え
ば、平滑化フィルタにはローパス特性を有するもの、鮮
鋭化フィルタにはハイパス特性を有するものが利用でき
る。
【0023】前記フィルタの作成をフィルタ作成手段9
で行った後、画像メモリ2から設定されたアドレスの画
素値I(i,j)およびフィルタサイズに合った近傍の
画素値を読み込み(ステップS11)、積和演算手段1
0でコンボリューション演算を行う(ステップS1
2)。そして、この結果が画像メモリ7に書き込まれる
(ステップS13)。そして、画像全体に渡り処理が終
了したか判断し(ステップS14)、終了していなけれ
ば、ステップS3に戻り、画素アドレスを再設定して処
理が繰り返される。このように、ぼけに関するパラメー
タに錯乱円径を用いて、シフトバリアントなデジタルフ
ィルタリングによって所望の立体感の画像を得ている。
で行った後、画像メモリ2から設定されたアドレスの画
素値I(i,j)およびフィルタサイズに合った近傍の
画素値を読み込み(ステップS11)、積和演算手段1
0でコンボリューション演算を行う(ステップS1
2)。そして、この結果が画像メモリ7に書き込まれる
(ステップS13)。そして、画像全体に渡り処理が終
了したか判断し(ステップS14)、終了していなけれ
ば、ステップS3に戻り、画素アドレスを再設定して処
理が繰り返される。このように、ぼけに関するパラメー
タに錯乱円径を用いて、シフトバリアントなデジタルフ
ィルタリングによって所望の立体感の画像を得ている。
【0024】本実施例では画素ごとにフィルタを求めて
計算しているが、画像を小領域ごとに分割して各領域に
おいて代表的なフィルタを作成して計算を行ってもよ
い。この場合、フィルタのサイズがある程度大きくなる
と計算時間がかかるのでFFT法による積和演算を行っ
てもよい。また、本実施例では画素ごとにフィルタリン
グを行った後、画素アドレスを設定し直して次の画素で
の計算を行うよう制御しているが、画像全体でぼけパラ
メータ計算、フィルタ作成、フィルタリングを順次行う
よう制御してもよい。また、本実施例では2つのぼけ両
パラメータの比からフィルタ種別の判別を行い、平滑化
および鮮鋭化を行っているが、、例えば、まず錯乱円径
d0 の逆数を直径とした円内の領域での平均フィルタの
逆フィルタにより鮮鋭化を行い、その後錯乱円径d1 を
直径とした円内の領域における平均フィルタにより平滑
化を行うという2段階の処理により立体感の変換を行っ
てもよい。
計算しているが、画像を小領域ごとに分割して各領域に
おいて代表的なフィルタを作成して計算を行ってもよ
い。この場合、フィルタのサイズがある程度大きくなる
と計算時間がかかるのでFFT法による積和演算を行っ
てもよい。また、本実施例では画素ごとにフィルタリン
グを行った後、画素アドレスを設定し直して次の画素で
の計算を行うよう制御しているが、画像全体でぼけパラ
メータ計算、フィルタ作成、フィルタリングを順次行う
よう制御してもよい。また、本実施例では2つのぼけ両
パラメータの比からフィルタ種別の判別を行い、平滑化
および鮮鋭化を行っているが、、例えば、まず錯乱円径
d0 の逆数を直径とした円内の領域での平均フィルタの
逆フィルタにより鮮鋭化を行い、その後錯乱円径d1 を
直径とした円内の領域における平均フィルタにより平滑
化を行うという2段階の処理により立体感の変換を行っ
てもよい。
【0025】次に、本発明の第2実施例について図4を
参照して説明する。本実施例では第2の撮像系12によ
り、第1の撮像系1により得られる画界と略同等の画界
の画像が得られ、画像メモリ13にデジタル画像データ
として取り込まれる。イメージプロセッサ16内の距離
マップ作成手段14は、これらの画像メモリ2,13に
格納された画像データから距離データを作成した後、距
離マップメモリ4に書き込む。
参照して説明する。本実施例では第2の撮像系12によ
り、第1の撮像系1により得られる画界と略同等の画界
の画像が得られ、画像メモリ13にデジタル画像データ
として取り込まれる。イメージプロセッサ16内の距離
マップ作成手段14は、これらの画像メモリ2,13に
格納された画像データから距離データを作成した後、距
離マップメモリ4に書き込む。
【0026】以下の処理および第1の実施例との共通部
分のブロックの動作は第1の実施例に実質的に同じであ
る。距離マップ作成手段14の処理を示すブロック図を
図5に示す。画像1、画像2はそれぞれ第1の撮像系、
第2の撮像系によって得られたデジタル画像データであ
る。まず、画像2のエッジ部分が抽出され、テンプレー
トとしてエッジ点列バッファに格納される。一方、画像
1においてもエッジが抽出され、エッジ画像としてメモ
リに格納される。そして、エッジ点列バッファに位置オ
フセットをかけて平行移動させて、エッジ画像とのテン
プレートマッチングが行われ、位置ずれが検出される。
そして、検出された位置ずれは撮像系のパラメータであ
る焦点距離、ピント位置、2つの撮像系の光軸間の距
離、輻輳角によって距離に変換される。すなわち、距離
マップ作成手段14では、例えば画像メモリ2,13か
らエッジ部のような特徴を抽出し、画像間での対応を取
り、画像上での位置ずれから深さ方向の情報を表す距離
データが得られる。本実施例の2つの撮像系は同一のも
のを用いてもよいが、距離マップ作成用の第2の撮像系
として安価な低解像のものを用いてもよい。
分のブロックの動作は第1の実施例に実質的に同じであ
る。距離マップ作成手段14の処理を示すブロック図を
図5に示す。画像1、画像2はそれぞれ第1の撮像系、
第2の撮像系によって得られたデジタル画像データであ
る。まず、画像2のエッジ部分が抽出され、テンプレー
トとしてエッジ点列バッファに格納される。一方、画像
1においてもエッジが抽出され、エッジ画像としてメモ
リに格納される。そして、エッジ点列バッファに位置オ
フセットをかけて平行移動させて、エッジ画像とのテン
プレートマッチングが行われ、位置ずれが検出される。
そして、検出された位置ずれは撮像系のパラメータであ
る焦点距離、ピント位置、2つの撮像系の光軸間の距
離、輻輳角によって距離に変換される。すなわち、距離
マップ作成手段14では、例えば画像メモリ2,13か
らエッジ部のような特徴を抽出し、画像間での対応を取
り、画像上での位置ずれから深さ方向の情報を表す距離
データが得られる。本実施例の2つの撮像系は同一のも
のを用いてもよいが、距離マップ作成用の第2の撮像系
として安価な低解像のものを用いてもよい。
【0027】
【発明の効果】以上説明したように、本発明によれば撮
像系によって記録された画像の画像データに対して、前
記画像の深さ方向の情報を表す距離データと、前記画像
データに対するぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータによって、画像の小領域ごとにフィルタを
作成し、小領域ごとに作成したフィルタを作用させるこ
とによって、違和感のない自然な、所望の立体感の画像
を変換生成することができる。
像系によって記録された画像の画像データに対して、前
記画像の深さ方向の情報を表す距離データと、前記画像
データに対するぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータによって、画像の小領域ごとにフィルタを
作成し、小領域ごとに作成したフィルタを作用させるこ
とによって、違和感のない自然な、所望の立体感の画像
を変換生成することができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の第1の実施例の構成を
示すブロック図である。
示すブロック図である。
【図2】図1の実施例の三次元計測手段の一例を示すブ
ロック図である。
ロック図である。
【図3】図1の実施例の動作すなわち画像処理方法の処
理の流れを説明するフローチャートである。
理の流れを説明するフローチャートである。
【図4】本発明の第2の実施例の構成を示すブロック図
である。
である。
【図5】図4の実施例の距離マップ作成手段の処理を説
明するブロック図である。
明するブロック図である。
1,12 撮像系 2,13 画像メモリ 3 三次元計測手段 4 距離マップメモリ 5 キーボード 6,16 イメージプロセッサ 7 画像メモリ 8 ぼけパラメータ計算手段 9 フィルタ作成手段 10 積和演算手段 11 制御部 14 距離マップ作成手段 31 パルスレーザ 32,33 ビームスプリッタ 34 計時回路 35 変換回路
Claims (4)
- 【請求項1】 撮像系によって記録された画像データに
対して、前記画像データの深さ方向の情報を表す距離デ
ータと、前記画像データのぼけ量を決定する撮像時のパ
ラメータと、変換後の画像データのぼけ量を決定する仮
想撮像時のパラメータとによって、画像の小領域ごとに
フィルタを作成し、作成したフィルタを前記小領域に作
用させることによって画像の立体感を変換する画像処理
方法。 - 【請求項2】 前記パラメータは、Fナンバー、焦点距
離、ピント位置の少なくとも一つを含む請求項1記載の
画像処理方法。 - 【請求項3】 撮像系によって記録された画像を画像デ
ータとして記憶する画像メモリと、 記録された画像データの深さ方向の情報を表す距離デー
タを検出格納する距離データ検出手段と、 画像データのぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の小領域ごとにぼけの点像分
布に関するパラメータを計算するぼけパラメータ計算手
段と、 前記ぼけパラメータ計算手段の出力に基づいてフィルタ
を作成するフィルタ作成手段と、 前記作成されたフィルタと画像データとの積和演算を行
う積和演算手段と、 前記各部を制御する制御部とを有する画像処理装置。 - 【請求項4】 複数の撮像系によって記録された画像を
画像データとして記憶する画像メモリと、 画像メモリに記憶された前記複数の撮像系の画像データ
から画像の深さ方向の情報を表す距離データを作成する
距離マップ作成手段と、 距離マップ作成手段が作成した距離データと、前記複数
の撮像系の内のひとつである主撮像系の画像データのぼ
け量を決定する撮像時のパラメータと、主撮像系の画像
データの変換後のぼけ量を決定する仮想撮像時のパラメ
ータとによって、画像の小領域ごとにぼけの点像分布に
関するパラメータを計算するぼけパラメータ計算手段
と、 前記ぼけパラメータ計算手段の出力に基づいてフィルタ
を作成するフィルタ作成手段と、 前記作成されたフィルタと画像データとの積和演算を行
う積和演算手段と、 前記各部を制御する制御部とを有する画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16707193A JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16707193A JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0721365A true JPH0721365A (ja) | 1995-01-24 |
Family
ID=15842870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16707193A Pending JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0721365A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6900841B1 (en) | 1999-01-11 | 2005-05-31 | Olympus Optical Co., Ltd. | Image processing system capable of applying good texture such as blur |
JP2009015828A (ja) * | 2007-06-06 | 2009-01-22 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
EP2302903A1 (en) | 2009-08-13 | 2011-03-30 | FUJIFILM Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
JP2014123805A (ja) * | 2012-12-20 | 2014-07-03 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
US8988592B2 (en) | 2012-05-17 | 2015-03-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
JP2015108837A (ja) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US9361680B2 (en) | 2013-08-07 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and imaging apparatus |
US10326927B2 (en) | 2015-02-24 | 2019-06-18 | Canon Kabushiki Kaisha | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program |
-
1993
- 1993-07-06 JP JP16707193A patent/JPH0721365A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6900841B1 (en) | 1999-01-11 | 2005-05-31 | Olympus Optical Co., Ltd. | Image processing system capable of applying good texture such as blur |
JP2009015828A (ja) * | 2007-06-06 | 2009-01-22 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US8564693B2 (en) | 2007-06-06 | 2013-10-22 | Sony Corporation | Image processing device, image processing method, and image processing program |
USRE46976E1 (en) | 2007-06-06 | 2018-07-31 | Sony Corporation | Image processing device, image processing method, and image processing program |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
US9025049B2 (en) | 2009-08-13 | 2015-05-05 | Fujifilm Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
EP2302903A1 (en) | 2009-08-13 | 2011-03-30 | FUJIFILM Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US8988592B2 (en) | 2012-05-17 | 2015-03-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
US9621786B2 (en) | 2012-05-17 | 2017-04-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
US10021290B2 (en) | 2012-05-17 | 2018-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
JP2014123805A (ja) * | 2012-12-20 | 2014-07-03 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
US9361680B2 (en) | 2013-08-07 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and imaging apparatus |
JP2015108837A (ja) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US10326927B2 (en) | 2015-02-24 | 2019-06-18 | Canon Kabushiki Kaisha | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
US6160909A (en) | Depth control for stereoscopic images | |
CN108076286B (zh) | 图像虚化方法、装置、移动终端和存储介质 | |
JP2756803B2 (ja) | 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 | |
US6519359B1 (en) | Range camera controller for acquiring 3D models | |
CN101297545B (zh) | 摄影装置、图像处理装置 | |
JP3191928B2 (ja) | 画像入出力装置 | |
JPH0560528A (ja) | 立体情報入力装置 | |
WO2014044126A1 (zh) | 坐标获取装置、实时三维重建***和方法、立体交互设备 | |
JP2000316120A (ja) | 全焦点撮像装置 | |
JP2006067521A (ja) | 画像処理装置と方法、および画像撮像装置と方法 | |
US11282176B2 (en) | Image refocusing | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
JPH0721365A (ja) | 画像処理方法および装置 | |
JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
JP4354096B2 (ja) | 撮像装置 | |
JPH10262176A (ja) | 映像形成方法 | |
JP4091455B2 (ja) | 3次元形状計測方法及び3次元形状計測装置並びにその処理プログラムと記録媒体 | |
KR101186103B1 (ko) | 측정 대상물의 3d 높이 정보를 측정하는 측정 방법 및 장치 | |
JP3725606B2 (ja) | 撮影装置 | |
JP2001298657A (ja) | 映像形成方法及び装置 | |
EP1522961A2 (en) | Deconvolution of a digital image | |
JPH1139506A (ja) | 任意視点画像生成装置 | |
CN115086558B (zh) | 对焦方法、摄像设备、终端设备及存储介质 | |
JPH09294224A (ja) | 自動倍率撮像装置及び自動倍率撮影装置 |