JP2006311505A - 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 - Google Patents
画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 Download PDFInfo
- Publication number
- JP2006311505A JP2006311505A JP2006047324A JP2006047324A JP2006311505A JP 2006311505 A JP2006311505 A JP 2006311505A JP 2006047324 A JP2006047324 A JP 2006047324A JP 2006047324 A JP2006047324 A JP 2006047324A JP 2006311505 A JP2006311505 A JP 2006311505A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distance
- image
- subject
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims description 249
- 238000005259 measurement Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000013500 data storage Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000009966 trimming Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 241001310793 Podium Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】撮像範囲内の部分領域ごとに算出された距離に基づいて、画像処理する。
【解決手段】本発明に係る画像処理システムは、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部とを備える。
【選択図】図2
【解決手段】本発明に係る画像処理システムは、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部とを備える。
【選択図】図2
Description
本発明は、画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法に関する。特に、本発明は、画像処理装置を含む画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法に関する。
従来、複数の合焦距離で撮像した撮像画像間の差分データを平均化して、画像をトリミングする方法が提案されている(例えば、特許文献1参照)。また、被写体にピントが合った合焦画像と、ピントがずれた非合焦画像との比較により初期輪郭を設定して、初期輪郭内から背景画像を除去することにより、被写体をトリミングする方法が提案されている(例えば、特許文献2参照)。
特開平09−186931号公報
特開平09−186935号公報
しかしながら、特許文献1及び特許文献2に記載されている発明においては、被写体の境界を明確に決定することができず、被写体の境界と背景画像とを明確に分離することが困難な場合がある。したがって、精度よく、被写体のトリミングをすることが困難であるという問題がある。
そこで本発明は、上記課題を解決することができる画像処理システム、画像処理方法、及び画像処理プログラム並びに撮像装置、及び撮像方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、画像処理装置を含む画像処理システムであって、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部とを備える。
また、距離情報取得部が取得した被写体距離情報に基づいて、撮像画像取得部が取得した撮像画像におけるオブジェクトの境界を特定する境界特定部をさらに備え、画像処理部は、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像に画像処理を施してもよい。また、画像処理部は、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像をトリミングしてもよい。また、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する主要被写体領域特定部を更に備え、画像処理部は、主要被写体領域の画像と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施してもよい。
更に、画像処理部は、主要被写体領域を除く領域の画像に対して主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してもよく、画像処理部は、主要被写体領域を除く領域の画像に対してガンマ補正をして、主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してもよい。また、画像処理部は、距離情報取得部が取得した被写体距離情報が示す、撮像装置からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施してもよい。
また、距離情報取得部は、撮像装置が備える合焦距離制御部によって撮像部の合焦距離が順次変化されているときに、撮像部により合焦距離毎に撮像された複数の予備画像を取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を算出する被写体距離算出部とを有してもよい。
更に、被写体距離算出部は、予備画像取得部が合焦距離毎に取得した複数の予備画像のそれぞれについて部分領域毎に空間周波数分布を算出する空間周波数算出部と、空間周波数算出部が算出した空間周波数分布を異なる予備画像の同一の部分領域で比較し、所定の部分領域において空間周波数成分のレベルが最も大きい予備画像の合焦距離を、所定の部分領域における撮像装置と被写体との距離として決定する被写体距離決定部とを有してもよい。また、距離情報取得部は、被写体距離情報として撮像装置が備える測距部によって測定された撮像装置と被写体との距離を示す測距データを取得する測距データ取得部を有してもよい。
また、本発明の第2の形態においては、画像処理方法であって、撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得段階と、距離情報取得段階が取得した被写体距離情報に応じて、撮像画像取得段階が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理段階とを備える。
また、本発明の第3の形態においては、撮像画像に画像処理を施す画像処理装置用の画像処理プログラムであって、画像処理装置を、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部として機能させる。
また、本発明の第4の形態においては、撮像装置であって、撮像部と、撮像部の合焦距離を制御する合焦距離制御部と、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部と、予備画像部が合焦距離毎に取得した複数の予備画像を、撮像画像取得部が取得した撮像画像とともに出力する画像出力部とを備える。
また、本発明の第5の形態においては、撮像方法であって、撮像部の合焦距離を制御する合焦距離制御段階と、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を、撮像画像取得段階が取得した撮像画像とともに出力する画像出力段階とを備える。
また、本発明の第6の形態においては、撮像装置であって、撮像部と、撮像部の合焦距離を制御する合焦距離制御部と、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像部と被写体との距離を算出する被写体距離算出部とを備える。
また、本発明の第7の形態においては、撮像方法であって、撮像部の合焦距離を制御する合焦距離制御段階と、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、撮像部と被写体との距離を算出する被写体距離算出段階とを備える。
また、本発明の第8の形態においては、撮像装置であって、撮像部と、撮像部の撮像範囲内における複数の測距点について、撮像部と被写体との距離をそれぞれ測定する測距部と、撮像部が撮像した画像、及び撮像部が撮像した画像における複数の測距点の位置に対応づけて、測距部が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納部と、撮像部が撮像した画像を、測距データ格納部が格納している複数の測距データとともに出力する画像出力部とを備える。
また、本発明の第9の形態においては、撮像方法であって、撮像部の撮像範囲内における複数の測距点について、撮像部と被写体との距離をそれぞれ測定する測距段階と、撮像部が撮像した画像、及び撮像部が撮像した画像における複数の測距点の位置に対応づけて、測距段階が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納段階と、撮像部が撮像した画像を、測距データ格納段階が格納している複数の測距データとともに出力する画像出力段階とを備える。
また、本発明の第10の形態においては、撮像装置であって、撮像部と、撮像部の撮像範囲内における測距点について、撮像部と被写体との距離を測定する測距部と、撮像部の合焦距離を制御する合焦距離制御部と、測距部が測定した距離を含む予め定められた範囲内で、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部とを備える。また、測距部は、赤外光を撮像範囲に照射して、撮像部と撮像範囲に含まれる被写体との距離を測定してもよい。
また、本発明の第11の形態においては、撮像方法であって、撮像部の撮像範囲内における測距点について、撮像部と被写体との距離を測定する測距段階と、撮像部の合焦距離を制御する合焦距離制御段階と、測距段階が測定した距離を含む予め定められた範囲内で、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階とを備える。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、撮像範囲内の部分領域ごとに算出した距離に基づいて、画像処理できる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像処理システム800の概要を示す。画像処理システム800は、撮像装置10及び画像処理装置40を備える。撮像装置10は、ユーザ802が人物804及び城806を撮像した場合に、撮像装置10と人物804及び城806との被写体距離情報を取得する。ここで、被写体距離情報とは、撮像画像の部分領域ごとにおける、撮像装置と被写体との距離を示す情報であってよい。また、被写体距離情報は、オートフォーカスによって被写体とピントが合った場合の合焦距離であってよい。更に、撮像装置と被写体との距離を示す測距データであってもよく、3D画像から算出される撮像装置と被写体との距離であってもよい。
そして、撮像装置10は、被写体距離情報に基づいて、撮像画像808の部分領域ごとに画像処理をする。例えば、撮像装置10は、部分領域ごとに算出された被写体距離情報に基づいて、人物804をトリミングする。そして、撮像装置10は、トリミング画像810を出力する。なお、撮像装置10において撮像された撮像画像を、画像処理装置40が、画像処理してもよい。すなわち、画像処理装置40が、人物804のトリミング処理をして、トリミング画像810を出力してもよい。
本実施形態に係る画像処理システム800は、撮像範囲内の部分領域ごとに算出された距離に基づいて、撮像した画像に対して画像処理することを目的とする。
図2は、本実施形態に係る撮像装置10の機能構成の第1の例を示す。撮像装置10は、撮像部100、合焦距離制御部110、予備画像取得部120、予備画像格納部122、合焦距離決定部130、撮像画像取得部140、撮像画像格納部142、画像出力部150、被写体距離算出部160、及び被写体距離格納部170を備える。また、被写体距離算出部160は、空間周波数算出部162及び被写体距離決定部164を有する。
合焦距離制御部110は、撮像部100の合焦距離を制御する。そして、撮像部100は、合焦距離が順次変化しているときに複数の予備画像を撮像する。ここで、予備画像とは、合焦位置などの撮像条件を決定することを目的として取得する画像であってよい。例えば、合焦位置ごとに撮像された画像であって、解像度が撮像画像よりも低い画像を予備画像としてよい。撮像部100は、撮像した複数の予備画像を予備画像取得部120へ供給する。
予備画像取得部120は、撮像部100が撮像した複数の予備画像を順次取得する。予備画像取得部120は、取得した複数の予備画像を、予備画像格納部122及び合焦距離決定部130へ供給する。合焦距離決定部130は、予備画像取得部120が合焦距離ごとに取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する。例えば、合焦距離決定部130は、各予備画像のそれぞれを解析して、予備画像の空間周波数成分を算出する。そして、合焦距離決定部130は、予備画像の高周波数成分のレベルが予め定められたレベルよりも高い場合に、当該予備画像を撮像した合焦距離を、主要被写体に対する合焦距離としてよい。
また、合焦距離決定部130は、主要被写体を、被写体の色情報、被写体の形状の特徴等を用いて決定できる。例えば、主要被写体として人物を想定した場合には、合焦距離決定部130は、顔の色情報、顔の形状の特徴を用いて、顔領域を自動的に抽出する。そして、合焦距離決定部130は、抽出された領域について画像の明るさ、色分布を解析することで、主要被写体が人物か否かを判定できる。これにより、主要被写体が撮像画像において占める位置にかかわらず、合焦距離決定部130は、適切な合焦距離を決定できる。
合焦距離決定部130は、決定した合焦距離を合焦距離制御部110へ供給する。合焦距離制御部110は、撮像部100の合焦距離を制御する。そして、撮像部100は、合焦距離を合焦距離決定部130が決定した合焦距離に制御して、画像を撮像する。続いて、撮像部100は、撮像画像を撮像画像取得部140へ供給する。
撮像画像取得部140は、撮像部100が合焦距離決定部130が決定した合焦距離で撮像した、撮像画像を取得する。そして、撮像画像取得部140は、取得した撮像画像を撮像画像格納部142及び被写体距離決定部164へ供給する。撮像画像格納部142は、撮像画像取得部140から受け取った撮像画像を、撮像画像を一意に識別できる識別子に対応づけて格納する。そして、撮像画像格納部142は、撮像画像を画像出力部150へ供給する。
予備画像格納部122は、予備画像取得部120から受け取った複数の予備画像を、予備画像を一意に識別できる識別子に対応づけて格納する。予備画像格納部122は、複数の予備画像を、画像出力部150及び空間周波数算出部162へ供給する。空間周波数算出部162は、予備画像格納部122から受け取った複数の予備画像のそれぞれについて、部分領域ごとに空間周波数分布を算出する。空間周波数算出部162は、算出された空間周波数分布を、被写体距離決定部164へ供給する。
被写体距離決定部164は、空間周波数算出部162が算出した空間周波数分布を、異なる予備画像の同一の部分領域で比較する。そして、被写体距離決定部164は、所定の部分領域の空間周波数成分のレベルが最も大きい予備画像に対応する合焦距離を、所定の部分領域における撮像装置10と被写体との距離として決定する。なお、被写体距離決定部164が決定した所定の部分領域における撮像装置10と被写体との距離は、被写体距離情報の一例である。また、被写体距離決定部164は、撮像画像取得部140から受け取った被写体距離情報を取得して、所定の部分領域における撮像装置10と被写体との距離を決定してもよい。被写体距離情報は、例えば、撮像装置10により測距された、撮像装置10と被写体との距離を示す測距データであってよい。
被写体距離決定部164は、被写体距離決定部164が決定した撮像装置10と被写体との複数の距離を被写体距離格納部170へ供給する。被写体距離格納部170は、受け取った撮像装置10と被写体との距離を一意に識別できる識別子に対応づけて格納する。そして、被写体距離格納部170は、撮像装置10と被写体との距離を、画像出力部150へ供給する。
画像出力部150は、予備画像格納部122から受け取った複数の予備画像を、撮像画像格納部142から受け取った撮像画像と共に出力する。また、被写体距離決定部164が決定した撮像装置10と被写体との距離を示す、被写体距離情報も出力してよい。例えば、画像出力部150は、デジタルデータとしてメモリ装置等に被写体距離情報を出力する。また、画像処理装置40、モニタ及び印刷装置等に出力してもよい。
本実施形態に係る撮像装置10によれば、撮像画像における複数の部分領域ごとに、撮像部100と被写体との距離を算出及び出力できるので、画像処理の段階においても被写体距離情報を用いることができる。これにより、被写体の撮像画像における奥行きが、被写体距離情報に基づいて決定できるので、被写体を精度よくトリミングすることができる。
図3は、被写体距離算出部160が被写体との距離を決定する方法の一例を示す。空間周波数算出部162は、予備画像取得部120が合焦距離302、合焦距離304、及び合焦距離306ごとに取得した、複数の予備画像310、予備画像320、及び予備画像330のそれぞれについて、予備画像の部分領域ごとに空間周波数成分を算出する。そして、被写体距離決定部164は、空間周波数算出部162が算出した空間周波数分布を、異なる予備画像の同一の部分領域で比較する。
ここで、グラフ350は、横軸が空間周波数(Hz)、縦軸が各予備画像の同一の部分領域における空間周波数のレベルを表す。被写体距離決定部164は、各予備画像の同一の部分領域において算出された、空間周波数のレベルを比較する。続いて、空間周波数のレベルが最も高い部分領域を含む予備画像を決定する。そして、被写体距離決定部164は、空間周波数のレベルが最も高い予備画像が撮像された合焦距離を、被写体距離情報として決定する。
例えば、被写体距離決定部164は、予備画像310の部分領域312の空間周波数、予備画像320の部分領域322の空間周波数、および予備画像330の部分領域332の空間周波数をそれぞれ比較する。グラフ350においては、部分領域322の空間周波数のレベル322'、部分領域312の空間周波数のレベル312'、そして、部分領域332の空間周波数のレベル332'の順で空間周波数のレベルが高い。
係る場合において被写体距離決定部164は、空間周波数のレベルが最も高い曲線322'に対応する部分領域322を含む予備画像320に対応する合焦距離を、部分領域322における撮像装置10と被写体との距離として決定する。そして、被写体距離決定部164が決定した合焦距離304を、被写体距離決定部164は、予備画像320における、撮像装置位置300と合焦距離304に位置する被写体との距離を示す被写体距離情報として決定する。
図4は、被写体距離算出部160が部分領域ごとの被写体との距離を算出する方法の一例を示す図である。図3での上記説明において、被写体距離決定部164が決定した予備画像の部分領域ごとの被写体距離情報を、被写体距離算出部160は、予備画像の各部分領域に対応づける。そして、被写体距離算出部160が各部分領域に対応付けた被写体距離情報は、被写体距離格納部170に供給される。続いて、被写体距離格納部170は、受け取った被写体距離情報を部分領域に対応づけて格納する。
例えば、予備画像500の部分領域502において被写体距離決定部164が決定した合焦距離が3mだった場合には、部分領域502の被写体距離情報は3mであると、被写体距離算出部160は算出する。同様に予備画像500の部分領域504においては被写体距離情報は30mであると、被写体距離算出部160は算出する。また、被写体距離決定部164が決定した合焦距離が、予め定められた距離よりも大きい場合には、部分領域506に示すように、被写体距離算出部160は被写体距離情報を∞としてよい。
図5は、本発明に係る撮像装置10の機能構成の第2の例を示す。撮像装置10は、撮像部100、撮像画像取得部140、撮像画像格納部142、画像出力部150、測距部200、測距データ取得部210、及び測距データ格納部220を備える。ここで、撮像部100、撮像画像取得部140、撮像画像格納部142、及び画像出力部150については、図2での上記説明において、同一の符号で説明した各構成部分と略同一の機能を有するので、説明は省略する。
測距部200は、撮像部100の撮像範囲内の複数の測距点について、撮像部100と被写体との距離をそれぞれ測定する。例えば、測距部200は、アクティブ方式、パッシブ方式、及び位相差検知方式等を用いて被写体との距離をそれぞれ測定する。また、測距部200は、予備画像ごとに空間周波数を算出して、予め定められたレベルよりも高い周波数成分を示す予備画像に対応した合焦距離を被写体との距離としてもよい。測距部200は、測定された測距データを測距データ取得部210へ供給する。
測距データ取得部210は、被写体距離情報として、測距部200が測定した撮像装置10と被写体との距離を示す測距データを取得する。測距データ取得部210は、取得した測距データを、測距データ格納部220へ供給する。測距データ格納部220は、撮像部100が撮像した画像及び撮像部100が撮像した画像における複数の測距点の位置に対応づけて、測距データ取得部210から受け取った測距データを格納する。そして、測距データ格納部220は、複数の測距データを画像出力部150へ供給する。
本実施形態に係る撮像装置10によれば、撮像画像における複数の測距点ごとに、撮像部100と被写体との距離を測定、及び出力できる。これにより、撮像画像の測距点ごとに算出された被写体距離情報に基づいて、トリミング処理等の画像処理に資することができる。
図6は、画像処理装置40の機能構成の一例を示す。画像処理装置40は、撮像画像取得部140、撮像画像格納部142、距離情報取得部400、境界特定部410、主要被写体領域特定部415、及び画像処理部420を備える。そして、距離情報取得部400は、予備画像取得部120、予備画像格納部122、被写体距離算出部160、測距データ取得部210、及び測距データ格納部220を有する。また、被写体距離算出部160は、空間周波数算出部162及び被写体距離決定部164を含む。ここで、予備画像取得部120、予備画像格納部122、撮像画像取得部140、撮像画像格納部142、被写体距離算出部160、空間周波数算出部162、被写体距離決定部164、測距データ取得部210、及び測距データ格納部220については、図2及び図3での上記説明において、同一の符号で説明した各構成部分と略同一の機能を有するので、説明は省略する。
境界特定部410は、距離情報取得部400が取得した被写体距離情報に基づいて、撮像画像取得部140が取得した撮像画像におけるオブジェクトの境界を特定する。境界特定部410は、特定した境界の情報を主要被写体領域特定部415および画像処理部420に供給する。主要被写体領域特定部415は、境界特定部410が特定した境界を用いて、撮像画像取得部140が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する。なお、主要被写体領域は部分領域の一例である。具体的には、主要被写体領域特定部415は、境界特定部410が特定したオブジェクトの境界によって示されるオブジェクトの中で、撮像画像に対して最も大きい領域を占めるオブジェクトの領域を主要被写体領域として特定してよい。また、主要被写体領域特定部415は、境界特定部410が特定したオブジェクトの境界によって示されるオブジェクトの撮像画像に対する領域の位置が、撮像画像の中央から予め定められた範囲内にある場合に、当該オブジェクトの領域を主要被写体領域として特定してもよい。例えば、主要被写体領域特定部415は、撮像画像の中央により近いオブジェクトの領域を、主要被写体領域として特定してよい。更に、主要被写体領域特定部415は、距離情報取得部400が取得した被写体距離情報が示す撮像装置10から被写体までの距離が、最も撮像装置10に近いオブジェクトの領域を主要被写体領域として特定してもよい。主要被写体領域特定部415は、特定した主要被写体の領域に関する情報を画像処理部420に供給する。
画像処理部420は、撮像画像格納部142に格納された撮像画像、被写体距離決定部164が決定した被写体距離情報、境界特定部410が特定したオブジェクトの境界の情報、および主要被写体領域特定部415から主要被写体の領域に関する情報を受け取る。画像処理部420は、距離情報取得部400が取得した被写体距離情報に基づいて、撮像画像取得部140が取得した撮像画像における複数の部分領域ごとに異なる画像処理を施す。例えば、撮像画像に含まれるオブジェクトをトリミングする。そして、撮像画像に含まれるオブジェクトの境界の外部をぼかす処理を施してもよい。また、画像処理部420は、主要被写体の領域に関する情報に基づいて、主要被写体領域の画像と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す。なお、主要被写体の領域に関する情報は、撮像画像において主要被写体の領域が占める位置および大きさを示す情報であってよい。
また、画像処理部420は、主要被写体領域を除く領域の画像に対して主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してよい。ここで、鮮明度とは、画素の濃淡、明度、彩度、およびコントラスト等の度合いである。そして、鮮明度を低くする画像処理とは、画素の濃淡変化を原画像の画素の濃淡変化よりも少なくする画像処理、明度を原画像の明度よりも下げる画像処理、彩度を原画像の彩度よりも下げる画像処理、およびコントラストを原画像のコントラストよりも低くする画像処理である。また、画像処理部420は、主要被写体領域を除く領域の画像に対してガンマ補正をして、主要被写体領域の画像よりも鮮明度を低くする画像処理を施してもよい。
更に、画像処理部420は、距離情報取得部400が取得した被写体距離情報が示す、撮像装置10からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施してもよい。例えば、画像処理部420は、撮像装置10からの距離がより遠い部分領域の画像を、よりぼかす画像処理をする。これにより、画像処理部420は、例えば、撮像装置10からの距離が近い主要被写体領域の画像を明瞭にする一方で、主要被写体を含まない部分領域であって、撮像装置10および主要被写体から離れた領域に対応する部分領域の画像をぼかす処理をすることができるので、ユーザは、主要被写体を強調した画像を容易に取得できる。
なお、境界特定部410及び画像処理部420は、図2及び図3での上記説明における撮像装置10に備えてもよい。そして、撮像装置10が備える、境界特定部410及び画像処理部420の処理に基づいて、撮像画像におけるオブジェクトの境界を特定するか、または、撮像画像に含まれるオブジェクトに対してトリミング等の画像処理を施してもよい。
本実施形態に係る画像処理装置40によれば、撮像画像における複数の部分領域ごとに算出された被写体距離情報、及び撮像画像における複数の測距点ごとに測定された撮像部と被写体との距離に基づいて、撮像画像の画像処理ができる。これにより、オブジェクトの境界を検出する画像処理等を、精度よくできる。
図7は、本実施形態に係る境界特定部410がオブジェクトをトリミングする方法の一例を示す。境界特定部410は、距離情報取得部400が取得した撮像画像における複数の部分領域ごとの被写体距離情報に基づいて、人物602をトリミングする。まず、境界特定部410は、同一の被写体距離情報に対応づけられる複数の部分領域に含まれるオブジェクトを、同一のオブジェクトとして特定する。そして、境界特定部410は、同一のオブジェクトが撮像されている部分領域とは異なる複数の部分領域を、特定されたオブジェクトとは異なるオブジェクト又は背景が撮像されている領域として特定する。これにより、境界特定部410は、オブジェクトを精度よくトリミングできる。なお、境界特定部410は、オブジェクトが含まれる部分領域が含まれるように、オブジェクトをトリミングしてよい。
例えば、人物602が含まれている各部分領域の、撮像装置10と人物602との間の被写体距離情報が示す距離が3mであり、城604との間の被写体距離情報が示す距離が50mであり、その他の部分領域の撮像装置10との間の被写体距離情報が示す距離が∞であった場合を考える。係る場合には、境界特定部410は、被写体距離情報が示す距離が3mである部分を、人物602が含まれている領域として特定する。そして境界特定部410が特定した領域に基づいて、画像処理部420は、人物602が含まれている領域をトリミング画像610として抽出する。なお、画像処理部420は、人物602をトリミングするだけではなく、人物602が含まれている領域の外側の領域に対してぼかし処理をするか、または、色彩及び模様を施す画像処理をしてもよい。
図8は、本実施形態に係る画像処理部420の画像処理の一例を示す。まず境界特定部410は、距離情報取得部400が取得した撮像装置10から被写体までの距離を示す被写体距離情報に基づいて、撮像画像900における被写体の境界を特定する。具体的には、境界特定部410は、人物902、城906、および人物912の領域を特定する。例えば、境界特定部410は、人物902の境界904、城906の境界908、および人物912の境界910をそれぞれ撮像装置10から各被写体までの距離に基づいて特定する。続いて、主要被写体領域特定部415は、撮像画像900における主要被写体領域を、撮像装置10からの距離が他の被写体よりもより近い、人物902が含まれる境界904で囲まれる領域と特定する。
そして、画像処理部420は、境界904で囲まれている主要被写体領域と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す。例えば、画像処理部420は、撮像装置10からの距離がより遠い被写体を含む部分領域に対して、主要被写体領域の画像よりもよりぼかす処理を施してよい。すなわち、画像処理部420は、領域910および領域908に含まれる画像に対してぼかし処理を施して、生成画像950を生成してよい。生成画像950では人物902の領域の画像が明瞭に含まれる一方で、人物954および城956のそれぞれの領域の画像はぼかされている。これにより、画像処理部420は、主要被写体だけを強調した生成画像950を容易に生成できる。
また、撮像装置10から人物912までの距離よりも撮像装置10から城906までの距離がより遠い場合には、画像処理部420は、撮像装置10から被写体までの距離に応じて異なる画像処理を施してよい。具体的には、画像処理部420は、撮像装置10からの距離がより遠い城906が含まれる境界908で囲まれる領域の画像に対して、人物912が含まれる境界910で囲まれる領域の画像よりもよりぼかす処理を施してよい。なお、画像処理部420が部分領域に施す画像処理は、例えば、部分領域に含まれる画素の濃淡変化を平均化する処理、彩度を小さくする処理、コントラストを低くする処理等であってよい。また、画像処理部420は、ガンマ補正をして、部分領域に画像処理を施してよい。例えば、画像処理部420は、ガンマカーブを原画像が示すガンマカーブよりも下に凸にして、部分領域に画像処理を施してよい。
図9は、本発明に係る撮像装置10の機能構成の第3の例を示す。撮像装置10は、撮像部100、合焦距離制御部110、予備画像取得部120、予備画像格納部122、合焦距離決定部130、撮像画像取得部140、撮像画像格納部142、被写体距離算出部160、被写体距離格納部170、測距部200、測距データ取得部210、及び測距データ格納部220を備える。また、被写体距離算出部160は、空間周波数算出部162及び被写体距離決定部164を有する。ここで、図2、図3及び図6での上記説明において、同一の符号で説明した各構成部分は、図2、図3及び図6における各構成部分と略同一の機能を有するので、重複する内容についての説明は省略する。
測距部200は、撮像部100の撮像範囲内における複数の測距点について、撮像部100と被写体との距離をそれぞれ測定する。また、測距部200は、赤外光を撮像範囲に照射して、撮像部100と撮像範囲に含まれる被写体との距離を測定してもよい。具体的には、測距部200は、撮像範囲に赤外光を照射する赤外光照射部、撮像範囲に含まれる被写体が反射した赤外光を受光する赤外光受光部、および赤外光受光部が受光した赤外光に基づいて撮像部100と撮像範囲に含まれる被写体との距離を算出する被写体距離特定部を含む赤外光測距部を有していてよい。測距部200は、測距データを測距データ取得部210及び合焦距離制御部110へ供給する。予備画像取得部120は、測距部200が測定した距離を含む予め定められた範囲内で、合焦距離制御部110が合焦距離を順次変化しているときに、撮像部100が撮像した複数の予備画像を順次取得する。
撮像部100は、測距部200が測定した距離に基づいて、予め定められた距離の範囲内において複数の予備画像を取得する。そして、合焦距離決定部130は、予備画像取得部120が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する。例えば、合焦距離決定部130は、各予備画像における部分領域の空間周波数成分を算出する。そして、合焦距離決定部130は、空間周波数の高周波成分が予め定められたレベルよりも高いレベルを示す部分領域を含む予備画像に対して、合焦距離を合わせる。
なお、図6での上記説明における境界特定部410及び画像処理部420を、撮像装置10は備えてもよい。撮像装置10が境界特定部410及び画像処理部420を備えることにより、撮像装置10は、撮像画像におけるオブジェクトの境界を特定するか、または、撮像画像に含まれるオブジェクトに対してトリミング等の画像処理を施すことができる。
本実施形態に係る撮像装置10によれば、測距部200が測距した測距データに基づいて、予め定められた範囲内で予備画像を撮像して、撮像された予備画像から合焦距離を決定できるので、撮像範囲において合焦距離の範囲内において、合焦距離の全範囲で合焦距離を順次変化させて予備画像を取得する必要がなくなり、撮像における処理量を低減できる。
図10は、撮像装置10による合焦距離を決定する方法の一例を示す。また、図11は、撮像装置10による合焦距離を決定する際の合焦距離と空間周波数の関係を示すグラフの一例である。図11のグラフ740は、横軸に合焦距離をとり、縦軸に各合焦距離で撮像されたオブジェクトの空間周波数のレベルを示している。
測距部200は、撮像部100の撮像範囲700内の複数の部分領域702等に含まれる複数の測距点712等において測距データを取得する。そして、例えば、測距点712において主要被写体である人物732と主要被写体ではない演台734及びマイク736が撮像されている場合を考える。係る場合においては、測距点712において測距された距離を中心として、予め定められた範囲の合焦距離において、撮像部100は、複数の予備画像を撮像する。すなわち、測距部200は、各測距点で測距した距離を算出する。続いて、合焦距離制御部110は、測距部200が算出した測距データを中心として、予め定められた範囲の合焦距離を設定する。そして、合焦距離制御部110が設定した合焦距離の範囲内において、撮像部100は、複数の予備画像を順次撮像する。
例えば、測距部200が算出した測距データが1mであった場合には、合焦距離制御部110は合焦距離が1mである点を中心として、1mの前後50cmの範囲内を合焦距離として設定してよい。そして、撮像部100は、合焦距離制御部110が設定した合焦距離の範囲内で複数の予備画像を取得する。また、測距部200が算出した測距データが10mであった場合には、合焦距離制御部110は合焦距離が10mである点を中心として、10mの前後1mの範囲内を合焦距離として設定してよい。そして、撮像部100は、合焦距離制御部110が設定した合焦距離の範囲内で複数の予備画像を取得する。更に、測距部200が算出した測距データが30mであった場合には、合焦距離制御部110は合焦距離が30mである点を中心として、30mの前後4mの範囲内を合焦距離として設定して、撮像部100は合焦距離が設定した合焦距離の範囲内で複数の予備画像を取得する。
このように、測距データがより遠方になるにしたがって、撮像部100は、複数の予備画像をより広範囲の合焦距離で撮像してよい。そして、被写体距離決定部164は、撮像部100が撮像した複数の予備画像において、部分領域ごとの空間周波数を算出する。そして、空間周波数のレベルが最も大きい合焦距離を、撮像装置10とオブジェクトとの合焦距離として決定する。例えば、図11のグラフ740に示すように、測距データに基づいて算出された合焦距離が、マイク736に合っていた場合において、空間周波数算出部162は、予備画像730における人物732、演台734、及びマイク736に対応する空間周波数のレベル732'、レベル734'、及びレベル736'を算出する。そして、空間周波数のレベルが最も大きい人物732に対応する合焦距離732'を、予備画像730における、撮像装置10と人物732との合焦距離として決定する。
本実施形態に係る撮像装置10によれば、撮像装置10とオブジェクトとの距離を測距して、測距した測距データを基準として予め定められた範囲内で合焦距離を決定できる。これにより、測距データに基づいて決定した合焦距離が、主要被写体に合っていなかった場合でも、合焦距離を主要被写体に正確に合わせることができる。また、合焦距離を決定するための処理量を低減できる。
図12は、本実施形態に係る画像処理装置40のハードウェア構成の一例を示す。本実施形態に係る画像処理装置40は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510及びRAM1520に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置である通信インターフェイス1530、ハードディスクドライブ1540、CD−ROMドライブ1560を接続する。通信インターフェイス1530は、ネットワークを介して他の装置と通信する。ハードディスクドライブ1540は、画像処理装置40内のCPU1505が使用するプログラム及びデータを格納する。CD−ROMドライブ1560は、CD−ROM1595からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像処理装置40が起動時に実行するブート・プログラム及び画像処理装置40のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介してハードディスクドライブ1540に提供される画像出力プログラムは、フレキシブルディスク1590、CD−ROM1595、又はICカード等の記録媒体に格納されて利用者によって提供される。画像出力プログラムは、記録媒体から読み出され、RAM1520を介して画像処理装置40内のハードディスクドライブ1540にインストールされ、CPU1505において実行される。画像処理装置40にインストールされて実行される画像出力プログラムは、CPU1505等に働きかけて、画像処理装置40を、図6から図8にかけて説明した、予備画像取得部120、予備画像格納部122、撮像画像取得部140、撮像画像格納部142、被写体距離算出部160、空間周波数算出部162、被写体距離決定部164、測距データ取得部210、測距データ格納部220、距離情報取得部400、境界特定部410、主要被写体領域特定部415、および画像処理部420として機能させる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10 撮像装置
40 画像処理装置
100 撮像部
110 合焦距離制御部
120 予備画像取得部
122 予備画像格納部
130 合焦距離決定部
140 撮像画像取得部
142 撮像画像格納部
150 画像出力部
160 被写体距離算出部
162 空間周波数算出部
164 被写体距離決定部
170 被写体距離格納部
200 測距部
210 測距データ取得部
220 測距データ格納部
300 撮像装置位置
302、304、306 合焦距離
310、320、330 予備画像
312、322、332 部分領域
350 グラフ
400 距離情報取得部
410 境界特定部
420 画像処理部
500 予備画像
502、504、506 部分領域
600 撮像画像
602 人物
604 城
610 トリミング画像
700 撮像範囲
702、704、706、708、710 部分領域
712、714、716、718、720 測距点
730 予備画像
732 人物
734 演台
736 マイク
740 グラフ
800 画像処理システム
802 ユーザ
804 人物
806 城
808 撮像画像
810 トリミング画像
900 撮像画像
902、912 人物
906、956 城
904、908、910 境界
950 生成画像
954 人物
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示装置
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM
40 画像処理装置
100 撮像部
110 合焦距離制御部
120 予備画像取得部
122 予備画像格納部
130 合焦距離決定部
140 撮像画像取得部
142 撮像画像格納部
150 画像出力部
160 被写体距離算出部
162 空間周波数算出部
164 被写体距離決定部
170 被写体距離格納部
200 測距部
210 測距データ取得部
220 測距データ格納部
300 撮像装置位置
302、304、306 合焦距離
310、320、330 予備画像
312、322、332 部分領域
350 グラフ
400 距離情報取得部
410 境界特定部
420 画像処理部
500 予備画像
502、504、506 部分領域
600 撮像画像
602 人物
604 城
610 トリミング画像
700 撮像範囲
702、704、706、708、710 部分領域
712、714、716、718、720 測距点
730 予備画像
732 人物
734 演台
736 マイク
740 グラフ
800 画像処理システム
802 ユーザ
804 人物
806 城
808 撮像画像
810 トリミング画像
900 撮像画像
902、912 人物
906、956 城
904、908、910 境界
950 生成画像
954 人物
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示装置
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM
Claims (21)
- 撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、
前記距離情報取得部が取得した被写体距離情報に応じて、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部と
を備える画像処理システム。 - 前記距離情報取得部が取得した被写体距離情報に基づいて、前記撮像画像取得部が取得した撮像画像における被写体の境界を特定する境界特定部
をさらに備え、
前記画像処理部は、前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像に画像処理を施す
請求項1に記載の画像処理システム。 - 前記画像処理部は、前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像をトリミングする
請求項2に記載の画像処理システム。 - 前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する主要被写体領域特定部
を更に備え、
前記画像処理部は、前記主要被写体領域の画像と前記主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す
請求項2に記載の画像処理システム。 - 前記画像処理部は、前記主要被写体領域を除く領域の画像に対して前記主要被写体領域の画像よりも鮮明度をより低くする画像処理を施す
請求項4に記載の画像処理システム。 - 前記画像処理部は、前記主要被写体領域を除く領域の画像に対してガンマ補正をして、前記主要被写体領域の画像よりも鮮明度をより低くする画像処理を施す
請求項5に記載の画像処理システム。 - 前記画像処理部は、前記距離情報取得部が取得した被写体距離情報が示す、前記撮像装置からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施す
請求項1に記載の画像処理システム。 - 前記距離情報取得部は、
前記撮像装置が備える合焦距離制御部によって撮像部の合焦距離が順次変化されているときに、前記撮像部により合焦距離毎に撮像された複数の予備画像を取得する予備画像取得部と、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を算出する被写体距離算出部と
を有する請求項1に記載の画像処理システム。 - 前記被写体距離算出部は、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像のそれぞれについて部分領域毎に空間周波数分布を算出する空間周波数算出部と、
前記空間周波数算出部が算出した空間周波数分布を異なる予備画像の同一の部分領域で比較し、所定の部分領域において空間周波数成分のレベルが最も大きい予備画像の合焦距離を、前記所定の部分領域における前記撮像装置と被写体との距離として決定する被写体距離決定部と
を有する請求項8に記載の画像処理システム。 - 前記距離情報取得部は、
前記被写体距離情報として前記撮像装置が備える測距部によって測定された前記撮像装置と被写体との距離を示す測距データを取得する測距データ取得部
を有する請求項1に記載の画像処理システム。 - 画像処理方法であって、
撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、
前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得段階と、
前記距離情報取得段階が取得した被写体距離情報に応じて、前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理段階と
を備える画像処理方法。 - 撮像画像に画像処理を施す画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
撮像装置によって撮像された撮像画像を取得する撮像画像取得部、
前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部、
前記距離情報取得部が取得した被写体距離情報に応じて、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部
として機能させる画像処理プログラム。 - 撮像部と、
前記撮像部の合焦距離を制御する合焦距離制御部と、
前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像を、前記撮像画像取得部が取得した撮像画像とともに出力する画像出力部と
を備える撮像装置。 - 撮像部の合焦距離を制御する合焦距離制御段階と、
前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と、
前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を、前記撮像画像取得段階が取得した撮像画像とともに出力する画像出力段階と
を備える撮像方法。 - 撮像部と、
前記撮像部の合焦距離を制御する合焦距離制御部と、
前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と、
前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像部と被写体との距離を算出する被写体距離算出部と
を備える撮像装置。 - 撮像部の合焦距離を制御する合焦距離制御段階と、
前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と、
前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、前記撮像部と被写体との距離を算出する被写体距離算出段階と
を備える撮像方法。 - 撮像部と、
前記撮像部の撮像範囲内における複数の測距点について、前記撮像部と被写体との距離をそれぞれ測定する測距部と、
前記撮像部が撮像した画像、及び前記撮像部が撮像した画像における複数の測距点の位置に対応づけて、前記測距部が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納部と、
前記撮像部が撮像した画像を、前記測距データ格納部が格納している複数の測距データとともに出力する画像出力部と
を備える撮像装置。 - 撮像部の撮像範囲内における複数の測距点について、前記撮像部と被写体との距離をそれぞれ測定する測距段階と、
前記撮像部が撮像した画像、及び前記撮像部が撮像した画像における複数の測距点の位置に対応づけて、前記測距段階が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納段階と、
前記撮像部が撮像した画像を、前記測距データ格納段階が格納している複数の測距データとともに出力する画像出力段階と
を備える撮像方法。 - 撮像部と、
前記撮像部の撮像範囲内における測距点について、前記撮像部と被写体との距離を測定する測距部と、
前記撮像部の合焦距離を制御する合焦距離制御部と、
前記測距部が測定した距離を含む予め定められた範囲内で、前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
前記予備画像取得部が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と
を備える撮像装置。 - 前記測距部は、赤外光を撮像範囲に照射して、前記撮像部と前記撮像範囲に含まれる被写体との距離を測定する
請求項19に記載の撮像装置。 - 撮像部の撮像範囲内における測距点について、前記撮像部と被写体との距離を測定する測距段階と、
前記撮像部の合焦距離を制御する合焦距離制御段階と、
前記測距段階が測定した距離を含む予め定められた範囲内で、前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
前記予備画像取得段階が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と
を備える撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006047324A JP2006311505A (ja) | 2005-03-29 | 2006-02-23 | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 |
US11/391,660 US7949153B2 (en) | 2005-03-29 | 2006-03-29 | Image processing system, image processing method, image processing program, image capturing apparatus, and image capturing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005095902 | 2005-03-29 | ||
JP2006047324A JP2006311505A (ja) | 2005-03-29 | 2006-02-23 | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006311505A true JP2006311505A (ja) | 2006-11-09 |
Family
ID=37108118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006047324A Pending JP2006311505A (ja) | 2005-03-29 | 2006-02-23 | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7949153B2 (ja) |
JP (1) | JP2006311505A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1944721A2 (en) | 2007-01-10 | 2008-07-16 | Omron Corporation | Image processing apparatus, method and program product thereof |
JP2008244831A (ja) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | 印刷データ生成装置及びプログラム |
JP2010021753A (ja) * | 2008-07-10 | 2010-01-28 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびデジタルスチルカメラ |
JP2010273209A (ja) * | 2009-05-22 | 2010-12-02 | Aisin Seiki Co Ltd | 監視装置 |
JP2011028742A (ja) * | 2009-07-03 | 2011-02-10 | Canon Inc | 画像処理装置 |
CN105657240A (zh) * | 2015-06-29 | 2016-06-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法及装置 |
US9451150B2 (en) | 2012-12-21 | 2016-09-20 | Canon Kabushiki Kaisha | Image capturing apparatus comprising focus detection, and method for controlling the same |
KR101795600B1 (ko) * | 2011-07-07 | 2017-11-08 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체 |
WO2021140597A1 (ja) * | 2020-01-08 | 2021-07-15 | オリンパス株式会社 | 制御装置、内視鏡システム、および制御方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7646972B2 (en) * | 2006-12-08 | 2010-01-12 | Sony Ericsson Mobile Communications Ab | Method and apparatus for capturing multiple images at different image foci |
KR101150987B1 (ko) * | 2007-07-16 | 2012-06-08 | 삼성전자주식회사 | 화상처리장치 및 그 제어방법 |
JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
JP6288952B2 (ja) * | 2013-05-28 | 2018-03-07 | キヤノン株式会社 | 撮像装置およびその制御方法 |
KR102149448B1 (ko) * | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 방법 |
KR101664940B1 (ko) * | 2016-05-12 | 2016-10-12 | (주)엘리비젼 | 가상현실을 이용한 헤어 스마트 미러 시스템 |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
CN111064895B (zh) * | 2019-12-31 | 2022-02-01 | 维沃移动通信有限公司 | 一种虚化拍摄方法和电子设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0560528A (ja) * | 1991-09-03 | 1993-03-09 | Hitachi Ltd | 立体情報入力装置 |
JP3314195B2 (ja) * | 1992-12-28 | 2002-08-12 | ミノルタ株式会社 | 画像処理装置 |
JPH09186935A (ja) | 1995-12-28 | 1997-07-15 | Canon Inc | 画像抽出装置 |
FR2782438B1 (fr) * | 1998-08-13 | 2002-01-04 | Pierre Allio | Procede d'affichage autostereoscopique et image autostereoscopique |
US6813395B1 (en) * | 1999-07-14 | 2004-11-02 | Fuji Photo Film Co., Ltd. | Image searching method and image processing method |
US7212668B1 (en) * | 2000-08-18 | 2007-05-01 | Eastman Kodak Company | Digital image processing system and method for emphasizing a main subject of an image |
US7053953B2 (en) * | 2001-12-21 | 2006-05-30 | Eastman Kodak Company | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image |
JP4275344B2 (ja) * | 2002-01-22 | 2009-06-10 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
US6853806B2 (en) * | 2002-09-13 | 2005-02-08 | Olympus Optical Co., Ltd. | Camera with an exposure control function |
EP1477924B1 (en) * | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US7512262B2 (en) * | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
US7715589B2 (en) * | 2005-03-07 | 2010-05-11 | Massachusetts Institute Of Technology | Occluding contour detection and storage for digital photography |
-
2006
- 2006-02-23 JP JP2006047324A patent/JP2006311505A/ja active Pending
- 2006-03-29 US US11/391,660 patent/US7949153B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1944721A2 (en) | 2007-01-10 | 2008-07-16 | Omron Corporation | Image processing apparatus, method and program product thereof |
JP2008244831A (ja) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | 印刷データ生成装置及びプログラム |
JP2010021753A (ja) * | 2008-07-10 | 2010-01-28 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびデジタルスチルカメラ |
JP2010273209A (ja) * | 2009-05-22 | 2010-12-02 | Aisin Seiki Co Ltd | 監視装置 |
JP2011028742A (ja) * | 2009-07-03 | 2011-02-10 | Canon Inc | 画像処理装置 |
KR101795600B1 (ko) * | 2011-07-07 | 2017-11-08 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체 |
US9451150B2 (en) | 2012-12-21 | 2016-09-20 | Canon Kabushiki Kaisha | Image capturing apparatus comprising focus detection, and method for controlling the same |
CN105657240A (zh) * | 2015-06-29 | 2016-06-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法及装置 |
WO2021140597A1 (ja) * | 2020-01-08 | 2021-07-15 | オリンパス株式会社 | 制御装置、内視鏡システム、および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US7949153B2 (en) | 2011-05-24 |
US20060232682A1 (en) | 2006-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006311505A (ja) | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 | |
US10997696B2 (en) | Image processing method, apparatus and device | |
US8508605B2 (en) | Method and apparatus for image stabilization | |
US8648918B2 (en) | Method and system for obtaining a point spread function using motion information | |
US8363933B2 (en) | Image identification method and imaging apparatus | |
US9704230B2 (en) | Feedback to user for indicating augmentability of an image | |
JP6550642B2 (ja) | 皺検出装置および皺検出方法 | |
JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005215750A (ja) | 顔検知装置および顔検知方法 | |
JP6478136B1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
WO2015076406A1 (ja) | 骨粗鬆症診断支援装置 | |
KR20110124965A (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
WO2012029658A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
US10593044B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7039640B2 (ja) | シンボルを評価するためのシステムおよび方法 | |
JP4348028B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
JP2007312206A (ja) | 撮像装置及び、画像再生装置 | |
US20160057446A1 (en) | Method of generating a framed video system | |
JP2019220130A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP4151624B2 (ja) | 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法 | |
KR101276792B1 (ko) | 눈 검출 장치 및 방법 | |
JP2017017551A (ja) | 画像処理装置及び画像処理方法 | |
JP2017098900A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6331363B2 (ja) | 被写体特定装置、撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |