JP5206494B2 - 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 - Google Patents

撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 Download PDF

Info

Publication number
JP5206494B2
JP5206494B2 JP2009045647A JP2009045647A JP5206494B2 JP 5206494 B2 JP5206494 B2 JP 5206494B2 JP 2009045647 A JP2009045647 A JP 2009045647A JP 2009045647 A JP2009045647 A JP 2009045647A JP 5206494 B2 JP5206494 B2 JP 5206494B2
Authority
JP
Japan
Prior art keywords
imaging
unit
focus
data
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009045647A
Other languages
English (en)
Other versions
JP2010200239A (ja
Inventor
彰宏 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009045647A priority Critical patent/JP5206494B2/ja
Priority to PCT/JP2010/053697 priority patent/WO2010098507A1/en
Priority to CN201080009565.6A priority patent/CN102334332B/zh
Priority to US13/202,490 priority patent/US8823861B2/en
Priority to EP10746376.2A priority patent/EP2401860B1/en
Publication of JP2010200239A publication Critical patent/JP2010200239A/ja
Application granted granted Critical
Publication of JP5206494B2 publication Critical patent/JP5206494B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、デジタルカメラのような撮像装置に係り、特に、連続撮影した全ての画像データについて、それぞれの画像と基準画像とから検出したずれ量に基づき、再生時に表示する撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法に関するものである。
デジタルカメラ（撮像装置）において、奥行きのある被写体をオートフォーカスで撮影するような場合に、アルゴリズムやハードウェアの性能限界から撮影者の意図に沿わない位置にピントが合う、いわゆる偽合焦をおこすことがある。このような場合に、いわゆるフォーカスブラケット撮影をピントずれの救済策として使用する方法が知られている（特許文献１参照）。しかし、フォーカスブラケット撮影は焦点位置を前後に少し移動させて、３回程度の撮影を行う仕様が一般的であるため、大きなピントずれを救済することは困難であった。
また、どの被写体にピントを合わせるかを撮影前に決めておかずに、あえて焦点位置を変えて複数枚を撮影した後に、撮影画像を比較・鑑賞してベストショットを選択したいという撮影者の要求もある。
これら２つの背景から、現行のフォーカスブラケット撮影よりもさらに広い焦点範囲を移動し、かつ被写体の合焦位置情報を加味した使い勝手のよいフォーカスブラケット撮影は潜在的な市場要求があると考えられる。
フォーカスブラケット撮影の撮影枚数をむやみに増やすことは、コンパクト型デジタルカメラの記録画素数が１０００万画素を超えている近年の背景を踏まえると、４０枚を超えるような撮影枚数とした場合、バッファメモリ容量増に伴う機器のコストアップや、撮影・記録処理時間の増による利便性の低下が懸念される。
そこで、フォーカスブラケット撮影を行うために、本発明者による出願「特願２００８−２３８７５７」において開示したような、画面を小領域に分割して、小領域の検波枠単位で山登りスキャンを実施し、各小領域での合焦位置から合焦位置の分布化と閾値の比較を行って合焦位置を決定し、この閾値を可変しフォーカスブラケット撮影による撮影枚数を決定する撮像装置がある。
しかしながら、現行のフォーカスブラケット撮影で用いられる山登りスキャンにおいては、合焦領域を判断するデータと撮影画像が別であることによって、再生画像と合焦領域枠の表示にずれが生じる。手持ちで撮影をする際に、山登りスキャン開始から撮影終了までカメラの画角をずらさないように保持し続けることは、ほぼ不可能に近い。そして、撮影の焦点距離が望遠側に近ければ、その影響はさらに無視できなくなり、撮影時と再生時に生じるずれが大きくなるという課題があった。
本発明は、前記従来技術の課題を解決するものであり、撮影前に基準画像を取得して、この基準画像とフォーカスブラケット撮影した各画像間の動き検出を行い、この検出結果に応じて合焦領域枠の座標をずらして、再生時に画角ずれを補正した合焦領域枠を表示し、ユーザの所望する画像選択等の取り扱いを容易なものとした撮像装置、画像表示装置、撮像方法および画像表示方法並びに合焦領域枠の位置補正方法を提供することを目的とする。
前記の目的を達成するために、本発明の請求項１に係る撮像装置は、合焦位置を変更可能な撮像光学系と、撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、撮像データを記録媒体に記録する記録部と、記録媒体に記録されたデータを表示する表示部と、を有する撮像装置において、被写体の距離情報を取得する距離情報取得部と、距離情報に基づいて、撮像光学系の複数の合焦位置を設定する合焦位置設定部と、撮像光学系の合焦位置を、合焦位置設定部が設定した複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、距離情報取得部が取得した距離情報に基づいて、撮像データの画面内における合焦部分を決定する合焦部分決定部と、連続撮像部が連続して撮像を行う前に、基準画像データを画像処理部から取得する基準画像取得部と、連続撮像部が取得した複数の撮像データと基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、合焦部分と動き情報とに基づいて、各撮像データ毎に、撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有し、記録部が、連続撮像部で連続して撮像した複数の撮像データの全てと、合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして記録媒体に記録し、表示部が、記録媒体に記録された撮像データと、撮像データに対応する記録媒体に記録された合焦領域枠位置情報とに基づいて、合焦領域枠を撮像データに重ねて表示することを特徴とする。
また、請求項２に記載した発明は、請求項１の撮像装置において、距離情報取得部が、複数の合焦位置よりも多い所定の複数の合焦位置に撮像光学系の合焦位置を順次変更し、それぞれの合焦位置にて連続して複数回の撮像を行って複数の距離情報用撮像データを取得する距離情報用撮像部と、距離情報用撮像部が取得した複数の距離情報用撮像データに基づいて、距離情報を算出する距離情報算出部とを含むことを特徴とする。
また、請求項３に記載した発明は、請求項２の撮像装置において、基準画像取得部が、距離情報用撮像部が取得した複数の距離情報用撮像データのうちのいずれかを基準画像データとして取得することを特徴とする。
また、請求項４に記載した発明は、請求項１〜３の撮像装置において、距離情報用撮像部が取得する距離情報用撮像データよりも、連続撮像部が撮像する撮像データの方が、データサイズが大きいことを特徴とする。
また、請求項５に記載した発明は、請求項１〜４の撮像装置において、動き検出部が、連続撮像部が取得した複数の撮像データを、基準画像データと同じデータサイズに変換し、動き情報を出力することを特徴とする。
また、請求項６に記載した発明は、請求項２〜５の撮像装置において、距離情報算出部が、撮像データの画面を複数の小領域に分割する領域分割部と、撮像データの小領域毎に、それぞれの合焦状態を示す所定の周波数成分を抽出する周波数成分抽出部と、周波数成分抽出部が抽出した周波数成分に基づき、小領域毎にそれぞれの距離情報を算出する小領域距離情報算出部と、を備え、合焦位置設定部が、小領域距離情報算出部が算出した小領域毎の距離情報に基づいて、撮像光学系の複数の合焦位置を設定することを特徴とする。
また、請求項７に記載した発明は、請求項６の撮像装置において、距離情報算出部が、小領域距離情報算出部により算出された小領域毎の距離情報に基づいて、それぞれの合焦位置において合焦している小領域の数を算出して合焦位置分布情報を取得する合焦位置分布情報取得部を備え、合焦位置設定部が、合焦位置分布情報に基づいて、撮像光学系の複数の合焦位置を設定することを特徴とする。
また、請求項８に記載した発明は、請求項１〜７の撮像装置において、撮像指示を受け付ける撮像指示受付部を有し、連続撮像部が、撮像指示受付部が受け付けた撮像指示に基づいて、連続して複数回の撮像を行うことを特徴とする。
また、請求項９に記載した発明は、請求項１〜８の撮像装置において、合焦指示を受け付ける合焦指示受付部を有し、合焦用連続撮像部が、合焦指示受付部が受け付けた合焦指示に基づいて、連続して複数回の撮像を行うことを特徴とする。
また、請求項１０に記載した撮像装置は、合焦位置を変更可能な撮像光学系と、撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、撮像データを記録媒体に記録する記録部と、を有する撮像装置において、被写体の距離情報を取得する距離情報取得部と、距離情報に基づいて、撮像光学系の複数の合焦位置を設定する合焦位置設定部と、撮像光学系の合焦位置を、合焦位置設定部が設定した複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、距離情報取得部が取得した距離情報に基づいて、撮像データの画面内における合焦部分を決定する合焦部分決定部と、連続撮像部が連続して撮像を行う前に、基準画像データを画像処理部から取得する基準画像取得部と、連続撮像部が取得した複数の撮像データと基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、合焦部分と動き情報とに基づいて、各撮像データ毎に、撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有し、記録部が、連続撮像部で連続して撮像した複数の撮像データの全てと、合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして記録媒体に記録することを特徴とする。
また、請求項１１に記載した撮像装置は、焦点調節機構を含む撮影光学系と、撮影光学系から入射する被写体像を電気信号に変換する固体撮像素子と、複数領域を測距する距離情報取得部と、固体撮像素子出力の画像間の動き量を検出する動き検出部と、固体撮像素子出力を所定形式で保存した撮影画像を再生する表示部とを有する撮像装置において、撮像装置は、距離情報取得部の取得結果に基づき合焦位置を変えて連続撮影をする機能と、連続撮影によって記録した複数の撮影画像を再生表示する際に、被写体像の距離情報取得部での取得結果に基づく合焦領域枠を併せて表示する機能と、合焦領域枠の表示において、連続撮影前に取得した基準画像と連続撮影した各撮影画像との間の動き量を検出し、この検出結果に応じて合焦領域枠の表示部上での座標位置を補正する機能と、連続撮影した複数の撮影画像の全てを１つのファイルとして保存する機能とを備えたことを特徴とする。
また、請求項１２に記載した発明は、請求項１１の撮像装置において、距離情報取得部が、固体撮像素子の後段に配置された周波数特性検波部において、山登りスキャン方式による周波数検波で距離情報を取得するとともに、所定のスキャン間隔で基準画像候補の複数を取得、保持し、山登りスキャン方式の処理終了後の連続撮影を行う合焦位置の決定結果基づき、基準画像候補の中から基準画像を決定することを特徴とする。
また、請求項１３に記載した画像表示装置は、請求項９の撮像装置によって記録媒体に記録された撮像データを表示する画像表示装置であって、記録媒体に記録されたデータを表示する表示部と、表示部が、記録媒体に記録された撮像データと、撮像データに対応する記録媒体に記録された合焦領域枠位置情報とに基づいて、合焦領域枠を撮像データに重ねて表示することを特徴とする。
また、請求項１４に記載した撮像方法は、合焦位置を変更可能な撮像光学系と、撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、撮像データを記録媒体に記録する記録部と、記録媒体に記録されたデータを表示する表示部と、被写体の距離情報を取得する距離情報取得部と、距離情報に基づいて、撮像光学系の複数の合焦位置を設定する合焦位置設定部と、撮像光学系の合焦位置を、合焦位置設定部が設定した複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、距離情報取得部が取得した距離情報に基づいて、撮像データの画面内における合焦部分を決定する合焦部分決定部と、連続撮像部が連続して撮像を行う前に、基準画像データを画像処理部から取得する基準画像取得部と、連続撮像部が取得した複数の撮像データと基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、合焦部分と動き情報とに基づいて、各撮像データ毎に、撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有する撮像装置の撮像方法であって、連続撮像部で連続して撮像した複数の撮像データの全てと、合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして記録部が記録媒体に記録し、記録媒体に記録された撮像データと、撮像データに対応する記録媒体に記録された合焦領域枠位置情報とに基づいて、合焦領域枠を撮像データに重ねて表示部に表示するようにしたことを特徴とする。
また、請求項１５に記載した合焦領域枠の位置補正方法は、焦点調節機構を含む撮影光学系と、撮影光学系から入射する被写体像を電気信号に変換する固体撮像素子と、複数領域を測距する距離情報取得部と、固体撮像素子出力の画像間の動き量を検出する動き検出部と、固体撮像素子出力を所定形式で保存した撮影画像を再生する表示部とを有する撮像装置の合焦領域枠の位置補正方法であって、連続撮影によって記録した複数の撮影画像を再生表示する際に、撮影画像に併せて表示する距離情報取得部の取得結果に基づいた被写体像の合焦領域枠を、連続撮影前に取得した基準画像と連続撮影した各撮影画像との間で検出した動き量の検出結果に応じて表示部上での座標位置を補正することを特徴とする。
前記発明によれば、撮影前に取得した基準画像とフォーカスブラケット撮影した各画像間の動き検出を行って、この結果に応じて表示する合焦領域枠の座標をずらし、その表示位置を補正することができ、また、山登りスキャン方式の合焦位置の取得時に、所定のスキャン間隔で基準画像候補を取得、保持しておくことで、フォーカスブラケット撮影を開始するまでのタイムラグをなくすことができる。
本発明によれば、撮影前に基準画像を取得して、この基準画像とフォーカスブラケット撮影した各画像間の動き検出を行って、検出結果に応じて合焦領域枠の座標位置をずらして、再生時には画角ずれを補正した合焦領域枠を併せて表示し、ユーザの所望するピントの合った撮影画像の選択等の取り扱いを容易にすることができるという効果を奏する。
本発明の実施の形態における撮像装置の概略構成を示すブロック図 フォーカスブラケット撮影位置を求める説明で（ａ）は被写体例、（ｂ）は検波枠、（ｃ）は被写体例と検波枠の重ね合わせ、（ｄ）は各検波枠の合焦位置分布を示す図 山登りスキャンの測距からフォーカスブラケット撮影をした画像を保存する動作を示すフローチャート 撮影画像の手前の人物に対する（ａ）は画角ずれ、（ｂ）は補正後の合焦領域枠を示す図 撮影画像の奥の人物に対する（ａ）は画角ずれ、（ｂ）は補正後の合焦領域枠を示す図 Ｅｘｉｆのヘッダー部のタグ情報を説明する図 ＤＣＦのディレクトリ定義されるファイルツリー構造とマルチページファイルを説明する図 別のマルチページファイルを説明する図
以下、図面を参照して本発明における実施の形態を詳細に説明する。
図１は本発明の実施の形態１における撮像装置（デジタルカメラ）の概略構成を示すブロック図である。
図１に示すようにデジタルカメラは、光学ユニット１００、光学系駆動部１０５、画像処理部１１０、制御・演算部１２０、プログラム用メモリ１２１、操作部１２２、表示部１２３、圧縮・伸張処理部１２４、画像記録インタフェース（Ｉ／Ｆ）部１２５および画像バッファ用メモリ１２６から構成される。
光学ユニット１００は、撮影光学系として、レンズ１０１と、絞り・シャッタ１０２と、光学ローパスフィルタ１０３と、固体撮像素子のＣＭＯＳセンサ１０４から構成される。固体撮像素子はＣＣＤを用いても問題はないが、連続撮影を前提とするならば、高速読み出しに特徴を有するＣＭＯＳセンサ１０４で構成することが望ましい。ＣＭＯＳセンサ１０４は、センサ部、駆動部、ＣＤＳ（相関二重サンプリング）／ＰＧＡ（プログラマブル利得増幅器）、ＡＤＣ（アナログ−デジタル変換器）を有している。
光学ユニット１００のレンズ１０１はフォーカス時、ズーム時、起動・停止時にメカ的・光学的に位置を変える。また、絞り・シャッタ１０２は被写体条件に合わせ絞り開口径の切換えと、同時露光による静止画撮影のためのシャッタ開閉動作を行う。これらを駆動するのが光学系駆動部１０５であり、光学系駆動部１０５に駆動指示を与えるのが制御・演算部１２０である。
また、ＣＭＯＳセンサ１０４では、レンズ１０１によって結像された光学像を２次元に配列した受光素子で電荷に変換し、隣接する駆動部から送信される読み出し信号のタイミングで外部に電気信号として出力する。ＣＭＯＳセンサ１０４から出力した信号は、後段の画像処理部１１０で所定のフォーマットに画像処理され、記録画像は、圧縮・伸張処理部１２４と画像記録Ｉ／Ｆ部１２５を介して、最終的にはＳＤカードやコンパクトフラッシュ（登録商標）カードやＸＤピクチャーカードといった記録メディアに書き込み・保存される。
デジタルカメラは、記録メディアへの記録前のモニタ状態で使用しているときは、ＣＭＯＳセンサ１０４の出力は画像処理部１１０で表示用画像として所定形式に処理され、表示部１２３に随時更新表示される。なお、表示部１２３は記録メディアに記録された画像の再生表示とＯＳＤ(On Screen Display)表示も行う。
画像処理部１１０は多くの機能を有して構成されるが、画像バッファ用メモリ１２６へのデータ保持を行いながら処理を行う。また、山登りスキャンによる被写体の周波数特性（スキャンラインにおける空間で合焦状態を示す所定の周波数成分に対応する）の取得は、周波数特性検波部１１１で行われる。なお、後述する図２（ｂ）に示すように、周波数特性検波部１１１は画面を小領域に分割し、小領域単位で検波する機能を有し、複数の領域を測距することで距離情報を取得している。
なお、測距することで距離情報を取得するため距離情報取得部として、測距レーダーにより被写体の距離情報を取得するように構成しても良い。また、周波数特性からの合焦位置を算出や、算出結果から最終的に複数の合焦位置の決定は、制御・演算部１２０にて行われる。
動き検出部１１２は、ＣＭＯＳセンサ１０４から入力した２枚の画像間の動き量を出力することができるもので、汎用的な機能であるため詳細な説明は省略するが、画像の凹凸プロファイルを定量化し、ｘ，ｙ座標をずらしながら２画面間の差分の極値を演算することで、動いた方向を判断するものである。画面を縦横ｎ×ｍ領域に分割して各ブロック単位での動き量を取得することも可能であるが、本実施の形態１では手持ち撮影による一方向の画角ずれを例としているので、画面全体の動き量が１つ得られればよいものとする。
操作部１２２には、レリーズボタンを半分だけ押下したいわゆる半押し状態（第１レリーズのオン保持）でレリーズボタンを放せばオフと、完全に押下した全押し状態（第２レリーズのオン）同様にレリーズボタンを放せばオフとを識別して検知する２段押操作のレリーズボタンが含まれている。
また、図２は本実施の形態１におけるフォーカスブラケット撮影の複数の合焦位置を求める説明で（ａ）は被写体例、（ｂ）は検波枠、（ｃ）は被写体例と検波枠の重ね合わせ、（ｄ）は各検波枠の合焦位置分布を示す図である。
図２（ａ）に示す被写体は、異なる撮影距離にいる人物２名と、無限位置の高層ビルで構成されている。本実施の形態１におけるフォーカスブラケット撮影では、人物２名と高層ビルを重要被写体とし、それぞれの合焦位置にて撮影し、さらに再生画面上でそれぞれの被写体とピントが整合した合焦領域枠表示を実現する。
図１の周波数特性検波部１１１における検波仕様例であり、検波枠として図２（ｂ）に示すように、画角の縦・横をそれぞれ１２分割することで１４４の小領域で構成されている。この分割数については、特に規定はないが、撮影の目的上５×５＝２５以上の分割数で構成することが望ましい。
図２（ｃ）は、被写体例（図２（ａ））と検波枠（図２（ｂ））を重ね合わせて図示したもので、図２（ｃ）に示す被写体に対し、小領域単位で合焦位置を算出し、合焦位置分布情報として、その結果を分布化したものが合焦位置分布関数Ｇ（ｘ）である。図２（ｄ）に示すグラフの横軸の「ｘ０」〜「ｘ１５」は山登りスキャンをした合焦位置を示し、横軸にそれぞれの合焦位置において合焦している小領域の数を示している。
また、Ｆ（ｘ）は所定の関数であり、Ｇ（ｘ）は山登りスキャンのスキャン結果から、Ｆ（ｘ）よりも合焦している小領域の数（Ｇ（ｘ））が大きい位置を、フォーカスブラケット撮影における合焦位置として設定し、この設定の中から選択する。
ただし、この焦点位置を選択することは、実施の形態１の説明を簡単化するためのアルゴリズムであって、必然的なものではない。フォーカスブラケット撮影時において、意図的に焦点位置をずらすことも想定することができる。
また、図２（ｄ）の閾値関数のＦ（ｘ）は、例示として２本の一次関数を連結した特性で、
（数１）
Ｆ（ｘ）＝ｆ（ｘ）＋α
として、この定数項αを可変とすることにより閾値を上下に可変とし、任意の焦点位置の個数選択を可能としている。閾値関数Ｆ（ｘ）が無限遠（ｉｎｆ）側に向かって増加関数、すなわち近距離（ｎｅａｒ）側ほど小さい値としているのは、近距離側被写体を優先的に撮影するためのものである。なお、図２（ｄ）中においては、閾値関数Ｆ（ｘ）以上となるフォーカスブラケット撮影を「ｘ４」、「ｘ５」、「ｘ６」、「ｘ１１」、「ｘ１５」の５点で実施することを例示している。
図３は本実施の形態１における山登りスキャンによる測距からフォーカスブラケット撮影を行い画像を保存するまでの動作を示すフローチャートである。処理を開始して、第１レリーズのオン、すなわち２段レリーズボタンの半押し状態を確認し（Ｓ１）、半押し状態を検出したら（Ｓ１のＹｅｓ）、山登りスキャンを行う（Ｓ２）。この際に、周波数特性検波部１１１において、画面を分割した小領域毎の各スキャン位置での周波数データを取得する。また、処理が開始されて、２段レリーズボタンが半押し状態とならない場合（Ｓ１のＮｏ）には、処理Ｓ１において２段レリーズボタンが半押し状態となるのを待つ。
各スキャン位置での周波数データの取得と同時に全スキャン画像もしくは所定のスキャン間隔ごとの画像を、動き検出のための基準画像候補として画像バッファ用メモリ１２６に取得、保持しておく。なお、メモリ領域を占有しないための配慮として、リサイズ処理を行い最低必要とされる解像度まで縮小しておく。この画像は画面全体の一方向の動き量を算出するためのものであることから、ＶＧＡサイズ（垂直４８０pixel×水平６４０pixel）程度でよい。
次に、山登りスキャンの結果から複数の合焦位置を決定する（Ｓ３）。この決定を行うアルゴリズムについては、様々な方式が考えられるが、参考例として、前述した図２（ａ）〜図２（ｄ）に示したように、「ｘ４」、「ｘ５」、「ｘ６」、「ｘ１１」、「ｘ１５」の５点の合焦位置を決定する方法がある。
続いて、この撮影位置の決定結果から、動き検出用の基準画像を決定する（Ｓ４）。動き検出には、比較する画像同士のピント位置が大きく異なるとボケ量の差が大きくなり、検出精度が落ちるという課題がある。このため、基準画像は処理Ｓ３で決定した合焦位置の近側端と遠側端の中間位置が望ましい。なお、基準画像を決定したら、山登りスキャン時に保持していた基準画像候補は、決定画像を残して画像バッファ用メモリ１２６から消去する。
また、基準画像の決定（Ｓ４）について、具体的には図２（ｄ）に示すように近側端の「ｘ４」と遠側端の「ｘ１５」の中央である「ｘ９」を基準画像とすればよい。補足になるが、デジタルカメラの撮影においては、近い物体をより重要被写体と考えることも多いので、再生時のピント位置と表示枠のずれ精度についても近側被写体を重視して「ｘ５」を基準画像とする方法もある。
なお、前述の処理後に、再度、第１レリーズのオン状態、すなわち撮影を継続することの確認が行われ（Ｓ５）、第１レリーズのオン状態でないとき（Ｓ５のＮｏ）、最初の処理に戻り、第１レリーズのオン状態であれば（Ｓ５のＹｅｓ）、２段レリーズボタンの全押し状態を確認する次の処理Ｓ６へ移る。
以上の処理Ｓ１〜Ｓ５までが撮影前の基準画像を決定するまでの処理である。そして、２段レリーズボタンの全押し状態（第２レリーズ）を確認し（Ｓ６）、検出したら（Ｓ６のＹｅｓ）、処理Ｓ３の決定に従いフォーカスブラケット撮影を行う（Ｓ７）。この際、画像バッファ用メモリ１２６には、記録用の画像データと、基準画像と同一サイズに縮小した動き検出用の画像をフォーカスブラケット撮影の枚数分保持しておく。
次に、撮影前に保持・決定した基準画像と縮小したフォーカスブラケット撮影画像のそれぞれと動き検出を行う（Ｓ８）。基準画像とフォーカスブラケット撮影画像を動き検出部１１２に入力することで、２画面間の動き量が出力されるので、例えばフォーカスブラケット撮影枚数が５枚であれば、同じ制御を５回繰り返す。この結果から各フォーカスブラケット撮影した記録画像が基準画像からどれくらい画角のずれが生じたか知ることができる。さらに、再生時に、このずれ量を補正して表示する合焦領域枠の座標を決定する（Ｓ９）。
この補正の概念を図４（ａ），（ｂ）に示す。図４（ａ）に示すように、山登りスキャン時には手前の人物の破線で示す枠を合焦領域と判断する。この破線の枠は図２（ｂ）の検波枠（６，４）〜（１１，４）の６枠に相当し図２（ｄ）の合焦位置「ｘ５」に相当する。
撮影位置決定後に５枚のフォーカスブラケット撮影を行うが、レリーズボタンの全押しまでのタイムラグによる手ぶれから画角が右上方向にずれて記録されたような場合を考える。図４（ｂ）に示すように撮影した画角が、相対的には画面全体が左下方向へ移動したことと等価になる。再生時の合焦領域枠の表示も左下方向へ移動させることが必要になる。図４（ｂ）の実線で示す枠を動き検出部１１２の結果を基に、左下方向へずらした合焦領域枠と補正して表示する。
このように、合焦領域の情報を取得する山登りスキャン時と、実際の撮像時との間にタイムラグがあるために、被写体とカメラの相対的な位置ずれが生じても、撮像画像の合焦位置に合焦領域枠をきちんと表示することができる。
また、図５（ａ），（ｂ）は、奥の人物で、合焦位置「ｘ５」とは別の位置における合焦領域枠の表示を示している。山登りスキャン時には後方の人物の破線で囲まれた領域を合焦領域と判断した。この破線で示す枠内は、図２（ｂ）の検波枠（７，９）〜（１１，９）の５枠に相当し、図２（ｄ）の合焦位置「ｘ１１」に相当する。そして、前述した図４（ａ），（ｂ）と同様に、動き検出部１１２の結果を基に、合焦領域枠を補正して表示する。
最後に、ファイル化と記録メディアへの書き込み（Ｓ１０）を行うが、記録用の画像データに処理Ｓ９で決定した合焦領域枠を表示する座標情報を関連付けてファイル化する。この処理Ｓ１０のファイル化として、本実施の形態１ではマルチページファイルとして、フォーカスブラケット撮影した複数の画像データを保存する。
マルチページファイルについて、以下に詳細を説明する。フォーカスブラケット撮影により連続的に合焦位置を変えて複数枚を撮影したｎ枚の記録画像は、この記録画像と、撮影前に決定した基準画像と各記録画像との間の動き量の情報とを対応付けて、１つのマルチページファイルとして保存される。
例えば、図６に示すようにＪＥＩＤＡ（日本電子工業振興協会）で規格されたＥｘｉｆ（Exchangeable Image File Format）で各記録画像が記録される場合、Ｅｘｉｆのヘッダー部タグ情報（メーカ毎の個別領域）に、カメラの機種、撮影日時、絞り、シャッタスピード、合焦領域枠表示位置情報などの情報とともに書き込まれ、マルチページファイルの記録画像データとして保存される。
そして、ｎ個の記録画像データは、図７に示すＤＣＦ（カメラファイルシステム規格）のディレクトリ定義されるように、フォーカスブラケット撮影で撮影したｎ枚の記録画像データをマルチページファイルとして１つのフォルダ（「連写１」フォルダ）にまとめて保存することで、マルチページファイルが作成される（本実施の形態１では５枚）。
なお、マルチページファイルの保存は、図１の画像記録Ｉ／Ｆ部１２５を介して、ＳＤカードなどの記録メディアに記録されることで実現される。このＥｘｉｆに記録された各情報を基にして、記録画像の抽出が行われる。
また、マルチページファイル保存の他の例について図８を用いて説明する。図７に示したマルチページファイルとの違いは、図８に示すマルチページファイルでは、フォーカスブラケット撮影で撮影したｎ枚の記録画像データを結合していく点である。このマルチページファイルにおいて、各マルチページファイル用の記録画像データは記録画像ヘッダー部と記録画像部とからなり、それぞれフォーカスブラケット撮影された記録画像データの順に結合されていく。
そして、各記録画像ヘッダー部には、記録画像の、画素数、圧縮の種類、撮影日時（分、秒を含む）、記録画像が撮影された撮像装置の機種名、露光時間、絞り、撮影感度、合焦位置、色空間といった各記録画像撮影時のデータである撮影条件データが含まれている。また、記録画像を識別するフラグである記録画像識別フラグ、基準画像に係る座標情報、検波枠の周波数特性の情報、合焦位置や領域枠、合焦領域枠位置情報等の情報とが含まれている。さらに、記録画像のサムネイルも記録画像ヘッダー部に格納されている。
以上のように、撮影画像の再生時において、撮影画像に併せて表示される合焦領域枠の位置ずれがなく、またフォーカスブラケット撮影により複数枚を連続撮影した撮影画像をマルチページファイルとして保存することで管理し易くでき、ユーザの所望する画像選択等の取り扱いがより容易なものとなり、従来のフォーカスブラケット撮影よりもさらに広い焦点範囲を移動し、かつ被写体の合焦位置の情報を加味した使い勝手のよいフォーカスブラケット撮影が可能なデジタルカメラを提供できる。
また、本実施の形態１におけるフォーカスブラケット撮影として、５枚を例としているが、近年のデジタル技術から５〜１０枚程度であれば、バッファメモリ容量増に伴う機器のコストアップや、撮影・記録処理時間の増による利便性への影響も少なく、より使い勝手のよい、かつ市場の要求にも応えたデジタルカメラを提供することが可能となる。
本発明の実施の形態２における画像表示装置について説明する。本実施の形態２は、前述の実施の形態１における撮像装置によって記録媒体に記録された撮像データを表示する画像表示装置である。これは、再生専用の装置ばかりではなく、前述した撮像装置のモニタ機能においても、同様の機能を有すことができる。
画像表示装置の記録媒体に記録されたデータを表示する表示部において、前述した機能を用いて、記録媒体に記録された撮像データと、撮像データに対応する記録媒体に記録された合焦領域枠位置情報とに基づいて、合焦領域枠を撮像データに重ねて表示するものである。
画像表示装置は、記録媒体に記録されたファイルの読み込みを行うファイル読込部と、このファイル読込部が読み込んだファイル内の画像データを表示する表示部から構成される。
表示部において、表示する画像データのファイルには、連続して複数回の撮像を行って取得された、合焦距離の異なる複数の撮像データと、この複数の撮像データの各撮像データ毎に対応付けられ、各撮像データの中で合焦部分を示す合焦領域枠を表示するための表示位置を示す合焦領域枠位置情報とを含んでいる。
表示部において、ファイルが含む合焦距離の異なる複数の撮像データの中から１つの撮像データが選択されると、この１つの撮像データに対応する合焦領域枠位置情報に基づいた合焦領域枠を重ねて、選択された１つの撮像データを表示することができる。これにより複数枚の撮像データの中から選択する際に、ユーザの所望するピントの合った画像を容易に選択にすることができる。
なお、表示部において表示する撮像データは、複数の撮像データを連続して表示する連続表示モード、あるいは複数の撮像データを同時に表示する一覧モード（いわゆるサムネイル表示）とを、切り替え可能に構成してもよい。
本発明に係る撮像装置および合焦領域枠の位置補正方法は、撮影前に基準画像を取得して、この基準画像とフォーカスブラケット撮影した各画像間の動き検出を行って、検出結果に応じて合焦領域枠の座標をずらし、再生時には画角ずれを補正した合焦領域枠を併せて表示でき、ユーザの所望するピントの合った撮影画像の選択を容易にすることができ、連続撮影した全ての画像データにおいて、合焦位置を示す合焦領域枠の位置ずれを回避でき有用である。
１００ 光学ユニット
１０１ レンズ
１０２ 絞り・シャッタ
１０３ 光学ローパスフィルタ
１０４ ＣＭＯＳセンサ
１０５ 光学系駆動部
１１０ 画像処理部
１１１ 周波数特性検波部
１１２ 動き検出部
１２０ 制御・演算部
１２１ プログラム用メモリ
１２２ 操作部
１２３ 表示部
１２４ 圧縮・伸張処理部
１２５ 画像記録Ｉ／Ｆ部
１２６ 画像バッファ用メモリ
特開平７−３１８７８５号公報

Claims (15)

  1. 合焦位置を変更可能な撮像光学系と、前記撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、前記固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、前記撮像データを記録媒体に記録する記録部と、前記記録媒体に記録されたデータを表示する表示部と、を有する撮像装置において、
    被写体の距離情報を取得する距離情報取得部と、
    前記距離情報に基づいて、前記撮像光学系の複数の合焦位置を設定する合焦位置設定部と、
    前記撮像光学系の合焦位置を、前記合焦位置設定部が設定した前記複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、
    前記距離情報取得部が取得した前記距離情報に基づいて、前記撮像データの画面内における合焦部分を決定する合焦部分決定部と、
    前記連続撮像部が連続して撮像を行う前に、基準画像データを前記画像処理部から取得する基準画像取得部と、
    前記連続撮像部が取得した前記複数の撮像データと前記基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、
    前記合焦部分と前記動き情報とに基づいて、各撮像データ毎に、前記撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有し、
    前記記録部が、前記連続撮像部が連続して撮像した複数の撮像データの全てと、前記合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして前記記録媒体に記録し、
    前記表示部が、前記記録媒体に記録された撮像データと、前記撮像データに対応する前記記録媒体に記録された前記合焦領域枠位置情報とに基づいて、合焦領域枠を前記撮像データに重ねて表示することを特徴とする撮像装置。
  2. 前記距離情報取得部が、
    前記複数の合焦位置よりも多い所定の複数の合焦位置に前記撮像光学系の合焦位置を順次変更し、それぞれの合焦位置にて連続して複数回の撮像を行って複数の距離情報用撮像データを取得する距離情報用撮像部と、
    前記距離情報用撮像部が取得した前記複数の距離情報用撮像データに基づいて、前記距離情報を算出する距離情報算出部とを含むことを特徴とする請求項１記載の撮像装置。
  3. 前記基準画像取得部が、前記距離情報用撮像部が取得した前記複数の距離情報用撮像データのうちのいずれかを前記基準画像データとして取得することを特徴とする請求項２記載の撮像装置。
  4. 前記距離情報用撮像部が取得する前記距離情報用撮像データよりも、前記連続撮像部が撮像する撮像データの方が、データサイズが大きいことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
  5. 前記動き検出部が、
    前記連続撮像部が取得した前記複数の撮像データを、前記基準画像データと同じデータサイズに変換し、前記動き情報を出力することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
  6. 前記距離情報算出部が、
    前記撮像データの画面を複数の小領域に分割する領域分割部と、
    前記撮像データの前記小領域毎に、それぞれの合焦状態を示す所定の周波数成分を抽出する周波数成分抽出部と、
    前記周波数成分抽出部が抽出した前記周波数成分に基づき、前記小領域毎にそれぞれの距離情報を算出する小領域距離情報算出部と、を備え、
    前記合焦位置設定部が、前記小領域距離情報算出部が算出した前記小領域毎の距離情報に基づいて、前記撮像光学系の複数の合焦位置を設定することを特徴とする請求項２〜５のいずれか１項に記載の撮像装置。
  7. 前記距離情報算出部が、前記小領域距離情報算出部により算出された前記小領域毎の距離情報に基づいて、それぞれの合焦位置において合焦している小領域の数を算出して合焦位置分布情報を取得する合焦位置分布情報取得部を備え、
    前記合焦位置設定部が、前記合焦位置分布情報に基づいて、前記撮像光学系の複数の合焦位置を設定することを特徴とする請求項６記載の撮像装置。
  8. 撮像指示を受け付ける撮像指示受付部を有し、前記連続撮像部が、前記撮像指示受付部が受け付けた前記撮像指示に基づいて、連続して複数回の撮像を行うことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
  9. 合焦指示を受け付ける合焦指示受付部を有し、前記合焦用連続撮像部が、前記合焦指示受付部が受け付けた前記合焦指示に基づいて、連続して複数回の撮像を行うことを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
  10. 合焦位置を変更可能な撮像光学系と、前記撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、前記固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、前記撮像データを記録媒体に記録する記録部と、を有する撮像装置において、
    被写体の距離情報を取得する距離情報取得部と、
    前記距離情報に基づいて、前記撮像光学系の複数の合焦位置を設定する合焦位置設定部と、
    前記撮像光学系の合焦位置を、前記合焦位置設定部が設定した前記複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、
    前記距離情報取得部が取得した前記距離情報に基づいて、前記撮像データの画面内における合焦部分を決定する合焦部分決定部と、
    前記連続撮像部が連続して撮像を行う前に、基準画像データを前記画像処理部から取得する基準画像取得部と、
    前記連続撮像部が取得した前記複数の撮像データと前記基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、
    前記合焦部分と前記動き情報とに基づいて、各撮像データ毎に、前記撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有し、
    前記記録部が、前記連続撮像部が連続して撮像した複数の撮像データの全てと、前記合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして前記記録媒体に記録することを特徴とする撮像装置。
  11. 焦点調節機構を含む撮影光学系と、前記撮影光学系から入射する被写体像を電気信号に変換する固体撮像素子と、複数領域を測距する距離情報取得部と、固体撮像素子出力の画像間の動き量を検出する動き検出部と、前記固体撮像素子出力を所定形式で保存した撮影画像を再生する表示部とを有する撮像装置において、
    前記撮像装置は、前記距離情報取得部の取得結果に基づき合焦位置を変えて連続撮影をする機能と、
    前記連続撮影によって記録した複数の撮影画像を再生表示する際に、前記被写体像の距離情報取得部での取得結果に基づく合焦領域枠を併せて表示する機能と、
    前記合焦領域枠の表示において、連続撮影前に取得した基準画像と前記連続撮影した各撮影画像との間の動き量を検出し、この検出結果に応じて前記合焦領域枠の前記表示部上での座標位置を補正する機能と、
    前記連続撮影した複数の撮影画像の全てを１つのファイルとして保存する機能とを備えたことを特徴とする撮像装置。
  12. 前記距離情報取得部が、前記固体撮像素子の後段に配置された周波数特性検波部において、山登りスキャン方式による周波数検波で距離情報を取得するとともに、所定のスキャン間隔で基準画像候補の複数を取得、保持し、前記山登りスキャン方式の処理終了後の連続撮影を行う合焦位置の決定結果基づき、前記基準画像候補の中から基準画像を決定することを特徴とする請求項１１記載の撮像装置。
  13. 請求項９の撮像装置によって前記記録媒体に記録された撮像データを表示する画像表示装置であって、
    前記記録媒体に記録されたデータを表示する表示部と、
    前記表示部が、前記記録媒体に記録された撮像データと、前記撮像データに対応する前記記録媒体に記録された前記合焦領域枠位置情報とに基づいて、合焦領域枠を前記撮像データに重ねて表示することを特徴とする画像表示装置。
  14. 合焦位置を変更可能な撮像光学系と、前記撮像光学系から入射する被写体像を電気信号に変換する固体撮像素子と、前記固体撮像素子からの出力を所定形式の撮像データに変換する画像処理部と、前記撮像データを記録媒体に記録する記録部と、前記記録媒体に記録されたデータを表示する表示部と、被写体の距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記撮像光学系の複数の合焦位置を設定する合焦位置設定部と、前記撮像光学系の合焦位置を、前記合焦位置設定部が設定した前記複数の合焦位置に順次変更し、連続して複数回の撮像を行って合焦距離の異なる複数の撮像データを取得する連続撮像部と、前記距離情報取得部が取得した前記距離情報に基づいて、前記撮像データの画面内における合焦部分を決定する合焦部分決定部と、前記連続撮像部が連続して撮像を行う前に、基準画像データを前記画像処理部から取得する基準画像取得部と、前記連続撮像部が取得した前記複数の撮像データと前記基準画像データとの間のズレを示す動き情報を、各撮像データ毎に出力する動き検出部と、前記合焦部分と前記動き情報とに基づいて、各撮像データ毎に、前記撮像データの中の合焦している部分を示す合焦領域枠の表示位置を示す合焦領域枠位置情報を取得する合焦枠表示位置決定部と、を有する撮像装置の撮像方法であって、
    前記連続撮像部が連続して撮像した複数の撮像データの全てと、前記合焦領域枠位置情報と、を各撮像データ毎に対応付けて１つのファイルとして前記記録部が前記記録媒体に記録し、前記記録媒体に記録された撮像データと、前記撮像データに対応する前記記録媒体に記録された前記合焦領域枠位置情報とに基づいて、合焦領域枠を前記撮像データに重ねて前記表示部に表示するようにしたことを特徴とする撮像方法。
  15. 焦点調節機構を含む撮影光学系と、前記撮影光学系から入射する被写体像を電気信号に変換する固体撮像素子と、複数領域を測距する距離情報取得部と、固体撮像素子出力の画像間の動き量を検出する動き検出部と、前記固体撮像素子出力を所定形式で保存した撮影画像を再生する表示部とを有する撮像装置の合焦領域枠の位置補正方法であって、
    前記連続撮影によって記録した複数の撮影画像を再生表示する際に、前記撮影画像に併せて表示する前記距離情報取得部の取得結果に基づいた前記被写体像の合焦領域枠を、連続撮影前に取得した基準画像と前記連続撮影した各撮影画像との間で検出した動き量の検出結果に応じて前記表示部上での座標位置を補正することを特徴とする合焦領域枠の位置補正方法。
JP2009045647A 2009-02-27 2009-02-27 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 Expired - Fee Related JP5206494B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009045647A JP5206494B2 (ja) 2009-02-27 2009-02-27 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
PCT/JP2010/053697 WO2010098507A1 (en) 2009-02-27 2010-02-26 Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
CN201080009565.6A CN102334332B (zh) 2009-02-27 2010-02-26 成像设备、图像显示设备、成像方法、显示图像的方法和校正聚焦区域框的方法
US13/202,490 US8823861B2 (en) 2009-02-27 2010-02-26 Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
EP10746376.2A EP2401860B1 (en) 2009-02-27 2010-02-26 Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009045647A JP5206494B2 (ja) 2009-02-27 2009-02-27 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法

Publications (2)

Publication Number Publication Date
JP2010200239A JP2010200239A (ja) 2010-09-09
JP5206494B2 true JP5206494B2 (ja) 2013-06-12

Family

ID=42665700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009045647A Expired - Fee Related JP5206494B2 (ja) 2009-02-27 2009-02-27 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法

Country Status (5)

Country Link
US (1) US8823861B2 (ja)
EP (1) EP2401860B1 (ja)
JP (1) JP5206494B2 (ja)
CN (1) CN102334332B (ja)
WO (1) WO2010098507A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041853B2 (en) * 2010-12-01 2015-05-26 Nec Casio Mobile Communications, Ltd. Mobile terminal, method of image processing, and program
WO2012132486A1 (ja) 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
CN103026171B (zh) * 2011-05-27 2016-03-16 松下电器产业株式会社 图像处理装置及图像处理方法
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
WO2013145907A1 (ja) * 2012-03-28 2013-10-03 富士フイルム株式会社 撮像装置及び撮影支援方法
JP2013239861A (ja) * 2012-05-14 2013-11-28 Freebit Co Ltd 画像撮影システム
CN102946510A (zh) * 2012-11-21 2013-02-27 合肥埃科光电科技有限公司 高速cmos线扫描相机
WO2014083737A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 画像処理装置および画像処理方法
JP6273700B2 (ja) * 2013-06-25 2018-02-07 株式会社ソシオネクスト 撮影装置、および撮影方法
JP6205927B2 (ja) * 2013-07-12 2017-10-04 ソニー株式会社 情報処理装置、および記憶媒体
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
CN103942516B (zh) 2014-04-21 2017-03-01 北京智谷睿拓技术服务有限公司 关联方法和关联设备
CN103942515B (zh) * 2014-04-21 2017-05-03 北京智谷睿拓技术服务有限公司 关联方法和关联设备
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6322099B2 (ja) * 2014-09-12 2018-05-09 キヤノン株式会社 画像処理装置、及び、画像処理方法
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
JP2016148732A (ja) * 2015-02-10 2016-08-18 キヤノン株式会社 撮像装置及び画像の表示方法、プログラム、プログラムの記憶媒体
JP6626257B2 (ja) * 2015-03-03 2019-12-25 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
JP6598028B2 (ja) * 2016-02-22 2019-10-30 パナソニックＩｐマネジメント株式会社 撮像装置
JP6742173B2 (ja) * 2016-06-30 2020-08-19 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
JP6808420B2 (ja) * 2016-09-27 2021-01-06 キヤノン株式会社 撮像素子および撮像装置
CN108665476B (zh) * 2017-03-31 2022-03-11 华为技术有限公司 一种行人跟踪方法以及电子设备
JP6641572B1 (ja) * 2018-08-24 2020-02-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 決定装置、制御装置、撮像装置、決定方法、及びプログラム
CN113170044B (zh) * 2018-12-06 2023-10-24 索尼半导体解决方案公司 接收装置和发送装置
IT201800021415A1 (it) * 2018-12-28 2020-06-28 Sisspre Soc It Sistemi E Servizi Di Precisione S R L Apparecchiatura di ausilio alla tracciabilita' di prodotti agroalimentari
JP7282524B2 (ja) * 2019-01-15 2023-05-29 キヤノン株式会社 表示制御装置、その制御方法およびプログラム
CN112333395B (zh) * 2020-12-01 2022-05-06 维沃移动通信（杭州）有限公司 对焦控制方法、装置及电子设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0358196B1 (en) 1988-09-09 1997-07-30 Canon Kabushiki Kaisha Automatic image stabilization device
US5187585A (en) * 1989-08-19 1993-02-16 Canon Kabushiki Kaisha Image sensing apparatus with settable focus detection area
JPH07318785A (ja) 1994-05-30 1995-12-08 Asahi Optical Co Ltd ブラケット装置を備えたカメラ
JP3887861B2 (ja) 1997-01-07 2007-02-28 ソニー株式会社 画像信号記録装置、記録再生装置および記録方法
JP3866888B2 (ja) 1999-10-28 2007-01-10 株式会社リコー 撮像装置
JP4472153B2 (ja) 2000-10-27 2010-06-02 オリンパス株式会社 電子カメラ装置、画像表示方法、及び記憶媒体
JP4325777B2 (ja) 2001-05-29 2009-09-02 株式会社リコー 映像信号処理方法および映像信号処理装置
JP2003121731A (ja) * 2001-10-18 2003-04-23 Minolta Co Ltd デジタルカメラ
JP3902492B2 (ja) 2002-03-13 2007-04-04 株式会社リコー 撮像装置
JP3964315B2 (ja) 2002-12-03 2007-08-22 株式会社リコー デジタルカメラ
JP2004260797A (ja) 2003-02-07 2004-09-16 Ricoh Co Ltd 撮像装置、撮像方法および記録媒体
JP4171383B2 (ja) * 2003-09-11 2008-10-22 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの制御方法
EP1601189A2 (en) 2004-05-26 2005-11-30 Fujinon Corporation Autofocus system
US8035721B2 (en) 2004-08-05 2011-10-11 Panasonic Corporation Imaging apparatus
JP4443361B2 (ja) 2004-09-22 2010-03-31 株式会社リコー 撮像装置およびカメラ
US9215363B2 (en) * 2004-09-29 2015-12-15 Hewlett-Packard Development Company, L.P. Implementing autofocus in an image capture device while compensating for movement
US7769285B2 (en) * 2005-02-07 2010-08-03 Panasonic Corporation Imaging device
JP4557758B2 (ja) * 2005-03-14 2010-10-06 三洋電機株式会社 撮像装置
JP2006324861A (ja) * 2005-05-18 2006-11-30 Konica Minolta Photo Imaging Inc プリント情報設定装置、カメラ及びプリンタ
JP2007274669A (ja) 2006-03-10 2007-10-18 Ricoh Co Ltd 撮像装置
JP4923674B2 (ja) * 2006-03-30 2012-04-25 カシオ計算機株式会社 デジタルカメラ及びフォーカス位置特定方法、プログラム
US7620304B2 (en) * 2006-04-24 2009-11-17 Hewlett-Packard Development Company, L.P. Method and apparatus for reducing shutter lag in a digital imaging device
JP4182117B2 (ja) 2006-05-10 2008-11-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
WO2008023706A1 (fr) * 2006-08-22 2008-02-28 Panasonic Corporation Périphérique d'imagerie
JP4910581B2 (ja) * 2006-09-08 2012-04-04 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JP4954659B2 (ja) 2006-10-10 2012-06-20 株式会社リコー 撮像装置
JP4939203B2 (ja) * 2006-12-22 2012-05-23 キヤノン株式会社 表示制御装置、撮像装置、及び制御方法
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
JP2008238757A (ja) 2007-03-29 2008-10-09 Hoya Corp サーマルプリンタ
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4890370B2 (ja) 2007-06-20 2012-03-07 株式会社リコー 撮像装置
EP2007135B1 (en) 2007-06-20 2012-05-23 Ricoh Company, Ltd. Imaging apparatus
JP4822283B2 (ja) 2007-07-31 2011-11-24 株式会社リコー 撮影装置
US7813633B2 (en) 2007-07-31 2010-10-12 Ricoh Company, Ltd. Imaging device and imaging method
JP4840732B2 (ja) 2007-08-20 2011-12-21 住友金属鉱山株式会社 鋳造鋳型の水平調整冶具
JP2009049810A (ja) 2007-08-21 2009-03-05 Canon Inc 撮像装置及びその制御方法及びプログラム
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP5381060B2 (ja) 2008-02-05 2014-01-08 株式会社リコー 撮像装置およびその画像処理方法
JP2010097211A (ja) 2008-09-17 2010-04-30 Ricoh Co Ltd 撮像装置および撮影位置設定方法
EP2166408B1 (en) 2008-09-17 2014-03-12 Ricoh Company, Ltd. Imaging device and imaging method using the same

Also Published As

Publication number Publication date
CN102334332B (zh) 2014-06-25
EP2401860A4 (en) 2014-08-06
JP2010200239A (ja) 2010-09-09
US20110298961A1 (en) 2011-12-08
CN102334332A (zh) 2012-01-25
WO2010098507A1 (en) 2010-09-02
US8823861B2 (en) 2014-09-02
EP2401860B1 (en) 2017-05-10
EP2401860A1 (en) 2012-01-04

Similar Documents

Publication Publication Date Title
JP5206494B2 (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP5381060B2 (ja) 撮像装置およびその画像処理方法
TWI399082B (zh) Display control device, display control method and program
KR101278241B1 (ko) 촬상 장치 및 촬상 방법
JP5005570B2 (ja) 画像処理装置およびプログラム
JP6157242B2 (ja) 画像処理装置及び画像処理方法
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
JP4654887B2 (ja) 撮像装置
JPWO2010073608A1 (ja) 撮像装置
JP2007215091A (ja) 撮像装置及びそのプログラム
JP2006279894A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006162991A (ja) 立体画像撮影装置
JP4792929B2 (ja) デジタルカメラ
KR20150088200A (ko) 촬상 장치, 촬상 제어 방법 및 프로그램
JP2010114577A (ja) 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法
KR20110090610A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP4665826B2 (ja) 撮像装置および画像処理プログラム
JP5170217B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP2009094741A (ja) 撮像装置、撮像方法及びプログラム
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP5157528B2 (ja) 撮影装置
JP5041050B2 (ja) 撮像装置および画像処理プログラム
JP5648563B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100614

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5206494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees