JP5267149B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP5267149B2
JP5267149B2 JP2009009171A JP2009009171A JP5267149B2 JP 5267149 B2 JP5267149 B2 JP 5267149B2 JP 2009009171 A JP2009009171 A JP 2009009171A JP 2009009171 A JP2009009171 A JP 2009009171A JP 5267149 B2 JP5267149 B2 JP 5267149B2
Authority
JP
Japan
Prior art keywords
image data
display
order
focal position
focused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009009171A
Other languages
English (en)
Other versions
JP2010166519A (ja
Inventor
英夫 長坂
青木  直
正裕 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009009171A priority Critical patent/JP5267149B2/ja
Priority to US13/143,956 priority patent/US20110273471A1/en
Priority to PCT/JP2009/069758 priority patent/WO2010082400A1/ja
Priority to CN200980154818.6A priority patent/CN102282836B/zh
Priority to EP09838366.4A priority patent/EP2385692A4/en
Priority to TW098144498A priority patent/TWI399082B/zh
Publication of JP2010166519A publication Critical patent/JP2010166519A/ja
Application granted granted Critical
Publication of JP5267149B2 publication Critical patent/JP5267149B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
デジタルスチルカメラは、撮像素子に入射された被写体像(光学像)を電気信号に変換することによって、デジタル画像データを生成し、撮影者のレリーズ操作に応じて、該デジタル画像データをメモリカード等の記録媒体に記録する。一般的に、デジタルスチルカメラは、焦点合わせを容易にするために、オートフォーカス(自動焦点)機構が搭載されるとともに、F値が大きく被写界深度が深い光学系が採用されている。これにより、撮影者は、デジタルスチルカメラを被写体に向けてレリーズボタンを操作するだけで、オートフォーカス機構により該被写体に合焦した被写体像を撮像して、その被写体像のデジタル画像データを記録することができる。
また、特許文献1には、撮影後に焦点が合った範囲(合焦点)を任意に変更可能なデジタル画像データを生成可能なデジタルスチルカメラを提供するために、1回のレリーズ操作に応じて、マルチフォーカス撮像を行うデジタルスチルカメラが開示されている。この特許文献1のマルチフォーカス撮像では、1回のレリーズ操作に応じて、最短距離側の焦点位置から無限遠側の焦点位置まで、焦点位置を自動的に変更しながら、段階的に撮像することで、焦点位置が相異なる複数枚の画像データを得ている。
特開2003−143461号公報 特開2006−54523号公報
しかしながら、従来では、マルチフォーカス撮像により得られた複数枚の画像データ(焦点位置が異なる一連の画像群)を、如何にしてユーザに分かり易く提示するかについては、何らの提案もされていなかった。例えば、上記特許文献1においても、マルチフォーカス撮像された複数枚の画像データの表示方法(提示方法)については何ら言及されていない。
一方、従来の画像提示方式として、複数枚の画像データを1枚ずつ順次表示するスライドショー方式が一般的である。しかし、上述のマルチフォーカス撮像された複数枚の画像データを、一般的なスライドショー方式でメリハリ無く表示したとしても、ユーザは、同一の撮像範囲(画角)を撮像した多数の類似画像を延々と見続けることとなり、倦怠感が生じてしまう。さらに、ユーザは、スライドショー表示される複数枚の画像データを漫然と見ても、撮影者がどの被写体に焦点を合わせて撮像したかという撮影時の意図が分からず、所望の画像を特定することが困難であった。
ここで、例えば特許文献2には、複数枚の画像データをスライドショー表示する際に、各画像データを撮像したときのAF情報に基づいて個々の再生画像の動き(ズームイン動作やパン動作)を決定し、決定した動きで該再生画像を表示することが開示されている。しかし、特許文献2の技術は、あくまで個々の画像を表示するときの表示態様をAF情報に基づき制御するものであり、マルチフォーカス撮像された画像群全体のスライドショー表示方式(表示時間や表示順序など)を制御するものではない。このため、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、どのようにしてユーザに分かり易く提示するかという上記課題は、依然として解決されていない。
そこで、本発明は、上記事情に鑑みてなされたものであり、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、撮像時の合焦点に応じて分かり易くかつ効果的に提示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びプログラムを提供しようとするものである。
上記課題を解決するために、本発明のある観点によれば、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、を備える、表示制御装置が提供される。
前記表示方式決定部は、前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定するようにしてもよい。
前記表示方式決定部は、前記合焦画像データの表示時間が前記他の画像データの表示時間よりも長くなるように、前記画像データ群に属する前記各画像データの表示時間を制御するようにしてもよい。
前記表示方式決定部は、前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定するようにしてもよい。
前記表示方式決定部は、第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、前記第N−1番目及び第N番目の画像データ群に関する前記判定結果と、前記第N−1番目の画像データ群の表示順序に応じて、前記第N番目の画像データ群の表示順序を決定するようにしてもよい。
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、当該判定結果に応じて前記画像データ群の表示順序を決定するようにしてもよい。
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御するようにしてもよい。
前記表示方式決定部は、前記個数が所定の閾値以上である場合に、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの一部を、スライドショー表示対象から除外するようにしてもよい。
1つの前記画像データ群内に、第1合焦画像データと第2合焦画像データがある場合、前記表示方式決定部は、前記第1合焦画像データと前記第2合焦画像データの間にある前記他の画像データを、前記スライドショー表示対象から除外しないようにしてもよい。
前記表示方式決定部は、前記個数に応じて、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの少なくとも一部の表示時間を制御するようにしてもよい。
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御するようにしてもよい。
また、前記表示制御装置は、前記画像データ群と、前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報と、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報とを対応づけて記憶する記憶部を備えていてもよい。さらに、前記表示制御装置は、前記記憶部からから、前記画像データ群、前記焦点位置情報及び前記合焦画像特定情報を読み出すデータ読出部を備えていてもよい。また、表示方式決定部は、前記画像データ群を、前記焦点位置情報が表す焦点位置順にスライドショー表示してもよい。
上記課題を解決するために、本発明のある観点によれば、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、を含む、表示制御方法が提供される。
また、上記課題を解決するために、本発明のある観点によれば、コンピュータに、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、を実行させるためのプログラムが提供される。
上記構成により、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式が、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定され、当該決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示が制御される。これにより、画像データ群に属する複数の画像データをスライドショー表示するときの表示方式を、合焦画像データに応じて制御できるので、当該複数の画像データを効果的かつ分かり易くスライドショー表示できる。
以上説明したように本発明によれば、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、撮像時の合焦点に応じて分かり易くかつ効果的に提示することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
<用語の定義>
<第1の実施形態>(合焦画像を長時間表示するスライドショー表示)
[1.1.撮像装置の構成]
[1.2.焦点位置の変更方法]
[1.3.マルチフォーカス撮像]
[1.3.1.マルチフォーカス撮像の実施例]
[1.3.2.マルチフォーカス撮像の第1変更例]
[1.3.3.マルチフォーカス撮像の第2変更例]
[1.3.4.マルチフォーカス撮像の第3変更例]
[1.4.スライドショー表示の概要]
[1.5.表示制御装置の構成]
[1.6.表示制御装置の機能構成]
[1.7.メタデータのデータ構造]
[1.8.スライドショー表示]
[1.8.1.スライドショー表示の概要]
[1.8.2.スライドショー表示フロー]
<第2の実施形態>(画像群ごとに表示順序を変えるスライドショー表示)
[2.1.スライドショー表示の概要]
[2.2.表示順序の決定手法]
[2.3.スライドショー表示フロー]
[2.4.スライドショー表示の変更例]
<第3の実施形態>(表示画像を選別するスライドショー表示)
[3.1.スライドショー表示の概要]
[3.2.画像選別手法]
[3.3.スライドショー表示フロー]
<第4の実施形態>(合焦点に応じて画像の表示時間を変えるスライドショー表示)
[4.1.スライドショー表示の概要]
[4.2.スライドショー表示フロー]
<用語の定義>
まず、本発明の各実施形態の説明に先立ち、本明細書で用いる各種の用語を定義する。
「撮像装置」は、被写体像を撮像して画像データを取得するための装置である。撮像装置は、主として静止画像(写真)データを取得するためのデジタルスチルカメラと、主として動画像データを取得するためのデジタルビデオカメラを含む。デジタルスチルカメラは、動画像データを取得する機能を兼備してもよいし、デジタルビデオカメラは、静止画像データを取得する機能を兼備してもよい。以下の実施形態では、本発明の撮像装置の例として、主としてデジタルスチルカメラの例を挙げて説明するが、本発明の撮像装置は、デジタルビデオカメラなど、任意のカメラであってもよい。
「撮像」とは、撮像装置において、撮像素子により受光した被写体像を画像信号に変換することを意味する。
「撮像範囲」は、撮像装置により撮像可能な撮像空間の範囲であり、画角に対応する。
「被写体像」は、撮像装置の撮像光学系を介して撮像素子に入射される光学像であって、撮像装置の撮像範囲内に存在する被写体を表す光学像である。
「画像データ」は、撮像素子により被写体像を撮像して得た画像信号を、信号処理にすることにより得られるデジタルデータである。
「焦点位置」は、撮像装置の撮像光学系の焦点の位置(Forcus Point)である。詳細には、「焦点位置」は、撮像空間において該撮像光学系の焦点が存在する、撮像光学系の光軸上の位置である。撮像装置の撮像光学系又は撮像装置を駆動することにより、焦点位置を変更できる。撮像装置の撮像光学系のレンズ中心から焦点位置までの距離を、「焦点距離」と称する。
「合焦」は、撮像装置の撮像光学系の焦点が撮像範囲内の所定の被写体に合うことをいう。
「合焦点位置」は、撮像装置の撮像光学系の焦点が撮像範囲内の所定の被写体に合ったときの焦点位置である。
「合焦範囲」は、焦点位置がある合焦点位置にあるときに、撮像光学系の被写界深度により焦点が合う、合焦点位置の前後の焦点位置の範囲である。ここで、「合焦点位置の前後」とは、撮像光学系の光軸(Z軸)上における、合焦点位置の近距離側(手前側)及び遠距離側(奥側)である。この合焦範囲の説明から分かるように、ある被写体に合焦するときの焦点位置には幅がある。このため、本発明における「所定の被写体に合焦する合焦点位置の検出」とは、当該被写体に合焦する合焦範囲内の任意の焦点位置を検出することを意味する。
「合焦可能範囲」は、最短距離側の焦点位置(マクロ)から無限遠側の焦点位置まで、撮像装置の撮像光学系が物理的に合焦可能な焦点位置の範囲である。
「X軸方向」は、撮像空間の水平方向、「Y軸方向」は撮像空間の垂直方向、「Z軸方向」は、撮像空間の奥行き方向(撮像光学系の光軸方向)である。X軸方向及びY軸方向は、撮像装置で得られた画像の撮像平面を定め、Z軸方向は、撮像光学系の焦点を変更する方向となる。
「検出指示」は、合焦点位置を検出するための契機となる指示である。検出指示は、例えば、ユーザによるレリーズボタン(シャッターボタン)の半押し操作が代表的である。しかし、その他にも、例えば、撮像装置の電源をオンにする操作、撮像装置の動作モードを撮像モードに切り替える操作、その他のユーザ操作、撮像により得た画像データに対する顔検出処理による顔検出、などを契機として、検出指示とすることもできる。
「レリーズ指示」は、被写体像を撮像して得た画像データを保存用画像データとして取得するための契機となる指示である。一般的なデジタルスチルカメラでは、「レリーズ」は、被写体像を撮像して得た画像データを記録媒体に記録することを意味し、レリーズボタンの全押し操作が代表的である。しかし、本明細書における「レリーズ指示」は、当該レリーズボタンの全押し操作に限られず、例えば、撮像装置に対するその他のユーザ操作、撮像により得た画像データに対するスマイル検出処理による被写体人物の笑顔の検出、などを契機として、レリーズ指示とすることもできる。
「保存用画像データ」は、撮像素子により撮像された被写体像の画像信号を信号処理して得られる画像データのうち、撮像装置又は外部機器で記録媒体に保存される画像データである。例えば、デジタルスチルカメラでは、撮像モード中は、撮像素子により常時被写体像を撮像して画像データを生成し、撮像装置のモニタに該画像データをライブビュー画像として表示している。このように経時的に得られる全ての画像データが記録媒体に保存される訳ではなく、上述のレリーズ指示などが生じたタイミングの画像データが記録媒体に保存される。一方、デジタルビデオカメラでは、経時的に得られる全ての画像データが保存用画像データとして記録媒体に保存される。
「オートフォーカス処理」は、撮像装置が撮像範囲内の任意の被写体に合焦する焦点位置を自動的に検出する処理である。オートフォーカス(以下「AF」という。)処理は、所定の被写体に合焦する焦点位置を検出する検出処理と、当該被写体に焦点を追従させるよう焦点位置を変更する追従処理とを含んでも良い。AF対象の被写体は、例えば、撮像範囲内に設けられた所定のAF領域(例えば画像中央エリア)若しくは基準点に存在する被写体であってもよいし、ユーザがタッチパネル等のAF位置指定手段を用いて撮像範囲内でAF対象の被写体を自由に選択できるようにしてもよい。
「被写体検出処理」は、焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを分析することにより、撮像範囲内に存在する1又は2以上の被写体を検出する処理である。この被写体検出処理により、撮像範囲内に存在する被写体と、当該被写体に合焦する合焦点位置の範囲を検出できる。
「ブラケット撮像処理」は、検出された合焦点位置を含む所定の範囲内で焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。ブラケット撮像は、フォーカスブラケット撮像とも称される。かかるブラケット撮像処理では、例えば、上記AF処理で検出された合焦点位置を中心とする所定の範囲内で、焦点位置を変更してもよいし、或いは、上記被写体検出処理で検出された被写体に合焦する合焦点位置の範囲内で、焦点位置を変更してもよい。このブラケット処理により、合焦点位置の近傍に焦点位置を変更して撮像できるので、合焦点位置の位置ずれを補償できる。
「マルチフォーカス撮像処理」は、所定の範囲内で焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。このマルチフォーカス処理の一例として、上記合焦可能範囲の全域を焦点位置の変更範囲とする「全域フォーカス撮像処理」や、被写体検出処理により検出された被写体に合焦する合焦点位置の範囲を焦点位置の変更範囲とする「被写体撮像処理」などがある。
「全域フォーカス撮像処理」は、上記合焦可能範囲内で焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。全域フォーカス撮像処理は、マルチフォーカス処理の一例である。
「被写体撮像処理」は、上記被写体検出処理で検出された1又は2以上の被写体のうちの少なくとも1つの被写体に合焦する合焦点位置の範囲内で、焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。被写体撮像処理は、マルチフォーカス処理の一例である。
「スライドショー」は、複数の画像データを順番に表示させる機能である。このスライドショー機能は、例えば、プレゼンテーションソフトウェアや画像表示ソフトウェア(いわゆるビューア)に搭載されている。スライドショー機能は、大別すると、ユーザが操作キーを押すごとにスライド(1つの画像データ)を切り替えて表示する方式と、予め設定された時間の経過に応じて自動的に次のスライド(次の画像データ)に切り替えて表示する方式の2種類がある。
「スライドショー表示」は上記スライドショーにより複数の画像データを順次表示することを意味する。
「表示方式」は、上記スライドショーにより複数の画像データを表示するための方式であり、例えば、スライドショー表示される複数の画像データの表示時間、表示順序、表示対象の画像データの選別などを含む。
<第1の実施形態>
次に、本発明の第1の実施形態について説明する。以下の説明では、まず、焦点位置が相異なる複数の画像データを得るためのマルチフォーカス撮像を行う撮像装置とその動作を説明する。その後、本実施形態に係る表示制御装置を用いて、上記マルチフォーカス撮像により得られた複数の画像データを、順次表示(スライドショー表示)するための表示制御装置とその動作について説明する。
まず、第1の実施形態に係るマルチフォーカス撮像を行う撮像装置の概要について説明する。本実施形態に係る撮像装置は、検出指示に応じて、AF処理を行って所定の被写体に対する合焦点位置を検出し、その後のレリーズ指示に応じて、検出された合焦点位置を基準として焦点位置を変更させながら全域フォーカス撮像を行うことを特徴としている。
即ち、本実施形態に係る撮像装置は、検出指示に応じて、撮像範囲内の所定の被写体に焦点を合わせるためのAF処理を行うことで、所定の被写体に焦点を合わせた合焦点位置を検出する。その後、該撮像装置は、レリーズ指示に応じて、上記検出された合焦点位置において被写体像を撮像して得た画像データを保存用画像データとして記録媒体に記録する。さらに、該撮像装置は、上記検出された合焦点位置を基準として、合焦可能範囲内において焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして記録する全域フォーカス撮像を行う。
かかる全域フォーカス撮像により、合焦可能範囲内で異なる位置に焦点が合った複数枚の保存用画像データを得ることができる。撮影後に、撮影後に合焦点位置を任意に変更可能なデジタル画像データを得ることができるので、撮影後にユーザが異なる被写体(焦点位置)に焦点を合わせなおした画像を容易に取得できる。以下に、本実施形態に係る撮像装置について詳述する。
[1.1.撮像装置の構成]
まず、図1を参照して、本実施形態に係る撮像装置1の構成について説明する。図1は、本実施形態に係る撮像装置1の構成を示すブロック図である。
図1に示すように、撮像装置1は、例えば、静止画像及び動画像の撮像記録が可能なデジタルスチルカメラとして構成されている。撮像装置1は、撮像光学系(L1、L2、2、3)と、撮像素子4と、前処理部5と、信号処理部6と、AF素子7と、ミラー駆動回路8と、絞り制御部9と、撮像制御部10と、CPU(Central Processing Unit)11と、メモリ部12と、操作入力部13と、バス14と、表示部15と、圧縮/伸張処理部16と、ストレージ部17を備える。
このうち、撮像光学系及び撮像素子4は、本発明の撮像部の具現例であり、撮像光学系により撮像素子4に被写体像を結像させ、撮像素子4により、受光した被写体像を撮像して画像信号を出力する。また、前処理部5及び信号処理部6は、本発明の画像データ生成部の具現例であり、撮像素子4から出力された画像信号を処理することにより被写体像の画像データを生成する。また、ミラー駆動回路8は、本発明の駆動部の具現例であり、変形ミラー装置2を駆動させて、焦点位置を変更する。また、CPU11及びメモリ部12は、本発明の制御部の具現例であり、撮像装置1の各部を制御する。以下に、撮像装置1の各部について説明する。
撮像光学系は、レンズL1、変形ミラー装置2、レンズL2、絞り3を備える。レンズL1、レンズL2は、撮像素子4に被写体像(光学像)を結像させるための撮像光学系におけるレンズ群を模式的に示している。レンズL1は、変形ミラー装置2に被写体像を導くためのレンズ群、レンズL2は上記レンズL1を介して変形ミラー装置2のミラー面にて反射された被写体像を撮像素子4に導くためのレンズ群を模式的に示している。なお、実際の撮像光学系は、被写体像を撮像素子4に結像させるものであれば、例えば、より多数のレンズ、不要な波長を除去する光学フィルタ、その他の光学素子などを備えてもよい。
変形ミラー装置2は、断面形状を凸状又は凹状に変形可能な変形ミラーを備えた装置である。変形ミラー装置2は、その表面側に可撓性を有する部材(可撓性部材)が形成されていると共に、該可撓性部材に例えばアルミニウム等の金属膜が成膜されてミラー面が形成されている。図中のミラー駆動回路8からの駆動信号に応じて、可撓性部材の形状が変形することで、ミラー面の形状が凸状又は凹状に変形し、これによって焦点位置を高速に変更させることができる。
かかる変形ミラー装置2を用いてフォーカス制御(焦点位置の変更)を行うことで、通常のフォーカスレンズを撮像素子に接近/離隔させるフォーカス制御機構と比べて、焦点位置を高速かつ正確に調整することができる。
上述したように、本実施形態に係る撮像装置1では、マルチフォーカス撮像処理を行うために、焦点位置を高速で変更する必要がある。このとき、従来のフォーカス機構のようにフォーカスレンズをモータ駆動して焦点位置を調整する場合には、焦点位置の変更を瞬時に行うことは困難である。
これに対し、本実施形態に係る変形ミラー装置2は、従来のメカニカルなフォーカス機構と比べて、小さく軽いので、高速動作可能である。このため、フォーカス機構として変形ミラー装置2を用いれば、ミラー面(可撓性部材)の断面形状を微少に変化させることで焦点位置を調整できるので、焦点位置の変更を非常に高速に行うことができる。従って、マルチフォーカス撮像処理において、レリーズ指示に応じて、合焦可能範囲内で焦点位置を多数の変更位置に段階的に変更させるときに、高速に変更できる。よって、ユーザがシャッターチャンスを意識して、1回のレリーズ指示を行ったタイミングで、相異なる多数の焦点位置の画像データを高速に取得することができるので、マルチフォーカス撮像処理でシャッターチャンスを逃さないようにできる。
絞り3は、上記変形ミラー装置2とレンズL2との間に挿入され、後述する絞り制御部9の制御に基づき入射光の通過範囲を変化させることで撮像素子4に結像される被写体像の露光量を調整する。
撮像素子4は、例えば、CCD(Charge Coupled Device)CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子で構成される。撮像素子4は、入射された被写体像を撮像して、撮像画像信号を生成する。つまり、撮像素子4は、上記撮像光学系を介して導かれた光(被写体像)を光電変換し、R(赤)、G(緑)、B(青)による画像信号としての電気信号を出力する。この撮像素子4の画像信号の読み出し制御は、後述するCPU11の指示に基づき撮像制御部10が行う。
前処理部5は、露光画像信号を前処理する所謂アナログフロントエンドであり、サンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備える。例えば、前処理部5は、撮像素子4から出力される画像信号としてのアナログ電気信号に対して、CDS(correlated double sampling:相関2重サンプリング)処理、プログラマブルゲインアンプ(PGA)によるゲイン処理、A/D変換処理などを行う。また、前処理部5は、画像信号に上記各種の処理を施して得られた撮像画像データに対して、感度バラツキ補正処理やホワイトバランス処理などを行う。
信号処理部6は、上記前処理部5を介して得られる撮像画像データ(R、G、B)に
対し、各種の画像信号処理を施して、最終的な画像データを得る。
AF素子7は、例えばラインセンサなどで構成され、被写体に対して焦点が合っているか否かを検出するために用いられる。AF素子7の検出信号はCPU11に入力され、CPU11は、該検出信号に基づいてAF処理を制御して、所定の被写体に焦点が合うようにミラー駆動回路8に指示して変形ミラーの変形状態を制御する。なお、AF素子7は、一般的に一眼レフカメラなどの高性能カメラに設けられるが、デジタルスチルカメラでは、かかるAF素子7を省略してもよい。この場合、CPU11は、上記信号処理部6により撮像画像信号を処理することで得られた合焦評価値に基づいて、AF処理を制御してもよい。
ミラー駆動回路8は、CPU11からの指示に基づいて、変形ミラー装置2を駆動させて変形ミラー装置2の変形状態を変えることで、焦点位置を調整する。かかる変形ミラー装置2の駆動の詳細については後述する。
絞り制御部9は、CPU11からの指示に基づいて、絞り3の開度を制御して、被写体像の露光量を適正値に調整する。
撮像制御部10は、例えばタイミングジェネレータ(TG)で構成され、CPU11からの指示に基づき、撮像素子4の電子シャッタースピードを制御する。撮像制御部10は、撮像素子4に必要な動作パルスを生成する。例えば、撮像制御部10は、垂直転送のための4相パルス、フィールドシフトパルス、水平転送のための2相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子4に供給する。この撮像制御部10により撮像素子4を駆動(電子シャッタ機能)させることが可能となる。
CPU11は、撮像装置1の各部を制御する制御部として機能する。このCPU11に対してはメモリ部12が設けられ、メモリ部12は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備える。
CPU11は、当該メモリ部12内に格納されるプログラムに従って各種演算処理や、絞り制御部9、撮像制御部10、ミラー駆動回路8及びバス14を介した各部と制御信号等のやりとりを行って、これら各部に所要の動作を実行させる。
例えば、前処理部5にて検出された撮像信号の光量の情報に基づき、絞り制御部9に指示して絞り3を駆動することで、適正な絞り値が得られるように制御する。また、先に説明した信号処理部6内の合焦評価値計算部から取得した合焦評価値Evに基づきミラー駆動回路8に指示して、変形ミラー装置2の変形状態を制御する。これにより、撮像光学系の焦点位置を変更したり、上述したAF処理、被写体検出処理、マルチフォーカス撮像処理、全域フォーカス撮像処理、被写体撮像処理、ブラケット撮像処理などの撮像処理を制御したりできるが、これについては後述する。
CPU11に付随して設けられるメモリ部12(例えばROM)には、CPU11に上記各種の制御処理を実行させるためのプログラムが格納されており、CPU11は、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
本実施形態に係るプログラムは、上述したCPU11の各種制御を、CPU11に実行させるためのプログラムである。このプログラムは、撮像装置1に内蔵された記憶装置(HDD、ROM、フラッシュメモリ等)に予め格納しておくことができる。また、当該プログラムは、CD(Compact DIsc)、DVD(Digital Versatile Disk DIsc)、BD(Blu−ray Disc)等の光ディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置1に提供されてもよい。或いは、当該プログラムは、LAN、インターネット等のネットワークを介して撮像装置1にダウンロードされてもよい。
操作入力部13は、例えばキー、ボタン、ダイヤル、タッチパネル等の操作子を有する例えば、操作入力部13は、電源オン/オフを指示するための操作子や、撮像画像の記録の開始を指示するためのレリーズ操作子(レリーズボタン)、ズーム調整用の操作子、合焦させる被写体の選択等のように画像位置指定手段として用いられるタッチパネルなど、各種の動作指示や情報入力を行うための操作子を具備する。このうち、レリーズボタンは、ユーザが上記AF用又は被写体検出用の検出指示やレリーズ指示を入力するための手段として機能する。例えば、シャッターボタンを途中まで押下(半押し)することで、検出指示が入力され、シャッターボタンを最後まで押下(全押し)することで、レリーズ指示が入力される。操作入力部13は、このような操作子から得られる情報をCPU11に供給し、CPU11はこれらの情報に対応した必要な演算処理や制御を行う。
圧縮/伸張処理部16は、バス14を介して入力される画像データについての圧縮/伸張処理、例えば、MPEG(Moving Picture Experts Group)方式に従った画像圧縮/伸張処理を行う。撮像により得られた画像データをストレージ部17に記録するときには、圧縮/伸張処理部16は、当該画像データを圧縮して、データ量を低減する。一方、ストレージ部17に記録された画像データを再生するときには、圧縮/伸張処理部16は、当該画像データを伸張して、表示部15等に送る。
ストレージ部17は、画像データその他の各種データの保存に用いられる。このストレージ部17は、フラッシュメモリなどの半導体メモリにより構成されてもよいし、例えばHDD(Hard Disk Drive)などにより構成されてもよい。また、ストレージ部17は、撮像装置1に内蔵された記録媒体ではなく、撮像装置1に着脱可能なリムーバブル記録媒体、例えば、半導体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリ等の記録媒体に対応する記録再生ドライブなどで構成されてもよい。もちろん、内蔵タイプのメモリと、リムーバブル記録媒体に対する記録再生ドライブの両方が搭載されてもよい。かかるストレージ部17は、CPU11の制御に基づき、バス14を介して入力される画像データ、その他の各種データについての記録/再生を行う。
表示部15は、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。上記表示駆動部は、バス14を介して入力される各種の表示データを上記表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は、上記表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで画像信号に基づく駆動信号を印加し、表示を実行させる。また、表示部15の表示パネルには、上述したタッチパネル等の画像位置指定手段を併設してもよい。
ここで、撮像時においては、レリーズ指示に応じて、CPU11の制御に基づき、信号処理部6から出力された画像データが上記圧縮/伸張処理部16に供給され、該圧縮/伸張処理部16において圧縮処理された画像データが生成される。すると、ストレージ部17は、CPU11の制御に基づき、圧縮処理された圧縮画像データを記録媒体に記録する。また、撮像時においてCPU11は、信号処理部6から出力された画像データが表示部15に供給されるように制御し、これによって、撮像素子4で撮像された画像信号から得た撮像画像データが、表示部15にリアルタイムで表示される(ライブビュー画像)。ユーザは、このライブビュー画像をみることで、撮像範囲(画角)や被写体の模様などを確認して、適切なシャッターチャンスを判断できる。
また、ストレージ部17に記録された圧縮画像データの再生指示が行われた場合、CPU11は、ストレージ部17を制御して、指定された圧縮画像データを再生させた上で、当該再生された圧縮画像データを圧縮/伸張処理部16で伸張させるように制御する。そして、CPU11は、当該伸張された画像データが表示部15上に表示されるように制御する。
[1.2.焦点位置の変更方法]
次に、本実施形態に係る撮像装置1における焦点位置の変更方法について詳細に説明する。
まず、図2を参照して、本実施形態に係る撮像装置1を用いた撮像処理の概要について説明する。図2は、本実施形態に係る撮像装置1による撮像処理を概略的に示す模式図である。
図2に示すように、本実施形態に係る撮像装置1は、通常の撮像処理と、全域フォーカス撮像処理と、ブラケット撮像処理を実行できる。ユーザは、例えば、撮像装置1の撮像モードを、通常撮像モードと、マルチフォーカス撮像モード(より詳細には、全域フォーカス撮像モード、ブラケット撮像モード)との間で切り替えることで、撮像装置1が行う撮像処理を設定変更できるようにしてもよい。
通常の撮像処理では、撮像装置1は、検出指示(例えば、レリーズボタンの半押し)に応じて、ユーザが所望する被写体(撮像ポイント)に焦点を合わせるAF処理を行う。その後、撮像装置1は、レリーズ指示(例えば、レリーズボタンの全押し)に応じて、当該被写体に焦点が合った被写体像を撮像して、画像データを1枚だけ記録する。このとき、当該焦点を合わせた被写体に対応する焦点位置が合焦点位置となる。この合焦点位置は、最短距離側(マクロ)から無限遠側(∞)までの合焦可能範囲内の任意の位置に合わせることができる。
一方、全域フォーカス撮像処理では、撮像装置1は、1回のレリーズ指示に応じて、合焦可能範囲全域に渡って焦点位置を段階的(ステップ状)に自動的に変更しながら被写体像を順次に撮像して、複数枚の画像データを記録する。このマルチフォーカス撮像処理は、どの被写体に対しても焦点を合わせずに行ってもよいが、予めAF処理等により所定の被写体に対する合焦点位置を検出した状態で行ってもよい。かかるマルチフォーカス撮像処理により、撮像範囲内でマクロ側から無限遠側まで全ての被写体に合焦した複数枚の画像データを得ることができる。
また、ブラケット撮像処理では、撮像装置1は、検出指示(例えばレリーズボタンの半押し)に応じて、ユーザ所望の被写体に焦点を合わせるAF処理を行って、合焦点位置を検出する。そして、撮像装置1は、その合焦点位置の近傍で細かいステップで焦点位置を自動的にずらしつつ被写体像を周期的に撮像して、複数枚の画像データを記録する。その後、撮像装置1は、レリーズ指示に応じて、上記合焦点位置で撮像して、1枚の画像データを記録する。かかるブラケット撮像処理により、AF処理を行ってからレリーズまでの間に、その合焦点位置近傍の焦点位置において撮像した画像データを得ることができる。従って、AF処理により検出された合焦点位置にずれがあったとしても、所望の被写体に対して的確に合焦した画像データをミスなく取得できる。
以上のように、全域フォーカス撮像処理及びブラケット撮像処理、さらには不図示の被写体撮像処理では、焦点位置を多段階で変更しながら撮像を行う。よって、焦点位置を正確かつ高速に変更する必要がある。
次に、図3を参照して、本実施形態に係る変形ミラー装置2を用いた焦点位置の変更について説明する。図3は、本実施形態に係る変形ミラー装置2を用いた焦点位置の変更を示す模式図である。
図3に示すように、変形ミラー装置2のミラー面(反射面)2aの形状を変えることで、焦点位置を変更することができる。例えば、ミラー面2aの凹形状を深くすることで、焦点位置を近距離側(マクロ側)に変更でき、逆に、ミラー面2aの凹形状を浅くすることで、焦点位置を遠距離側(無限遠側)に変更できる。焦点位置を遠距離側に変更することで、撮像装置1から遠くにある被写体に合焦させ、焦点位置を近距離側に変更することで、撮像装置1の近くにある被写体に合焦させることができる。このとき、変形ミラー装置2が物理的に変更可能なミラー面2aの形状には制約があり、この制約により、焦点位置を変更できる範囲、即ち、合焦可能範囲が定まる。
上述したように、従来のフォーカス機構を用いて、モータ駆動されるフォーカスレンズを撮像素子に対して接近/離隔させることで、焦点位置を変更することも可能である。しかし、従来のフォーカス機構では、焦点位置を最短距離側から無限遠側まで移動させるには、数秒程度の長い時間を要していた。これに対し、本実施形態では、フォーカス機構として変形ミラー装置2を用いることで、従来のフォーカス機構と比較して格段に高速に焦点位置を変更することができる。例えば、焦点位置を最短距離側から無限遠側まで移動させるには、1秒未満の短い時間で済み、この短時間内に数十枚(例えば30枚)のマルチフォーカス画像を所得することができる。
次に、図4を参照して、本実施形態に係る焦点位置を段階的に変更するフォーカス制御の詳細について説明する。図4は、本実施形態に係る焦点位置の変更を示す説明図である。
図4に示すように、本実施形態に係る撮像装置1では、上記変形ミラー装置2を用いて、焦点位置が段階的(ステップ状)に変更される。図4の例では、焦点位置が、撮像空間の奥行き方向(Z軸方向)の無限遠側に向かって、位置P1、P2、P3、P4、P5、P6の順に6段階で変更されている。撮像装置1は、このように焦点位置を1段階ずつ変更する度に、焦点位置を固定した状態で撮像素子4により被写体像を撮像して、その焦点位置に合焦した画像データを記録する。
詳細には、焦点位置を段階的に変更する1ステップごとに、撮像素子4のシャッター動作を行って、所定の露光時間で被写体像を撮像する。このとき、焦点位置を変更する1ステップの時間は、撮像素子4の電子シャッタースピードと、整定時間と、露光時間の和に相当する。ここで、整定時間は、焦点位置の変更に伴い変動した被写体像の光量が所定のズレ許容範囲以下に整定するまでに要する時間である。また、露光時間は、撮像装置1による撮像の露光に要する時間である。
以上、本実施形態に係るフォーカス制御において焦点位置を段階的に変更する方法について詳述した。なお、本発明は、本実施形態のように焦点位置を段階的に変更する例に限定されない。例えば、焦点位置を連続的(無段階で)に変更しながら、その変更途中に所定のタイミングで撮像素子4により被写体像を複数回撮像してもよい。このように焦点位置を連続的に変更しながら、相異なる焦点位置で撮像された複数枚の画像データを得るようにして、マルチフォーカス撮像を行ってもよい。
次に、図5を参照して、本実施形態に係る撮像装置1において段階的に焦点位置を段階的に変更するときの焦点位置の変更位置の設定について説明する。図5は、本実施形態に係る撮像装置1における焦点位置の変更位置の設定を説明するための模式図である。
図5に示すように、マクロから無限遠までの合焦可能範囲内に、複数の被写体H1〜H4が存在する場合を考える。この場合、マルチフォーカス撮像により焦点位置が異なる複数枚の画像データを取得するときには、それぞれの被写体H1〜H4について少なくとも1枚の画像データで焦点が合っている必要がある。
合焦可能範囲内で焦点位置を段階的に変更する場合、例えば図5のAに示すように、焦点位置を等間隔でリニアに変更させてもよいし、或いは、図5のBに示すように、焦点位置の変更量を可変にして焦点位置を変更してもよい。
図5のAの例では、焦点位置は、変更位置P1、P2、P3、P4、P5、P6に段階的に変更されており、焦点位置の変更量(即ち、隣接する焦点位置間の距離)は一定値dである。このように、焦点位置をZ軸方向に等間隔で変更することにより、焦点位置の位置制御が容易になるという利点があるが、後述のように、合焦可能範囲内の全ての被写体H1〜H4に焦点が合うようにするためには、焦点位置の変更回数が増加するという短所がある。
これに対し、図5のBの例では、焦点位置は、変更位置P1、P2、P3、P4、P5、P6に段階的に変更されており、焦点位置の変更量(即ち、隣接する焦点位置間の距離)は、可変値d1〜d5となっている。このとき、遠距離側ほど焦点位置の変更量が大きくなっている(d1<d2<d3<d4<d5)。この理由は、撮像光学系の被写界深度は、近距離側では浅く、遠距離側で大きいため、遠距離側で焦点位置の変更量を大きくしても、任意の位置の被写体に合焦した画像が得られるからである。この被写界深度に応じて焦点位置の設定について、以下に詳述する。
ここで、図6を参照して、被写界深度について詳述する。図6は、本実施形態に係る焦点位置ごとの被写界深度を説明するための模式図である。
図6に示すように、焦点位置を位置P1〜位置P6まで段階的に変更するとき、例えば、位置P3が合焦点位置であったとする。このとき、位置P3の近距離側(マクロ側)で合焦する範囲を後方被写界深度と称し、その位置P3の遠距離側(無限遠側)で合焦する範囲を前方被写界深度と称する。この前方被写界深度と後方被写界深度を合わせた範囲が被写界深度である。合焦点位置が位置P3であるときに、被写界深度により合焦する範囲が、合焦点位置P3における合焦範囲である。つまり、位置P3に焦点を合わせたときには、その位置P3にある被写体のみならず、当該位置P3の前後の合焦範囲内にある被写体(近距離側の後方被写界深度及び遠距離側の前方被写界深度に含まれる被写体)にも焦点が合った画像が得られる。勿論、位置P3を合焦点位置としたときには、厳密に焦点が合っているのは位置P3のみであるが、実際の画像ではその位置P3の前後(近距離側及び遠距離側)の合焦範囲内の被写体に対しても焦点が合っているように見える。焦点ボケは、合焦点位置である位置P3から離れるにつれて大きくなるが、被写界深度に応じて定まる合焦範囲内であれば、焦点ボケが許容範囲内であると考える。
上述した撮像装置1の撮像光学系などの光学装置では、焦点位置が近距離側であるほど被写界深度が浅く、遠距離側であるほど被写界深度が深いという特性を有している。このため、焦点位置を段階的に変化させたときには、近距離側の焦点位置であるほど合焦範囲が狭くなり、遠距離側の焦点位置であるほど合焦範囲が広くなる。従って、合焦可能範囲内の全域に合焦させるためには、図5のBで示したように、被写界深度が浅い近距離側では、焦点位置を細かい変更量で密に変更し、被写界深度が深い遠距離側では、焦点位置を大きな変更量で粗く変更すればよい。つまり、焦点位置を段階的に変更するときの変更位置は、撮像装置1からの距離により変動する被写界深度に応じて、設定されることが好ましい。
ところで、被写界深度は撮像光学系の絞り3の開度によって変化するので、絞り3の開度(例えばF値)に応じて、焦点位置の変更位置Pを設定してもよい。また、被写界深度は撮像光学系のレンズの焦点距離によっても変化するので、撮像装置1に搭載されたレンズの種類に応じて、焦点位置の変更位置Pを設定してもよい。さらに、上述したように、被写界深度は撮像装置1から焦点位置までの距離によっても変化するので、当該距離に応じて焦点位置の変更位置Pを設定してもよい(ズームレンズの特徴に依存)。このように、本実施形態に係る撮像装置1では、例えば、絞り3の開度、レンズの種類、焦点位置から撮像装置1までの距離に応じて、焦点位置の変更位置Pを設定する。これにより、焦点位置を効率的かつ適切に変更できるとともに、合焦可能範囲内の任意の位置に存在する全ての被写体に対して漏れなく合焦させることができる。
ここで、焦点位置の変更位置Pを設定するタイミングについて説明する。撮像装置1は、マルチフォーカス撮像処理を行う前に予め、焦点位置の変更位置Pを設定しておいてもよい。この場合、撮像装置1のCPU11は、予め設定された焦点位置の変更位置Pのデータを保持しておき、マルチフォーカス撮像時に、当該データを用いて、焦点位置を段階的に変更するように変形ミラー装置2を制御する。
或いは、撮像装置1のCPU11は、マルチフォーカス撮像処理を行うときに、焦点位置の変更位置Pをリアルタイムで計算して、当該変更位置Pを動的に設定し、当該設定した変更位置Pに焦点位置を段階的に変更するように変形ミラー装置2を制御してもよい。この場合、CPU11は、被写界深度と焦点位置との相関を表すデータや、上述した絞り3の開度、レンズの種類、焦点位置から撮像装置1までの距離などのパラメータを用いて、撮像状態に応じた適切な位置に焦点位置の変更位置Pを動的に設定することができる。
[1.3.マルチフォーカス撮像]
次に、図7及び図8を参照して、本実施形態に係る撮像装置1によるフォーカス制御について詳細に説明する。
本実施形態に係る撮像装置1は、検出指示(例えば、レリーズボタンの半押し操作)に応じて、AF処理を行って合焦点位置を検出する。その後、撮像装置1は、1回のレリーズ指示(例えば、レリーズボタンの全押し操作)に応じて、合焦点位置で撮像して得た画像データをストレージ部17に記録するとともに、全域フォーカス撮像処理を行う。この全域フォーカス撮像処理では、撮像装置1は、AF処理で検出された合焦点位置を基準として、合焦可能範囲内で焦点位置を段階的に変更しながら、当該変更された焦点位置で撮像して得られた複数枚の画像データをストレージ部17に順次、記録する。
このように、本実施形態に係る撮像装置1は、AF処理で合焦点位置を検出するためにフォーカスを制御し、また、全域フォーカス撮像処理で焦点位置を変更するためにフォーカスを制御する。以下に、本実施形態に係るフォーカス制御の具体例について、図7、図8を参照して詳細に説明する。なお、図7、図8において、縦軸(Z軸)は焦点位置、横軸は時間を示す。
[1.3.1.マルチフォーカス撮像の実施例]
まず、図7に示すフォーカス制御の例について説明する。図7は、本実施形態に係るマルチフォーカス撮像処理において、焦点位置を合焦点位置MPから無限遠側まで段階的に変更した後に、合焦点位置MPからマクロ側まで段階的に変更するフォーカス制御の例を示す模式図である。
図7に示すように、まず、撮像装置1のCPU11は、検出指示(AF開始指示)を受けると、AF処理を行って、撮像範囲内の所定の被写体に合焦する合焦点位置MPを検出する(t1〜t2)。AF処理で合焦させる対象となる被写体は、例えば、検出指示を受けた時点で撮像範囲の所定位置(例えば画像中央)に存在する被写体であってもよいし、タッチパネル等でユーザ指定された被写体であってもよい。
また、AF処理としては、例えば、一般的な山登り法による合焦点位置の探索(山登りAF)を使用できる。この山登りAFは、例えば、焦点位置をマクロ側(マクロ位置NP)から無限遠側に移動させながら、その焦点位置で得られた画像データを分析して所定の評価パラメータを取得し、当該評価パラメータを評価して、合焦点位置MPを探索する。なお、当該山登りAFは、焦点位置を無限遠(無限遠位置FP)からマクロ側に移動させながら行うことも勿論可能である。
かかる山登り法による合焦点位置MPの探索は、CPU11が、上記信号処理部6で形成される合焦評価値Evを取得して行う。山登り法による合焦点位置MPの探索の具体的な手法については種々存在するが、基本的には、例えば、以下のような手法を採用できる。
まず、CPU11は、焦点位置をマクロ(Snとする)に設定し、その状態で計算された合焦評価値Evの値を取得する。そして、マクロSnから、予め定められた距離tだけ遠い焦点位置(Sn+1とする)に設定し、その状態で計算された合焦評価値Evの値を取得する。このように距離tだけ離間するそれぞれの焦点位置での評価値Evを取得した上で、どちらで良好な評価値Evの値が得られているかを判別する。マクロSnでの評価値Evの値の方が高ければ、合焦点位置はマクロSnであるとして決定する。逆に、焦点距離Sn+1での評価値Evの値の方が高ければ、合焦点位置は当該焦点位置Sn+1以降の焦点位置にあると判断できる。この場合はさらに距離tだけ遠い焦点位置Sn+2での合焦評価値Evを取得し、焦点位置Sn+1と焦点位置Sn+2の何れでの評価値Evの値が良好かを判別する。焦点位置Sn+1の方が評価値Evの値が高ければ、合焦点位置は当該焦点位置Sn+1に決定する。焦点位置Sn+2での評価値Evの値の方が高ければ、合焦点位置は当該焦点位置Sn+2以降の焦点位置にあると判断できるので、さらに距離tだけ遠い焦点位置Sn+3での合焦評価値Evを取得し、焦点位置Sn+2と焦点位置Sn+3の何れでの評価値Evが良好かを判別する。
以降も、距離tだけ遠い近い焦点位置の方が良好な評価値Evの値が得られる場合は、CPU11は、さらに距離tだけ遠い焦点位置に振って取得した評価値Evとの比較を行う。そして、新たに振った焦点位置での評価値Evの値の方が低くなったときに、CPU11は、直前に振った焦点位置を合焦点位置として決定する。
以上のようにして、山登りAFにより合焦点位置MPが検出される。なお、AF処理の方式としては、上記山登りAF以外にも、例えば、位相差検出法、コントラスト検出法など、任意の方式を使用できる。
位相差検出法では、撮像光学系を通じて入射される被写体像から撮像素子内のセパレータレンズで2つの像を生成し、その像間隔をラインセンサ(AF素子7)で計測して、ピントのズレ量を検出し、当該ピントのズレ量に基づいて、合焦点位置を求める。一方、コントラスト検出法は、合焦しているときに、撮像により得られた画像のコントラストが最も高くなるという考え方に基づく検出法である。このコントラスト検出法では、撮像素子4により被写体像を撮像して得た画像データを解析し、焦点位置を動かしながら画像のコントラスト値が最も高くなるレンズ位置を探索する。このとき、焦点位置を動かしながらコントラスト値を計算し、その変化の軌跡から合焦点位置を求める。従って、コントラスト検出法では、位相差検出法より探索時間を要するが、撮像用のイメージセンサ(撮像素子4)でAF処理を実行できるという利点がある。
次いで、上記合焦点位置MPの検出完了からレリーズ指示を受け付けるまでの間、CPU11は、AF追従動作を制御する(t2〜t3)。この追従動作は、当該期間t2〜t3中に、合焦させた被写体が移動したときに、当該被写体に焦点を合わせ直す動作である。かかるAF追従動作は、デジタルビデオカメラ等で多用されるが、デジタルスチルカメラで用いてもよい。なお、当該期間t2〜t3に、AFの追従動作を行わずに、検出当初の合焦点位置に固定してもよい。
以上までの期間t1〜t3中は、撮像素子4による撮像処理は常時行われており、この撮像により得た画像データは、ライブビュー画像として表示部15に表示されている。ユーザは、かかるライブビュー画像を見ながら、シャッターチャンスと判断する時点で、レリーズボタンを全押し操作するなどして、撮像装置1のレリーズ指示を入力する。なお、レリーズ指示は、スマイル検出等により撮像装置1が自動で行ってもよい。
CPU11は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子4によって合焦点位置MP(焦点位置の変更位置P6に相当する。)において被写体像を撮像して得た画像データD6を、ストレージ部17に記録する(t3)。これにより、上記AF処理にて検出された合焦点位置MPの被写体に焦点が合っている画像データD6を、保存用画像データとして記録できる。さらに、かかる合焦点位置MPの画像データD6の記録後すぐに、CPU11は、全域フォーカス撮像処理を実行する(t3〜t4)。
具合的には、図7に示すように、まず、CPU11は、変形ミラー装置2を制御して、焦点位置を合焦点位置MPから無限遠側に段階的に変更する。これにより、焦点位置は、所定の変更位置P7、P8、P9、P10、P11に順次変更される。このように焦点位置を変更しながら、CPU11は、撮像素子4によってそれぞれの変更位置P7、P8、P9、P10、P11において被写体像を撮像して得られた画像データD7、D8、D9、D10、D11をストレージ部17に記録する。この結果、合焦可能範囲のうち、合焦点位置から無限遠までの範囲の被写体に合焦した複数枚の画像データD6〜D11が記録される。
さらに、CPU11は、変形ミラー装置2を制御して、焦点位置を合焦点位置MPからマクロ側に段階的に変更する。これにより、焦点位置は、所定の変更位置P5、P4、P3、P2、P1に順次変更される。このように焦点位置を変更しながら、CPU11は、撮像素子4によってそれぞれの変更位置P5、P4、P3、P2、P1において被写体像を撮像して得られた画像データD5、D4、D3、D2、D1をストレージ部17に記録する。この結果、合焦可能範囲のうち、合焦点位置からマクロまでの範囲の被写体に合焦した複数枚の画像データD5〜D1が記録される。
以上のようにして、撮像装置1は、全域フォーカス撮像処理(t3〜t4)を行うことで、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データD1〜D11を記録できる。このとき、合焦点位置MPから無限遠側(又はマクロ側)に徐々に遠くなるような順序で焦点位置を段階的に変更する(変更位置P7→P8→P9→P10→P11)。これにより、合焦点位置MPの無限遠側において、合焦点位置MPに近い焦点位置に合焦した画像データほど、レリーズ指示(t3)に近いタイミングで取得することができる。例えば、合焦点位置MPに最も近い位置P7に合焦した画像データD7を、合焦点位置MPに次に近い位置P8に合焦した画像データD8よりも先に取得できる。従って、合焦点位置MPに近い焦点位置に合焦した画像データほど、シャッターチャンス(即ち、レリーズ指示t3)に近いタイミングで優先的に取得することができる。
通常、合焦可能範囲のうち合焦点位置MPに近い焦点位置(例えば、P7、P8)ほど、ユーザが望む被写体が存在する可能性が高い。従って、上記のような順で画像データを取得することによって、ユーザが望む被写体に合焦した画像データ(例えば、D7、D8)を、シャッターチャンスに近いタイミングで優先的に得ることができる。つまり、ユーザが所望する被写体に合焦した画像データ(例えば、D7、D8)を最初に取得し、その後、その他の被写体に合焦した画像データ(例えば、D10、D11)を予備的に確保しておくことができる。よって、全域フォーカス撮像処理において、シャッターチャンスを逃さないようにできる。
なお、図7の例では、まず、焦点位置を合焦点位置MPから無限遠側に変更(P7〜P11)した後に、焦点位置を合焦点位置MPからマクロ側に変更(P5〜P1)して、全域フォーカス撮像処理を行ったが、かかる例に限定されない。上記の例とは逆に、まず、焦点位置を合焦点位置MPからマクロ側に変更(P5〜P1)した後に、焦点位置を合焦点位置MPから無限遠側に変更(P7〜P11)して、全域フォーカス撮像処理を行ってもよい。
次に、図8に示すフォーカス制御の例について説明する。図8は、本実施形態に係るマルチフォーカス撮像処理において、合焦点位置MPに近い変更位置Pから順に、焦点位置を無限遠側及びマクロ側に交互に変更するフォーカス制御の例を示す模式図である。
図8に示すように、まず、撮像装置1のCPU11は、検出指示(AF開始指示)を受けると、例えば上記山登りAF処理を行って、撮像範囲内の所定の被写体に合焦する合焦点位置MPを検出する(t1〜t2)。次いで、上記合焦点位置MPの検出完了からレリーズ指示を受け付けるまでの間、CPU11は、AFの追従動作を制御する(t2〜t3)。以上までの処理(t1〜t3)は、上述した図7の処理(t1〜t3)と略同一であるので、その詳細説明は省略する。
その後、CPU11は、レリーズ指示を受け付けた時点で、撮像素子4によって合焦点位置MP(焦点位置の変更位置P6に相当する。)において被写体像を撮像して得た画像データD6を、ストレージ部17に記録する(t3)。これにより、上記AF処理にて検出された合焦点位置MPの被写体に焦点が合っている画像データを、保存用画像データとして記録できる。さらに、かかる合焦点位置MPの画像データD6の記録後すぐに、CPU11は、全域フォーカス撮像処理を実行する(t3〜t4)。
具合的には、図8に示すように、まず、CPU11は、変形ミラー装置2を制御して、焦点位置を合焦点位置MPに近い順に無限遠側及びマクロ側に交互に振りながら段階的に変更する。これにより、焦点位置は、所定の変更位置P7、P5、P8、P4、P9、P3、P10、P2、P11、P1の順で変更される。このように焦点位置を限遠側及びマクロ側に交互に変更しながら、CPU11は、撮像素子4によってそれぞれの変更位置P7、P5、P8、P4、P9、P3、P10、P2、P11、P1において被写体像を撮像して得られた画像データD7、D5、D8、D4、D9、D3、D10、D2、D11、D1をストレージ部17に記録する。
以上のようにして、撮像装置1は、全域フォーカス撮像処理(t3〜t4)を行うことで、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データD1〜D11を記録できる。このとき、合焦点位置MPに近い変更位置から順に、無限遠側及びマクロ側に交互に焦点位置を変更する(変更位置P7→P5→P8→P4→P9→P3→P10→P2→P11→P1)。これにより、合焦点位置MPのマクロ側及び無限遠側の双方において、合焦点位置MPに近い焦点位置に合焦した画像データほど、レリーズ指示(t3)に近いタイミングで取得することができる。例えば、合焦点位置MPに最も近い位置P7、P5に合焦した画像データD7、D5を、合焦点位置MPに次に近い位置P8、P4に合焦した画像データD8、D4よりも先に取得できる。従って、マクロ側及び無限遠側の双方において、合焦点位置MPに近い焦点位置に合焦した画像データほど、シャッターチャンス(即ち、レリーズ指示t3)に近いタイミングで優先的に取得することができる。
従って、図8のような順で画像データを取得することによって、図7の例よりもさらに、ユーザが望む被写体に合焦した画像データ(例えば、D7、D5)を、シャッターチャンスに近いタイミングで優先的に得ることができる。つまり、ユーザが所望する被写体に合焦した画像データ(例えば、D7、D5)を最初に取得し、その後、その他の被写体に合焦した画像データ(例えば、D11、D1)を予備的に確保しておくことができる。よって、全域フォーカス撮像処理において、シャッターチャンスを更に逃さないようにできる。
なお、図8の例では、焦点位置を合焦点位置MPから無限遠側(P7)、マクロ側(P5)、無限遠側(P8)、・・の順に交互に変更しながら全域フォーカス撮像処理を行ったが、かかる例に限定されない。上記の例とは逆に、焦点位置を合焦点位置MPからマクロ側(P5)、無限遠側(P7)、マクロ側(P4)、・・の順に交互に変更しながら全域フォーカス撮像処理を行ってもよい。即ち、焦点位置を最初に無限遠側又はマクロ側のどちらに変更するかは任意である。
以上、本実施形態に係る撮像装置1とその撮像方法について説明した。本実施形態によれば、次の効果がある。
撮像装置1のユーザは、撮像装置1のAF機能を用いて、或いは、手動で、所望の被写体に焦点を合わせて撮影する。特に、1眼レフカメラなどでは、所望の被写体に正確に焦点を合わせる必要がある。このような焦点合わせを行う場合、手動の場合は勿論、AF機能を用いた場合であっても、所望の被写体に焦点を合わせ損ねる場合がある。しかし、本実施形態に係る撮像装置1は、レリーズ操作に応じて、合焦点位置の被写体に合焦した画像データを取得する通常の撮像処理を行うとともに、焦点位置を変更しながら複数枚の画像データを取得する全域フォーカス撮像処理を行う。従って、この全域フォーカス撮像処理で得られた複数枚の画像データの中には、所望の被写体に合焦した画像データが必ず存在する。よって、ユーザは、所望の被写体に合焦した画像データを確実に取得でき、AF処理等の焦点合わせの成否をケアしないで撮影を行うことができる。
また、ユーザは、ある被写体に焦点を合わせて撮影した画像データを得た後に、同じ画角で他の被写体に焦点を合わせた画像が欲しくなる場合がある。かかる場合であっても、本実施形態によれば、事後的な画像処理に依らずとも、実際に撮像光学系を調整して当該他の被写体に焦点を合わせて撮像した高精度の画像データを事後的に取得できる。
まず、撮像装置1は、上述した全域フォーカス撮像処理を行うことで、1回のレリーズ指示に応じて、マクロ側から無限遠側までの合焦可能範囲全域に渡って、任意の被写体に合焦した複数枚の画像データを自動的に取得できる。この全域フォーカス撮像処理では、図7及び図8に示したように、AF処理で検出された合焦点位置を基準として、焦点位置を段階的に変更する。従って、合焦点位置MPに近い焦点位置に合焦した画像データほど、シャッターチャンス(即ち、レリーズ指示)に近いタイミングで優先的に取得することができるので、合焦点位置の近くに存在する所望の被写体のシャッターチャンスを逃さないようにできる。
さらに、撮像装置1は、上述した全域フォーカス撮像処理を行うことで、1回のレリーズ指示に応じて、マクロ側から無限遠側までの合焦可能範囲全域に渡って、任意の被写体に合焦した複数枚の画像データを自動的に取得できる。この全域フォーカス撮像処理では、図7及び図8に示したように、AF処理で検出された合焦点位置を基準として、焦点位置を段階的に変更する。従って、合焦点位置MPに近い焦点位置に合焦した画像データほど、シャッターチャンス(即ち、レリーズ指示)に近いタイミングで優先的に取得することができるので、合焦点位置の近くに存在する所望の被写体のシャッターチャンスを逃さないようにできる。
例えば、ユーザが、被写体の人物が笑ったときの写真を撮影したい場合を考える。この場合、上述した特許文献1記載のマルチフォーカス撮像のように、合焦点位置にかかわらず、単純にマクロ側から無限遠側に焦点位置を変更して順番に撮像していくと、シャッターチャンスを逃してしまい、当該人物が笑顔であるときに撮像できない恐れがある。このように、シャッターチャンスがあるような被写体をマルチフォーカス撮像するときに、特許文献1記載の方法では、シャッターチャンスを逃すという問題がある。
これに対して、本実施形態では、AF処理で所望の被写体を検出し、レリーズ指示に応じて、その合焦点位置での画像を撮像し、かつ、当該被写体を含む合焦可能範囲全域を、合焦点位置の近傍の焦点位置から順に撮像する。従って、シャッターチャンスが有るような被写体(例えば、人物の笑顔)をマルチフォーカス撮像する場合であっても、当該被写体及びその近傍に合焦した画像をレリーズ指示の直後に撮像できるので、シャッターチャンスを逃すことがない。
また、マルチフォーカス撮像で複数枚の画像データを記録した場合には、事後的に複数枚の画像データをユーザに提示する際に、ユーザがどの被写体を狙って撮像したかをユーザに提示する必要があるという課題がある。かかる課題に関しても、本実施形態に係るマルチフォーカス撮像は、特許文献1記載の手法よりも優れる。つまり、本実施形態に係るマルチフォーカス撮像によれば、記録される複数枚の画像データのうち、AF処理で合焦させたときの画像データは、ユーザ自身がどの被写体を狙って撮像したかを表すインデックスとなる。従って、ユーザが事後的に複数枚の画像データを見る際に、撮像装置1は、最初に、AF処理で合焦させたときの画像データを提示することで、ユーザ自身がどの被写体を狙って撮像したかを提示できる。従って、ユーザはこの提示を確認した上で、複数枚の画像データの中から、所望する被写体に真に焦点が合った画像を選択できるようになる。
また、本実施形態に係る撮像装置1では、焦点位置を調整するためのフォーカス機構として、変形ミラー装置2を用いるので、マルチフォーカス撮像処理において焦点位置を高速に変更することができる。よって、従来よりもマルチフォーカス撮像処理を迅速に(例えば1秒以内で)遂行できる。
[1.3.2.マルチフォーカス撮像の第1変更例]
次に、図9を参照して、本実施形態に係る撮像装置1によるフォーカス制御の第1変更例について詳細に説明する。図9は、本実施形態に係るAF処理、ブラケット撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図9において、縦軸(Z軸)は焦点位置、横軸は時間を示す。
図9に示すように、撮像装置1は、検出指示に応じて、AF処理を行って合焦点位置を検出し(t1〜t2)、当該合焦点位置の検出が完了してからレリーズ指示までの間は、ブラケット撮像を行う(t2〜t3)。ブラケット撮像では、撮像装置1は、AF処理により検出された合焦点位置を中心とする所定の範囲内で、焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データをストレージ部17に記録する。その後、撮像装置1は、1回のレリーズ指示に応じて、合焦点位置で撮像して得た画像データをストレージ部17に記録するとともに、全域フォーカス撮像処理を行う(t3〜t4)。この全域フォーカス撮像処理では、撮像装置1は、AF処理で検出された合焦点位置を基準として、合焦可能範囲内で焦点位置を段階的に変更しながら、当該変更された焦点位置で撮像して得られた複数枚の画像データをストレージ部17に順次、記録する。
このように、図9の例では、上記合焦点位置MPの検出完了からレリーズ指示を受け付けるまでの間、CPU11は、ブラケット撮像処理を行うことを特徴としている(t2〜t3)。ブラケット撮像処理では、撮像装置1のCPUは、上記AF処理で検出した合焦点位置MPを中心として、焦点位置を無限遠側の位置P7と、マクロ側の位置P5に交互に変更する。これにより、焦点位置は、合焦点位置MPを中心とする所定の範囲内(図示の例では、P5〜P7の範囲内)で、位置P7→P5→MP(=P6)→P7→P5→MP(=P6)→・・・といったように周期的かつ段階的に変更される。撮像装置1は、このように焦点位置を周期的かつ段階的に変更しながら、各変更位置P7、P5、MP・・・において撮像素子4により被写体像を撮像し、該撮像素子4から出力された画像信号に基づき画像データD7、D5、DM(=D6)・・・を生成する。CPU11は、このように生成した画像データD7、D5、DM・・・を、不図示のキャッシュメモリ等に一時的に保存しておく。
以上のようにして、撮像装置1は、ブラケット撮像処理(t2〜t3)を行うことで、合焦点位置MPの近傍(無限遠側及びマクロ側)の焦点位置に合焦した複数枚の画像データD7、D5、DM・・・を周期的に取得できる。かかる画像データD7、D5、DM・・・は、AF処理にミスがあった場合、即ち、AF処理によりユーザ所望の被写体に合焦していない場合を補償するための画像データとして利用できる。つまり、AF処理で検出された合焦点位置MPの近傍で前後に焦点位置を周期的に変更することで、当該合焦点位置MPの近傍に位置する被写体は、当該合焦点位置MPを中心とする合焦範囲内に含まれない場合でも、変更位置P5又はP7を中心とする合焦範囲内に含まれる可能性が高い。よって、AF処理によりユーザ所望の被写体に合焦できなかったとしても、上記のようなブラケット撮像処理で得た画像データD7又はD5において当該被写体に合焦させることができる。
以上のようなブラケット撮像処理は、レリーズ指示(t3)があるまで繰り返される。CPU11は、上記ブラケット撮像処理により取得されて、キャッシュメモリに一時的に保存されていた複数の画像データD7、D5、DM・・・のうち、レリーズ指示の直前の1周期分Sの画像データD7、D5、DMをストレージ部17に保存し、その他の保存用画像データD7、DM、D5・・・は、重複した画像データであるので削除する。ブラケット撮像処理では、同一の焦点位置P5、P7、MPで繰り返し撮像しているので、保存データ量を削減するため、重複している古い画像データD7、DM、D5・・・を削除し、レリーズ指示直前に得られた最新の画像データD7、DM、D5を残せばよい。これは、レリーズ指示直前に得られた最新の画像データD7、DM、D5が、シャッターチャンスをより反映したものであるからである。
なお、本実施形態では、ブラケット撮像された全ての画像データを一時記憶用記憶部(例えばキャッシュメモリ)に一時保存しておき、レリーズ指示に応じて、上記レリーズ指示直前の少なくとも1周期分Sの画像データを、格納用記憶部(例えばストレージ部17)に保存し、その他の画像データを一時用記憶部から能動的に削除して無効化した。しかし、本発明は、かかる例に限定されず、上記少なくとも1周期分Sの画像データを有効化し、その他の画像データを無効化する手法は任意である。例えば、全ての画像データを当初からストレージ部17に保存して、レリーズ操作に応じて、少なくとも1周期分Sの画像データ以外の他の画像データをストレージ部17から能動的に削除してもよい。また、レリーズ指示に応じて、当該他の画像データを能動的に記憶部から削除しないで残しておき、ユーザが当該他の画像データにアクセスできないように設定(無効化)してもよい。また、レリーズ指示に応じて、上記少なくとも1周期分Sの画像データのみに対してユーザがアクセスできるよう設定(有効化)してもよい。いずれしろ、レリーズ指示直前の画像データは、レリーズ指示直前のシャッターチャンスに近いタイミングで撮像された重要な画像データである。従って、ブラケット撮像で周期的に撮像された複数周期の画像データのうち、当該レリーズ指示直前の1周期分の画像データのみを有効化して、ユーザに提示することで、画像データを効率的に管理・提示できる。
上記のブラケット撮像処理中に、CPU11は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子4によって合焦点位置MP(焦点位置の変更位置P6に相当する。)において被写体像を撮像して得た画像データD6を、ストレージ部17に記録する(t3)。これにより、上記AF処理にて検出された合焦点位置MPの被写体に焦点が合っている画像データD6を、保存用画像データとして記録できる。さらに、かかる合焦点位置MPの画像データD6の記録後すぐに、CPU11は、全域フォーカス撮像処理を実行して、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データD1〜D11をストレージ部17に記録する(t3〜t4)。かかる全域フォーカス撮像処理(t3〜t4)は、図8で説明した全域フォーカス撮像処理と略同一であるので詳細説明は省略する。また、かかる全域フォーカス撮像処理は、図7で説明した全域フォーカス撮像処理に代えてもよい。
以上、マルチフォーカス撮像の第1変更例によれば、上記図7、図8の例の効果に加えて、次の効果がある。即ち、シャッターチャンスにおける合焦画像を得るために、AF処理完了後、レリーズ指示までの間に、ブラケット撮像処理を行うので、ユーザ所望の被写体に合焦した画像データをミス無く取得できる。つまり、AF処理により目標の被写体に完全に焦点が合っているなら、レリーズ前のブラケット撮像処理は不要である。しかし、AF処理で目標の被写体に焦点が合わない場合がある。そこで、本実施形態では、レリーズ指示前にブラケット撮像処理することで、AF処理のミスを補償して、目標の被写体に合焦した画像データを確実に得られるようになる。
さらに、現実には、ユーザがシャッターチャンスと判断してから、レリーズボタンを押下して、合焦点位置の画像データが記録されるまでには、時間差がある。そこで、本実施形態では、その時間差を補償するために、レリーズ指示前に、合焦点位置の近傍をブラケット撮像処理する。これにより、あるシャッターチャンスの前に予め、ユーザが所望する被写体に合焦した画像データを記録しておくことができる。よって、上記時間差があったとしても、シャッターチャンスを逃すことなく、所望の被写体に正確に合焦した画像データを取得できる。
また、レリーズ指示前に取得した画像データは、撮像装置1に設定された所定時間分(例えば、レリーズ直前の1周期分S)のみ有効となるので、撮像装置1のストレージ部17に記録される画像データのデータ量を必要最小限に抑えることができる。
[1.3.3.マルチフォーカス撮像の第2変更例]
次に、図10を参照して、本実施形態に係る撮像装置1によるフォーカス制御の第2変更例について詳細に説明する。図10は、本実施形態の第2変更例に係る被写体検出処理、ブラケット撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図10において、縦軸(Z軸)は焦点位置、横軸は時間を示す。
図10に示すように、撮像装置1は、検出指示(例えば、レリーズボタンの半押し操作)に応じて、被写体検出処理を行う(t1〜t4)。この検出処理では、合焦可能範囲内で焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを分析して、被写体検出用の評価パラメータを求める。これにより、撮像装置1は、撮像範囲内に存在する1又は2以上の被写体を検出するとともに、当該検出された被写体に合焦する合焦点位置の範囲を検出する。そして、当該被写体検出処理が完了してからレリーズ指示までの間は、上記検出された合焦点位置の範囲内で、焦点位置を変更させながら、ブラケット撮像を行う(t4〜t5)。ブラケット撮像では、撮像装置1は、当該合焦点位置の範囲内で、焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データをストレージ部17に記録する。その後、撮像装置1は、1回のレリーズ指示に応じて、合焦点位置の範囲内の任意の焦点位置で撮像して得た画像データをストレージ部17に記録するとともに、上記図8と同様にして全域フォーカス撮像処理を行う(t5〜t6)。
このように、図10の例では、撮像範囲内の被写体及びその合焦点位置の範囲を検出するために被写体検出処理を行うことを特徴としている。この被写体検出処理について以下に詳述する。
図10に示すように、撮像装置1の撮像範囲内に1つの被写体Hが存在し、この被写体Hは奥行き方向(Z軸方向)に所定以上の厚みを有する物体であるときに、撮像装置1で被写体Hを検出して、マルチフォーカス撮像する場合を考える。
まず、撮像装置1のCPU11は、検出指示(被写体検出開始指示)を受けると、被写体検出処理を行って、撮像範囲内に存在する被写体Hを検出するとともに、当該被写体Hに合焦する合焦点位置の範囲rを検出する(t1〜t4)。この被写体検出処理は、例えば、上述した山登りAF法、位相差検出法、コントラスト検出法など、任意のAF方式を利用して実現できる。
ここで、コントラスト検出法により被写体検出する例を説明する。CPU11は、1又は2以上の被写体を含む撮像空間を撮像して得た画像の画像データを解析し、焦点位置を移動させながら画像のコントラスト値が最も高くなる焦点位置を探索する。これにより、CPU11は、かかるコントラスト出力が最大となるときの焦点位置を、被写体の合焦点位置であると特定できる。さらに、CPU11は、コントラスト出力のピークの幅から、被写界深度に応じた許容ボケにより被写体に合焦しうる合焦点位置の範囲を求めることができる。
上記のような被写体検出処理(t1〜t4)により、CPU11は、焦点位置をマクロ位置NPから無限遠位置FPまで変更する途中の時間t2〜t3で検出されたコントラスト出力に基づいて、被写体Hに合焦する合焦点位置の範囲rを求めることができる。図示の例では、合焦点位置の範囲rは、焦点位置P4〜焦点位置P6までの範囲である。なお、撮像装置1により被写体Hの手前側は撮像できるが、奥側は撮像できないので、合焦点位置の範囲rは、被写体Hの手前側の部分に対応する焦点位置の範囲となる。
次いで、上記被写体H及び合焦点位置の範囲rの検出を完了してから、レリーズ指示を受け付けるまでの間、CPU11は、上記被写体検出処理で検出した合焦点位置の範囲r内で、焦点位置を周期的に変更しながら、ブラケット撮像処理を行う(t4〜t5)。図示の例では、焦点位置は、当該合焦点位置の範囲r内で、位置P4→P5→P6→P4→P5→P6→・・・といったように周期的かつ段階的に変更される。撮像装置1は、このように焦点位置を周期的かつ段階的に変更しながら、それぞれの変更位置P4、P5、P6・・・において撮像素子4により被写体像を撮像し、当該撮像素子4から出力された画像信号に基づいて画像データD4、D5、D6・・・を生成する。CPU11は、このように生成した画像データD4、D5、D6・・・を、不図示のキャッシュメモリ等に一時的に保存しておく。
以上のようにして、撮像装置1は、ブラケット撮像処理(t4〜t5)を行うことで、奥行き方向に厚みのある被写体Hに合焦した複数枚の画像データD4、D5、D6・・・を周期的に取得できる。かかる画像データD4、D5、D6・・・を得ることで、厚みのある被写体Hの手前側部分、中央部分、奥側部分にそれぞれ正確に合焦した画像データを取得できる。
かかるブラケット撮像処理中に、CPU11は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子4によって合焦点位置の範囲r内の任意の焦点位置(例えば、図示の例では位置P6)において被写体像を撮像して得た画像データD6を、ストレージ部17に記録する(t5)。これにより、上記被写体検出処理にて検出された被写体Hに焦点が合っている画像データD6を、保存用画像データとして記録できる。さらに、かかる画像データD6の記録後すぐに、CPU11は、全域フォーカス撮像処理を実行して、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データD1〜D11をストレージ部17に記録する(t5〜t6)。かかる全域フォーカス撮像処理(t5〜t6)は、図8で説明した全域フォーカス撮像処理と略同一であるので詳細説明は省略する。また、かかる全域フォーカス撮像処理は、図7で説明した全域フォーカス撮像処理に代えてもよい。
以上、マルチフォーカス撮像の第2変更例によれば、AF処理ではなく、被写体検出処理を行うので、撮像範囲内に存在する1又は2以上の被写体Hのみならず、その被写体Hに対する合焦焦点位置の範囲rをも検出できる。
例えば、奥行き方向に厚みのある大きな被写体Hを撮像する場合、AF処理で焦点を合わせて撮像すると、被写体Hの手前側、奥側、中央部のうちどの部分に合焦するかは調整しにくい。これに対して、本実施形態では、被写体検出処理で検出された合焦焦点位置の範囲r内で焦点位置を変更しながら、ブラケット撮像するので、被写体Hの手前側、奥側、中央部の全ての位置に精度良く合焦した複数枚の画像データを得ることができる。つまり、本実施形態では、厚みのある被写体Hの奥行き方向をスキャンして、1つの被写体Hについて多焦点画像を得ることができる。よって、撮像後に、ユーザは、被写体Hの所望の部分に正確に合焦した画像データを容易に取得できる。また、かかる1つの被写体Hについての複数枚の画像データを得ることで、画像合成による3次元画像を高精度かつ容易に作成できるようになる。
さらに、本実施形態では、撮像範囲内から被写体Hを抽出して、最良のシャッターチャンスのときにその被写体を撮像し、残った時間で全域フォーカス撮影を行う。これにより、被写体抽出を正確に実行できるとともに、ユーザが所望する被写体Hの多焦点画像データをシャッターチャンス内で取得できる。
[1.3.4.マルチフォーカス撮像の第3変更例]
次に、図11を参照して、本実施形態に係る撮像装置1によるフォーカス制御の第3変更例について詳細に説明する。図11は、本実施形態の第3変更例に係る被写体検出処理、ブラケット撮像処理、被写体撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図11において、縦軸(Z軸)は焦点位置、横軸は時間を示す。
図11に示すように、撮像装置1は、検出指示(例えば、レリーズボタンの半押し操作)に応じて、被写体検出処理を行う(t1〜t6)。これにより、撮像装置1は、撮像範囲内に存在する複数の被写体を検出するとともに、当該検出されたそれぞれの被写体に合焦する合焦点位置の範囲を検出する。次いで、撮像装置1は、ユーザ入力に基づいて、被写体検出処理で検出された複数の被写体の中から、1又は2以上の重要な被写体を選別する被写体選別処理を行う。そして、当該被写体検出処理が完了してからレリーズ指示までの間は、上記選別された1又は2以上の被写体の中から選択された1の被写体に合焦する合焦点位置の範囲内で、焦点位置を変更させながら、ブラケット撮像を行う(t6〜t7)。
その後、撮像装置1は、1回のレリーズ指示(例えば、レリーズボタンの全押し操作)に応じて、合焦点位置の範囲r内の任意の焦点位置で撮像して得た画像データをストレージ部17に記録する。さらに、撮像装置1は、上記被写体選別処理で選別された1又は2以上の被写体に合焦する合焦点位置の範囲内のみをスキャンする被写体撮像処理を行う(t7〜t8)。その被写体撮像処理の完了後、図8と同様にして全域フォーカス撮像処理を行う(t8〜t9)。
このように、図11の例では、被写体検出処理により検出した被写体に関して、被写体撮像処理を行うことを特徴としている。この被写体検出処理及び被写体撮像処理について以下に詳述する。
図11に示すように、撮像装置1の撮像範囲内に5つの被写体H1、H2、H3、H4、H5が存在するときに、撮像装置1で被写体H1〜H5を検出して、このうちから重要な被写体H1〜H3を選択してマルチフォーカス撮像する場合を考える。なお、図11の例では、人物等の重要な被写体H1〜H3の他に、重要度の低い被写体H4、H5(例えば、人物以外のオブジェクトなど)が追加されている。なお、被写体H3は、建物の壁等であり、撮像装置1側から見ると、被写体H3の奥側は見えないものとする。
まず、撮像装置1のCPU11は、検出指示(被写体検出開始指示)を受けると、被写体検出処理を行って、撮像範囲内に存在する被写体H1〜H5を検出するとともに、被写体H1〜H5に合焦する合焦点位置の範囲r1〜r5を検出する(t1〜t6)。
また、CPU11は、検出された5つの被写体H1〜H5を、重要な被写体H1〜H3と、重要度の低い被写体H4、H5とに選別し、重要な被写体H1〜H3を被写体撮像処理(t7〜t8)での撮像対象として選択する。この選択は、例えば、タッチパネル等に対するユーザ入力に基づいて手動で行ってもよいし、撮像により得た画像データを画像処理した結果(例えば顔認識等)に基づいて、CPU11が自動的に行ってもよい。例えば、顔認識がされた被写体は人物であり重要度が高いので、被写体撮像処理の撮像対象として選択する。
その後、撮像装置1は、上述した例と同様に、ブラケット撮像処理(t6〜t7)と、レリーズ操作に応じた被写体撮像処理(t7〜t8)を実行する。ただし、被写体撮像処理(t7〜t8)では、上記5つの被写体H1〜H5のうちから選択された重要な被写体H1〜H3のみを撮像する。
以上のように、本実施形態に係る撮像装置1は、まず、検出指示に応じて、合焦可能範囲全域をスキャンする被写体検出処理を行って、撮影したい被写体H1〜H5がどの焦点位置にあるかを検出する。次いで、撮像装置1は、レリーズ指示に応じて、被写体H1〜H5から選択された被写体H1〜H3がある部分(焦点位置P2〜P4、P6〜P8、P10)のみを撮像し、被写体H1〜H3が無い不要な部分(焦点位置P1、P5、P9、P11)を撮像しない。従って、被写体撮像処理は、被写体が存在する必要な部分のみを撮像するので、上述した全域フォーカス撮像処理よりも短時間で効率的に実行できる。
さらに、被写体撮像処理(t7〜t8)の完了後に、図8の例と同様に、焦点位置を段階的に変更しながら合焦可能範囲全域にわたって全域フォーカス撮像を行う(t8〜t9)。この全域フォーカス撮像により、重要でないと選択した被写体H4、H5についても、念のため焦点を合わせた画像データを確保しておくことができる。なお、全域フォーカス撮像(t8〜t9)を行わずに、被写体撮像処理(t7〜t8)のみを行ってよい。
以上のように、本実施形態に係る撮像装置1は、検出した全ての被写体H1〜H5に対してではなく、重要な被写体H1〜H3のみを選択して、被写体撮像処理を行う。これにより、ユーザが所望しない被写体H4、H5に対する被写体撮像処理を省略できるので、処理速度及び効率が向上するとともに、画像データの保存データ量も低減できる。
以上、図7〜図11を参照して、本実施形態に係る撮像装置1によるマルチフォーカス撮像処理の例について説明した。上述したように、マルチフォーカス撮像は、全域フォーカス撮像処理、被写体撮像処理などを含む。
[1.4.スライドショー表示の概要]
上記のマルチフォーカス撮像によれば、撮像装置1は、同一の撮像範囲(画角)に対して、焦点位置を変更しながら、相異なる複数の焦点位置において被写体像を撮像して、複数の画像データを得ることができる。この複数の画像データは、1つの画像データ群として関連づけられて、ストレージ部17内に記録される。
また、上記マルチフォーカス撮像時には、撮像装置1のCPU11は、撮像により得られた画像データ群に属する複数の画像データに関するメタデータを生成し、このメタデータを当該複数の画像データと対応づけてストレージ部17に記録する。また、相異なる撮像範囲(画角)をマルチフォーカス撮像することによって、複数の画像データ群を記録するときには、それぞれの画像データ群に属する複数の画像データに対応する複数のメタデータが生成及び記録される。
ここで、メタデータは、画像データ群に属する複数の画像データに関する付加情報である。該メタデータは、画像データ群に属する各画像データの識別情報(画像ID、ファイル名など)、各画像データを撮像した時の焦点位置を表す焦点位置情報、画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報などを含む。ここで、「所定の被写体に合焦した合焦画像データ」は、所定の被写体に合焦した合焦点位置において被写体像を撮像して得られた画像データである。所定の被写体とは、例えば、撮像装置1のAF機能により自動合焦された被写体や、上記被写体検出処理により検出された被写体、ユーザ選択された被写体などである。このため、この所定の被写体は、撮影時にどの被写体に合焦させて撮像するかという撮像者の意図を反映した特定の被写体となる。従って、合焦画像データは、ユーザ所望の特定の被写体に合焦する合焦点位置において撮像されたものであるため、画像データ群に属する複数の画像データを代表する代表画像データとして機能する。
そこで、本実施形態に係る表示制御装置は、1つの画像データ群に属する複数の画像データ(同一の画角に対して相異なる焦点位置で撮像された一連の画像データ)をスライドショー表示する際に、上記メタデータに基づいて、スライドショー表示方式を制御する。例えば、表示制御装置は、上記メタデータに含まれる焦点位置情報に基づいて、該画像データ群に属する複数の画像データを焦点位置順に順次表示する。また、表示制御装置は、メタデータに含まれる合焦画像特定情報に基づいて、該複数の画像データの中から合焦画像データ(代表画像データ)を特定し、ユーザが他の画像データよりも合焦画像データを認識しやすいような表示方式でスライドショー表示する。これにより、他の画像データよりも代表画像データ(合焦画像データ)が強調されて表示されるようになる。従って、焦点位置が異なる複数の類似画像を効果的にスライドショー表示できるとともに、ユーザは、スライドショー表示される複数の画像を閲覧しつつも、撮像者の意図(撮影時にどの被写体に合焦させて撮像したか)を把握できる。
以下に、上記のようにスライドショー表示方式を制御するための表示制御装置及び表示制御方法について詳述する。なお、以下の例では、表示制御装置の一実施形態として、パーソナルコンピュータ(PC)の例を挙げ、該PCが、撮像装置1から取得した画像データ群をスライドショー表示する場合について説明する。
[1.5.表示制御装置の構成]
次に、図12を参照して、本実施形態に係る表示制御装置20のハードウェア構成について説明する。図12は、本実施形態に係る表示制御装置20のハードウェア構成を示すブロック図である。
図12に示すように、表示制御装置20は、例えば、CPU201と、ROM202と、RAM203と、ホストバス204と、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、ストレージ装置210と、ドライブ211と、接続ポート212と、通信装置213とを備える。このように表示制御装置20は、例えば、パーソナルコンピュータなど汎用のコンピュータ機器を用いて構成できる。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って動作し、表示制御装置20内の各部を制御する。このCPU201は、ROM202に記憶されているプログラム、或いは、ストレージ装置210からRAM203にロードされたプログラムに従って、各種の処理を実行する。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶するとともに、CPU201からストレージ装置210へのアクセスを軽減するためのバッファーとしても機能する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。
入力装置208は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー等の操作手段と、入力信号を生成してCPU201に出力する入力制御回路などから構成されている。表示装置209は、例えば、液晶ディスプレイ(LCD)装置、CRT(Cathode Ray Tube)ディスプレイ装置、プラズマディスプレイ装置等のディスプレイ装置で構成される。この表示装置209は、CPU201による制御に従って、再生画像などの各種データを表示画面に表示する。
ストレージ装置210は、各種の情報やデータを格納するための記憶装置であり、本発明の記憶部の一例である。ストレージ装置210は、例えば、HDD(Hard Disk Drive)などの外付け型若しくは内蔵型のディスクドライブで構成される。このストレージ装置210は、記憶媒体であるハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。
ドライブ211は、リムーバブル記録媒体用のリムーバブルドライブであり、表示制御装置20に内蔵、或いは外付けされる。このドライブ211は、表示制御装置20にローディングされたリムーバブル記録媒体215に対して、各種データを書き込み/読み出しする。リムーバブル記録媒体215は、例えば、CD、DVD、BD等の光ディスク、メモリカード等の半導体メモリなどである。このドライブ211は、撮像装置1により上記画像データ群及びメタデータが記録されたリムーバブル記録媒体215から、該画像データ群及びメタデータを読み出すことができる。これにより、撮像装置1から表示制御装置20にリムーバブル記録媒体215を介して記画像データ群及びメタデータを提供できる。
接続ポート212は、外部周辺機器を接続するためのポートであり、例えば、USB、IEEE1394等の接続端子を有する。接続ポート212は、インタフェース207、および外部バス206、ブリッジ205、ホストバス204等を介してCPU201等に接続されている。この接続ポート212を用いて撮像装置1と表示制御装置20を接続する。これにより、表示制御装置20は、撮像装置1のストレージ部17に格納されている画像データ群及びメタデータを読み出したり、該画像データ群及びメタデータを表示制御装置20のストレージ装置210に記憶したりできる。また、接続ポート212に、USBメモリ等のリムーバブル記録媒体を装着することで、該リムーバブル記録媒体から画像データ群及びメタデータを読み出すこともできる。
通信装置213は、例えば、有線又は無線のネットワーク214(LAN、インターネットなど)に接続するための通信デバイス等で構成された通信インタフェースである。この通信装置213は、例えば、ホームサーバ、ホームストレージ、外部サーバ、撮像装置1などのネットワーク通信機能を備えた外部装置との間で、ネットワーク214を介して、各種データを送受信する。この通信装置213により、外部装置からネットワーク214を介して画像データ群及びメタデータを受信することもできる。
[1.6.表示制御装置の機能構成]
次に、図13を参照して、本実施形態に係る表示制御装置20の機能構成について説明する。図13は、本実施形態に係る表示制御装置20の機能構成を示すブロック図である。
図13に示すように、表示制御装置20は、データ取得部21と、記憶部22と、データ読出部23と、表示方式決定部24と、表示制御部25と、表示部26と、入力部27とを備える。
データ取得部21は、撮像装置1等の外部機器から、上記マルチフォーカス撮像により得られた複数の画像データからなる画像データ群と、その画像データ群に関するメタデータを取得する。データ取得部21は、撮像装置1等の外部機から、ネットワーク214又はリムーバブル記録媒体215などを介して、上記の画像データ群及びそのメタデータを取得できる。例えば、データ取得部21は、撮像装置1からネットワーク214を介して該画像データ群及びメタデータを受信することができる。また、データ取得部21は、撮像装置1により画像データ群及びメタデータが記録されたメモリカード等のリムーバブル記録媒体216から、これらのデータを読み出すこともできる。データ取得部21は、このように取得した画像データ群とそのメタデータを対応づけて、記憶部22に記録する。
記憶部22は、1又は2以上の画像データ群と、その画像データ群に関するメタデータを対応づけて記憶する。記憶部22は、例えば、図12で示したストレージ装置210(HDD)、リムーバブル記録媒体215、半導体メモリなど、データを読み書き可能な任意の記憶装置で構成することができる。図示の例では、記憶部22に記憶されたメタデータは、画像データ群に属する複数の画像データそれぞれに付加されており、該メタデータと画像データは1つのファイル内に存在しており、これにより両者が対応づけられている。しかし、かかる例に限定されず、例えば、メタデータと画像データとが対応付けられていれば、メタデータと画像データを別ファイルで保存してもよい。
データ読出部23は、スライドショー表示対象の画像データ群とメタデータを記憶部22から読み出し、表示方式決定部24に提供する。データ読出部23は、入力部27に対するユーザ入力により指定された、スライドショー表示対象の画像データ群とそのメタデータを読み出す。なお、データ読出部23は、スライドショー表示対象として上記マルチフォーカス撮像された画像データ群のみならず、通常撮像されたシングルの画像データとそのメタデータを、記憶部22から読み出すこともできる。
表示方式決定部24は、表示部26の表示画面に画像データ群をスライドショー表示するときの表示方式を決定する。表示制御部25は、表示方式決定部24により決定された表示方式に従って、表示部26における画像データ群のスライドショー表示を制御する。具体的には、表示制御部25は、データ読出部23により読み出されたスライドショー表示対象の画像データを再生(例えば、圧縮データの伸張処理)して、表示部26に表示するための表示画像を生成し、この表示画像を表示部26に出力して、表示部26に表示させる。
上記画像データ群に属する複数の画像データをスライドショー表示する場合、表示方式決定部24は、表示対象の画像データ群に対応するメタデータに基づいて、スライドショー表示方式を制御する。このスライドショー表示方式の制御は、画像データ群全体の表示方式を制御することであり、例えば、画像データ群に属する複数の画像データの表示順序の制御や、個々の画像データの表示時間の制御、表示対象の画像データの選別などを含む。
詳細には、表示方式決定部24は、メタデータに含まれる焦点位置情報に基づいて、画像データ群に属する複数の画像データの表示順序を制御し、焦点位置に応じた順序で複数の画像データを表示部26に表示させる。この場合、表示方式決定部24は、焦点位置が近距離側(マクロ側)にある画像データから遠距離側(無限遠側)にある画像データまで順次表示するよう制御してもよい(第1表示順序)。その逆に、表示方式決定部24は、焦点位置が遠距離側(無限遠側にある画像データから近距離側(マクロ側)にある画像データまで順次表示するよう制御してもよい(第2表示順序)。
また、表示方式決定部24は、メタデータに含まれる合焦画像特定情報に基づいて、該画像データ群に属する複数の画像データの中から、合焦画像データ(代表画像データ)を特定する。上述したように、合焦画像データは、撮像装置1のAF機能又は被写体検出機能などにより、撮像範囲内の特定の被写体に合焦するように撮像して得られた画像データである。この合焦画像データは、当該特定の被写体に対応する合焦点位置で撮像されているので相異なる焦点位置で撮像された複数の画像データからなる画像データ群を代表する代表画像である。
そして、表示方式決定部24は、画像データ群の他の画像データよりも合焦画像データがユーザにとって認識されやすいような表示方式となるように、スライドショー表示方式を制御する。例えば、表示方式決定部24は、合焦画像データであるか否かに応じて、画像データ群に属する複数の画像データの表示時間を制御し、合焦画像データの表示時間(例えば2秒)が他の画像データの表示時間(例えば0.1秒)よりも長くなるようにする。これにより、スライドショー表示過程で、合焦画像データが他の画像データよりも目立つため、ユーザは、順次に再生表示される画像データの中から、合焦画像データを容易に特定できる。
以上、本実施形態に係る表示制御装置20の機能構成について説明した。なお、上記データ取得部21、データ読出部23、表示方式決定部24及び表示制御部25などは、これら各部の機能を実行するプログラムを表示制御装置20にインストールすることで実現される。該プログラムは、任意の通信媒体又は記憶媒体を介して表示制御装置20に提供することができる。
[1.7.メタデータのデータ構造]
次に、図14を参照して、画像データ群に付加されたメタデータについて詳細に説明する。図14は、本実施形態に係る画像データ群に付加されたメタデータのデータ構造を示す説明図である。
図14に示すように、画像データ群「MP00001」は、同一の撮像範囲に対して相異なる焦点位置で撮像された12枚の画像データ「DSC0001」〜「DSC0012」からなる。この画像データ群「MP00001」に関するメタデータ30は、12枚の画像データそれぞれに付加された12個のメタデータ30−1〜30−12からなる。各々のメタデータ30−1〜30−12は、個別メタデータ32と、共通メタデータ34とを含む。個別メタデータ32は、個々の画像データに対応するメタデータであり、画像データごとに異なる情報が付加される。一方、共通メタデータ34は、画像データ群全体に対応するメタデータであり、1つの画像データ群に属する全ての画像データに対して共通の情報が付加される。以下に、第1番目の画像データ「DSC0001」に対応するメタデータ30−1の例を用いて、個別メタデータ32と共通メタデータ34について詳述する。
まず、個別メタデータ32について説明する。個別メタデータ32は、画像データの識別情報「DSC0001」と、焦点位置情報「Z1」と、合焦範囲情報「s1〜d1」と、撮像日時情報「t1」とを含む。画像データの識別情報は、個々の画像データを識別するための情報であり、例えば、画像ID、ファイル名などである。重複を避ける観点からは、個々の画像データに固有に付与される画像IDの方が、ファイル名よりもよい。この画像IDにより、個々の画像データを識別できるだけでなく、他の画像データも含めた画像データ群全体を正確に特定することもできる。
焦点位置情報は、その画像データを撮像したときの焦点位置を表す情報である。焦点位置は、合焦可能範囲(マクロから無限遠まで)における撮像光学系の焦点の位置である。表示方式決定部24は、この焦点位置情報を参照することで、画像データ群内の複数の画像データの表示順序を、焦点位置順に制御できる。なお、焦点位置情報は、各画像データの焦点位置自体を表す情報でなくてもよく、例えば、各画像データの焦点位置に応じた表示順位を表す情報など、焦点位置に対応する情報であればよい。
合焦範囲情報は、その焦点位置における合焦範囲を表す情報である。合焦範囲は、焦点位置がある合焦点位置にあるときに、撮像光学系の被写界深度により焦点が合う、合焦点位置の前後の焦点位置の範囲である。かかる合焦範囲情報により、各画像データにおいて合焦している被写体までの距離範囲を特定できる。図示の例では、合焦範囲情報は、焦点位置の範囲「s1〜d1」で表されている。しかし、上述したように、合焦範囲は被写界深度に依存し、その被写界深度は、(a)撮像光学系の絞り3の開度、(b)撮像光学系のレンズの焦点距離、(c)撮像装置1から焦点位置までの距離などに応じて変化する。そこで、合焦範囲情報として、図示のような焦点位置の範囲自体ではなく、例えば、(a)焦点位置、(b)撮像光学系のレンズの設定値、(c)絞り3の設定値などといった、合焦範囲に対応するパラメータの情報を用いてもよい。
撮像日時情報は、その画像データを撮像したときの日時を表す情報である。また、個別メタデータ32は、図示の情報以外にも、サムネイル画像など、個々の画像データに関する各種情報をさらに含んでもよい。この個別メタデータ32は、例えばEXIF(Exchangeable Image File Format)などの画像データの標準化規格に準拠している。
次に、共通メタデータ34について説明する。共通メタデータ34は、画像データ群全体に関するメタデータであり、各画像データに共通の情報が付加される。共通メタデータ34は、例えば、画像データ群の識別情報と、撮像種類情報と、合焦画像特定情報(フォーカスポイント情報)を含む。
画像データ群の識別情報は、画像データ群を識別するための情報であり、例えば、個々の画像データに固有に付与される群ID「MP0001」、画像データ群の名称などである。
撮像種類情報は、画像データ群の撮像方法の種類(撮像種類)を表す情報である。撮像種類としては、上述したマルチフォーカス撮像、パノラマ撮像、連写撮像、複数データ形式撮像(例えばJPEG+RAW)などがある。図示の例では、画像データ群「MP0001」の撮像種類が「マルチフォーカス」であることが分かる。表示方式決定部24は、かかる撮像種類情報により、表示対象の画像データ群の撮像種類に応じて、表示方式を制御できる。
さらに、撮像種類情報に付加される下位情報として、フォーカス方法情報と、総枚数情報がある。フォーカス方法情報は、マルチフォーカス撮像におけるフォーカス方法(合焦方法)を表し、フォーカス方法は、例えば、上述した「AF(図8参照。)」又は「被写体検出(図10参照。)」などである。フォーカス方法がAFである場合には、任意の1つの被写体に合焦する合焦点位置において撮像された1つの画像データのみが、合焦画像データとなる。一方、フォーカス方法が被写体検出である場合には、1又は2以上の被写体それぞれに合焦する合焦点位置において撮像された1又は2以上の画像データが、合焦画像データとなりうる。また、総枚数情報は、画像データ群に含まれる画像データの個数、即ち、1回のマルチフォーカス撮像により得られた画像データの総枚数を表す。図示の例では、画像データ群「MP001」は、「12」枚の画像データを含む。
合焦画像特定情報(フォーカスポイント情報)は、画像データ群に属する複数の画像データの中から合焦画像データを特定するための情報である。この合焦画像特定情報は、例えば、合焦画像データの識別情報(画像ID、ファイル名など)であってもよいし、合焦画像データを撮像したときの焦点位置を表す情報であってもよい。上述したように、合焦画像データは、画像データ群に属する複数の画像データを代表する代表画像データとなるものであり、ユーザは、合焦画像データを見ることで、画像データ群内の画像データの内容を把握できるとともに、撮影時に合焦させた被写体も把握できる。
図示の例では、合焦画像特定情報は、2つの合焦画像データ「DSC0006」、「DSC0008」についてそれぞれ、優先順位情報と、合焦画像データの識別情報と、合焦点位置情報と、XY座標情報とを含む。
優先順位情報は、複数の合焦画像データが存在する場合に、各々の合焦画像データの優先順位を表す。図示の例では、「DSC0006」の優先順位が「1」であり、「DSC0008」の優先順位が「2」である。優先順位が最も高い合焦画像データが代表画像データとなる。
合焦画像データの識別情報「DSC0006」、「DSC0008」は、上記画像データに固有に付与される識別情報(例えば画像ID)である。また、合焦点位置情報は、合焦画像データを撮像したときの合焦点位置を表す情報である。表示方式決定部24は、共通メタデータ34内に保持された合焦画像データの識別情報、又は合焦点位置情報に基づいて、画像データ群の中から合焦画像データを特定することができる。
XY座標情報は、合焦画像データのXY平面上において合焦点(撮像時に合焦した所定の被写体)の存在する位置を表す。図示の例では、合焦画像データ「DSC0006」の合焦点のXY座標は画像左側の「XY1」であり、合焦画像データ「DSC0008」の合焦点のXY座標は画像左側の「XY2」である。表示方式決定部24は、かかるXY座標情報により、合焦画像データにおいて合焦点(合焦している被写体)のXY平面位置を特定し、この合焦点のXY平面位置に基づいて、画像データ群を表示制御できる。例えば、表示方式決定部24は、上記の合焦点位置情報(Z座標)と、XY座標情報とを用いて、ユーザが所望する画像データを抽出したり、スライドショーで長時間表示する画像データを選択したりできる。
図示の例では、2つの合焦画像データが存在する場合の合焦画像特定情報について説明した。撮像装置1が複数の被写体を自動検出したときや、ユーザが複数の被写体を指定してマルチフォーカス撮像したときには、複数の合焦画像データについてのメタデータ(合焦画像特定情報)が生成される。一方、AFにより被写体を自動検出してマルチフォーカス撮像したときには、合焦画像データのメタデータ(合焦画像特定情報)は1つだけ生成される。
なお、表示方式決定部24は、ユーザ入力に基づいて、合焦画像特定情報を変更することができる。例えば、表示方式決定部24は、合焦画像特定情報を書き換えることで、画像データ群における合焦画像データ(代表画像)を他の画像データに変更することができる。これにより、ユーザは、撮像後に事後的に、画像データ群の代表画像を、当初所望していた被写体(例えば遠景)に合焦した画像から、新たに所望する被写体(例えば近景)に合焦した画像に変更できる。よって、画像データ群の取り扱いが柔軟になるので、ユーザが画像データ群を利用する時の利便性を向上できる。
以上、個別メタデータ32と共通メタデータ34のデータ構造について説明した。画像データ群内のそれぞれの画像データに対して、該各画像データに対応する個別メタデータ32が付加される。また、画像データ群内の全ての画像データに対して、同一の共通メタデータ34が付加される。これにより、共通メタデータ34の欠損を防ぐことができる。
このように、図14の例では、従来の画像ファイルの規格(EXIF等)に適合したメタデータと同様に、画像データ群の各画像データに対して、本実施形態に係るメタデータ30を付加して、1つの画像ファイル(画像データ+メタデータ30)とする。これにより、本実施形態に係るメタデータ30を上記規格に対応した既存の機器、ソフトウェアに対して容易に、適用できるという利点がある。
図15は、本実施形態に係るメタデータのデータ構造の変更例を示す説明図である。図15に示すように、画像データ群を一塊のコンテンツとして取り扱い、画像データ群全体に対して1つのメタデータ35を付加することも可能である。このメタデータ35は、画像データ群に関するメタデータ36と、該画像データ群に属する個々の画像データに関するメタデータ38とからなる。画像データ群に関するメタデータ36は、上記図14で説明した共通メタデータ34と同様の情報を含む。また、個々の画像データに関するメタデータ38は、上記図14で説明した各画像データの個別メタデータ32−1〜32−12の全てを合わせた情報を含む。
このようなメタデータ35は、例えば、メタデータ36及びメタデータ38を含む1つのファイルで構成され、画像データファイルとは別ファイルとなる。このように、メタデータ38のファイルを構成しても、当該メタデータ38のファイルを後述するスライドショー表示制御に利用することができる。しかし、既存の機器や画像表示用ソフトウェア(ビューア)とメタデータとの親和性の観点では、図15のファイル構成よりも図14のファイル構成の方が好ましい。
[1.8.スライドショー表示]
次に、本実施形態に係る表示制御装置20による画像データ群のスライドショー表示について説明する。本実施形態に係るスライドショー表示では、表示制御装置20は、上記メタデータの焦点位置情報に基づいて、画像データ群に属する複数の画像データを焦点位置順に1枚ずつ順次表示する。このとき、表示制御装置20は、上記メタデータの合焦画像特定情報に基づいて、画像データ群のうち、所定の被写体に合焦した合焦画像データの表示時間Pを、他の画像データの表示時間Qよりも長くなるように表示する。
[1.8.1.スライドショー表示の概要]
図16は、本実施形態に係るスライドショー表示を概略的に示す模式図である。図16に示すように、3つの画像データ群(N−1群、N群、N+1群)を順次、スライドショー表示する場合を考える。この場合、表示制御装置20は、各画像データ群N−1、N、N+1に属する合焦画像データ(代表画像データ)のみならず、合焦画像データ以外の他の画像データも1枚のスライドとして順次表示する。そして、表示制御装置20は、特定の合焦画像データの表示時間P(例えば2秒)を、他の画像データの表示時間Q(例えば0.1秒)よりも長くする。この場合の画像データの表示順序は以下の通りである。なお、mは各画像データ群に含まれる画像データの総数である。
この手順をさらに詳細に説明する。まず、1番目の画像データ群N−1に属するmN−1枚の画像データN−1(1)〜(mN−1)が、近距離側(マクロ側)から順に表示される。このとき、まず、合焦画像データN−1(p)よりも近距離側の画像データN−1(1)〜N−1(p−1)をQ秒(例えば0.1秒)間隔で、焦点位置順に表示した後に、合焦画像データN−1(p)をP秒間(例えば2秒間)表示する。その後、合焦画像データN−1(p)よりも遠距離側の画像データN−1(p+1)〜N−1(mN−1)をQ秒(例えば0.1秒)間隔で、焦点位置順に表示する。
次いで、2番目の画像データ群Nに属するn枚の画像データN(1)〜(m)が、近距離側(マクロ側)から順に表示される。このときも、上記画像データ群N−1と同様にして、合焦画像データN(p)の表示時間Pが他の画像データN(1)〜N(p−1)、N(p+1)〜N(m)の表示時間Qよりも長くなるように表示される。その後、同様にして、3番目の画像データ群N+1に属するmN+1枚の画像データN+1(1)〜(mN+1)が、近距離側(マクロ側)から順に表示される。
以上のように、複数の画像データ群N−1、N、N+1をスライドショー表示するときに、短距離側から遠距離側に向けて焦点位置順に画像データを順次表示する。さらに、所定の被写体に合焦した合焦画像データN−1(p)、N(p)、N+1(p)を他の画像データよりも長時間表示する。これにより、合焦画像データ(p)、N(p)、N+1(p)で合焦している特定の被写体に、徐々にピントが合っていき、合焦画像データを表示した後には、当該被写体から徐々にピントが外れていくように、複数の画像データをスライドショー表示できる。これにより、ユーザに対し、スライドショー表示を効果的に演出できる。また、合焦画像データと他の画像データでは表示時間が違うため、ユーザは、合焦画像データを容易に認識できる。
[1.8.2.スライドショー表示フロー]
次に、図17を参照して本実施形態に係るスライドショー表示フローについて説明する。図17は、本実施形態に係るスライドショー表示を示すフローチャートである。
図17に示すように、まず、表示制御装置20は、スライドショー用のアプリケーションソフトウェアを起動する(S100)。次いで、表示制御装置20は、ユーザ入力に基づいて、記憶部22に保存されている画像データ群の中から、スライドショー表示対象の画像データを選択する(S102)。
ここで、図18を参照して、表示対象の画像データ群の選択について詳述する。図18は、本実施形態に係る表示制御装置20の表示画面に表示される画像選択ウィンドウ40を示す模式図である。
図18に示すように、画像選択ウィンドウ40には、記憶部22に保存されているシングル画像データや画像データ群のファイルを表す複数のサムネイル画像42A〜Eが表示される。ユーザは、かかるサムネイル画像42は、マルチフォーカス撮像により得られた画像データ群のサムネイル画像42B、D、Eと、通常撮像により得られたシングル画像データのサムネイル画像42A、Eを含む。これ以外にも、連写撮像により得られた画像データ群のサムネイル画像(図示せず)など、任意のフォーカス方法で撮像された画像又は画像データ群を表示してもよい。
画像データ群のサムネイル画像42B、D、Eは、画像データ群の中で優先順位が最も高い合焦画像データの画像(代表画像)であり、その画像データ群に属する他の画像データの画像は表示されない。同一の画像データ群に属する多数の類似画像のサムネイル画像を表示してしまうと、ユーザにとって煩雑であるが、上記のように画像データ群のうちの代表画像のみを表示することで、ユーザは、自己の保有する画像を容易に認識及び管理できるようになる。
ユーザは、このような画像選択ウィンドウ40にてスライドショー表示対象の画像(画像データ群及び/又はシングル画像)を選択して、スライドショー実行を指示する。これに応じて、表示制御装置20は、選択された画像データ群やシングル画像を順次スライドショー表示する。
図17に戻り、スライドショー表示フローの説明を続ける。まず、表示制御装置20のデータ読出部23は、S102で選択された画像データ群のうち、1番目の画像データ群とそのメタデータを記憶部22から読み出す(S104)。そして、表示制御装置20は、当該1番目の画像データに属する複数の画像データのうち、1番目の画像データから順に表示開始する(S106)。1番目の画像データは、例えば、画像データ群のうちで焦点距離が最も近距離側(マクロ側)にある画像データでもよいし、或いは、焦点距離が最も遠距離側(無限遠側)にある画像データであってもよい。表示制御装置20の表示方式決定部24は、メタデータに含まれる焦点位置情報を参照して、画像データ群内の複数の画像データの表示順序を、焦点位置の昇順又は降順に制御する。
次いで、表示方式決定部24は、メタデータに含まれる合成画像特定情報を用いて、1番目の画像データが合焦画像データ(代表画像データ)であるか否かを判定する(S108)。詳細には、表示方式決定部24は、合成画像特定情報に含まされる合焦画像データの識別情報(若しくは合焦点位置情報)と、メタデータに含まれる1番目の画像データの識別情報(若しくは焦点位置情報)とを比較する。この比較により、両者が一致すれば、1番目の画像データが合焦画像データあると判定し、一致しなければ、1番目の画像データが合焦画像データではないと判定する。
S108での判定の結果、1番目の画像データが合焦画像データであれば、表示方式決定部24は、1番目の画像データの表示時間をP(例えば2秒)に決定し、表示制御部25は、1番目の画像データを表示開始してから所定の表示時間P(例えば2秒)経過するまで、1番目の画像データを表示し続ける(S110)。一方、1番目の画像データが合焦画像データ以外の他の画像データであれば、表示方式決定部24は、1番目の画像データの表示時間をQ(例えば0.1秒)に決定し、表示制御部25は、1番目の画像データを表示開始してから所定の表示時間Q(例えば0.1秒)経過するまで、1番目の画像データを表示し続ける(S112)。
このようにして、1番目の画像データが合焦画像データであれば、所定の表示時間Pだけ表示され、合焦画像データであなければ、合焦画像データよりも短い所定の表示時間Q(Q<P)だけ表示される。
その後、表示方式決定部24は、画像データ群に属する全ての画像データの表示を終了したか否かを判定し(S114)、終了していなければ、次の画像データ(2番目の画像データ)を表示開始する(S116)。そして、2番目の画像データについても、上記と同様にして、合焦画像データであれば表示時間Pだけ表示し、合焦画像データでなければ表示時間Qだけ表示する(S108〜S112)。以上の処理を、画像データ群に属する全ての画像データについて繰り返し、全ての画像データの表示が終了すれば(S114)、S118に進む。
S118では、表示方式決定部24は、上記S102で選択された全ての画像データ群の表示が終了したか否かを判定し(S118)、終了していなければ、データ読出部23は、次の画像データ群とそのメタデータを読み出す(S120)。そして、当該次の画像データ群について、上記と同様にして画像データを焦点位置順に1枚ずつスライドショー表示する(S106〜S116)。以上の処理を、表示対象の全ての画像データ群について繰り返し、全ての画像データ群のスライドショー表示が終了すれば(S118)、スライドショー表示処理を終了する。
以上、第1の実施形態に係るスライドショー表示について説明した。第1の実施形態によれば、相異なる焦点位置において撮像された複数の画像データからなる画像データ群を効果的にスライドショー表示できる。つまり、第1実施形態に係るスライドショー表示では、画像データ群のうち、特定の被写体に合焦した合焦画像データだけでなく他の画像データも用いて、焦点位置順に1枚ずつユーザに提示する。これにより、合焦画像データ内の特定の被写体に徐々にピントが合うように効果的に演出してスライドショー表示できる。しかも、合焦画像データの表示時間Pが他の画像データの表示時間Qよりも長いので、画像データ群のうちで合焦画像データを強調して表示できる。従って、ユーザは、画像データ群のうち合焦画像データを明確に認識できるとともに、多数の類似画像のスライドショー表示にメリハリを持たせることができるので、ユーザが倦怠感を感じないようにできる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態に係るスライドショー表示は、上述した第1の実施形態と比べて、画像データ群に属する画像データの表示順序を制御する点で相違し、その他の機能構成は第1の実施形態と同様であるので、その詳細説明は省略する。
[2.1.スライドショー表示の概要]
まず、図19を参照して、第2の実施形態に係るスライドショー表示の概要について説明する。図19は、第2の実施形態に係るスライドショー表示を概略的に示す模式図である。
上記の第1の実施形態では、画像データ群に属する複数の画像データをスライドショー表示するときの表示順序は、図19のルート2に示すように、常に近距離側から遠距離側であった。即ち、画像データ群内の合焦画像データの配置に関わらず、常に、焦点位置が近距離側にある画像データから順に表示していた(N(1)→N(2)→・・・→N(12))。このように近距離側から遠距離側の順(焦点位置の昇順)に複数の画像データを順次表示する表示順序を、「順方向の表示順序」と称する。この順方向の表示順序は、本発明の第1の表示順序に相当する。
しかし、このように表示順序を順方向(近距離側から遠距離側)に固定してしまうと、複数の画像データ群を連続して表示するときに、次の問題がある。例えば、図19に示すように、1番目に表示する画像データ群N−1では近距離側に合焦画像データがあり、2番目に表示する画像データ群Nでは遠距離側に合焦画像データがある場合を考える。この場合、画像データ群N−1及び画像データ群Nの双方を順方向の表示順序で表示すると、画像データ群N−1の合焦画像データN−1(2)の表示後は、まず、画像データ群N−1に属する10枚の画像データN−1(3)〜(12)が順次表示される。次いで、画像データ群Nに属する10枚の画像データN(3)〜(10)が順次表示される。その後に、画像データ群Nの合焦画像データN(11)が表示される。即ち、合焦画像データN−1(2)が表示されてから合焦画像データN(11)が表示されるまでの間に、合計20枚のピントがぼけた画像データが長時間に渡り表示されることになるので、ユーザは倦怠感を感じる恐れがある。
そこで、第2の実施形態では、画像データ群の表示順序として、上記の「順方向の表示順序(第1の表示順序)」のみならず、「逆方向の表示順序(第2の表示順序)」も使用する。「逆方向の表示順序」は、焦点位置が遠距離側にある画像データから順に表示する表示順序である。この逆方向の表示順序では、図19のルート2で示すように、画像データ群Nに属する複数の画像データN(1)〜(12)が、遠距離側から近距離側の順(焦点位置の降順)に表示される(N(12)→N(11)→・・・→N(1))。
そして、表示方式決定部24は、それぞれの画像データ群N−1、Nに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。さらに、表示方式決定部24は、当該判定結果と、先の画像データ群N−1の表示順序に応じて、次の画像データ群Nの表示順序を、上記順方向又は逆方向の表示順序のいずれかに決定する。
[2.2.表示順序の決定手法]
次に、本実施形態に係る各画像データの表示順序の決定手法について詳述する。図19に示すように、表示方式決定部24は、先に表示される画像データ群N−1について、合焦画像データN−1(2)の近距離側にある画像データの個数AN−1と、合焦画像データN−1(2)の遠距離側にある画像データの個数BN−1を比較する。図19の例では、AN−1=1、BN−1=10であるので、BN−1>AN−1である。よって、画像データ群N−1では、合焦画像データN−1(2)は、全ての画像データN−1(1)〜(12)の中で近距離側にあると判定できる。
さらに、表示方式決定部24は、次に表示される画像データ群Nについて、合焦画像データN(11)の近距離側にある画像データの個数Aと、合焦画像データN(11)の遠距離側にある画像データの個数Bを比較する。図19の例では、A=10、B=1であるので、A>Bである。よって、画像データ群Nでは、合焦画像データN(11)は、全ての画像データN(1)〜(12)の中で遠距離側にあると判定できる。
そして、表示方式決定部24は、先に表示される画像データ群N−1の表示順序と、上記2つの判定結果(BN−1>AN−1、A>B)に応じて、次に表示される画像データ群Nの表示順序を、順方向(近距離→遠距離)又は逆方向(遠距離→近距離)に決定する。図19の例では、画像データ群N−1の表示順序が順方向であり、BN−1>AN−1、A>Bであるので、画像データ群Nの表示順序は逆方向に決定される(図19のルート2を参照。)。
上記の手法では、AN−1とBN−1の比較結果に基づいて、画像データ群N−1の中で合焦画像データN−1(2)が近距離側にあるか遠距離側にあるかを判定する。そして、AとBの比較結果に基づいて、画像データ群Nの中で合焦画像データN(11)が中心よりも近距離側にあるか遠距離側にあるかを判定する。しかし、画像データ群N−1内の合焦画像データの配置を判定する手法は、かかる例に限定されず。例えば、次の判定手法を用いることもできる。即ち、まず、画像データ群N−1の合焦画像データの総数mN−1(例えばmN−1=12)の半値「mN−1/2」を閾値として求める。そして、当該閾値「mN−1/2」と上記AN−1(又はBN−1)との比較結果に基づき、画像データ群N−1内で合焦画像データが中心よりも近距離側にあるか遠距離側にあるかを判定してもよい。また、画像データ群Nについても同様に、閾値「m/2」と上記A(又はB)との比較結果に基づき、画像データ群N内で合焦画像データが中心よりも近距離側にあるか遠距離側にあるかを判定できる。
ここで、上記のように閾値「m/2」を用いた判定結果と、先の画像データ群N−1の表示順序に応じて次の画像データ群Nの表示順序を決定する手法について、より詳細に説明する。なお、画像データ群N−1の画像データの総数と画像データ群Nの画像データの総数は、同数(mN−1=m)であっても、異なる数(mN−1≠m)であってもよい。
(1)AN−1>(mN−1/2)、かつ、A>(m/2)である場合
この場合、画像データ群N−1及びNの双方において、合焦画像データが中心よりも遠距離側にあるので、画像データ群Nの表示順序は、画像データ群N−1の表示順序と同一方向とする。つまり、画像データ群N−1の表示順序が順方向であれば、画像データ群Nの表示順序も順方向とし、画像データ群N−1の表示順序が逆方向であれば、画像データ群Nの表示順序も逆方向とする。
(2)AN−1<(mN−1/2)、かつ、A<(m/2)である場合
この場合、画像データ群N−1及びNの双方において、合焦画像データが中心よりも近距離側にあるので、画像データ群Nの表示順序は、画像データ群N−1の表示順序と同一方向とする。
(3)AN−1>(mN−1/2)、かつ、A<(m/2)である場合
この場合、画像データ群N−1において合焦画像データが中心よりも遠距離側にあり、画像データ群Nにおいて合焦画像データが中心よりも近距離側にあるので、画像データ群Nの表示順序は、画像データ群N−1の表示順序と逆方向とする。つまり、画像データ群N−1の表示順序が順方向であれば、画像データ群Nの表示順序は逆方向とし、画像データ群N−1の表示順序が逆方向であれば、画像データ群Nの表示順序は順方向とする。
(4)AN−1<(mN−1/2)、かつ、A>(m/2)である場合
この場合、画像データ群N−1において合焦画像データが中心よりも近距離側にあり、画像データ群Nにおいて合焦画像データが中心よりも遠距離側にあるので、画像データ群Nの表示順序は、画像データ群N−1の表示順序と逆方向とする。
[2.3.スライドショー表示フロー]
次に、図20を参照して本実施形態に係るスライドショー表示フローについて説明する。図20は、本実施形態に係るスライドショー表示を示すフローチャートである。
図20に示すように、まず、表示制御装置20は、スライドショー用のアプリケーションソフトウェアを起動し(S200)、スライドショー表示対象の画像データを選択する(S202)。次いで、表示制御装置20のデータ読出部23は、S202で選択された画像データ群のうち、1番目の画像データ群とそのメタデータを記憶部22から読み出す(S204)。以上までのステップS200〜S204は、第1の実施形態に係る図17のステップS100〜S104と略同一であるので、その詳細説明は省略する。
次いで、表示制御装置20の表示方式決定部24は、S204で読み出された画像データ群のメタデータに基づいて、当該画像データ群に属する複数の画像データの表示順序を決定する(S205)。このS205での表示順序の決定処理は、本実施形態の特徴であるので、以下に図21を参照して詳述する。図21は、本実施形態に係る表示順序の決定処理を示すフローチャートである。
図21に示すように、まず、表示方式決定部24は、表示対象の画像データ群Nが、スライドショー表示される複数の画像データ群のうちの最初の画像データ群(N=1)であるか否かを判定する(S230)。この判定の結果、画像データ群Nが最初の画像データ群である場合、表示方式決定部24は、該画像データ群Nに属する複数の画像データの表示方向を、予め設定されたデフォルトの表示順序に決定する(S232)。このデフォルトの表示順序は、順方向の表示順序(近距離→遠距離)又は逆方向の表示順序(遠距離→近距離)のいずれに設定してもよい。
一方、S230での判定の結果、画像データ群Nが最初の画像データ群でない場合、表示方式決定部24は、該画像データ群Nの前に表示された画像データ群N−1について、合焦画像データが近距離にあるか遠距離側にあるかを判定する(S234)。詳細には、表示方式決定部24は、画像データ群N−1の焦点位置情報に基づいて、画像データ群N−1に属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部24は、例えば、画像データ群N−1に属する画像データのうち合焦画像データの近距離側にある画像データの個数AN−1と、画像データ群N−1に属する画像データの総数mN−1の半値「mN−1/2」とを比較する。この結果、AN−1>(mN−1/2)であれば、画像データ群N−1内で合焦画像データが遠距離側にあると判定して、S236に進む。一方、AN−1≦(mN−1/2)であれば、像データ群N−1内で合焦画像データが近距離側にあると判定して、S238に進む。
S236及びS238ではともに、表示方式決定部24は、該画像データ群Nについて、合焦画像データが近距離にあるか遠距離側にあるかを判定する(S236、S238)。詳細には、表示方式決定部24は、画像データ群Nの焦点位置情報に基づいて、画像データ群Nに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部24は、例えば、画像データ群Nに属する画像データのうち合焦画像データの近距離側にある画像データの個数Aと、画像データ群Nに属する画像データの総数mの半値「m/2」とを比較する。
この結果、S236にて、A>(m/2)である場合には(S236のYES)、画像データ群N内で合焦画像データが遠距離側にあると判定してS240に進む。また、S238にて、A≦(m/2)である場合には(S238のNO)、画像データ群N内で合焦画像データが近距離側にあると判定して、S240に進む。以上のように、S240に進むのは、画像データ群N−1及び画像データ群Nの双方において、合焦画像データが遠距離側又は近距離側にある場合である。そしてS240では、表示方式決定部24は、画像データ群Nの表示順序を画像データ群Nの表示順序と同一方向の表示順序に決定する(S240)。
一方、S236にて、A≦(m/2)である場合には(S236のNO)、画像データ群N内で合焦画像データが近距離側にあると判定してS242に進む。また、S238にて、AN−1>(mN−1/2)である場合には(S238のYES)、画像データ群N内で合焦画像データが遠距離側にあると判定して、S242に進む。以上のように、S242に進むのは、画像データ群N−1の合焦画像データと画像データ群Nの合焦画像データが逆側にある場合である。そしてS242では、表示方式決定部24は、画像データ群Nの表示順序を画像データ群Nの表示順序と逆方向の表示順序に決定する(S242)。
以上、図21を参照して、本実施形態に係る画像データ群Nの表示順序の決定処理を説明した。図20に戻り、説明を続ける。
図21のようにして画像データ群Nの表示順序が決定される。その後、表示制御部25は、表示制御部25は、上記決定された表示順序に従って、画像データ群Nに属する複数の画像データを順方向(近距離→遠距離)又は逆方向(遠距離→近距離)に順次スライドショー表示する(S206〜S216)。このとき、表示制御部25は、表示対象の画像データが合焦画像データあれば(S208)、長い表示時間Pだけ表示し(S210)、合焦画像データでなければ(S208)、短い表示時間Qだけ表示する(S212)。この表示処理は、画像データ群N内の全ての画像データについて順次繰り返される(S214、S216)。かかるステップS206〜S216は、第1の実施形態に係る図17のステップS106〜S116と略同一であるので、その詳細説明は省略する。
その後、画像データ群Nのスライドショー表示が終了した場合(S214)、表示方式決定部24は、次の画像データ群N+1が有るか否かを判定し(S218)、次の画像データ群N+1が有る場合、次の画像データ群N+1を記憶部22から読み出す(S220)。かかる次の画像データ群N+1をスライドショー表示するときには、図21のフローに従って、画像データ群Nの表示順序に応じて、画像データ群N+1の表示順序を決定した上で(S205)、スライドショー表示する(S206〜S216)。かかる処理をS202で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
以上、本実施形態に係る画像データ群Nの表示順序の決定処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データN−1内で合焦画像データが近距離側にあり、画像データN内で合焦画像データが遠距離側にある場合(図19参照)や、その逆の場合がある。かかる場合に、全ての画像データ群で表示順序を同一方向とすると、画像データN−1の合焦画像データが表示されてから、画像データNの合焦画像データが表示されるまでの間に、ピントがぼけた多数の画像データが長時間表示されるという問題があった。
これに対し、本実施形態に係る表示順序の決定手法(図21参照。)によれば、画像データ群N−1の合焦画像データと画像データ群Nの合焦画像データが逆側にある場合には、画像データ群Nの表示順序を、先の画像データ群N−1の表示順序と逆方向にする。これにより、複数の画像データ群の合焦画像データ間で、ピントがぼけた画像データが連続して表示される時間を短縮及び均一化できるので、ユーザがスライドショー表示を見飽きてしまうことを防止できる。
なお、図20のフローでは、先に表示された画像データ群N−1の情報を用いて、現在表示される画像データ群Nの表示順序を制御したが、後に表示される画像データ群N+1の情報を用いて、現在表示される画像データ群Nの表示順序を制御することも可能である。この場合には、S204で、スライドショー表示対象の全ての画像データ群に関するメタデータを読み込んでおき、該全ての画像データ群のメタデータに基づき、各画像データ群の表示順序等を制御してもよい。これにより、複数の画像データ群をスライドショー表示するときの表示方式を、さらに最適化できる。
[2.4.スライドショー表示の変更例]
次に、図22を参照して、第2の実施形態に係るスライドショー表示の変更例について説明する。図22は、第2の実施形態の変更例に係るスライドショー表示を概略的に示す模式図である。
図22に示すように、スライドショー表示対象の画像データ群Nにおいて、合焦画像データN(2)が近距離側若しくは遠距離側に偏って存在している場合がある。かかる場合には、本変更例に係る表示制御装置20は、ユーザの期待感をあおるために、目的の合焦画像データN(2)を表示するまでの時間を長くするように、表示順序を決定する。図示の例では、合焦画像データN(2)が近距離側にあるので、ユーザの期待感をあおるために、合焦画像データNに属する複数の画像データを遠距離側から順に、逆方向の表示順序で表示する(N(m)→N(m−1)→・・・→N(2)→N(1))。これとは逆に、合焦画像データが遠距離側にある場合には、ユーザの期待感をあおるために、合焦画像データNに属する複数の画像データを近距離側から順に、順方向の表示順序で表示する(N(1)→N(2)→・・・→N(m−1)→N(m))。
ここで、図23を参照して、本実施形態の変更例に係る表示順序の決定処理について説明する。図23は、本実施形態の変更例に係る表示順序の決定処理を示すフローチャートである。なお、図23の処理は、上記図21のステップS205のサブルーチンに相当する。
図23に示すように、まず、表示方式決定部24は、画像データN内で合焦画像データが近距離にあるか遠距離側にあるかを判定する(S250)。詳細には、表示方式決定部24は、画像データ群Nの焦点位置情報に基づいて、画像データ群Nに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部24は、例えば、画像データ群Nに属する画像データのうち合焦画像データの近距離側にある画像データの個数Aと、画像データ群Nに属する画像データの総数mの半値「m/2」とを比較する。
この結果、A>(m/2)であれば、画像データ群N内で合焦画像データが遠距離側にあると判定して、S252に進む。S252では、表示方式決定部24は、画像データ群Nに属する複数の画像データの表示順序を順方向(近距離側から遠距離側)に決定する(S252)。一方、A≦(m/2)であれば、像データ群N内で合焦画像データが近距離側にあると判定して、S254に進む。S254では、表示方式決定部24は、画像データ群Nに属する複数の画像データの表示順序を逆方向(遠距離側から近距離側)に決定する(S252)。
なお、上記ではAと(m/2)との比較結果に基づいて、表示順序を決定したが、かかる例に限定されず、例えば、AとBとの比較結果に基づいて、表示順序を決定してもよい。Bは、画像データ群Nのうち、合焦画像データの遠距離側にある画像データの個数である。A>Bであれば、画像データ群N内で合焦画像データが遠距離側にあると判定でき、A≦Bであれば、画像データ群N内で合焦画像データが近距離側にあると判定できる。
以上、本実施形態の変更例に係る表示順序の決定処理について説明した。本変更例によれば、画像データ群Nをスライドショー表示する際に、画像データ群N内で合焦画像データが遠距離側にあるか近距離側にあるかを判定し、当該判定結果に応じて、画像データ群Nに属する複数の画像データの表示順序を順方向又は逆方向に決定する。これにより、画像データ群Nの最初の画像データの表示開始から、ユーザ所望の合焦画像データを表示するまでの時間を長時間にできる。よって、目的の代表画像を見たいというユーザの期待感を高めることができ、効果的なスライドショー表示を実行できる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。第3の実施形態に係るスライドショー表示は、上述した第1の実施形態と比べて、画像データ群に属する画像データを選別する点で相違し、その他の機能構成は第1の実施形態と同様であるので、その詳細説明は省略する。
[3.1.スライドショー表示の概要]
まず、図24を参照して、第3の実施形態に係るスライドショー表示の概要について説明する。図24は、第3の実施形態に係るスライドショー表示を概略的に示す模式図である。
図24に示すように、複数の画像データ群N−1、N、N+1を順次スライドショー表示する例について説明する。なお、第3の実施形態は、いずれの画像データ群N−1、N、N+1でも、表示順序は順方向(近距離→遠距離)としているが、第2実施形態のように順方向と逆方向を併用してもよい。
例えば画像データ群N−1のように、複数の画像データN−1(1)〜(mN−1)を焦点位置順に配列したとき、合焦画像データN−1(2)が近距離側にあり、該合焦画像データより遠距離側にある画像データN−1(3)〜(mN−1)が多数となる場合がある。この場合、画像データ群N−1をスライドショー表示すると、合焦画像データN−1(2)が表示された後に、ピントがぼけた多数の画像データN−1(3)〜(mN−1)が長時間に渡り表示されることになる。このため、ユーザは退屈して、倦怠感を感じる恐れがある。
また、画像データ群N+1のように、複数の画像データN+1(1)〜(mN+1)を焦点位置順に配列したとき、合焦画像データN+1(9)が遠距離側にあり、該合焦画像データより近距離側にある画像データN+1(1)〜(8)が多数となる場合がある。この場合も、上記と同様に、ピントがぼけた多数の画像データN+1(1)〜(8)が長時間に渡り表示されるので、ユーザは倦怠感を感じる恐れがある。
そこで、第3の実施形態では、表示制御装置20は、各画像データ群において合焦画像データよりも近距離側又は遠距離側にある画像データの個数A、Bを求め、当該個数A、Bに応じて、当該近距離側又は遠距離側にある画像データ全体の表示時間が所定時間以下となるように、表示方式を制御する。このように表示方式を制御する方法としては、例えば、以下の(a)、(b)の方法がある。
(a)上記個数A、Bが所定の閾値以上である場合に、合焦画像データよりも近距離側又は遠距離側にある他の画像データを、合焦画像データからの距離に応じて選別して、その一部をスライドショー表示対象から除外する。
(b)上記個数A、Bが所定の閾値以上である場合に、合焦画像データよりも近距離側又は遠距離側にある他の画像データの少なくとも一部の表示時間を短縮する。
このような本実施形態に係る表示方式の制御について、図24の例で具体的に説明する。例えば、画像データ群N−1をスライドショー表示する場合、表示制御装置20は、合焦画像データN−1(2)よりも遠距離側にある画像データ(3)〜(mN−1)の個数BN−1を求める。そして、表示制御装置20は、当該個数BN−1が所定の閾値以上である場合に、当該画像データN−1(3)〜(mN−1)全体の表示時間が所定時間以下となるように、表示方式を制御する。
本実施形態に係る表示方式の制御方法として、例えば、上記(a)の方法を用いる場合、表示制御装置20は、合焦画像データN−1(2)からの距離に応じて、画像データN−1(3)〜(mN−1)を選別する。詳細には、表示制御装置20は、合焦画像データN−1(2)から遠距離側に所定枚数D(例えばD=5)までの画像データN−1(3)〜(7)をスライドショー表示対象として選別する。また、表示制御装置20は、所定枚数Dより遠距離側の画像データN−1(8)〜(mN−1)をスライドショー表示対象として選別から除外する。これにより、画像データ群N−1のスライドショー表示では、画像データN−1(1)〜(7)のみが順次表示され、次いで、画像データ群Nの画像データN(1)が表示される。これにより、ピントがぼけた画像データの表示枚数を低減できるので、ピントがぼけた画像が表示される時間を短縮できる。
なお、上記のように合焦画像データN−1(2)から所定枚数D以降にある画像データN−1(8)〜(mN−1)を除外する代わりに、合焦画像データの遠距離側にある画像データN−1(3)〜(mN−1)から、スライドショー表示対象を間引いてもよい。例えば、画像データN−1(3)、(5)、(7)・・・(mN−1)をスライドショー表示対象として残し、その他の画像データN−1(4)、(6)、(8)・・・(mN−1−1)を該表示対象から除外してもよい。
また、本実施形態に係る表示方式の制御方法として、例えば、上記(b)の方法を用いる場合、表示制御装置20は、合焦画像データN−1(2)よりも遠距離側にある画像データ(3)〜(mN−1)の表示時間を、通常の表示時間Q(例えば0.1秒)よりも短縮して、表示時間Q’(例えば0.05秒)とする。これにより、画像データ(3)〜(mN−1)を全て表示したとしても、表示速度を通常よりも速くできるので、ピントがぼけた画像が表示される時間を短縮できる。
[3.2.画像選別手法]
次に、画像データ群において合焦画像データよりも近距離側又は遠距離側にある画像データ全体の表示時間が所定時間以下となるように表示方式を制御するために、上記(a)の方式により画像データを選別する手法について、図25を参照して詳述する。
図25に示すように、画像データ群Nは、m個の画像データN(1)〜(m)からなり、このうち、2つの合焦画像データN(3)、N(10)を含むものとする。合焦画像データN(3)は合焦画像データN(10)よりも近距離側にあり、合焦画像データN(3)は、本発明の第1合焦画像データに相当し、合焦画像データN(10)は、本発明の第2合焦画像データに相当する。
画像データN(1)〜(m)のうち、合焦画像データN(3)より近距離側にある画像データN(1)〜(2)と、合焦画像データN(10)より遠距離側にある画像データN(11)〜(m)は、所定の選別条件によりスライドショー表示対象から除外される。この所定の選別条件は、例えば、上述したように合焦画像データの前後の所定枚数D(例えばD=5)以内にある画像データを表示対象として選別し、合焦画像データから所定枚数Dを超えて遠くにある画像データを表示対象から除外するものである。かかる選別条件によると、合焦画像データN(10)よりも遠距離側にある画像データN(11)〜(m)のうち、合焦画像データN(10)から所定枚数Dを超えて遠くにある画像データN(16)〜(m)が除外される。
一方、合焦画像データN(3)と合焦画像データN(10)との間にある画像データN(4)〜(9)は、スライドショー表示対象から除外されない。この理由は、同一の画像データ群N内に含まれる複数の合焦画像データN(3)とN(10)の間にある画像データN(4)〜(9)を除外すると、スライドショー表示したときに画像データの連続性が失われる可能性があるからである。
これに対し、合焦画像データN(3)よりも近距離側にある画像データN(1)〜(2)や、合焦画像データN(10)よりも遠距離側にあるN(11)〜(m)は、スライドショー表示対象から除外しても連続性が失われないので、除外してもよい。ただし、かかる画像データN(1)〜(2)、N(11)〜(m)であっても、その画像内に合焦している被写体を含む場合は、除外しないようにしてもよい。これにより、何らかの被写体に合焦している画像データ(m)をスライドショー表示対象から除外しないようにできるので、ユーザはスライドショー表示時に該画像データを見て、その被写体に合焦した画像の存在を認識し、その要否を判断できる。また、合焦画像データの近距離側又は遠距離側にある画像データN(1)〜(2)、(11)〜(m)に対して、信号処理によりぼかしを入れることによって、スライドショー表示対象から除外してもよい。
[3.3.スライドショー表示フロー]
次に、図26を参照して本実施形態に係るスライドショー表示フローについて説明する。図26は、本実施形態に係るスライドショー表示を示すフローチャートである。
図26に示すように、まず、表示制御装置20は、スライドショー用のアプリケーションソフトウェアを起動し(S300)、スライドショー表示対象の画像データを選択する(S302)。次いで、表示制御装置20のデータ読出部23は、S302で選択された画像データ群のうち、1番目の画像データ群とそのメタデータを記憶部22から読み出す(S304)。以上までのステップS300〜S304は、第1の実施形態に係る図17のステップS100〜S104と略同一であるので、その詳細説明は省略する。
次いで、表示制御装置20の表示方式決定部24は、S304で読み出された画像データ群のメタデータに基づいて、合焦画像データ以外の他の画像データの表示時間が所定時間以下となるように、スライドショー表示対象の画像データを選別する(S305)。このS305での画像選別処理は、本実施形態の特徴であるので、以下に図27を参照して詳述する。図27は、本実施形態に係る画像選別処理を示すフローチャートである。
図27に示すように、まず、表示方式決定部24は、画像データ群中で最も近距離側にある第1合焦画像データよりも近距離側にある画像データの個数Aを求め、当該個数Aと所定の閾値Dとを比較し、A>Dであるか否かを判定する(S350)。ここで、閾値Dは、スライドショー表示対象とする画像データの上限数であり、例えばD=5である。A>Dである場合には、第1合焦画像データよりも近距離側にある画像データの個数Aが、上限数Dを超えているので、当該画像データのうちDを超えた分の画像データを除外対象として、S352に進む。一方、A≦Dである場合には、第1合焦画像データよりも近距離側にある画像データの個数Aが、閾値D以下であるので、当該画像データを除外対象とせずに、S356に進む。
S352では、表示方式決定部24は、S350で除外対象とされた画像データ内に、所定の被写体に合焦している画像が存在するか否かを判定する(S352)。所定の被写体に合焦している画像が存在する場合には、上記S350で除外対象とされた画像データをスライドショー表示対象から除外せずに、スライドショー表示対象に含めるため、S356に進む。
一方、S352で所定の被写体に合焦している画像が存在しない場合は、S354に進み、上記S350で除外対象とされた画像データをスライドショー表示対象から除外する(S354)。この結果、第1合焦画像データの近距離側の画像データのうち、第1合焦画像データに近いD個の合焦画像データ以外は、スライドショー表示対象から除外される。
次いで、S356では、表示方式決定部24は、画像データ群中で最も遠距離側にある第2合焦画像データよりも遠距離側にある画像データの個数Bを求め、当該個数Bと所定の閾値Dとを比較し、B>Dであるか否かを判定する(S356)。B>Dである場合には、第2合焦画像データよりも近距離側にある画像データの個数Bが、上限数Dを超えているので、当該画像データのうちDを超えた分の画像データを除外対象として、S358に進む。一方、B≦Dである場合には、第2合焦画像データよりも近距離側にある画像データの個数Bが、閾値D以下であるので、当該画像データを除外対象とせずに、S362に進む。
S358では、表示方式決定部24は、S356で除外対象とされた画像データ内に、所定の被写体に合焦している画像が存在するか否かを判定する(S358)。所定の被写体に合焦している画像が存在する場合には、上記S356で除外対象とされた画像データをスライドショー表示対象から除外せずに、スライドショー表示対象に含めるため、S362に進む。
一方、S358で所定の被写体に合焦している画像が存在しない場合は、S360に進み、上記S356で除外対象とされた画像データをスライドショー表示対象から除外する(S360)。この結果、第2合焦画像データの遠距離側の画像データのうち、第2合焦画像データに近いD個の合焦画像データ以外は、スライドショー表示対象から除外される。
以上のステップS350〜S360により、画像データ群Nの複数の画像データを焦点位置順に配列したときに、第1及び第2合焦画像データからD+1個以上近距離側又は遠距離側に離れた画像データは、スライドショー表示から除外される。なお、図25に示したように、第1合焦画像データN(3)と第2合焦画像データN(10)の間にあるC個の画像データは、スライドショー表示対象から除外されない。これにより、当該C個の画像データをスライドショー表示したときの画像の連続性(焦点位置が連続的に遷移すること)を維持できる。
次いで、S362では、表示方式決定部24は、所定の計算式を用いて、スライドショー表示対象の各画像データの表示時間Qを計算し、合焦画像データの近距離側又は遠距離側にある他の画像データ全体の表示時間が所定時間T以内となるようにする(S362)。上述したように、合焦画像データの表示時間P(例えば2秒)は、他の画像データの表示時間Q(例えば0.1秒)よりも長い。上記S360までの選別処理で選別されたスライドショー表示対象の画像データは、第1合焦画像データN(3)及び第2合焦画像データN(10)と、それらの間のC個の画像データN(4)〜(9)と、第1合焦画像データN(3)の近距離側D個以内の画像データN(1)〜(2)と、第2合焦画像データN(3)の遠距離側D個以内の画像データN(11)〜(15)である。これらの画像データN(1)〜(2)、(11)〜(15)全てを、予め設定された所定時間T以内に表示できるように、合焦画像データ以外の他の画像データN(1)〜(2)、(4)〜(9)、(11)〜(15)の表示時間Qが決定される。
以上、図27を参照して、本実施形態に係る画像データ群Nの表示順序の決定処理を説明した。図26に戻り、説明を続ける。
図27のようにして画像データN内の画像データが選別され、その表示時間Qが決定される。その後、表示制御部25は、画像データ群Nに属する複数の画像データのうち、上記S305にてスライドショー表示対象として選別された画像データを、順方向(近距離→遠距離)又は逆方向(遠距離→近距離)に順次スライドショー表示する(S306〜S316)。このとき、表示制御部25は、表示対象の画像データが合焦画像データあれば(S308)、長い表示時間Pだけ表示し(S310)、合焦画像データでなければ(S308)、上記S362で決定された短い表示時間Qだけ表示する(S312)。この表示処理は、画像データ群N内の全ての画像データについて順次繰り返される(S314、S316)。かかるステップS306〜S316は、第1の実施形態に係る図17のステップS106〜S116と略同一であるので、その詳細説明は省略する。
その後、画像データ群Nのスライドショー表示が終了した場合(S314)、表示方式決定部24は、次の画像データ群N+1が有るか否かを判定し(S318)、次の画像データ群N+1が有る場合、次の画像データ群N+1を記憶部22から読み出す(S320)。かかる次の画像データ群N+1をスライドショー表示するときには、図27のフローに従って、スライドショー表示対象の画像データの選別と、その画像データの表示時間Qを決定した上で(S305)、スライドショー表示する(S306〜S316)。かかる処理をS302で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
以上、本実施形態に係るスライドショー表示対象の画像データの選別処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データ群内で合焦画像データが近距離側又は遠距離側にある場合、近距離側の合焦画像データの表示後、或いは、遠距離側の合焦画像データの表示前に、ピントがぼけた多数の画像データが長時間表示されるという問題があった。例えば、撮像装置1を用いてマクロ側で花を撮像した場合、無限遠側の背景に合焦させた画像は、ピンぼけ画像となるため、ユーザにとって利用価値が低い。このため、スライドショー表示において、かかるピンぼけ画像を長時間表示すると、ユーザは飽いてしまう。
これに対し、本実施形態に係る表示順序の決定手法(図27参照。)によれば、画像データ群内で合焦画像データと比べて焦点位置が大きく異なる他の画像データを、スライドショー表示対象から除外して、スライドショー表示する画像データ数を低減する。さらに、スライドショー表示対象の画像データ全てを所定時間以内に表示できるように、各画像データに表示時間Qを調整して表示速度を高速化する。これにより、画像データ群の画像を所定時間内にスライドショー表示でき、ピントがぼけた画像データが連続して表示される時間を短縮できるので、ユーザがスライドショー表示を見飽きてしまうことを防止できる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。第4の実施形態に係るスライドショー表示は、上述した第1の実施形態と比べて、合焦点位置からの距離に応じて画像データの表示時間Qを増減する点で相違し、その他の機能構成は第1の実施形態と同様であるので、その詳細説明は省略する。
[4.1.スライドショー表示の概要]
まず、図28を参照して、第4の実施形態に係るスライドショー表示の概要について説明する。図28は、第4の実施形態に係るスライドショー表示を概略的に示す模式図である。
図28に示すように、マルチフォーカス撮像時に複数の被写体が検出された結果、複数の合焦画像データN(p)、N(q)が存在する画像データ群Nをスライドショー表示する場合を考える。本実施形態に係る表示制御装置20は、焦点位置情報に基づいて、画像データ群Nに属する画像データを焦点位置順に配列した場合において、合焦画像データN(p)、N(q)と合焦画像データN(x)との配列順の差分(ABS(x−p)、ABS(x−q))に応じて、画像データN(x)の表示時間Qを増減する。即ち、表示制御装置20は、画像データ群Nに属する個々の画像データN(x)のうち、合焦画像データに近い画像データについては表示時間Qを長くし、合焦画像データから遠い画像データについては表示時間Qを短くする。
ここで、合焦画像データに近い画像データは、その焦点位置が合焦画像データの合焦点位置に近い画像データを意味し、合焦画像データから遠い画像データは、その焦点位置が合焦画像データの合焦点位置に近い画像データを意味する。配列順の差分は、合焦画像データN(p)、N(q)の合焦点位置と、合焦画像データN(x)の焦点位置との差分に相当する。
上記のように、本実施形態に係る表示制御装置20は、合焦画像データN(p)、N(q)と合焦画像データN(x)との配列順の差分に応じて、画像データN(x)の表示時間Qを増減する。例えば、図28の例では、画像データ(2)は合焦画像データN(p)から近いので、該画像データ(2)の表示時間Q2は比較的長い時間に設定される(P>Q2)。一方、画像データ(1)は合焦画像データN(p)から遠いので、該画像データ(1)の表示時間Q1は比較的短い時間に設定される(P>Q2>Q1)。
これにより、画像データ群Nをスライドショー表示したときに、合焦画像データに近づくにつれて、画像データN(x)の表示時間Qが徐々に長くなり、合焦画像データから遠ざかるにつれて、画像データN(x)の表示時間Qが徐々に短くなる。このように表示時間Qを可変とすることで、合焦点位置に応じて各画像データの表示時間Qにメリハリを持たせ、合焦画像データを効果的に演出するようスライドショー表示できる。
[4.2.スライドショー表示フロー]
次に、図29を参照して本実施形態に係るスライドショー表示フローについて説明する。図29は、本実施形態に係るスライドショー表示を示すフローチャートである。
図29に示すように、まず、表示制御装置20は、スライドショー用のアプリケーションソフトウェアを起動し(S400)、スライドショー表示対象の画像データを選択する(S402)。次いで、表示制御装置20のデータ読出部23は、S402で選択された画像データ群のうち、1番目の画像データ群とそのメタデータを記憶部22から読み出す(S404)。以上までのステップS400〜S404は、第1の実施形態に係る図17のステップS100〜S104と略同一であるので、その詳細説明は省略する。
次いで、表示方式決定部24は、S404で読み出された画像データ群のメタデータに基づいて、合焦画像データN(p)、N(q)、と他の画像データN(x)との配列順の差分に応じて、当該他の画像データN(x)の表示時間Q(x)を決定する(S405)。ここで、画像データの配列順(例えば先頭からの枚数)は、画像データ群Nに属する複数の画像データを焦点位置順に配列した場合における配列順である。このS405での表示時間設定処理は、本実施形態の特徴であるので、以下に図30を参照して詳述する。図30は、本実施形態に係る表示時間Qの計算処理を示すフローチャートである。
図30に示すように、まず、表示方式決定部24は、画像データ群Nの焦点位置情報に基づいて、合焦画像データ以外の各画像データN(x)と、合焦画像データN(p)、N(q)との配列順の差分ABS(x−p)、ABS(x−q)をそれぞれ求める(S450)。ここで、配列順の差分ABS(x−p)、ABS(x−q)は、N(x)からN(p)、N(q)までの画像データの枚数に相当する。例えば、図28の例では、画像データN(1)と合焦画像データN(p)との配列順の差分ABS(1−p)は、「2」であり、画像データN(2)と合焦画像データN(p)との配列順の差分ABS(2−p)は、「1」である。
次いで、表示方式決定部24は、配列順の差分ABS(x−p)とABS(x−q)とを比較し、小さい方の差分を、N(x)と、該N(x)に最も近い合焦画像データとの配列順の差分に決定する(S452)。例えば、ABS(x−p)≧ABS(x−q)であれば、画像データN(x)と最も近い合焦画像データとの配列順の差分は、ABS(x−q)であり、S454に進む。一方、ABS(x−p)<ABS(x−q)であれば、画像データN(x)と最も近い合焦画像データとの配列順の差分は、ABS(x−p)であり、S456に進む。
S454では、表示方式決定部24は、上記画像データN(x)と最も近い合焦画像データとの配列順の差分ABS(x−p)を変数Xとして、所定の関数f(X)を用いて、画像データN(x)の表示時間Q(x)を計算する。即ち、Q(x)=f(ABS(x−p))である。関数f(X)は、変数Zの増加に応じて、f(X)の値が減少する関数であり、例えば、f(X)=1/Xである。
一方、S456では、表示方式決定部24は、上記画像データN(x)と最も近い合焦画像データとの配列順の差分ABS(x−q)を変数Xとして、所定の関数f(X)を用いて、画像データN(x)の表示時間Q(x)を計算する。即ち、Q(x)=f(ABS(x−q))である。
以上のS454、S456により、画像データN(x)と最も近い合焦画像データとの配列順の差分ABS(x−p)に応じて、画像データN(x)の表示時間Q(x)が計算される。かかるQ(x)の計算は、画像データ群N内の全ての画像データN(x)について繰り返すことで、Q(1)〜Q(m)が求められる。なお、上記では、配列順の差分と関数f(x)を用いて表示時間Q(x)を算出する手法について説明したが、表示時間Q(x)を求める手法はかかる例に限定されない。例えば、表示制御装置20は、配列順の差分に応じた表示時間Q(x)が予め設定されたテーブルを保持しておくことで、かかるテーブルに基づいて、各画像データN(x)の表示時間Q(x)を決定するようにしてもよい。
上記のようにしてQ(x)を求めることで、合焦画像データから画像データN(x)までの距離(上記配列順の差分)に応じて、画像データN(x)の表示時間Q(x)を増減させることができる。従って、スライドショー表示時には、合焦画像データに近い画像データN(x)については表示時間Q(x)を長くし、合焦画像データから遠い画像データN(x)については表示時間Qを短くすることができる。
以上、図30を参照して、本実施形態に係る画像データN(x)の表示時間Q(x)の計算処理を説明した。図29に戻り、説明を続ける。
次いで、表示制御部25は、画像データ群Nに属する複数の画像データのうち、Sスライドショー表示対象として選別された画像データを、順方向(近距離→遠距離)又は逆方向(遠距離→近距離)に順次スライドショー表示する(S406〜S416)。このとき、表示制御部25は、表示対象の画像データが合焦画像データあれば(S408)、長い表示時間Pだけ表示し(S410)、合焦画像データでなければ(S408)、上記S454、S456で計算された表示時間Q(x)だけ表示する(S412)。この表示処理は、画像データ群N内の全ての画像データについて順次繰り返される(S414、S416)。かかるステップS406〜S416は、第1の実施形態に係る図17のステップS106〜S116と略同一であるので、その詳細説明は省略する。
その後、画像データ群Nのスライドショー表示が終了した場合(S414)、表示方式決定部24は、次の画像データ群N+1が有るか否かを判定し(S418)、次の画像データ群N+1が有る場合、次の画像データ群N+1を記憶部22から読み出す(S420)。かかる次の画像データ群N+1をスライドショー表示するときには、図30のフローに従って、合焦画像データ以外の各画像データN(x)の表示時間Q(x)を計算した上で(S405)、スライドショー表示する(S406〜S416)。かかる処理をS402で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
以上、本実施形態に係る画像データの表示時間Qの計算処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データ群をスライドショー表示するときに、合焦画像データ以外の画像データを、合焦画像に近いか遠いかに関わらず、等時間間隔Qで表示すると、メリハリのない演出表示になるおそれがある。このため、スライドショー表示において、かかるメリハリのない画像を長時間表示すると、ユーザは飽きてしまう恐れがある。
これに対し、本実施形態によれば、合焦画像データかに近い画像データの表示時間Qを長時間とし、合焦画像データから遠くなるにつれ、画像データの表示時間Qを徐々に短縮する。このように表示時間Qを可変とすることで、合焦点位置に応じて各画像データの表示時間Qにメリハリを持たせ、合焦画像データを効果的に演出するようなスライドショー表示を実現できる。スライドショー表示においてユーザが注目する画像(写真)は合焦画像であるが、本実施形態では、その合焦画像の前後の多焦点画像を用いてスライドショー効果を高めるように演出表示する。合焦画像以外の画像はあくまで、合焦画像の演出効果を高めるための補助画像としてユーザに提示するので、当該画像の表示時間は短くてよい。このような合焦画像と補助画像を用いたスライドショー表示演出により、ユーザは、より感動深く合焦画像を見ることができる。
以上、本発明の第1〜第4の実施形態に係る表示制御装置20及びスライドショー表示制御方法について説明した。上記実施形態によれば、画像データ群に属する複数の画像データをスライドショー表示する際に、その画像データ群のメタデータに基づいて、スライドショー表示方式(例えば、表示順序、表示時間、表示画像の選別など)を制御する。このとき、表示制御装置20は、メタデータに含まれる合焦画像特定情報に基づいて、該複数の画像データの中から合焦画像データ(代表画像データ)を特定し、ユーザが他の画像データよりも合焦画像データを認識しやすいような表示方式でスライドショー表示する。これにより、他の画像データよりも合焦画像データが強調されて表示される。よって、焦点位置が異なる複数の類似画像を効果的にスライドショー表示できるとともに、ユーザは、スライドショー表示される複数の画像を閲覧しつつも、撮像者の意図(撮影時にどの被写体に合焦させて撮像したか)を把握できる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示制御装置として、パーソナルコンピュータ(PC)の例を挙げ、該PCが、撮像装置1から取得した画像データ群をスライドショー表示する例を説明した。しかし、本発明の表示制御装置は、PC以外にも、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置1、携帯型映像プレーヤ、テレビジョン受像機、携帯電話など、任意の電子機器に適用可能である。例えば、上記マルチフォーカス撮像を行う撮像装置1においても、撮像及び記録した画像データ群を表示画面にスライドショー表示することができる。
また、上記実施形態に係る表示制御装置20は、画像データをスライドショー表示する表示装置209(表示部26に相当する。)を具備していたが、本発明の表示制御装置は、かかる例に限定されない。例えば、表示制御装置は、表示装置を具備しなくてもよく、表示制御装置に接続された他の機器が具備する表示装置に、画像データをスライドショー表示させるように制御してもよい。
本発明の第1の実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係る撮像装置による撮像処理を概略的に示す模式図である。 同実施形態に係る変形ミラー装置を用いた焦点位置の変更を示す模式図である。 同実施形態に係る焦点位置の変更を示す説明図である。 同実施形態に係る撮像装置における焦点位置の変更位置の設定を説明するための模式図である。 同実施形態に係る焦点位置ごとの被写界深度を説明するための模式図である。 同実施形態に係るフォーカス制御の一例を示す模式図である。 同実施形態に係るフォーカス制御の別の例を示す模式図である。 同実施形態に係るフォーカス制御の第1変更例を示す模式図である。 同実施形態に係るフォーカス制御の第2変更例を示す模式図である。 同実施形態に係るフォーカス制御の第3変更例を示す模式図である。 同実施形態に係る表示制御装置のハードウェア構成を示すブロック図である。 同実施形態に係る表示制御装置の機能構成を示すブロック図である。 同実施形態に係るメタデータのデータ構造を示す説明図である。 同実施形態に係るメタデータのデータ構造の変更例を示す説明図である。 同実施形態に係るスライドショー表示を概略的に示す模式図である 同実施形態に係るスライドショー表示を示すフローチャートである。 同実施形態に係る表示制御装置の表示画面に表示される画像選択ウィンドウ40を示す模式図である。 本発明の第2の実施形態に係るスライドショー表示を概略的に示す模式図である。 同実施形態に係るスライドショー表示を示すフローチャートである。 同実施形態に係る表示順序の決定処理を示すフローチャートである。 同実施形態の変更例に係るスライドショー表示を概略的に示す模式図である。 同実施形態の変更例に係る表示順序の決定処理を示すフローチャートである。 本発明の第3の実施形態に係るスライドショー表示を概略的に示す模式図である。 同実施形態に係る画像データ群の配列を示す模式図である 同実施形態に係るスライドショー表示を示すフローチャートである。 同実施形態に係る画像選別処理を示すフローチャートである。 第4の実施形態に係るスライドショー表示を概略的に示す模式図である。 同実施形態に係るスライドショー表示を示すフローチャートである。 同実施形態に係る表示時間の計算処理を示すフローチャートである。
1 撮像装置
2 変形ミラー装置
2a ミラー面
3 絞り
4 撮像素子
5 前処理部
6 信号処理部
7 AF素子
8 ミラー駆動回路
9 絞り制御部
10 撮像制御部
11 CPU
12 メモリ部
13 操作入力部
14 バス
15 表示部
16 圧縮/伸張処理部
17 ストレージ部
20 表示制御装置
21 データ取得部
22 記憶部
23 データ読出部
24 表示方式決定部
25 表示制御部
26 表示部
27 入力部
30、35 メタデータ
32 個別メタデータ
34 共通メタデータ
36 画像データ群に関するメタデータ
38 個々の画像データに関するメタデータ
40 ウィンドウ
42 サムネイル画像
N−1、N、N+1 画像データ群
Q 表示時間

Claims (16)

  1. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、
    前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、
    を備え、
    前記表示方式決定部は、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記第N−1番目及び第N番目の画像データ群に関する前記判定結果と、前記第N−1番目の画像データ群の表示順序に応じて、前記第N番目の画像データ群の表示順序を決定する、表示制御装置。
  2. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、
    前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、
    を備え、
    前記表示方式決定部は、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    当該判定結果に応じて前記画像データ群の表示順序を決定する、表示制御装置。
  3. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、
    前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、
    を備え、
    前記表示方式決定部は、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、
    当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御する、表示制御装置。
  4. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、
    前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、
    を備え、
    前記表示方式決定部は、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御する、表示制御装置。
  5. 前記表示方式決定部は、前記合焦画像データの表示時間が前記他の画像データの表示時間よりも長くなるように、前記画像データ群に属する前記各画像データの表示時間を制御する、請求項1〜4のいずれか一項に記載の表示制御装置。
  6. 前記表示方式決定部は、
    前記個数が所定の閾値以上である場合に、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの一部を、スライドショー表示対象から除外する、請求項に記載の表示制御装置。
  7. 1つの前記画像データ群内に、第1合焦画像データと第2合焦画像データがある場合、前記表示方式決定部は、前記第1合焦画像データと前記第2合焦画像データの間にある前記他の画像データを、前記スライドショー表示対象から除外しない、請求項に記載の表示制御装置。
  8. 前記表示方式決定部は、前記個数に応じて、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの少なくとも一部の表示時間を制御する、請求項に記載の表示制御装置。
  9. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を含み、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記第N−1番目及び第N番目の画像データ群に関する前記判定結果と、前記第N−1番目の画像データ群の表示順序に応じて、前記第N番目の画像データ群の表示順序を決定する、表示制御方法。
  10. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を含み、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    当該判定結果に応じて前記画像データ群の表示順序を決定する、表示制御方法。
  11. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を含み、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、
    当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御する、表示制御方法。
  12. 相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を含み、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御する、表示制御方法。
  13. コンピュータに、
    相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を実行させるためのプログラムであって、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記第N−1番目及び第N番目の画像データ群に関する前記判定結果と、前記第N−1番目の画像データ群の表示順序に応じて、前記第N番目の画像データ群の表示順序を決定する、プログラム。
  14. コンピュータに、
    相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を実行させるためのプログラムであって、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    当該判定結果に応じて前記画像データ群の表示順序を決定する、プログラム。
  15. コンピュータに、
    相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を実行させるためのプログラムであって、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、
    当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御する、プログラム。
  16. コンピュータに、
    相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
    前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
    を実行させるためのプログラムであって、
    前記表示方式決定ステップでは、
    前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定し、
    前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第1表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第2表示順序のいずれかに決定し、
    第N−1番目の画像データ群の前記焦点位置情報に基づいて、前記第N−1番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    第N番目の画像データ群の前記焦点位置情報に基づいて、前記第N番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
    前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御する、プログラム。
JP2009009171A 2009-01-19 2009-01-19 表示制御装置、表示制御方法及びプログラム Expired - Fee Related JP5267149B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009009171A JP5267149B2 (ja) 2009-01-19 2009-01-19 表示制御装置、表示制御方法及びプログラム
US13/143,956 US20110273471A1 (en) 2009-01-19 2009-11-24 Display control device, display control method and program
PCT/JP2009/069758 WO2010082400A1 (ja) 2009-01-19 2009-11-24 表示制御装置、表示制御方法及びプログラム
CN200980154818.6A CN102282836B (zh) 2009-01-19 2009-11-24 显示控制设备和显示控制方法
EP09838366.4A EP2385692A4 (en) 2009-01-19 2009-11-24 DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM
TW098144498A TWI399082B (zh) 2009-01-19 2009-12-23 Display control device, display control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009009171A JP5267149B2 (ja) 2009-01-19 2009-01-19 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010166519A JP2010166519A (ja) 2010-07-29
JP5267149B2 true JP5267149B2 (ja) 2013-08-21

Family

ID=42339659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009009171A Expired - Fee Related JP5267149B2 (ja) 2009-01-19 2009-01-19 表示制御装置、表示制御方法及びプログラム

Country Status (6)

Country Link
US (1) US20110273471A1 (ja)
EP (1) EP2385692A4 (ja)
JP (1) JP5267149B2 (ja)
CN (1) CN102282836B (ja)
TW (1) TWI399082B (ja)
WO (1) WO2010082400A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5088550B2 (ja) * 2007-10-26 2012-12-05 ソニー株式会社 電子機器、再生方法及びプログラム
JP4934104B2 (ja) 2008-06-06 2012-05-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
US8856656B2 (en) * 2010-03-17 2014-10-07 Cyberlink Corp. Systems and methods for customizing photo presentations
JP5550431B2 (ja) * 2010-04-15 2014-07-16 キヤノン株式会社 表示制御装置及び表示制御方法
JP5638890B2 (ja) * 2010-09-15 2014-12-10 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US8648959B2 (en) * 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
KR101285541B1 (ko) * 2010-12-07 2013-07-23 엘지디스플레이 주식회사 입체 영상 표시장치
JP2012178820A (ja) * 2011-01-31 2012-09-13 Sanyo Electric Co Ltd 電子機器
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP4988057B1 (ja) * 2011-10-11 2012-08-01 アキュートロジック株式会社 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
WO2013087974A1 (en) * 2011-12-16 2013-06-20 Nokia Corporation Method and apparatus for image capture targeting
US9542421B2 (en) 2012-01-24 2017-01-10 Google Inc. Sequencing electronic files
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
JP5583242B2 (ja) * 2012-07-05 2014-09-03 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP6152772B2 (ja) * 2012-11-29 2017-06-28 パナソニックIpマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
CN104700383B (zh) * 2012-12-16 2017-09-15 吴凡 一种多聚焦图像生成装置及多聚焦图像文件处理方法
JP5786847B2 (ja) 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6131686B2 (ja) * 2013-04-05 2017-05-24 株式会社デンソー 表示制御装置
JP6288952B2 (ja) 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
JP6245892B2 (ja) 2013-08-21 2017-12-13 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
WO2015096118A1 (zh) * 2013-12-27 2015-07-02 华为终端有限公司 一种摄像显示方法及摄像显示装置
KR102149448B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP6346476B2 (ja) * 2014-03-17 2018-06-20 キヤノン株式会社 表示制御装置、制御方法、プログラム及び記録媒体
JP6408866B2 (ja) * 2014-10-28 2018-10-17 キヤノン株式会社 画像処理装置およびその制御方法
CN104469151A (zh) * 2014-11-29 2015-03-25 深圳市金立通信设备有限公司 一种终端
CN104601879A (zh) * 2014-11-29 2015-05-06 深圳市金立通信设备有限公司 一种对焦方法
JP2016111652A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6521715B2 (ja) 2015-04-22 2019-05-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP5979288B2 (ja) * 2015-07-09 2016-08-24 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
US10282825B2 (en) 2016-09-13 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and imaging apparatus
US20180205890A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Single camera dynamic imaging systems and methods of capturing dynamic images
US20180205891A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Multi-camera dynamic imaging systems and methods of capturing dynamic images
US10438630B2 (en) * 2017-02-10 2019-10-08 Canon Kabushiki Kaisha Display control apparatus that performs time-line display, method of controlling the same, and storage medium
CN110419210B (zh) 2017-03-15 2021-01-12 富士胶片株式会社 摄像装置、摄像方法及记录介质
WO2018212008A1 (ja) * 2017-05-16 2018-11-22 富士フイルム株式会社 撮像装置及び画像合成装置
JP6844012B2 (ja) * 2017-09-11 2021-03-17 富士フイルム株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US10634559B2 (en) * 2018-04-18 2020-04-28 Raytheon Company Spectrally-scanned hyperspectral electro-optical sensor for instantaneous situational awareness
JP7195790B2 (ja) * 2018-07-02 2022-12-26 キヤノン株式会社 撮像装置及びその制御方法
CN110505389B (zh) * 2019-09-03 2021-03-02 RealMe重庆移动通信有限公司 摄像头控制方法、装置、存储介质及电子设备
JP2021158489A (ja) * 2020-03-26 2021-10-07 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN111698423A (zh) * 2020-06-18 2020-09-22 福建捷联电子有限公司 一种具有多种焦距照片的展示方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0669757B1 (en) * 1994-02-28 2002-11-27 Canon Kabushiki Kaisha Image sensing apparatus
JP2000125185A (ja) * 1998-10-20 2000-04-28 Olympus Optical Co Ltd 電子カメラ
US6530666B1 (en) * 1999-06-10 2003-03-11 Intel Corporation Focusing projection displays
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2003143461A (ja) * 2001-11-01 2003-05-16 Seiko Epson Corp デジタルスチルカメラ
JP2004135029A (ja) * 2002-10-10 2004-04-30 Fuji Photo Film Co Ltd デジタルカメラ
JP2004309684A (ja) * 2003-04-04 2004-11-04 Olympus Corp 結像光学系及びそれを用いた撮像装置
JP4345608B2 (ja) * 2004-08-10 2009-10-14 カシオ計算機株式会社 画像データ再生装置、及び、プログラム
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
US7505051B2 (en) * 2004-12-16 2009-03-17 Corel Tw Corp. Method for generating a slide show of an image
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
TWI267763B (en) * 2005-02-17 2006-12-01 Ulead Systems Inc Method for synchronizing the slide show with the background music
CN101909156B (zh) * 2005-11-02 2013-01-16 奥林巴斯株式会社 电子照相机及其图像处理方法
JP4698520B2 (ja) * 2006-03-16 2011-06-08 パナソニック株式会社 バリフォーカルレンズおよび撮像装置
JP2008020710A (ja) * 2006-07-13 2008-01-31 Fujifilm Corp 撮影装置、および焦点調整方法
JP2008042256A (ja) * 2006-08-01 2008-02-21 Canon Inc 画像表示方法、画像表示装置及びプログラム
JP4974608B2 (ja) * 2006-08-11 2012-07-11 オリンパスイメージング株式会社 画像撮影装置
US7646972B2 (en) * 2006-12-08 2010-01-12 Sony Ericsson Mobile Communications Ab Method and apparatus for capturing multiple images at different image foci
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4582423B2 (ja) * 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2009010564A (ja) * 2007-06-27 2009-01-15 Seiko Epson Corp 画像再生装置、画像再生方法、およびプログラム
JP5083090B2 (ja) * 2007-09-18 2012-11-28 ソニー株式会社 表示制御装置、撮像装置、表示制御方法およびプログラム
JP5005570B2 (ja) * 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム

Also Published As

Publication number Publication date
EP2385692A1 (en) 2011-11-09
TW201041377A (en) 2010-11-16
CN102282836B (zh) 2014-10-01
US20110273471A1 (en) 2011-11-10
JP2010166519A (ja) 2010-07-29
EP2385692A4 (en) 2014-01-22
TWI399082B (zh) 2013-06-11
CN102282836A (zh) 2011-12-14
WO2010082400A1 (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
JP5267149B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP5163446B2 (ja) 撮像装置、撮像方法及びプログラム
JP5206494B2 (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP5623915B2 (ja) 撮像装置
KR101593995B1 (ko) 자동 초점 조절 방법, 상기 방법을 기록한 기록 매체, 및 상기 방법을 실행하는 자동 초점 조절 장치
US9106837B2 (en) Image capturing device and image capturing method
JP2007328212A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4839908B2 (ja) 撮像装置、自動焦点調整方法、およびプログラム
JP2008270896A (ja) 撮像装置及びそのプログラム
US20100266160A1 (en) Image Sensing Apparatus And Data Structure Of Image File
KR101737086B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP4640198B2 (ja) 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム
JP4683337B2 (ja) 画像表示装置及び画像表示方法
JP5375846B2 (ja) 撮像装置、自動焦点調整方法、およびプログラム
JP2008282031A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20120229678A1 (en) Image reproducing control apparatus
JP5266701B2 (ja) 撮像装置、被写体分離方法、およびプログラム
JP2016208268A (ja) 撮像装置、その制御方法、および制御プログラム
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP5168320B2 (ja) カメラ、ベストショット撮影方法、プログラム
JP5428243B2 (ja) 画像処理装置および電子カメラ並びに画像振り分けプログラム
JP2007249000A (ja) 撮像装置、撮像方法および撮像プログラム
US8437552B2 (en) Information processing apparatus and method, and a recording medium storing a program for implementing the method
JP2006237963A (ja) 画像表示装置、撮影装置及び画像表示方法
JP2014134898A (ja) 画像検索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

LAPS Cancellation because of no payment of annual fees