JP2010279022A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010279022A
JP2010279022A JP2010087280A JP2010087280A JP2010279022A JP 2010279022 A JP2010279022 A JP 2010279022A JP 2010087280 A JP2010087280 A JP 2010087280A JP 2010087280 A JP2010087280 A JP 2010087280A JP 2010279022 A JP2010279022 A JP 2010279022A
Authority
JP
Japan
Prior art keywords
view angle
image
angle candidate
view
candidate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010087280A
Other languages
English (en)
Inventor
Yasuhiro Iijima
靖博 飯嶋
Haruo Hatanaka
晴雄 畑中
Shinpei Fukumoto
晋平 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2010087280A priority Critical patent/JP2010279022A/ja
Priority to US12/770,199 priority patent/US20100277620A1/en
Publication of JP2010279022A publication Critical patent/JP2010279022A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】所望の画角となる画像を容易に得ることを可能とした撮像装置を提供する
【解決手段】ズームインを行う前に、ズームイン後の画角を示す画角候補枠ＦＡ１〜ＦＡ３を入力画像に重畳させた出力画像ＰＡ２を生成する。ユーザは、出力画像ＰＡ２中の画角候補枠ＦＡ１〜ＦＡ３を確認することによって、ズームイン後の画角を予め確認することができる。そして、画角候補枠ＦＡ１〜ＦＡ３の決定を行うことで、容易かつ迅速にズームインを行うことができる。
【選択図】図４

Description

本発明は、ズーム状態を制御して所望の画角を得る撮像装置に関する。
近年、撮像によりデジタル方式の画像を得る撮像装置が広く普及している。これらの撮像装置には、動画や静止画の記録前（プレビュー時）の画像を表示したり、動画の記録時の画像を表示したりすることが可能な表示部を備えるものがある。ユーザは、この表示部に表示される画像を確認することで、現在撮像している画像の画角を確認することができる。
例えば特許文献１では、表示部に複数の画角の画像を表示することができる撮像装置が提案されている。この撮像装置では、表示部に表示される画像（動画または静止画）中に、異なる画像（静止画または動画）を表示する小窓を重畳して表示することとしている。
特開２００７−１０４３５２号公報
ところで、ユーザは、表示部に表示される画像を確認しつつ、ズーム状態（例えば、ズーム倍率やズームの中心位置など）を変更して画像の画角を変更したいと考える場合が多いが、所望の画角の画像を得ることが困難になる場合が生じ得る。この原因として例えば、ユーザの操作とズームのタイミングや表示部の表示とのタイムラグなどに起因してズームイン及びズームアウトが所望の状態よりも行き過ぎてしまうことや、ズームイン時に撮像すべき対象物が画角外に出てユーザが見失うことなどが挙げられる。
この中でも、ズームイン時の対象物の見失いが特に問題となる。高倍率でズームインすると、手ぶれなどによって生じる画像内のずれの大きさもズーム倍率にしたがって大きくなる。そのため、ズームインの操作中に撮像しようとする対象物が画角外に出やすくなり、ユーザが対象物を見失いやすくなる。また、ズームインした画像を確認してもどこを撮像しているのかが一目では分かりにくいことも、対象物を見失う要因になる。
なお、この対象物を見失う問題に対して、仮に特許文献１のように複数の画角の画像を表示可能とすることで対処する場合、ユーザは複数の画像を同時に確認し、かつこれらの画像を比較することで撮像している方向などを推測して対象物を探さなければならない。したがって、この方法を採用したとしても、見失った対象物を発見するのは困難となる。
そこで本発明は、所望の画角となる画像を容易に得ることを可能とした撮像装置を提供することを目的とする。
上記目的を達成するために本発明の撮像装置は、撮像して入力画像を順次作成するとともに、入力画像の画角が変更可能である入力画像作成部と、画角が変更された場合に作成され得る新たな入力画像の画角を示す画角候補枠を生成し、入力画像に重畳させて出力画像を生成する表示画像処理部と、を備えることを特徴とする。
なお、以下の実施の一形態では、入力画像作成部の一例として、撮像部、ＡＦＥ及び撮像画像処理部を挙げて説明している。
また、上記構成の撮像装置において、前記出力画像を表示する表示部を備えることとしても構わない。また、画像を記録する記録部を備え、前記記録部に前記入力画像と略等しい画角の画像が記録されることとしても構わない。なお、以下の実施の一形態では、記録部の一例として外部メモリを挙げて説明している。
また、上記構成の撮像装置において、画角候補枠を決定する操作部をさらに備え、前記入力画像作成部が、前記操作部によって決定された画角候補枠が示す画角と略等しい画角となる新たな入力画像を作成することとしても構わない。
このように構成すると、新たな入力画像の画角をユーザが直接的に決定することが可能となる。そのため、容易に所望の画角となる新たな入力画像を得ることが可能となる。
また、上記構成の撮像装置において、入力画像中の対象物を検出する対象物検出部をさらに備え、前記表示画像処理部が、前記対象物検出部により検出される対象物の入力画像中の位置に基づいて、生成する画角候補枠の位置を決定することとしても構わない。
このように構成すると、新たな入力画像の画角内に対象物が含まれるようにすることが可能となる。そのため、特に入力画像の画角を狭くする（ズームインする）ときに、対象物を見失うことを抑制することが可能となる。
また、上記構成の撮像装置において、前記対象物検出部による対象物の検出精度及び対象物の大きさの少なくとも一方に基づいて、前記表示画像処理部が生成する画角候補枠の数及び大きさの少なくとも一方が決定されることとしても構わない。
このように構成すると、生成される画角候補枠を、対象物の状態に応じた決定のしやすいものにすることが可能となる。例えば、対象物の検出精度が低いほど、画角候補枠を大きくしたり、生成する画角候補枠の数を少なくしたりしても構わない。また、対象物が小さくなるほど、生成する画角候補枠の数を少なくしても構わない。
また、上記構成の撮像装置において、前記対象物検出部が、入力画像中から複数の対象物を検出する場合、前記表示画像処理部が、当該複数の対象物の少なくとも１つを含む画角候補枠を生成する、または、当該複数の対象物のいずれか１つを含む画角候補枠を生成することとしても構わない。
このように構成すると、複数の対象物が検出される場合に、対象物を好適に含む画角候補枠を生成することが可能となる。なお、このとき、複数の対象物の重心位置に基づいた画角候補枠を生成しても構わない。例えば、重心位置を中心位置とする画角候補枠を生成しても構わない。また、いずれか１つの対象物の中心位置に基づいた画角候補枠を生成しても構わない。例えば、対象物の中心位置を中心位置とする画角候補枠を生成しても構わない。
また、上記構成の撮像装置において、前記表示画像処理部が、前記対象物検出部が入力画像中から検出する複数の対象物のいずれか１つを含む画角候補枠を生成する場合、当該複数の対象物の中で優先されるべき対象物の画角候補枠を、優先的に生成することとしても構わない。
このように構成すると、ユーザが意図する（または、意図している可能性が高い）画角候補枠が優先的に生成される。そのため、ユーザが画角候補枠を容易に決定することが可能となる。なお、このとき、ユーザが指定する対象物や、入力画像の中心に近い対象物、ユーザが予め登録した対象物として識別された対象物、入力画像中の大きさが大きい対象物などを、優先されるべき対象物としても構わない。さらに、表示画像処理部が、優先されるべき対象物に基づいた画角候補枠のみを生成しても構わないし、優先されるべき対象物に基づいた画角候補枠から順に生成しても構わない。
また、上記構成の撮像装置において、画角候補枠を決定するとともに、出力画像中の任意の位置を指定可能な操作部をさらに備え、前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、前記操作部により、前記対象物検出部により検出された対象物の出力画像中の位置が指定されると、前記表示画像処理部が、当該対象物を含む画角候補枠を生成し、前記操作部により、当該対象物の出力画像中の位置がさらに指定されると、前記表示画像処理部が、当該対象物を含む画角候補枠の中で仮決定される画角候補枠を変更することとしても構わない。
このように構成すると、ユーザが、出力画像中で意図する対象物の位置を指定するだけで、意図する画角候補枠を生成し、決定することが可能となる。そのため、画角候補枠を決定するためのユーザの操作を、直感的かつ容易なものにすることが可能となる。
また、上記構成の撮像装置において、前記操作部により、前記対象物検出部により検出された対象物以外の出力画像中の位置が指定されると、前記表示画像処理部が、画角候補枠の生成を停止することとしても構わない。
このように構成すると、ユーザが、出力画像中で対象物以外の位置を指定するだけで、画角候補枠の生成を停止する（出力画像を表示する表示部上で非表示にする）ことが可能となる。そのため、画角候補枠を決定するためのユーザの操作を、直感的かつ容易なものにすることが可能となる。
また、上記構成の撮像装置において、画角候補枠を決定する操作部をさらに備え、前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、前記表示画像処理部が生成する画角候補枠の大きさの順に、仮決定される画角候補枠が変更されることとしても構わない。
このように構成すると、仮決定される画角候補枠が順番に変更されるため、ユーザが画角候補枠を容易に決定することが可能となる。
また、上記構成の撮像装置において、画角候補枠を決定する操作部をさらに備え、前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、前記表示画像処理部が、生成する画角候補枠の中で仮決定されているものを、入力画像に重畳させて出力画像を生成することとしても構わない。
このように構成すると、出力画像を表示する表示部において、画角候補枠が表示される部分を小さくすることができる。そのため、画角候補枠によって出力画像の下地となる画像（入力画像）が見えにくくなることを抑制することが可能となる。
また、上記構成の撮像装置において、画角候補枠を決定する操作部をさらに備え、前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、前記表示画像処理部が、仮決定されている画角候補枠の内外で調整方法が異なる出力画像を生成することとしても構わない。
このように構成すると、出力画像を表示する表示部において、仮決定中の画角候補枠の内外が明瞭に区別されて表示される。そのため、仮決定中の画角候補枠内（即ち、ズーム後の画角）を、ユーザが容易に認識することが可能となる。なお、このとき、仮決定中の画角候補枠外が、グレーアウト表示されるように調整しても構わない。
また、上記構成の撮像装置において、前記表示画像処理部が、前記対象物検出部で検出される対象物の入力画像中の大きさ、前記対象物検出部で検出される前記対象物の入力画像中の位置の変動量、及び前記対象物検出部で検出される対象物以外の入力画像中の位置の変動量の少なくとも一つに基づいて、画角候補枠を生成しても構わない。
このように構成すると、表示画像処理部が、ユーザが意図する画角候補枠を、入力画像中の対象物や背景の状態に応じて適応的に生成することが可能となる。特に、画角候補枠の大きさと対象物の大きさの比率を維持したり、画角候補枠内の対象物の位置を維持したり、画角候補枠内の背景の位置を維持したり、画角候補枠内の対象物及び背景のそれぞれの位置をユーザの必要な程度だけ維持したりすることが可能となる。
また、上記構成の撮像装置において、前記入力画像作成部が、光学ズーム及び電子ズームの少なくとも一方を用いて順次作成される入力画像の画角を変更し得るものであり、前記入力画像作成部が、現在作成している入力画像よりも狭い画角となる新たな入力画像を作成する際に、前記光学ズームを用いて撮像により得られる画像を拡大し、当該拡大されて得られた画像の一部を前記電子ズームを用いてさらに拡大することとしても構わない。
このように構成すると、画質の劣化の少ない光学ズームを使用することが可能となる。そのため、電子ズームのみを用いて画角を変更する場合と比較して、作成される入力画像の画質の劣化を抑制することが可能となる。
また、上記構成の撮像装置において、前記入力画像作成部が、入力画像作成時のズーム状態を変更し得るものであり、前記入力画像作成部が前記ズーム状態を変更する場合に、変更前後のそれぞれの前記ズーム状態を記憶する記憶部をさらに備え、前記入力画像作成部が、前記記憶部に記憶された前記ズーム状態を読み出すことで、前記ズーム状態を変更し得るものであることとしても構わない。
このように構成すると、入力画像の画角を変更する際に、ズーム状態の細かい調整をすることなく頻繁に使用し得るズーム状態を記憶部から読み出して実現することが可能となる。そのため、入力画像の画角の変更に係る操作性を向上させることが可能となる。なお、以下の実施の一形態では、記憶部の一例としてメモリを挙げて説明している。また、ズーム状態とは例えば、ズーム倍率やズームの中心位置などを示すものである。
また、上記構成の撮像装置において、前記入力画像作成部が、撮像により順次得られる画像の一部の範囲を切り出して入力画像を順次作成するものであり、前記入力画像作成部が、撮像により得られる画像から切り出す範囲を大きくすることにより、現在作成している入力画像の画角よりも広い画角となる新たな入力画像を作成し、前記表示画像処理部が、前記現在作成している入力画像の画角よりも広い画角を示す新たな画角候補枠を生成して、前記新たな入力画像に重畳させて新たな出力画像を生成することとしても構わない。
このように構成すると、画角を広げた（ズームアウトした）入力画像を得ようとする場合であっても、画角候補枠を表示することが可能となる。
本発明によると、画角の変更候補を示す画角候補枠を入力画像に重畳した出力画像を生成することとなる。そのため、ユーザが出力画像を確認することによって、変更後の入力画像の画角を、実際に変更する前に確認することが可能となる。そのため、所望の画角となる入力画像を容易に作成することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
は、本発明の実施の一形態における撮像装置の構成を示すブロック図である。 は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第１実施例の構成を示すブロック図である。 は、第１実施例の表示画像処理部の動作例を示すフローチャートである。 は、第１実施例の表示画像処理部から出力される出力画像の例を示す図である。 は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第２実施例の構成を示すブロック図である。 は、第２実施例の表示画像処理部の動作例を示すフローチャートである。 は、第２実施例の表示画像処理部から出力される出力画像の例を示す図である。 は、光学ズームと電子ズームとを併用したズームの一例を示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第１例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第２例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第３例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第４例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第５例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第６例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第７例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第８例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第９例について示す図である。 は、第２実施例の表示画像処理部における画角候補枠の生成方法の第１０例について示す図である。 は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第３実施例の構成を示すブロック図である。 は、第３実施例の表示画像処理部の動作例を示すフローチャートである。 は、ズームアウトを行う場合の画角候補枠の生成方法の一例を示す図である。 は、画角制御画像切り出し処理の一例を示す図である。 は、ローズームの一例を示す図である。 は、超解像処理の一例を示す図である。 は、画角候補枠の種々の表示例について説明する出力画像の例を示す図である。 は、画角候補枠の表示例について説明する出力画像の例を示す図である。
本発明の実施の一形態について、以下図面を参照して説明する。最初に、本発明における撮像装置の一例について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施の一形態における撮像装置の構成を示すブロック図である。
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力される画像信号に適宜処理を施して出力する撮像画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、撮像画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり撮像画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。
また、撮像装置１は、撮像画像処理部６から出力される画像信号や伸長処理部１１で復号された画像信号に対して適宜処理を施して出力する表示画像処理部１２と、表示画像処理部１２から出力される画像信号をモニタなどの表示部（不図示）で表示可能な形式の信号に変換する画像出力回路部１３と、伸長処理部１１で復号された音声信号をスピーカなどの再生部（不図示）で再生可能な種類の信号に変換する音声出力回路部１４と、を備える。
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス回線１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス回線２０と、を備える。
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
また、表示部や再生部は、撮像装置１と一体となっているものであると好ましいが、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。
ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、撮像画像処理部６に入力される。撮像画像処理部６は、入力された画像信号からある画像部分を切り出して補間（例えばバイリニア補間）などを行うことで拡大した画像の画像信号を得る電子ズームや、Ｙ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号への変換処理、階調補正及び輪郭強調等の各種調整処理などを、入力される画像信号に対して行う。また、メモリ１６はフレームメモリとして動作し、撮像画像処理部６や表示画像処理部１２などが処理を行なう際に画像信号を一時的に保持する。
ＣＰＵ１５は、操作部１７を介して入力されるユーザの指示などに基づいて、レンズ部３の制御を行う。例えば、レンズ部３に備えられる各種レンズの位置や絞りを調整することによって、フォーカスや露出の調整を行う。なお、撮像画像処理部６で処理される画像信号に基づいて、所定のプログラムによってこれらの調整が自動的に行われることとしても構わない。
また同様に、ユーザの指示などに基づいてＣＰＵ１５がズーム状態の制御を行う。具体的には、ＣＰＵ１５がレンズ部３のズームレンズを駆動して光学ズームを制御したり、撮像画像処理部６を制御して電子ズームを制御したりすることによって、ズーム状態を意図したものとする。
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、撮像画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
一方、静止画または音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、撮像画像処理部６において行われる処理を異なるものとしても構わない。
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１は、圧縮された画像信号及び音声信号を伸長する。そして、画像信号を表示画像処理部１２を介して画像出力回路部１３に出力し、音声信号を音声出力回路部１４に出力する。画像出力回路部１３や音声出力回路部１４は、表示部や再生部で表示または再生可能な形式の信号に変換して画像信号及び音声信号をそれぞれ出力する。画像出力回路部１３から出力される画像信号は表示部などで表示され、音声出力回路部１４から出力される音声信号は再生部などで再生される。
また同様に、動画または静止画を記録する前のプレビュー時や動画の記録時においても、撮像画像処理部６から出力される画像信号がバス２０を介して表示画像処理部１２に入力される。そして、表示画像処理部１２で適宜表示用の画像処理が行われた後に画像出力回路部１３に入力され、表示部で表示可能な形式の信号に変換されて出力される。
ユーザは、表示部に表示される画像を確認することで、これから記録するまたは現在記録している画像信号の画角を確認する。そのため、撮像画像処理部６が圧縮処理部８に入力する記録用の画像信号の画角と、表示画像処理部１２に入力する表示用の画像信号の画角とは略等しいものとすると好ましく、同一の画像信号としても構わない。なお、表示画像処理部１２の構成や動作の詳細については、以下で説明する。
＜＜表示画像処理部＞＞
図１に示した表示画像処理部１２について各実施例を挙げるとともに図面を参照して説明する。なお、以下の各実施例の説明では、説明の具体化のために表示画像処理部１２に入力される画像信号を画像として表現するとともに「入力画像」とよぶ。また、表示画像処理部１２から出力される画像信号を「出力画像」とよぶ。なお、撮像画像処理部６から圧縮処理部８に入力される記録用の画像信号についても画像と表現し、入力画像と略等しい画角を有するものとする。さらに、本発明では特に画角について問題とするため、入力画像と略等しい画角を有する当該画像も入力画像とよび、説明を簡略化する。
また、以下の各実施例では、ユーザがズームインを実行する旨の指示を撮像装置１に入力する場合について説明し、ズームアウトを実行する旨の指示を入力する場合については各実施例の説明の後に別途説明する。同様に、各実施例では撮像時（プレビュー時や動画記録時）に実行する場合について説明し、再生時に実行する場合については各実施例の後に別途説明する。なお、各実施例についての説明は、矛盾なき限り他の実施例にも適用され得るものとする。
＜第１実施例＞
最初に、表示画像処理部１２の第１実施例について説明する。図２は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第１実施例の構成を示すブロック図である。
図２に示すように、本実施例の表示画像処理部１２ａは、ズーム情報に基づいて画角候補枠の生成を行い画角候補枠情報として出力する画角候補枠生成部１２１ａと、画角候補枠情報によって示される画角候補枠を入力画像に重畳させて出力画像を生成し出力する画角候補枠表示部１２２と、を備える。
ズーム情報には、例えば、現在設定されているズーム倍率（入力画像作成時のズーム倍率）を示す情報や、設定可能なズーム倍率の限界値（上限値や下限値）を示す情報が含まれる。なお、ズーム倍率の限界値などの固有の値については、予め画角候補枠生成部１２１ａに記録させても構わない。
画角候補枠は、現在設定されているズーム倍率を他の値（候補値）に変更した場合に得られる入力画像の画角を、現在の入力画像を利用して仮想的に示すものである。即ち、画角候補枠は、ズーム倍率の変更にともなう画角の変化を視覚的に表現するものである。
また、本実施例の表示画像処理部１２ａの動作について、図面を参照して説明する。図３は、第１実施例の表示画像処理部の動作例を示すフローチャートである。また、図４は、第１実施例の表示画像処理部から出力される出力画像の例を示す図である。
上述のように、画像記録前のプレビュー時や動画記録時に、撮像画像処理部６から出力される入力画像がバス２０を介して表示画像処理部１２ａに入力される。このとき、ズームインする旨の指示が、ユーザから指示部１７を介して撮像装置１に入力されなければ、図４（ａ）に示す出力画像ＰＡ１のように、表示画像処理部１２ａは入力画像をそのまま出力画像として出力する。
一方、ユーザからズームインする旨の指示が撮像装置１に入力されると、表示画像処理部１２ａは図３に示す画角候補枠の表示動作を行う。画角候補枠の表示動作が開始されると最初に、画角候補枠生成部１２１ａがズーム情報の取得を行う（ＳＴＥＰ１）。これにより、画角候補枠生成部１２１ａが、現在設定されているズーム倍率を認識する。また、このときズーム倍率の上限値もあわせて認識する。
次に、画角候補枠生成部１２１ａが画角候補枠を生成する（ＳＴＥＰ２）。このとき、まず変更後のズーム倍率の候補値を設定する。ズーム倍率の候補値の設定方法として、例えば、現在設定されているズーム倍率及びズーム倍率の上限値の間を等分した値と、上限値と、をそれぞれ候補値として設定する方法を採用しても構わない。具体的に例えば、現在設定されているズーム倍率が１倍、上限値が１２倍であり、３等分した値を候補値とする場合、１２倍、８倍及び４倍を候補値とする。
画角候補枠生成部１２１ａは、設定した候補値に対応する画角候補枠を生成する。画角候補枠表示部１２２は、画角候補枠生成部１２１ａで生成された画角候補枠を入力画像に重畳させて出力画像を生成する。このようにして生成される出力画像の一例を図４（ｂ）に示す。図４（ｂ）に示す出力画像ＰＡ２は、現在のズーム倍率が１倍であり、候補値４倍に対応する画角候補枠ＦＡ１、候補値８倍に対応する画角候補枠ＦＡ２及び候補値（上限値）１２倍に対応する画角候補枠ＦＡ３をそれぞれ入力画像に重畳させて得られたものである。
本実施例では、光学ズームのようにズームの前後で入力画像の中心が等しくなるズームが行われることを想定している。そのため、現在のズーム倍率と候補値とに基づいて、画角候補枠ＦＡ１〜ＦＡ３の位置及び大きさを設定することができる。具体的には、画角候補枠ＦＡ１〜ＦＡ３の中心を入力画像の中心と等しくさせ、現在のズーム倍率に対して候補値が増大する程度に応じて画像候補枠の大きさが小さくなるように設定する。
上記のように生成されて出力される出力画像は、表示画像処理部１２ａから画像出力回路部１３を介して表示部に入力され、表示される（ＳＴＥＰ３）。ユーザは表示される出力画像を確認するとともに、画角候補枠の決定を行う（ＳＴＥＰ４）。
例えば、操作部１７がズームキー（またはカーソルキー）及び決定ボタンを備える構成の場合、ユーザはズームキーを操作して仮決定している画角候補枠を順に変更し、決定ボタンを押下することで仮決定している画角候補枠を決定にする。このようにして決定を行う場合、図４（ｂ）の出力画像ＰＡ２に示すように、画角候補枠生成部１２１ａが、ズームキーによって仮決定されている画角候補枠ＦＡ３を他とは異なる形状として表示すると、仮決定中の画角候補枠ＦＡ３が明確となるため好ましい。例えば、仮決定中の画角候補枠を、当該画角候補枠が示す画角の全周を太線や実線などで表示して強調するものとし、仮決定中ではない画角候補枠を、当該画角候補枠が示す画角の全周を細線や破線などで表示して強調しないものとしても構わない。なお、操作部１７がタッチパネルなどの任意の位置を指定可能なもので構成される場合、ユーザが指定した位置に最も近い画角候補枠が決定または仮決定されることとしても構わない。
ユーザによって画角候補枠が決定されない場合（ＳＴＥＰ４、ＮＯ）、ＳＴＥＰ２に戻り画角候補枠を生成してＳＴＥＰ３で画角候補枠の表示を行う。即ち、ユーザによって画角候補枠が決定されるまで、画角候補枠の生成及び表示を継続する。
一方、ユーザによって画角候補枠が決定されると（ＳＴＥＰ４、ＹＥＳ）、決定された画角候補枠の画角の画像が得られるようにズームインされて（ＳＴＥＰ５）、動作が終了する。即ち、決定された画角候補枠に対応する候補値にズーム倍率を変更して、動作を終了する。なお、例えば図４（ｂ）の画角候補枠ＦＡ３が決定されていた場合、ズームインすることによって画角候補枠ＦＡ３と略等しい画角となる図４（ｃ）の出力画像ＰＡ３が得られる。
以上のように構成すると、ズームインの実行前にユーザがズームイン後の画角を確認することが可能となる。そのため、容易に所望の画角の画像を得ることが可能となり、ズームの操作性を向上することが可能となる。また、ズームイン中に対象物を見失うことを抑制することが可能となる。
なお、本実施例で行うズームとして、光学ズームを用いても構わないし電子ズームを用いても構わないし、これらを併用しても構わない。光学ズームは、撮像部Ｓにおける光学像自体を変化させるものであり、画像処理によってズームを実現する電子ズームと比較して画質の劣化が少なくなるため、好ましい。ただし、電子ズームであっても超解像処理やローズーム（いずれも詳細は後述する）などの特殊な電子ズームであれば画質の劣化が少ないため、好適に利用することができる。
光学ズームを利用する撮像装置１に本実施例を適用すると、ズームが容易となり失敗（例えば、ズームの行き過ぎによるズームイン及びズームアウトの繰り返し）が抑制されるため、ズームレンズなどの駆動量が低減される。そのため、低消費電力化を図ることができる。
また、ＳＴＥＰ２で設定するそれぞれの候補値を、高倍率側に寄った候補値としても構わない。例えば、現在のズーム倍率が１倍、上限値が１２倍であるとき、候補値を８倍、１０倍及び１２倍としても構わない。反対に、低倍率側に寄った候補値としても構わない。例えば、現在のズーム倍率が１倍、上限値が１２倍であるとき、候補値を２倍、４倍及び６倍としても構わない。また、候補値の設定方法を予めユーザが設定可能としても構わない。また、上限値や現在のズーム倍率を基準とせずに、高倍率側または低倍率側に一つの基準となる候補値を設定するとともに、当該候補値から順に小さくまたは順に大きくした値を候補値として設定しても構わない。
また、現在のズーム倍率と上限値との差が大きいときに生成する画角候補枠の数を多く、差が小さいときに生成する画角候補枠の数を少なくしても構わない。このように構成すると、表示される画角候補枠の数が少ないために、ユーザが決定したいと考える大きさの画角候補枠が表示されないことを抑制することが可能となる。また、表示される画角候補枠が密集するために、下地となる入力画像が見にくくなったり、ユーザが画角候補枠を決定しにくくなったりすることを抑制することが可能となる。
また、ＳＴＥＰ４でユーザが画角候補枠ＦＡ１〜ＦＡ３を決定するだけでなく、決定した画角候補枠ＦＡ１〜ＦＡ３の大きさ（候補値）を微調整することができるようにしても構わない。例えば、図４（ｂ）でいずれかの画角候補枠ＦＡ１〜ＦＡ３を一次決定した後、ズームキーなどを使用して一次決定した画角候補枠を拡大または縮小（候補値の増大または減少）する二次決定（微調整）を実行することができるように構成しても構わない。また、この二次決定を行う際に、画角候補枠生成部１２１ａが一次決定されなかった画角候補枠を生成しないこととすると、ユーザが微調整を行いやすくなるため好ましい。また、最初から画角候補枠を一つだけ生成する構成として、上記の二次決定のみを行うこととしても構わない。また、一次決定中の画角候補枠（仮決定中及び非仮決定中）と二次決定中の画角候補枠とを異なる形状で表示しても構わない。
また、ＳＴＥＰ５でズームインする際に、徐々にズームインしても構わないし、可能な限り速く（ズームレンズの駆動速度を最速として）ズームインしても構わない。また、動画の記録時に本実施例を実行する場合、ズーム中（ズーム倍率の変動中）は入力画像を記録しないこととしても構わない。
＜第２実施例＞
表示画像処理部１２の第２実施例について説明する。図５は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第２実施例の構成を示すブロック図であり、第１実施例について示した図２に相当するものである。なお、図５において、第１実施例について示した図２と同様となる部分には同様の名称及び符号を付しその詳細な説明については省略する。
図５に示すように、本実施例の表示画像処理部１２ｂは、ズーム情報及び対象物情報に基づいて画角候補枠の生成を行い画角候補枠情報として出力する画角候補枠生成部１２１ｂと、画角候補枠表示部１２２と、を備える。本実施例では、画角候補枠生成部１２１ｂが、ズーム情報だけでなく対象物情報にも基づいて画角候補枠を生成する点において、第１実施例と異なる。
対象物情報には、例えば、入力画像から検出された人物の顔の入力画像中の位置や大きさに関する情報や、特定の顔であると認識された人物の顔の入力画像中の位置や大きさに関する情報などが含まれる。なお、人物の顔に限らず、特定の色となる部分や特定の物体（例えば動物など）、ユーザが操作部１７（タッチパネルなど）を介して指定した物体などが検出された入力画像中の位置や大きさに関する情報が、対象物情報に含まれることとしても構わない。
対象物情報は、撮像画像処理部６または表示用画像処理部１２ｂが、順次作成される入力画像から対象物を順次検出する（追尾する）ことによって生成する。撮像画像処理部６は、上述のフォーカスや露出の調整を行うために対象物の検出を行うことがある。そのため、撮像画像処理部６が対象物情報を生成する構成とすると、この検出結果を利用することができるため好ましい。一方、表示画像処理部１２ｂが対象物情報を生成する構成とすると、撮像時に限られず再生時でも本実施例の表示画像処理部１２ｂを動作させることができるため好ましい。
また、本実施例の表示画像処理部１２ｂの動作について、図面を参照して説明する。図６は、第２実施例の表示画像処理部の動作例を示すフローチャートであり、第１実施例について示した図３に相当するものである。また、図７は、第２実施例の表示画像処理部から出力される出力画像の例を示す図であり、第１実施例について示した図４に相当するものである。なお、第２実施例について示した図６及び図７において、第１実施例について示した図３及び図４と同様となる部分には同様の名称及び符号を付しその詳細な説明については省略する。
第１実施例と同様に、画像記録前のプレビュー時や動画記録時に、撮像画像処理部６から出力される入力画像がバス２０を介して表示画像処理部１２ｂに入力される。このとき、ズームインする旨の指示が、ユーザから指示部１７を介して撮像装置１に入力されなければ、図７（ａ）に示す出力画像ＰＢ１のように、表示画像処理部１２ｂは入力画像をそのまま出力画像として出力する。
一方、ユーザからズームインする旨の指示が撮像装置１に入力されると、表示画像処理部１２ｂは図６に示す画角候補枠の表示動作を行う。画角候補枠の表示動作が開始されると最初に、画角候補枠生成部１２１ｂがズーム情報の取得を行う（ＳＴＥＰ１）。さらに、本実施例では、画角候補枠生成部１２１ｂが対象物情報の取得をも行う（ＳＴＥＰ１ｂ）。これにより、画角候補枠生成部１２１ｂが、現在設定されているズーム倍率や上限値だけでなく、入力画像中の対象物の位置や大きさなども認識する。
本実施例では、画角候補枠生成部１２１ｂが、入力画像中の対象物が含まれるように画角候補枠を生成する（ＳＴＥＰ２ｂ）。具体的に例えば、対象物が人物の顔である場合、顔を含む領域、顔と胴体を含む領域、顔と周辺領域まで含む領域のように画角候補枠を生成する。この場合、画角候補枠の大きさと現在のズーム倍率とから、それぞれの画角候補枠に対応するズーム倍率を求めることとしても構わない。また例えば、第１実施例と同様に候補値を設定することでそれぞれの画角候補枠の大きさを設定するとともに、対象物を含む位置となるように画角候補枠を生成しても構わない。
画角候補枠表示部１２２は、第１実施例と同様に画角候補枠生成部１２１ｂによって生成された画角候補枠を入力画像に重畳させて出力画像を生成する。生成される出力画像の一例を図７（ｂ）に示す。図７（ｂ）に示す出力画像ＰＢ２は、上述の例のように、顔を含む領域の画像候補枠ＦＢ１（ズーム倍率１２倍）、顔と胴体を含む領域の画像候補枠ＦＢ２（ズーム倍率８倍）、顔と周辺領域まで含む領域の画像候補枠ＦＢ３（ズーム倍率６倍）を表示するものである。
画角候補枠ＦＢ１〜ＦＢ３は、その中心を対象物の中心と等しくさせることとすると、ズームイン後に対象物が入力画像の中心に位置するようになるため好ましい。ただし、その中心を対象物の中心と等しくすると出力画像外の画角を含んでしまう場合は、図７（ｂ）に示す画角候補枠ＦＢ３のように、出力画像ＰＢ２内に収まるように移動させた位置に生成する。または、出力画像ＰＢ２外とならない大きさの画角候補枠（例えば、ズーム倍率を６倍から７倍に変更）を生成しても構わない。
上述のように生成される出力画像が表示部に表示され（ＳＴＥＰ３）、ユーザは表示される出力画像を確認して画角候補枠の決定を行う（ＳＴＥＰ４）。ここで、ユーザによって画角候補枠が決定されなければ（ＳＴＥＰ４、ＮＯ）、画角候補枠の生成及び表示を継続する。本実施例では、入力画像中の対象物の位置に基づいて画角候補枠を生成するため、ＳＴＥＰ１ｂに戻り対象物情報を取得する。
一方、ユーザによって画角候補枠が決定されると（ＳＴＥＰ４、ＹＥＳ）、決定された画角候補枠の画角の画像が得られるようにズームインされて（ＳＴＥＰ５）、動作が終了する。例えば図７（ｂ）の画角候補枠ＦＢ１が決定された場合、ズームインによって画角候補枠ＦＢ１と略等しい画角となる図７（ｃ）の出力画像ＰＢ３が得られる。
本実施例では、対象物の位置に応じて画角候補枠ＦＢ１〜ＦＢ３の位置（即ち、ズームの中心）が決まるため、ズームインの前後で入力画像の中心が等しくならない場合も生じ得る。そのため、ＳＴＥＰ５ではこのようなズームを実行することができる電子ズームなどが行われることを想定している。
以上のように構成すると、第１実施例と同様に、ズームインの実行前にユーザがズームイン後の画角を確認することが可能となる。そのため、容易に所望の画角の画像を得ることが可能となり、ズームの操作性を向上することが可能となる。また、ズームイン中に対象物を見失うことを抑制することが可能となる。
さらに、本実施例では画角候補枠ＦＢ１〜ＦＢ３に対象物が含まれる。そのため、これらの画角の画像が得られるようにズームインを行うことで、ズームイン後の入力画像に対象物が含まれなくなることを抑制することが可能となる。
なお、本実施例で行うズーム処理として、電子ズームを用いる以外に、光学ズームを用いても構わないし、これらを併用しても構わない。光学ズームを用いる場合、ズームの前後において入力画像の中心をずらしてズームすることができる機構（例えば、レンズを光軸に沿った方向以外にも駆動できるぶれ補正機構など）を備えるものであると、好ましい。
また、光学ズームと電子ズームとを併用するズームについて、図８を参照して説明する。図８は、光学ズームと電子ズームとを併用したズームの一例を示す図である。また、図８では、ズームインにより画角Ｂ１の入力画像を得る場合について示している。
本例では、最初に光学ズームを用いてズームインを行う。図８（ａ）の入力画像ＰＢ１１に対して光学ズームによってズームインすると、中心を等しくしたままズームインされる。すると、図８（ａ）の画角Ｂ１の入力画像中に占める大きさが大きくなり、図８（ｂ）に示すように画角Ｂ１の端辺（本例では左辺）が入力画像ＰＢ１２の端辺（本例では左辺）に重なった状態となる。そして、この状態以上に光学ズームでズームインすると、画角Ｂ１の一部が入力画像外となってしまうため、これ以上のズームインは電子ズームを適用する。これによって、画角Ｂ１の入力画像ＰＢ１３を得ることができる。
このように光学ズームと電子ズームとを併用すると、電子ズーム（超解像処理やローズームなどの特殊なものを適用しない簡易な電子ズーム）にともなう画質の劣化を抑制することが可能となる。また、両方のズームを実行することができるため、実現可能なズームの範囲を広くすることが可能となる。特に、電子ズームだけではユーザが望む画角が得られない場合に光学ズームを併用する構成とすることで、ユーザが望む画角の画像を生成することが可能となる。
ところで、図８に示す例は、光学ズームを最大限利用して画質の劣化を抑制するものであるが、光学ズームを少しでも利用するものであれば、画質の劣化を抑制する効果を得ることができる。また、簡易な電子ズームが使用することで、処理時間の短縮化や低消費電力化を図ることができる。
また、第１実施例と同様に、光学ズームを利用する撮像装置１に本実施例を適用すると、ズームが容易となり失敗が抑制されるため、ズームレンズなどの駆動量が低減されて、低消費電力化を図ることができる。
また、第１実施例において述べたように、ＳＴＥＰ４で画角候補枠ＦＢ１〜ＦＢ３を決定する際に、ユーザが画角候補枠の微調整を行うことができるようにしても構わない。また、ＳＴＥＰ５でズームを実行する際に、徐々にズームしても構わないし、可能な限り速くズームしても構わない。また、動画の記録時では、ズーム中の入力画像を記録しないこととしても構わない。
また、本実施例における画角候補枠の生成方法の具体例について、以下図面を参照して説明する。図９〜図１８のそれぞれは、第２実施例の表示画像処理部における画角候補枠の生成方法の第１例〜第１０例について示す図である。なお、以下において説明する第１例〜第１０例は、組み合わせて実行することが可能である。
（第１例）
本例は、対象物の検出精度（追尾信頼度）を利用して画角候補枠の生成を行う。最初に追尾信頼度の算出方法の一例について説明する。なお、対象物の検出方法として、対象物の色情報（ＲＧＢや、Ｈ（色相）Ｓ（彩度）Ｖ（明度）のＨ）に基づいて検出を行う方法を適用する場合を、具体例として示す。
本例の追尾信頼度の算出方法では、まず入力画像を複数の小ブロックに分割し、対象物が属する小ブロック（対象物ブロック）と、他の小ブロック（背景ブロック）とを分類する。例えば、対象物の中心点から十分に離れた点に背景が現れていると考え、両点の画像特徴（輝度や色などの情報）から両点間の各位置の画素が対象物及び背景のいずれを示しているかに基づいて、分類を行う。そして、対象物の色情報と背景ブロック内の画像の色情報との差を表す色差評価値を、背景ブロック毎に算出する。背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された色差評価値をそれぞれＣDIS［１］〜ＣDIS［Ｑ］にて表す。色差評価値ＣDIS［ｉ］は、第ｉの背景ブロックに属する各画素の色情報（例えば、ＲＧＢ）を平均化して得られる（ＲＧＢ）色空間上の位置と、対象物の色情報の色空間上における位置との距離を用いて算出する。色差評価値ＣDIS［ｉ］が取りうる値の範囲は０以上１以下となるようにし、色空間は正規化されているものとする。さらに、対象物の中心と背景ブロックとの空間的な位置の差を表す位置差評価値ＰDIS［１］〜ＰDIS［Ｑ］を、背景ブロック毎に算出する。例えば位置差評価値ＰDIS［ｉ］は、対象物の中心と、第ｉの背景ブロックの４頂点の内の対象物の中心に最も近い頂点との距離を用いて算出する。位置差評価値ＰDIS［ｉ］が取りうる値の範囲は０以上１以下となるようにし、被演算画像の空間領域は正規化されているものとする。
上述のように求めた色差評価値及び位置差評価値に基づき、下記式（１）に示すように統合距離ＣＰDISを算出する。そして、統合距離ＣＰDISを用い、下記式（２）に示すように、追尾信頼度評価値ＥＶRを算出する。即ち、「ＣＰDIS＞１００」の場合は「ＥＶR＝０」とされ、「ＣＰDIS≦１００」の場合は「ＥＶR＝１００−ＣＰDIS」とする。なお、この算出方法では、主要被写体の近くに主要被写体の色と同色又は類似色の背景が存在すれば、追尾信頼度評価値ＥＶRは低くなる。即ち、追尾信頼度が小さくなる。
本例では、図９に示すように、追尾信頼度に基づいて生成する画角候補枠の大きさを決定する。具体的には、追尾信頼度が小さい（インジケータが示す値が小さい）ほど、生成する画角候補枠を大きいものとする。図９に示す例では、インジケータＩＮ２１〜ＩＮ２３の値が、図９（ａ）の出力画像ＰＢ２１、図９（ｂ）の出力画像ＰＢ２２、図９（ｃ）の出力画像ＰＢ２３の順に小さくなる。そのため、画角候補枠の大きさを、図９（ａ）のＦＢ２１１〜ＦＢ２１３、図９（ｂ）のＦＢ２２１〜ＦＢ２２３、図９（ｃ）のＦＢ２３１〜ＦＢ２３３の順に大きくする。
このように構成すると、追尾信頼度が小さいほど大きい画角候補枠を生成することとなる。そのため、追尾信頼度が小さくなったとしても、生成した画角候補枠内に対象物が含まれる可能性を高くすることが可能となる。
なお、図９（ａ）〜（ｃ）では、説明の便宜上、出力画像ＰＢ２１〜ＰＢ２３にインジケータＩＮ２１〜ＩＮ２３を表示する構成としているが、これらを表示しないこととしても構わない。
（第２例）
本例も第１例と同様に、追尾信頼度を利用する。特に、図１０に示すように、追尾信頼度に基づいて生成する画角候補枠の数を決定する。具体的には、追尾信頼度が小さいほど、生成する画角候補枠の数を少なくする。図１０に示す例では、インジケータＩＮ３１〜ＩＮ３３の値が、図１０（ａ）の出力画像ＰＢ３１、図１０（ｂ）の出力画像ＰＢ３２、図１０（ｃ）の出力画像ＰＢ３３の順に小さくなる。そのため、生成する画角候補枠の数を、図１０（ａ）のＦＢ３１１〜ＦＢ３１３（３個）、図１０（ｂ）のＦＢ３２１，ＦＢ３２２（２個）、図１０（ｃ）のＦＢ３３１（１個）の順に少なくする。
このように構成すると、追尾信頼度が小さいほど生成する画角候補枠を少なくすることとなる。そのため、追尾信頼度が小さい場合に、ユーザに画角候補枠を決定させやすくすることが可能となる。
なお、追尾信頼度の算出方法を、第１例で述べた方法としても構わない。また、第１例と同様に、図１０（ａ）〜（ｃ）の出力画像ＰＢ３１〜ＰＢ３３にインジケータＩＮ３１〜ＩＮ３３を表示しないこととしても構わない。
（第３例）
本例は、図１１に示すように、対象物の大きさに基づいて生成する画角候補枠の数を決定する。具体的には、対象物の大きさが小さいほど、生成する画角候補枠の数を少なくする。図１１に示す例では、対象物の大きさが、図１１（ａ）の出力画像ＰＢ４１、図１１（ｂ）の出力画像ＰＢ４２、図１１（ｃ）の出力画像ＰＢ４３の順に小さくなる。そのため、生成する画角候補枠の数を、図１１（ａ）のＦＢ４１１〜ＦＢ４１３（３個）、図１１（ｂ）のＦＢ４２１，ＦＢ４２２（２個）、図１１（ｃ）のＦＢ４３１（１個）の順に少なくする。
このように構成すると、対象物が小さいほど生成する画角候補枠を少なくすることとなる。そのため、対象物が小さい場合に、ユーザに画角候補枠を決定させやすくすることが可能となる。特に、対象物の大きさに応じた大きさの画角候補枠を生成する場合に本例を適用すると、対象物が小さくなることで画角候補枠が対象物付近に密集してユーザが画角候補枠を決定し難くなることを、抑制することが可能となる。
なお、第１例及び第２例と同様に、図１１（ａ）〜（ｃ）の出力画像ＰＢ４１〜ＰＢ４３にインジケータＩＮ４１〜ＩＮ４３を表示する構成としているが、インジケータＩＮ４１〜ＩＮ４３を表示しないこととしても構わない。また、本例のみを適用する場合、追尾信頼度を算出しないこととしても構わない。
（第４例）
第４例〜第１０例では、説明の具体化のため、対象物が人の顔である場合を例に挙げて説明する。なお、第４例〜第１０例について示す図１２〜図１８では、検出された顔の領域を出力画像中で特に表示しないものとしているが、顔の領域を表示しても構わない。例えば、表示画像処理部１２ｂの一部が、対象物情報に基づいて検出された顔を囲う矩形の領域を生成し、出力画像に重畳させても構わない。
また、第４例〜第６例では、入力画像中から複数の対象物が検出される場合に生成される画角候補枠について説明する。
本例は、図１２に示すように、複数の対象物Ｄ５１，Ｄ５２に基づいた画角候補枠ＦＢ５１１〜ＦＢ５１３を生成する。例えば、画角候補枠ＦＢ５１１〜ＦＢ５１３は、複数の対象物Ｄ５１，Ｄ５２の重心位置に基づいて生成される。具体的に例えば、複数の対象物Ｄ５１，Ｄ５２の重心位置と、画角候補枠ＦＢ５１１〜ＦＢ５１３の中心位置と、が略等しくなるように生成される。
このように構成すると、入力画像中から複数の対象物Ｄ５１，Ｄ５２が検出された場合に、これらの対象物Ｄ５１，Ｄ５２を含む画角を示す画角候補枠ＦＢ５１１〜ＦＢ５１３を生成することが可能となる。
なお、上述のように、ユーザが操作部１７（例えば、ズームキーやカーソルキー、決定ボタン）を操作して、仮決定している画角候補枠を順次変更することで、画角候補枠を決定しても構わない。この場合、画角候補枠の大きさ（ズーム倍率の候補値）の順に、仮決定している画角候補枠が変更されるように構成しても構わない。
具体的に例えば、図１２において、ＦＢ５１１、ＦＢ５１２、ＦＢ５１３、ＦＢ５１１、・・・、の順（または、これとは逆の順）に、仮決定している画角候補枠が変更されるように構成しても構わない。また、ユーザが操作部１７（例えば、タッチパネル）を介して任意の位置を指定し、当該位置に最も近い画角候補枠が決定または仮決定されることとしても構わない。
また、図１２では、検出された全ての対象物が含まれる画角候補枠を生成する場合について例示しているが、検出された一部の対象物が含まれる画角候補枠を生成しても構わない。例えば、入力画像の中心付近の対象物のみが含まれる画角候補枠を生成しても構わない。
また、上述のように、生成する画角候補枠ＦＢ５１１〜ＦＢ５１３のそれぞれの大きさを、現在設定されているズーム倍率とズーム倍率の上限値とから求められる候補値に対応する大きさにしても構わない。
また、第２例と同様に、生成する画角候補枠ＦＢ５１１〜ＦＢ５１３の数を、対象物Ｄ５１，Ｄ５２の一方または両方の検出精度（例えば、顔であると判別するための画像特徴と対象物を示す画像との類似度）に基づいて設定しても構わない。具体的には、検出精度が低いほど、生成する画像候補枠ＦＢ５１１〜ＦＢ５１３の数を少なくしても構わない。また第１例と同様に、検出精度が低いほど生成する画角候補枠ＦＢ５１１〜ＦＢ５１３を大きくしても構わない。また、上述のように、現在設定されているズーム倍率とズーム倍率の上限値が近いほど、生成する画像候補枠ＦＢ５１１〜ＦＢ５１３の数を少なくしても構わない。
（第５例）
本例は、図１３（ａ），（ｂ）に示すように、複数の対象物Ｄ６１，Ｄ６２のそれぞれに基づいた画角候補枠ＦＢ６１１〜ＦＢ６１３、ＦＢ６２１〜ＦＢ６２３を生成する。
画角候補枠ＦＢ６１１〜ＦＢ６１３は、対象物Ｄ６１に基づいて生成され、画角候補枠ＦＢ６２１〜ＦＢ６２３は、対象物Ｄ６２に基づいて生成される。例えば、画角候補枠ＦＢ６１１〜ＦＢ６１３は、その中心位置が対象物Ｄ６１の中心位置と略等しくなるように生成される。また例えば、画角候補枠ＦＢ６２１〜ＦＢ６２３は。その中心位置が対象物Ｄ６２の中心位置と略等しくなるように生成される。
このように構成すると、複数の対象物Ｄ６１，Ｄ６２が検出された場合に、対象物Ｄ６１を含む画角を示す画角候補枠ＦＢ６１１〜ＦＢ６１３と、対象物Ｄ６２を含む画角を示す画角候補枠ＦＢ６２１〜ＦＢ６２３と、のそれぞれを生成することが可能となる。
なお、第４例でも述べたように、ユーザが仮決定している画角候補枠を順次変更することで、画角候補枠を決定しても構わない。またこのとき、画角候補枠の大きさ（ズーム倍率の候補値）の順に、仮決定している画角候補枠が変更されるように構成しても構わない。
また、本例では、画角候補枠を優先的に生成する対象物を指定することができる。画角候補枠を優先的に生成するとは、例えば、ユーザが仮決定している画角候補枠を順次変更する場合に、指定された対象物に基づいた画角候補枠のみを生成したり、指定された対象物に基づいた画角候補枠から順に生成したりすることである。
具体的に例えば、図１３において、対象物Ｄ６１に基づく画角候補枠ＦＢ６１１〜ＦＢ６１３が優先的に生成される場合、ＦＢ６１１、ＦＢ６１２、ＦＢ６１３、ＦＢ６１１、・・・、の順（または、これとは逆の順）に、仮決定している画角候補枠が変更されるように構成しても構わない。また、ＦＢ６１１、ＦＢ６１２、ＦＢ６１３、ＦＢ６２１、ＦＢ６２２、ＦＢ６２３、ＦＢ６１１、・・・、の順や、ＦＢ６１３、ＦＢ６１２、ＦＢ６１１、ＦＢ６２３、ＦＢ６２２、ＦＢ６２１、ＦＢ６１３、・・・、の順に、仮決定している画角候補枠が変更されるように構成しても構わない。
また、画角候補枠を優先的に生成する対象物の指定方法を、例えば、ユーザが操作部１７を介して指定するなどの、手動的な方法としても構わない。また例えば、入力画像の中心に近い対象物や、ユーザが予め登録した対象物（複数の対象物に優先順位をつけて登録している場合、優先順位が高い対象物）として識別された対象物、入力画像中の大きさが大きい対象物を指定するなどの、自動的な方法としても構わない。
このように構成すると、ユーザが意図する（または、意図している可能性が高い）画角候補枠が優先的に生成される。そのため、ユーザが画角候補枠を容易に決定することが可能となる。例えば、ユーザが仮決定している画角候補枠を変更する回数を少なくすることが可能となる。
また、上述のように、生成する画角候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３のそれぞれの大きさを、現在設定されているズーム倍率とズーム倍率の上限値とから求められる候補値に対応する大きさにしても構わない。
また、第２例と同様に、生成する画角候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３のそれぞれの数を、対象物Ｄ６１，Ｄ６２のそれぞれの検出精度に基づいて設定しても構わない。具体的には、検出精度が低いほど生成する画像候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３のそれぞれの数を少なくしても構わない。また第１例と同様に、検出精度が低いほど生成する画角候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３の大きさを大きくしても構わない。また、上述のように、現在設定されているズーム倍率とズーム倍率の上限値が近いほど、生成する画像候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３のそれぞれの数を少なくしても構わない。また、画角候補枠を優先的に生成する対象物ほど、画角候補枠の数を多くしても構わない。
また、検出された対象物の関係（例えば、位置関係）により、第４例の画角候補枠ＦＢ５１１〜ＦＢ５１３を生成するか、本例の画角候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３を生成するかを決定しても構わない。具体的には、対象物の関係が密接である（例えば、位置が近い）場合、第４例の画角候補枠ＦＢ５１１〜ＦＢ５１３を生成し、対象物の関係が密接ではない（例えば、位置が遠い）場合、本例の画角候補枠ＦＢ６１１〜ＦＢ６１３，ＦＢ６２１〜ＦＢ６２３を生成しても構わない。
（第６例）
本例は、図１４に示すように、第４例や第５例で述べた仮決定している画角候補枠を変更する際の操作方法に関するものである。本例では、操作部１７がタッチパネルのような出力画像中の任意の位置を指定し得るもので構成され、ユーザが操作部１７を介して出力画像中の対象物の位置を指定した（タッチした）回数に応じて、仮決定している画角候補枠を変更する。
具体的に例えば、ユーザが、画角候補枠が生成されていない出力画像ＰＢ７０の対象物Ｄ７１の位置を指定すると、出力画像ＰＢ７１のように、対象物Ｄ７１に基づいた画角候補枠ＦＢ７１１〜ＦＢ７１３が生成される。このとき、最初に画角候補枠ＦＢ７１１が仮選択され、以降操作部１７を介して対象物Ｄ７１の位置を指定する毎に、ＦＢ７１２、ＦＢ７１３、ＦＢ７１１の順に仮決定している画角候補枠が変更される。または、最初に画角候補枠ＦＢ７１３が仮選択され、以降操作部１７を介して対象物Ｄ７１の位置を指定する毎に、ＦＢ７１２、ＦＢ７１１、ＦＢ７１３の順に仮決定している画角候補枠が変更される。
また例えば、ユーザが、画角候補枠が生成されていない出力画像ＰＢ７０の対象物Ｄ７２の位置を指定すると、出力画像ＰＢ７２のように、対象物Ｄ７２に基づいた画角候補枠ＦＢ７２１〜ＦＢ７２３が生成される。このとき、最初に画角候補枠ＦＢ７２１が仮選択され、以降操作部１７を介して対象物Ｄ７２の位置を指定する毎に、ＦＢ７２２、ＦＢ７２３、ＦＢ７２１の順に仮決定している画角候補枠が変更される。または、最初に画角候補枠ＦＢ７１３が仮選択され、以降操作部１７を介して対象物Ｄ７２の位置を指定する毎に、ＦＢ７２２、ＦＢ７２１、ＦＢ７２３の順に仮決定している画角候補枠が変更される。
また例えば、出力画像ＰＢ７１，ＰＢ７２で、ユーザが対象物Ｄ７１，Ｄ７２以外の位置を指定した場合、画角候補枠が生成されていない出力画像ＰＢ７０に戻る。また、出力画像ＰＢ７１で、ユーザが対象物Ｄ７２の位置を指定すると、対象物７２に基づいた画角候補枠ＦＢ７２１〜ＦＢ７２３が生成され、画角候補枠ＦＢ７２１〜ＦＢ７２３のいずれか（例えば、ＦＢ７２１）が仮決定される。反対に、出力画像ＰＢ７２で、ユーザが対象物Ｄ７１の位置を指定すると、対象物７１に基づいた画角候補枠ＦＢ７１１〜ＦＢ７１３が生成され、画角候補枠ＦＢ７１１〜ＦＢ７１３のいずれか（例えば、ＦＢ７１１）が仮決定される。
このように構成すると、ユーザは、出力画像中で意図する対象物の位置を指定するだけで、意図する画角候補枠を生成し、決定することが可能となる。また、出力画像中で対象物以外の位置を指定するだけで、画角候補枠の生成を停止する（表示部上で非表示にする）ことが可能となる。そのため、画角候補枠を決定するためのユーザの操作を、直感的かつ容易なものにすることが可能となる。
なお、第５例で述べたような、複数の対象物Ｄ７１，Ｄ７２のいずれかに基づく画角候補枠をＦＢ７１１〜ＦＢ７１３，ＦＢ７２１〜ＦＢ７２３を生成するものについて説明したが、第４例で述べたような、複数の対象物Ｄ７１，Ｄ７２に基づく画角候補枠を生成しても構わない。
この場合、例えば、ユーザが操作部１７を介して、対象物Ｄ７１，Ｄ７２の位置を略同時に指定したり、対象物Ｄ７１，Ｄ７２を含む範囲の外周の位置を連続的に指定（例えばタッチパネルで、対象物Ｄ７１，Ｄ７２を囲う円や矩形を描くようにタッチする）したりすることで、複数の対象物Ｄ７１，Ｄ７２に基づく画角候補枠を生成しても構わない。さらに、例えば複数の対象物Ｄ７１，Ｄ７２の重心位置や、対象物Ｄ７１，Ｄ７２を囲う矩形等の範囲内の位置をユーザが指定することで、仮決定されている画角候補枠が変更されることとしても構わない。また、複数の対象物Ｄ７１，Ｄ７２の重心位置から十分離れた位置や、対象物Ｄ７１，Ｄ７２を囲う矩形等の範囲外の位置をユーザが指定することで、画角候補枠が生成されていない出力画像ＰＢ７０に戻ることとしても構わない。
（第７例）
第７例〜第１０例では、順次生成される画角候補枠について説明する。即ち、図６のフローチャートにおいて、ユーザが画角候補枠を決定しないために（ＳＴＥＰ４、ＮＯ）、繰り返し生成される画角候補枠について（ＳＴＥＰ２ｂ）、説明する。
本例は、図１５（ａ），（ｂ）に示すように、入力画像中の対象物Ｄ８の大きさの変動に対応した画角候補枠ＦＢ８１１〜ＦＢ８１３、ＦＢ８２１〜ＦＢ８２３を生成する。例えば、対象物Ｄ８の大きさの変動量と、画角候補枠ＦＢ８１１〜ＦＢ８１３、ＦＢ８２１〜ＦＢ８２３の大きさの変動量と、を略等しいものとする。
具体的に例えば、図１５（ｂ）における入力画像中の対象物Ｄ８の大きさが、図１５（ａ）における入力画像中の対象物Ｄ８の大きさの０．７倍になる場合、図１５（ｂ）の出力画像ＰＢ８２における画角候補枠ＦＢ８２１〜ＦＢ８２３のそれぞれの大きさを、図１５（ａ）の出力画像ＰＢ８１における画角候補枠ＦＢ８１１〜ＦＢ８１３のそれぞれの大きさの０．７倍とする。
このように構成すると、画角候補枠の大きさ及び対象物Ｄ８の大きさの比率を維持することができる。そのため、ズーム後の入力画像中の対象物Ｄ８の大きさが、ズーム前の入力画像中の対象物Ｄ８の大きさに応じて変動することを抑制することが可能となる。
なお、最小の画角候補枠ＦＢ８１１，ＦＢ８２１内での対象物の大きさが一定となるようにして生成し、当該画角候補枠を基準に他の画角候補枠を求めても構わない。このように構成すると、容易に画角候補枠を生成することが可能となる。
また、本例では、入力画像中の対象物Ｄ８の大きさの変動に応じて、生成される画角候補枠の大きさが変動する。そのため、出力画像中で画角候補枠がちらつき、ユーザの操作に悪影響を及ぼす可能性がある。そこで、本例の方法で画角候補枠を生成する場合、生成する画角候補枠の数を減らして（例えば、１つにして）も構わない。このように構成すると、出力画像中での画角候補枠のちらつきを抑制することが可能となる。
また、入力画像中の対象物Ｄ８の大きさの変動量が所定の大きさ以上となったときに、画角候補枠の大きさを設定し直す構成としても構わない。このように構成しても、出力画像中での画角候補枠のちらつきを抑制することができる。
また、ユーザの事前の設定などにより、入力画像中の対象物Ｄ８の大きさの変動によらず、一定の大きさの画角候補枠が生成されるようにしても構わない。このように構成すると、ズーム後の入力画像中の背景（例えば、入力画像から対象物Ｄ８を除いた領域や、対象物Ｄ８及びその周辺領域を除いた領域）の大きさが、ズーム前の入力画像中の対象物Ｄ８の大きさに応じて変動することを抑制することが可能となる。
（第８例）
本例は、図１６（ａ），（ｂ）に示すように、入力画像中の対象物Ｄ９の位置の変動に対応した画角候補枠ＦＢ９１１〜ＦＢ９１３、ＦＢ９２１〜ＦＢ９２３を生成する。例えば、対象物Ｄ９の位置の変動量（または、対象物の移動速度とも解釈され得る）と、画角候補枠ＦＢ９１１〜ＦＢ９１３、ＦＢ９２１〜ＦＢ９２３の位置の変動量と、を略等しいものとする。
このように構成すると、画角候補枠内の対象物Ｄ９の位置を維持することができる。そのため、ズーム後の入力画像中の対象物Ｄ９の位置が、ズーム前の入力画像中の対象物Ｄ９の位置に応じて変動することを抑制することが可能となる。
なお、本例では、入力画像中の対象物Ｄ９の位置の変動に応じて生成される画角候補枠の位置が変動することで、出力画像中で画角候補枠がちらつき、ユーザの操作に悪影響を及ぼす可能性がある。そこで、本例の方法で画角候補枠を生成する場合、生成する画角候補枠の数を減らして（例えば、１つにして）も構わない。このように構成すると、出力画像中での画角候補枠のちらつきを抑制することが可能となる。
また、最小の画角候補枠ＦＢ９１１，ＦＢ９２１の外部に対象物Ｄ９の少なくとも一部が出る場合や、入力画像中の対象物Ｄ８の位置の変動量が所定の大きさ以上となった（例えば、中心位置が所定の画素数以上変動した）ときに、画角候補枠の位置を設定し直す構成としても構わない。このように構成しても、出力画像中での画角候補枠のちらつきを抑制することができる。
また、第４例でも述べたように、ユーザが仮決定している画角候補枠を順次変更することで、画角候補枠を決定しても構わない。またこのとき、画角候補枠の大きさ（ズーム倍率の候補値）の順に、仮決定している画角候補枠が変更されるように構成しても構わない。具体的に例えば、ＦＢ９１１、ＦＢ９１２、ＦＢ９２３、ＦＢ９２１、・・・、の順に、仮決定している画角候補枠を変更しても構わない（ただし、ＦＢ９１２からＦＢ９２３へ変更する間に対象物が移動して、出力画像ＰＢ９１の状態から出力画像ＰＢ９２の状態に変動したものとする）。また例えば、ＦＢ９１３、ＦＢ９１２、ＦＢ９２１、ＦＢ９２３、・・・、の順に、仮決定している画角候補枠を変更しても構わない（ただし、ＦＢ９１２からＦＢ９２１へ変更する間に対象物が移動して、出力画像ＰＢ９１の状態から出力画像ＰＢ９２の状態に変動したものとする）。
このように仮決定している画角候補枠を変更すると、対象物が移動して出力画像の状態が変動したとしても、仮決定している画角候補枠の順番を引き継ぐことができる。そのため、ユーザが画角候補枠を容易に決定することが可能となる。
また、対象物Ｄ９の位置の変動量が所定の大きさ以上となる場合は、出力画像の状態が変動（対象物の移動）する前後で、仮決定している画角候補枠の順番を引き継がない（リセットする）こととしても構わない。具体的に例えば、ＦＢ９１１、ＦＢ９２１、ＦＢ９２２、・・・、の順や、ＦＢ９１１、ＦＢ９２３、ＦＢ９２１、・・・、の順に、仮決定している画角候補枠を変更しても構わない（ただし、ＦＢ９１１からＦＢ９２１またはＦＢ９２３へ変更する間に対象物が移動して、出力画像ＰＢ９１の状態から出力画像ＰＢ９２の状態に変動したものとする）。また例えば、ＦＢ９１３、ＦＢ９２３、ＦＢ９２２、・・・、の順や、ＦＢ９１３、ＦＢ９２１、ＦＢ９２３、・・・、の順に、仮決定している画角候補枠を変更しても構わない（ただし、ＦＢ９１３からＦＢ９２３またはＦＢ９２１へ変更する間に、出力画像ＰＢ９１の状態から出力画像ＰＢ９２の状態に変動したものとする）。
このように構成すると、対象物が大きく移動して出力画像の状態が大きく変動した場合に、仮決定している画角候補枠の順番をリセットすることができる。そのため、ユーザが画角候補枠を容易に決定することが可能となる。さらに、対象物の移動後に、最大の画角候補枠が仮決定されるようにすると、移動後の対象物を精度良く仮決定中の画角候補枠に収めることが可能となる。
（第９例）
本例は、図１７（ａ），（ｂ）に示すように、入力画像中の背景（例えば、入力画像から対象物Ｄ１０を除いた領域や、対象物Ｄ１０及びその周辺領域を除いた領域）の位置の変動に対応した画角候補枠ＦＢ１０１１〜ＦＢ１０１３、ＦＢ１０２１〜ＦＢ１０２３を生成する。例えば、背景の位置の変動量と、画角候補枠ＦＢ１０１１〜ＦＢ１０１３、ＦＢ１０２１〜ＦＢ１０２３の位置の変動量と、を略等しいものとする。なお、図１７（ａ），（ｂ）に示す出力画像ＰＢ１０１，ＰＢ１０２では、対象物Ｄ１０は移動しているが、背景は移動しないものとする。
背景の位置の変動量は、例えば、順次作成される入力画像において、対象物Ｄ１０やその周辺領域を除く領域の画像の特徴（例えば、コントラストや高周波成分）を比較することで、求めることができる。
このように構成すると、画角候補枠内の背景の位置を維持することができる。そのため、ズーム後の入力画像中の背景の位置が、ズーム前の入力画像中の背景の位置に応じて変動することを抑制することが可能となる。
なお、本例では、入力画像中の背景の位置の変動に応じて生成される画角候補枠の位置が変動することで、出力画像中で画角候補枠がちらつき、ユーザの操作に悪影響を及ぼす可能性がある。そこで、本例の方法で画角候補枠を生成する場合、生成する画角候補枠の数を減らして（例えば、１つにして）も構わない。このように構成すると、出力画像中での画角候補枠のちらつきを抑制することが可能となる。
また、入力画像中の背景の位置の変動量が所定の大きさ（例えば、ユーザが撮像装置１をパンさせたと推測できる程度の大きさ）以上となる場合は、本例の方法で画角候補枠を生成しないこととしても構わない。また、例えばこの場合、出力画像中の画角候補枠の位置が一定になる（画角候補枠が移動しない）ようにしても構わない。
（第１０例）
本例は、図１８（ａ），（ｂ）に示すように、入力画像中の対象物Ｄ１１及び背景（例えば、入力画像から対象物Ｄ１１を除いた領域や、対象物Ｄ１１及びその周辺領域を除いた領域）の位置の変動に対応した画角候補枠ＦＢ１１１１〜ＦＢ１１１３、ＦＢ１１２１〜ＦＢ１１２３を生成する。例えば、上述の第８例の画角候補枠の生成方法と、第９例の生成方法と、を組み合わせた方法により、画角候補枠ＦＢ１１１１〜ＦＢ１１１３、ＦＢ１１２１〜ＦＢ１１２３を生成する。
具体的には、第８例の方法により生成される画角候補枠（例えば、図１６（ｂ）のＦＢ９２１〜ＦＢ９２３）の出力画像中の座標位置を（ｘt，ｙt）、第９例の方法により生成される画角候補枠（例えば、図１７（ｂ）のＦＢ１０２１〜ＦＢ１０２３）の出力画像中の座標位置を（ｘb，ｙb）として、本例の方法により生成される画角候補枠（例えば、図１８のＦＢ１１２１〜ＦＢ１１２３）の出力画像中の座標位置（Ｘ，Ｙ）を、下記式（３）に示すように（ｘt，ｙt）及び（ｘb，ｙb）の線形補間によって求める。なお、第８例及び第９例のそれぞれの方法で生成される画角候補枠の大きさは、略等しいものとする。
上記式（３）中のｒtは、第８例の方法により生成される画角候補枠の重みであり、値が大きくなるほど、入力画像中の対象物Ｄ１１の位置の変動量に対応した画角候補枠に近くなる。また、上記式（３）中のｒbは、第９例の方法により生成される画角候補枠の重みであり、値が大きくなるほど、入力画像中の背景の位置の変動量に対応した画角候補枠に近くなる。ただし、ｒt及びｒbのそれぞれは０以上１以下の数であり、ｒt及びｒbの和は１になるものとする。
このように構成すると、画角候補枠内の対象物Ｄ１１及び背景のそれぞれの位置を、ユーザの必要な程度だけ維持することができる。そのため、ズーム後の入力画像中の対象物Ｄ１１及び背景のそれぞれの位置を、ユーザが所望する位置にすることが可能となる。
なお、ｒt及びｒbの値を、ユーザが指定する値としても構わないし、入力画像などの状態に応じて変動する値としても構わない。ｒt及びｒbの値を変動する値とする場合、例えば、入力画像中の対象物Ｄ１１の大きさや位置などに基づいて変動させても構わない。具体的に例えば、入力画像中の対象物Ｄ１１の大きさが大きく、位置が中心に近いほど、対象物Ｄ１１が主要な被写体であると考えられるため、ｒtの値を大きくしても構わない。
このように構成すると、画角候補枠内の対象物Ｄ１１及び背景のそれぞれの位置を、入力画像の状況に応じて適応的に制御することが可能となる。そのため、ズーム後の入力画像中の対象物Ｄ１１及び背景のそれぞれの位置を、精度良くユーザが所望する位置にすることが可能となる。
また、上記式（３）により求める画角候補枠を、いずれか一つの（例えば、最小の）画角候補枠として、当該画角候補枠を基準に他の画角候補枠を求めても構わない。このように構成すると、容易に画角候補枠を生成することが可能となる。
＜第３実施例＞
表示画像処理部１２の第３実施例について説明する。図１９は、本発明の実施の一形態における撮像装置に備えられる表示画像処理部の第３実施例の構成を示すブロック図であり、第１実施例について示した図２に相当するものである。なお、図１９において、第１実施例について示した図２と同様となる部分には同様の名称及び符号を付しその詳細な説明については省略する。
図１９に示すように、本実施例の表示画像処理部１２ｃは、ズーム情報に基づいて画角候補枠の生成を行い画角候補枠情報として出力する画角候補枠生成部１２１ｃと、画角候補枠表示部１２２と、を備える。本実施例では、画角候補枠生成部１２１ｃが、画角候補枠情報をメモリ１６に対して出力するとともにズーム情報がメモリ１６に入力されて、これらの情報が記憶される点において、第１実施例と異なる。
また、本実施例の表示画像処理部１２ｃの動作について、図面を参照して説明する。図２０は、第３実施例の表示画像処理部の動作例を示すフローチャートであり、第１実施例について示した図３に相当するものである。なお、図２０において、第１実施例について示した図３と同様となる部分には同様の名称及び符号を付しその詳細な説明については省略する。
第１実施例と同様に、画像記録前のプレビュー時や動画記録時に、撮像画像処理部６から出力される入力画像がバス２０を介して表示画像処理部１２ｃに入力される。このとき、ズームインする旨の指示が、ユーザから指示部１７を介して撮像装置１に入力されなければ、表示画像処理部１２ｃは入力画像をそのまま出力画像として出力する。
一方、ユーザからズームインする旨の指示が撮像装置１に入力されると、表示画像処理部１２ｃは図２０に示す画角候補枠の表示動作を行う。画角候補枠の表示動作が開始されると最初に、画角候補枠生成部１２１ｃがズーム情報の取得を行う（ＳＴＥＰ１）。さらに、本実施例ではメモリ１６にもズーム情報が入力され、ズームインを行う前のズーム状態が記憶される（ＳＴＥＰ１ｃ）。
そして、第１実施例と同様に、画角候補枠生成部１２１ｃがズーム情報に基づいて画角候補枠を生成し（ＳＴＥＰ２）、画角候補枠表示部１２２が画角候補枠を入力画像に重畳させて出力画像を生成し、表示部で出力画像を表示する（ＳＴＥＰ３）。さらに、ユーザに画角候補枠の決定を行わせることによって（ＳＴＥＰ４、ＹＥＳ）、ズームイン後の画角（ズーム倍率）を決定する。
本実施例では、ユーザによって決定された画角候補枠を示す画角候補枠情報がメモリ１６に入力され、ズームインを行った後のズーム状態が記憶される（ＳＴＥＰ５ｃ）。そして、ＳＴＥＰ４で決定された画角候補枠の画角の画像が得られるようにズームインされて（ＳＴＥＰ５）、動作が終了する。
メモリ１６に記憶されたズームイン前後のズーム状態は、ユーザの指示によって即座に呼び出すことができるものとする。具体的に例えば、ユーザが操作部１７を構成する所定のボタンを押下するなどの操作を行うことにより、記憶したズーム状態が実現されるようにズームが行われる。
以上のように構成すると、第１実施例と同様に、ズームインの実行前にユーザがズームイン後の画角を確認することが可能となる。そのため、容易に所望の画角の画像を得ることが可能となり、ズームの操作性を向上することが可能となる。また、ズームイン中に対象物を見失うことを抑制することが可能となる。
さらに、本実施例では実行したズーム状態を記憶することで、ユーザが再度ズーム状態を調整することなく、即座に記憶したズーム状態を実現することが可能となる。そのため、頻繁に所定のズームイン及びズームアウトを繰り返すような場合であっても、迅速かつ容易にズームを行うことが可能となる。
なお、本実施例によるズーム状態の記憶を、動画の記録時にのみ行うこととしても構わない。ズームイン及びズームアウトの繰り返しを迅速かつ容易に行う要請がある場合のほとんどは動画の記録時であるため、そのような場合にのみ本実施例を適用することとしても好適に実行することができる。
また、ズームインの前後（即ち、テレ側及びワイド側）のズーム状態を一つずつ記憶するだけでなく、他のズーム状態をも記憶可能としても構わない。この場合、記憶した複数のズーム状態から所望のズーム状態を容易に決定することを可能とするために、表示部にサムネイル画像を表示可能としても構わない。このサムネイル画像は、例えば、実際にそのズーム状態で撮像した画像を記憶するとともに、当該画像を縮小することで作成することができる。
また、画角候補枠生成部１２１ｃが、第１実施例と同様にズーム情報にのみ基づいて画角候補枠を生成することとしたが、第２実施例と同様に対象物情報にも基づいて画角候補枠を生成することとしても構わない。また、本実施例で行うズームとして光学ズームを用いても構わないし、電子ズームを用いても構わない。さらに、これらを併用しても構わない。
また、第１及び第２実施例と同様に、光学ズームを利用する撮像装置１に本実施例を適用すると、ズームが容易となり失敗が抑制されるため、ズームレンズなどの駆動量が低減されて、低消費電力化を図ることができる。
＜その他適用例＞
［ズームアウトへの適用］
上述の各実施例では、主にズームインを行う場合の動作について説明したが、それぞれの実施例はズームアウトを行う場合にも適用することができる。ズームアウトを行う場合に適用する例について、図面を参照して説明する。図２１は、ズームアウトを行う場合の画角候補枠の生成方法の一例を示す図であり、ズームインを行う場合について示した図４や図７に相当するものである。なお、第１実施例の表示画像処理部１２ａを適用する場合を例に挙げて説明するものとし、図２及び図３を適宜参照する。
図２１（ａ）に示す出力画像ＰＣ１が得られている場合に、ユーザからズームアウトを行う旨の指示が撮像装置１に入力されると、ズームインを行う場合と同様に、ズーム情報の取得（ＳＴＥＰ１）や画角候補枠の生成（ＳＴＥＰ２）、画角候補枠の表示（ＳＴＥＰ
３）が行われる。ただし本例の場合、図２１（ｂ）に示すように、画角候補枠ＦＣ１〜ＦＣ３を表示した出力画像ＰＣ２の画角が、表示前の出力画像ＰＣ１の画角ＦＣ０よりも大きくなる。なお、出力画像ＰＣ２において、出力画像ＰＣ１の画角ＦＣ０についても、画角候補枠ＦＣ１〜ＦＣ３と同様に表示（例えば、画角ＦＣ０の周囲を実線や破線で表示）しても構わない。
撮像画像処理部６が、撮像により得られた画像の一部の範囲を切り出して入力画像を生成するもの（切り出した画像を拡大または縮小するものも含む）であれば、切り出す画像の範囲を広くして入力画像を生成することにより、このような出力画像ＰＣ２を生成することが可能である。なお、動画の記録時であっても、表示用の入力画像と記録用の画像とを異なるものとすることで、記録用の画像の画角に変動を生じさせずに出力画像ＰＣ２を生成することが可能である。また、プレビュー時であれば、記録用の画像を考慮せずに切り出しを行うことも可能であるし、光学ズームを利用して入力画像の画角を広げる（切り出す範囲を広くする）ことも可能である。
以下、決定（ＳＴＥＰ４）やズーム実行（ＳＴＥＰ５）については、ズームインを行う場合と同様である。例えば、ＳＴＥＰ４で画角候補枠ＦＣ３が決定されたとすると、この画角の画像が得られるようにするためにＳＴＥＰ５でズームが実行され、図２１（ｃ）に示す出力画像ＰＣ３が得られる。これにより、ズームアウトが実行されたことになる。
［再生時への適用］
上述の各実施例では、主に撮像時に適用する場合について説明したが、それぞれの実施例は、再生時に適用することも可能である。再生時に適用する場合、例えば、予め広角の画像を撮像して外部メモリ１０に記録するとともに、表示画像処理部１２が画像の一部を切り出して再生用画像を生成する構成とする。特に、切り出す画像の範囲（画角）の広狭を変更しつつ、電子ズームによって適宜拡大または縮小して一定の大きさの再生用画像を生成することによって、ズームインまたはズームアウトを実現する。なお、本例のように再生時に適用する場合、再生用画像を上述の各処理における入力画像に置き換えて、各処理を実行しても構わない。
［画角制御画像切り出し処理］
上記の［ズームアウトへの適用］及び［再生時への適用］を好適に実行可能とする、画角制御画像切り出し処理の一例を、図２２を参照して説明する。図２２は、画角制御画像切り出し処理の一例を示す図である。図２２に示すように、本例の画角制御画像切り出し処理は、広角で撮像した画像（広角画像）Ｐ１から、検出された対象物Ｔ１の位置や大きさに基づいて設定される画角Ｆ１の画像Ｐ２を切り出す。このようにして切り出し画像Ｐ２を得ることで、撮像時のユーザの負担（撮像装置１を対象物に集中して向けるなど）を軽減することを可能とするものである。
撮像時に切り出し画像Ｐ２の生成を行う場合、撮像画像処理部６が対象物Ｔ１の検出や、切り出し画像Ｐ２を得るための切り出し処理を行う。この場合例えば、切り出し画像Ｐ２だけでなく、広角画像Ｐ１または広角画像Ｐ１を縮小した縮小画像Ｐ３も併せて、順次外部メモリ１０に記録することとしても構わない。縮小画像Ｐ３を記録する場合、記録に要するデータ量を低減することが可能となる。一方、広角画像Ｐ１を記録する場合、縮小に伴う画質の劣化を抑制することが可能となる。
本例の画角制御画像切り出し処理では、切り出し画像Ｐ２を生成する前提として広角画像Ｐ１を生成する。そのため、上述した各実施例のズームイン時の動作だけでなく、［ズームアウトへの適用］において説明したようなズームアウト時の動作を行うことも可能となる。
また同様に、［再生時への適用］において説明したような再生時の動作を行うことも可能である。例えば、原則として切り出し画像Ｐ２を再生することとする。このとき、再生中にズームインをする場合は、切り出し画像Ｐ２のみで足りる。一方、ズームアウトをする場合は、上述のように切り出し画像Ｐ２の画角Ｆ１よりも広角の画像が必要となる。ここで、広角の画像として外部メモリ１０に記録した広角画像Ｐ１または縮小画像Ｐ３を利用できることは言うまでもないが、切り出し画像Ｐ２と縮小画像Ｐ３を拡大した画像との合成画像Ｐ４を利用することもできる。合成画像Ｐ４とは、切り出し画像Ｐ２の画角Ｆ２の外側となる画角を、拡大した縮小画像Ｐ３によって補ったものである。合成画像Ｐ４を利用することとすると、外部メモリ１０に記録するデータ量を低減するとともに、対象物Ｔ１の周囲の画質を維持したまま画角を広げた画像を得ることが可能となる。
なお、再生時に切り出し画像Ｐ２の生成を行う構成とすることも可能である。この場合、広角画像Ｐ１または縮小画像Ｐ３を外部メモリ１０に記録して、表示画像処理部１２が、対象物Ｔ１の検出や、切り出し画像Ｐ２を生成するための切り出しを行うこととしても構わない。
＜電子ズーム＞
上述の説明中の電子ズームを、以下に示す種々の電子ズームを用いて実現しても構わない。
［ローズーム］
図２３は、ローズームの一例を示す図である。図２３に示すように、ローズームは、撮像により高解像度（例えば８Ｍピクセル）の撮像画像Ｐ１０を作成し、撮像画像Ｐ１０の一部（例えば６Ｍピクセル）または全部を切り出して切り出し画像Ｐ１１を生成するとともに、切り出し画像Ｐ１１を縮小（例えば、１／３倍の２Ｍピクセルまで画素加算や間引き処理を行って縮小）して目的画像Ｐ１２を得る処理である。
ユーザからズームインを行う指示が入力されて、電子ズームによって目的画像Ｐ１２の一部の画角Ｆ１０の画像が必要となる場合、目的画像Ｐ１２の画角Ｆ１０となる一部を拡大して得られる目的画像Ｐ１３は、縮小及び拡大処理をともなうため、切り出し画像Ｐ１１（撮像画像Ｐ１０）よりも画質が劣化したものとなる。
しかしながら、切り出し画像Ｐ１１から画角Ｆ１０の画像を直接切り出して目的画像Ｐ１４を生成する、または、直接切り出した画角Ｆ１０の画像を拡大または縮小して目的画像を生成することとすれば、上記のような無用な縮小及び拡大処理をともなわずに目的画像Ｐ１４を生成することができる。したがって、画質の劣化を抑制した目的画像Ｐ１４を生成することが可能となる。
なお、上記の解像度の例の場合では、目的画像Ｐ１２を３倍に拡大するまで（画角Ｆ１０が目的画像Ｐ１２の１／３以上）であれば、切り出し画像Ｐ１１の画質から劣化させずに目的画像Ｐ１４を得ることができる。
［超解像処理］
図２４は、超解像処理の一例を示す図である。図２４（ａ），（ｂ）は、撮像により得られた画像の一部を示したものであり、略等しい画角Ｆ２０を示すものであるが、異なる時間（例えば連続的）に撮像されて得られたものである。そのため、これらの画像の位置合わせを行い、略等しい画角Ｆ２０としてこれらの画像を比較すると、大抵の場合、画素の中心位置（図中の黒丸）がそれぞれずれたものとなる。
本例では、図２４（ａ），（ｂ）に示すような、略等しい画角Ｆ２０を示すものであって画素の中心位置が等しくないものを適宜組み合わせる。これによって、図２４（ｃ）に示すような画素間の情報を補って高解像度化した画像を得ることができる。
したがって、ユーザからズームインを行う指示が入力されて画像の一部を拡大する必要が生じたとしても、図２４（ｃ）に示す高解像度化した画像を用いてその一部を拡大することにより、画質の劣化を抑制した画像を得ることが可能となる。
なお、上述したローズーム、超解像処理の方法は一例に過ぎず、他の公知の方法を適用しても構わない。
＜画角候補枠の表示方法例＞
出力画像に表示する画角候補枠の表示方法の種々の例について、図２５及び図２６を参照して説明する。図２５及び図２６は、画角候補枠の種々の表示例について説明する出力画像の例を示す図である。なお、図２５（ａ）〜（ｃ）及び図２６は、それぞれ異なる表示方法例について示したものであり、図４（ｂ）に相当するものである。特に、入力画像の画角及び画角候補枠の生成される位置（それぞれに対応するズーム倍率）や数が、図２５（ａ）〜（ｃ）及び図２６と図４（ｂ）とでそれぞれ等しいものとする。なお、上述した第１実施例に適用する場合を例に挙げて説明するが、他の実施例についても同様に適用可能である。
図２５（ａ）は、画角候補枠ＦＤ１〜ＦＤ３の四隅のみを表示した出力画像ＰＤ２について示している。また、図４（ｂ）と同様に、仮決定中の画角候補枠ＦＤ３を強調表示（例えば、太線表示）し、他の画角候補枠ＦＤ１，ＦＤ２を強調せずに表示（例えば、細線表示）する場合について示している。
このような方法で表示すると、画角候補枠ＦＤ１〜ＦＤ３が表示される部分を小さくすることができる。そのため、画角候補枠ＦＤ１〜ＦＤ３によって出力画像ＰＤ２の下地となる画像（入力画像）が見えにくくなることを抑制することが可能となる。
図２５（ｂ）は、仮決定中の画角候補枠ＦＥ３のみを表示した出力画像ＰＥ２について示している。ただし、図４（ｂ）とは異なり、仮決定されていない画角候補枠（図４（ｂ）や図２５（ａ）と同様に表現するならばＦＥ１，ＦＥ２）は、非表示（生成されない）となっている。ただし、生成されない画角候補枠ＦＥ１，ＦＥ２であっても、ユーザが仮決定する画角候補枠を切り替えることで表示される（生成される）。したがって、本例の表示方法は、仮決定中ではない画角候補枠ＦＥ１，ＦＥ２を非表示にする表示方法と解釈することもできる。
このような方法で表示すると、画角候補枠ＦＥ１〜ＦＥ３が表示される部分（即ち、ＦＥ３のみ）を小さくすることができる。そのため、画角候補枠ＦＥ１によって出力画像ＰＥ２の下地となる画像（入力画像）が見えにくくなることを抑制することが可能となる。
図２５（ｃ）は、図４（ｂ）と同様の画角候補枠ＦＡ１〜ＦＡ３を表示する出力画像ＰＦ２について示している。ただし、画角候補枠ＦＡ１〜ＦＡ３のそれぞれの隅に、それぞれの画角候補枠ＦＡ１〜ＦＡ３に対応する候補値（ズーム倍率）Ｍ１〜Ｍ３を表示する。なお、上述の二次決定を行う場合、画角候補枠ＦＡ１〜ＦＡ３の変形（微調整）に伴って、ズーム倍率Ｍ１〜Ｍ３の値を増減して表示しても構わないし、非表示としても構わない。また、光学ズームのズーム倍率と電子ズームのズーム倍率とを分けて表示しても構わないし、合算して表示しても構わない。
このような方法で表示すると、画角候補枠ＦＡ１〜ＦＡ３を決定する場合に、ユーザがズーム倍率を認識することが可能となる。そのため、例えばズーム後のぶれの大きさ（対象物の見失いやすさ）や画質の劣化などのズーム後の状態を、ユーザが事前に把握することが可能となる。
図２６は、図４（ｂ）と同様の画角候補枠ＦＡ１〜ＦＡ３を表示する出力画像ＰＧ２について示している。ただし、仮決定中の画角候補枠ＦＡ３の外側を、表示部においてグレーアウト表示されるように調整する。具体的に例えば、仮決定中の画角候補枠ＦＡ３の外側の画像が、無彩色に近づき輝度が大きくなる（または、小さくなる）ように、調整する。
なお、仮決定中の画角候補枠ＦＡ３の内外の調整方法が異なれば、グレーアウト以外のどのような調整方法を採用しても構わない。例えば、仮決定中の画角候補枠ＦＡ３の外側が全て一定の色になるように調整する塗りつぶしや、仮決定中の画角候補枠ＦＡ３の外側に斜線などが付加されたように調整するハッチングなどの調整方法を採用しても構わない。ただし、仮決定中の画角候補枠ＦＡ３の内側をユーザに認識させやすくするために、外側にのみ上述のような特殊な調整方法を採用すると好ましい。
このような方法で表示すると、仮決定中の画角候補枠ＦＡ１〜ＦＡ３の内外が、明瞭に区別されて表示される。そのため、仮決定中の画角候補枠ＦＡ１〜ＦＡ３内（即ち、ズーム後の画角）を、ユーザが容易に認識することが可能となる。
なお、図２５（ａ）〜（ｃ）及び図２６に示した方法を組み合わせても構わない。全てを組み合わせる場合、例えば、仮決定中の画角候補枠のみを四隅表示して、その画角候補枠の隅にズーム倍率を表示し、仮決定中の画角候補枠の外側をグレーアウト表示することとしても構わない。
＜＜その他の変形例＞＞
また、本発明の実施の一形態における撮像装置１について、撮像画像処理部６、表示画像処理部１２の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、当該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図１の撮像装置１や撮像画像処理部６、図１、図２、図５及び図１９の表示画像処理部１２，１２ａ〜１２ｃは、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や撮像画像処理部６、表示画像処理部１２ａ〜１２ｃを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
以上、本発明の実施の一形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
本発明は、本発明は、ズーム状態を制御して所望の画角を得る撮像装置に利用可能である。特に、表示部に表示された画像に基づいてユーザがズームの調整を行う撮像装置に適用すると好適である。
１ 撮像装置
２ イメージセンサ
３ レンズ部
Ｓ 撮像部
４ ＡＦＥ
５ 集音部
６ 撮像画像処理部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２，１２ａ〜１２ｃ 表示画像処理部
１２１ａ〜１２１ｃ 画角候補枠生成部
１２２ 画角候補枠表示部
１３ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス

Claims (13)

  1. 撮像して入力画像を順次作成するとともに、入力画像の画角が変更可能である入力画像作成部と、
    画角が変更された場合に作成され得る新たな入力画像の画角を示す画角候補枠を生成し、入力画像に重畳させて出力画像を生成する表示画像処理部と、
    を備えることを特徴とする撮像装置。
  2. 画角候補枠を決定する操作部をさらに備え、
    前記入力画像作成部が、前記操作部によって決定された画角候補枠が示す画角と略等しい画角となる新たな入力画像を作成することを特徴とする請求項１に記載の撮像装置。
  3. 入力画像中の対象物を検出する対象物検出部をさらに備え、
    前記表示画像処理部が、前記対象物検出部により検出される対象物の入力画像中の位置に基づいて、生成する画角候補枠の位置を決定することを特徴とする請求項１または請求項２に記載の撮像装置。
  4. 前記対象物検出部による対象物の検出精度及び対象物の大きさの少なくとも一方に基づいて、前記表示画像処理部が生成する画角候補枠の数及び大きさの少なくとも一方が決定されることを特徴とする請求項３に記載の撮像装置。
  5. 前記対象物検出部が、入力画像中から複数の対象物を検出する場合、
    前記表示画像処理部が、当該複数の対象物の少なくとも１つを含む画角候補枠を生成する、または、当該複数の対象物のいずれか１つを含む画角候補枠を生成することを特徴とする請求項３または請求項４に記載の撮像装置。
  6. 画角候補枠を決定するとともに、出力画像中の任意の位置を指定可能な操作部をさらに備え、
    前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、
    前記操作部により、前記対象物検出部により検出された対象物の出力画像中の位置が指定されると、前記表示画像処理部が、当該対象物を含む画角候補枠を生成し、
    前記操作部により、当該対象物の出力画像中の位置がさらに指定されると、前記表示画像処理部が、当該対象物を含む画角候補枠の中で仮決定される画角候補枠を変更することを特徴とする請求項３〜請求項５のいずれかに記載の撮像装置。
  7. 前記操作部により、前記対象物検出部により検出された対象物以外の出力画像中の位置が指定されると、前記表示画像処理部が、画角候補枠の生成を停止することを特徴とする請求項６に記載の撮像装置。
  8. 画角候補枠を決定する操作部をさらに備え、
    前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、
    前記表示画像処理部が生成する画角候補枠の大きさの順に、仮決定される画角候補枠が変更されることを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。
  9. 画角候補枠を決定する操作部をさらに備え、
    前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、
    前記表示画像処理部が、生成する画角候補枠の中で仮決定されているものを、入力画像に重畳させて出力画像を生成することを特徴とする請求項１〜請求項８のいずれかに記載の撮像装置。
  10. 画角候補枠を決定する操作部をさらに備え、
    前記表示画像処理部が生成する画角候補枠のいずれか１つが仮決定され、前記操作部の操作により仮決定される画角候補枠が変更可能であり、
    前記表示画像処理部が、仮決定されている画角候補枠の内外で調整方法が異なる出力画像を生成することを特徴とする請求項１〜請求項９のいずれかに記載の撮像装置。
  11. 前記入力画像作成部が、光学ズーム及び電子ズームの少なくとも一方を用いて順次作成される入力画像の画角を変更し得るものであり、
    前記入力画像作成部が、現在作成している入力画像よりも狭い画角となる新たな入力画像を作成する際に、
    前記光学ズームを用いて撮像により得られる画像を拡大し、当該拡大されて得られた画像の一部を前記電子ズームを用いてさらに拡大することを特徴とする請求項１〜請求項１０のいずれかに記載の撮像装置。
  12. 前記入力画像作成部が、入力画像作成時のズーム状態を変更し得るものであり、
    前記入力画像作成部が前記ズーム状態を変更する場合に、変更前後のそれぞれの前記ズーム状態を記憶する記憶部をさらに備え、
    前記入力画像作成部が、前記記憶部に記憶された前記ズーム状態を読み出すことで、前記ズーム状態を変更し得るものであることを特徴とする請求項１〜請求項１１のいずれかに記載の撮像装置。
  13. 前記入力画像作成部が、撮像により順次得られる画像の一部の範囲を切り出して入力画像を順次生成するものであり、
    前記入力画像作成部が、撮像により得られる画像から切り出す範囲を大きくすることにより、現在作成している入力画像の画角よりも広い画角となる新たな入力画像を作成し、
    前記表示画像処理部が、前記現在作成している入力画像の画角よりも広い画角を示す新たな画角候補枠を生成して、前記新たな入力画像に重畳させて新たな出力画像を生成することを特徴とする請求項１〜請求項１２のいずれかに記載の撮像装置。
JP2010087280A 2009-04-30 2010-04-05 撮像装置 Pending JP2010279022A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010087280A JP2010279022A (ja) 2009-04-30 2010-04-05 撮像装置
US12/770,199 US20100277620A1 (en) 2009-04-30 2010-04-29 Imaging Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009110416 2009-04-30
JP2010087280A JP2010279022A (ja) 2009-04-30 2010-04-05 撮像装置

Publications (1)

Publication Number Publication Date
JP2010279022A true JP2010279022A (ja) 2010-12-09

Family

ID=43030102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010087280A Pending JP2010279022A (ja) 2009-04-30 2010-04-05 撮像装置

Country Status (2)

Country Link
US (1) US20100277620A1 (ja)
JP (1) JP2010279022A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187626A (ja) * 2012-03-06 2013-09-19 Canon Inc 撮像装置
JP2014014048A (ja) * 2012-07-05 2014-01-23 Canon Inc 撮像装置及びその制御方法
JP2014179942A (ja) * 2013-03-15 2014-09-25 Olympus Corp 撮影機器及び撮影方法
JP2014215564A (ja) * 2013-04-26 2014-11-17 キヤノン株式会社 撮像装置及びその制御方法
JP2015198408A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016059061A (ja) * 2015-11-26 2016-04-21 キヤノン株式会社 撮像装置及びその制御方法
WO2020003630A1 (ja) * 2018-06-28 2020-01-02 株式会社カーメイト 画像処理装置、画像処理方法、ドライブレコーダー
JP2021027522A (ja) * 2019-08-07 2021-02-22 キヤノン株式会社 撮像装置及びその制御方法
WO2023189829A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147109A (ja) * 2009-12-16 2011-07-28 Canon Inc 撮像装置及び画像処理装置
JP5620142B2 (ja) * 2010-04-28 2014-11-05 オリンパスイメージング株式会社 撮像装置および撮像方法
JP5834232B2 (ja) * 2011-01-17 2015-12-16 パナソニックＩｐマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP5625976B2 (ja) * 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
US9137444B2 (en) * 2011-09-26 2015-09-15 Sony Corporation Image photography apparatus for clipping an image region
JP6088733B2 (ja) * 2011-11-29 2017-03-01 オリンパス株式会社 撮像装置
JP5660067B2 (ja) * 2012-03-21 2015-01-28 カシオ計算機株式会社 画像検索システム、画像検索装置、画像検索方法、及びプログラム
JP2014071854A (ja) * 2012-10-02 2014-04-21 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2014107641A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
JP2014241547A (ja) * 2013-06-12 2014-12-25 ソニー株式会社 表示制御装置、表示制御方法、プログラムおよび撮像装置
JP6307942B2 (ja) * 2014-03-05 2018-04-11 セイコーエプソン株式会社 撮像装置及び撮像装置の制御方法
JP6371656B2 (ja) * 2014-09-26 2018-08-08 キヤノン株式会社 画像再生装置、画像再生方法およびプログラム、並びに撮像装置
FR3030086A1 (fr) * 2014-12-16 2016-06-17 Orange Controle de l'affichage d'une image representative d'un objet capture par un dispositif d'acquisition d'images
KR20170016211A (ko) 2015-08-03 2017-02-13 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
WO2017086065A1 (ja) * 2015-11-17 2017-05-26 富士フイルム株式会社 撮影装置及びその制御方法
JP6930541B2 (ja) * 2016-08-19 2021-09-01 ソニーグループ株式会社 画像処理装置および画像処理方法
GB2554990B (en) * 2016-08-30 2019-09-18 Canon Kk Image processing apparatus
CN109344762B (zh) * 2018-09-26 2020-12-18 北京字节跳动网络技术有限公司 图像处理方法和装置
JP6975205B2 (ja) * 2019-06-25 2021-12-01 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
EP4024843A4 (en) * 2019-08-29 2022-08-31 SZ DJI Technology Co., Ltd. DISPLAY METHOD, PHOTOGRAPHING METHOD AND RELATED DEVICE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001074999A (ja) * 1999-06-28 2001-03-23 Canon Inc レンズ装置、レンズ駆動ユニットおよびカメラシステム
JP2006174023A (ja) * 2004-12-15 2006-06-29 Canon Inc 撮影装置
JP2008244586A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 映像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4780735A (en) * 1985-08-29 1988-10-25 Minolta Camera Kabushiki Kaisha Photographic camera
JP4553994B2 (ja) * 1998-03-10 2010-09-29 株式会社ニコン 電子スチルカメラ
JP4515559B2 (ja) * 1999-08-24 2010-08-04 富士フイルム株式会社 画像データ記録装置および方法ならびにズーム画像再生装置および方法
JP2001169155A (ja) * 1999-12-14 2001-06-22 Minolta Co Ltd デジタルカメラおよび記録媒体
JP4443735B2 (ja) * 2000-07-11 2010-03-31 富士フイルム株式会社 撮像装置およびその動作制御方法
JP3480446B2 (ja) * 2001-01-11 2003-12-22 ミノルタ株式会社 デジタルカメラ
JP2002314868A (ja) * 2001-04-13 2002-10-25 Olympus Optical Co Ltd 撮像装置
JP4379728B2 (ja) * 2005-01-31 2009-12-09 カシオ計算機株式会社 撮像装置及びそのプログラム
US8106956B2 (en) * 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
JP4956988B2 (ja) * 2005-12-19 2012-06-20 カシオ計算機株式会社 撮像装置
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001074999A (ja) * 1999-06-28 2001-03-23 Canon Inc レンズ装置、レンズ駆動ユニットおよびカメラシステム
JP2006174023A (ja) * 2004-12-15 2006-06-29 Canon Inc 撮影装置
JP2008244586A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 映像処理装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187626A (ja) * 2012-03-06 2013-09-19 Canon Inc 撮像装置
JP2014014048A (ja) * 2012-07-05 2014-01-23 Canon Inc 撮像装置及びその制御方法
JP2014179942A (ja) * 2013-03-15 2014-09-25 Olympus Corp 撮影機器及び撮影方法
JP2014215564A (ja) * 2013-04-26 2014-11-17 キヤノン株式会社 撮像装置及びその制御方法
JP2015198408A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016059061A (ja) * 2015-11-26 2016-04-21 キヤノン株式会社 撮像装置及びその制御方法
WO2020003630A1 (ja) * 2018-06-28 2020-01-02 株式会社カーメイト 画像処理装置、画像処理方法、ドライブレコーダー
JP2020005148A (ja) * 2018-06-28 2020-01-09 株式会社カーメイト 画像処理装置、画像処理方法、ドライブレコーダー
JP7198599B2 (ja) 2018-06-28 2023-01-04 株式会社カーメイト 画像処理装置、画像処理方法、ドライブレコーダー
JP2021027522A (ja) * 2019-08-07 2021-02-22 キヤノン株式会社 撮像装置及びその制御方法
JP7296817B2 (ja) 2019-08-07 2023-06-23 キヤノン株式会社 撮像装置及びその制御方法
WO2023189829A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20100277620A1 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
JP2010279022A (ja) 撮像装置
JP5202283B2 (ja) 撮像装置及び電子機器
US10469767B2 (en) Information processing apparatus, method, and non-transitory computer-readable medium
JP4623193B2 (ja) 撮像装置、撮像方法、及びプログラム
JPH104531A (ja) 情報処理装置
US8837864B2 (en) Image synthesis and rotation processing apparatus and image synthesis processing method
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP4767838B2 (ja) 撮像装置および撮像方法
JP2009031979A (ja) 画像処理装置およびデジタルカメラ
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP2009159550A (ja) 撮像装置
JP2010161760A (ja) 画像処理装置及び電子機器
JP2010103884A (ja) 画像処理装置、画像処理方法及び電子機器
JP2011114823A (ja) 画像処理装置及び撮像装置
JP2012222495A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2003274254A (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2013239961A (ja) 動画撮像装置、動画像電子ズーム方法
JP2013165488A (ja) 画像処理装置、撮像装置、およびプログラム
JP2009081530A (ja) 撮像装置、及び撮影方法
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP2006287747A (ja) 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
JP5959194B2 (ja) 撮像装置
JP2007178735A (ja) 撮像装置、ズーム時の画角表示方法、およびプログラム
CN112422782B (zh) 显示控制设备及其控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130312

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140401