JP2005311888A - 拡大表示装置及び拡大画像制御装置 - Google Patents

Abstract

【課題】 ユーザにとって注目すべき被写体の拡大画像を容易に表示可能とする装置を提供すること。
【解決手段】 画面に表示される画像の中から、人の顔などの注目被写体を検出し、検出された注目被写体の位置や大きさ等に従って、この注目被写体を拡大表示するための表示領域や拡大率を決定する。そして、決定された表示領域や拡大率に従って画面に拡大表示を行う。複数の注目被写体が画像中に存在する場合には、注目被写体を複数の集合として分類し、集合毎に拡大表示を行っても良い。
【選択図】 図１

Description

本発明は、画像を表示する機能を備える装置（情報処理装置や携帯電話機や携帯型情報処理装置など）に適用されて有効な技術に関する。

近年、デジタルカメラ等の撮像装置や、これら撮像装置を備えた機器（携帯電話機やＰＤＡ（Personal Digital Assistant）等の情報処理装置など）の小型化が進められている。これらの機器の小型化に伴い軽量化や携帯性などユーザにとっての利便性が向上されているが、小型化による問題も生じている。

一般的に、撮像装置等には表示装置が搭載され、ユーザは、撮影した画像をその表示装置に再生表示させる事によって確認することが可能となっている。しかし、撮像装置等の小型化に伴いこれらの表示装置もまた小型化され、撮像された画像を細部まで確認する事が困難となっている。

確かに、小型化された表示装置であっても、ユーザが意図した被写体が画像枠内に撮像されたか否か、画像全体が白飛びしているか否かなど、おおまかな構図などの確認をすることは可能であった。しかし、小型化された従来の表示装置では、注目被写体の画像に手ぶれが生じているか否か、注目被写体の眼が開いているか否かなど、画像の一部を細かく確認することは困難であった。

従来、このような問題を解決するために、拡大再生機能が提案されていた。従来の拡大再生機能では、ユーザが拡大再生を指示することにより、初期設定位置（通常は画面中央）が予め定められた所定の倍率で表示装置に拡大表示される。そして、カーソルキーなどをユーザが押下することにより、予め定められた所定の移動幅などで拡大部分が縦横に移動され、注目被写体の細部まで確認することが可能となっている。

しかし、注目被写体は必ずしも初期設定位置に撮像されているとは限らない。このためユーザは、拡大再生を指示した時点で注目被写体が拡大表示されなかった場合、カーソルキーなどを何度も押下することによって、拡大された表示の中から注目被写体を探し出さなければならなかった。従って、画像の確認に多くの時間と手間を要していた。

このような問題を解決する技術として以下のようなものがある。デジタルカメラで被写体を撮像するとき、拡大領域設定部で表示部の全体表示領域の拡大する画像領域を特定するマーカの位置を設定して画像処理部に入力する。画像処理部は表示部の入力された位置にマーカを表示して拡大する画像領域を特定する。ピント合わせ動作が開始されると、画像処理部はフレームメモリに格納した画像データの全体を読み出して表示部の全体表示領域に表示し、引き続きマーカで特定された拡大する画像領域の画像データを読み出し、所定の倍率で拡大して表示部の拡大表示領域に表示する（特許文献１参照）。

また、同様の問題を解決する技術として以下のようなものもある。シャッターボタン無押し状態では液晶表示装置に二次元撮像素子で撮像した撮影対象の全体画像を液晶表示装置の解像度で表示する。シャッターボタンが半押し状態となったならば、予めユーザに設定されたフォーカスエリア中心周辺の領域の二次元撮像素子で撮像した画像を、より高解像度で拡大表示エリア中に表示する。また、拡大表示エリアに画像を表示する撮影対象全体中の位置や、画像拡大表示エリアに表示する画像の解像度は、ユーザ操作に応じて随時変更する。そして、シャッターボタンが全押し状態となったならば、二次元撮像素子で撮
像した、記録画像用の解像度による、撮影対象の全体画像を、圧縮符号化し、記録メディアに記録する（特許文献２参照）。
特開２０００−０７８４４５号公報 特開２００３−１７９７９８号公報

しかし、小型化された撮像装置等には、マウス等の利便性の高いポインティングデバイスは備えられていない。そもそも小型化されたこれらの機器におけるユーザインタフェース装置は、決して操作性の良いものではなかった。従って、これら従来の技術において、小型化された撮像装置におけるユーザインタフェース装置を操作することにより拡大位置を示す表示枠（マーカ，拡大表示エリア）の位置を指定することは、ユーザにとって面倒な作業となり、その操作に多くの時間を要する結果を招いていた。また、ユーザにとって注目すべき被写体と自動的に拡大表示される被写体（例えば合焦対象となる被写体）とが異なる場合やユーザにとって注目すべき被写体が複数ある場合には、その都度表示枠の位置を設定し直す必要があり、それらの操作に多くの時間を要するという問題があった。

そこで本発明はこれらの問題を解決し、合焦対象となる被写体がユーザにとって注目すべき被写体であるか否かやその数などに関わらず、ユーザにとって注目すべき被写体の拡大画像を容易に表示可能とする装置を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、拡大表示装置であって、画像を表示する表示手段，表示手段に表示される画像又は表示されている画像から注目被写体を検出する検出手段，検出手段によって検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定する表示領域決定手段，及び、決定された表示領域の大きさと表示手段が表示を行うための画面の大きさとに基づいて表示領域の拡大率を決定する拡大率決定手段を備える。そして、表示手段は表示領域決定手段及び拡大率決定手段により決定される表示領域及び拡大率に従った表示を行う。

このような注目被写体の例として、人間の顔がある。この場合、検出手段は、人の顔を検出するための顔検出手段として構成されても良い。また、注目被写体は、人の顔に限らず自動車や文字など、どのような被写体であっても良い。

このように構成された拡大表示装置では、表示手段の画面に表示される画像は、その画像全体ではなく、検出手段によって検出された注目被写体を拡大した画像となる。このとき、表示領域や拡大率は、検出手段，表示領域決定手段，拡大率決定手段によって決定される。従って、ユーザは、画像全体が表示される場合に比べて注目被写体の画像を詳細に確認することが可能となる。また、ユーザは、拡大表示が行われる際に表示領域や拡大率について判断や操作を行う必要がないため、注目被写体の拡大表示を容易に見る事が可能となる。

拡大表示する機能は撮像装置で撮像する時点で機能しても良いし、撮影済みの画像を確認する時点で機能しても良い。どちらの場合であっても、特定被写体を拡大することにより、特定被写体に焦点が合っているか、または特定被写体の詳細を容易に確認する事が可能となる。

本発明の第一の態様は、ユーザが操作を行う必要がないという点で、例えば操作部分などが不便な装置（例えば操作部分などが小型化された装置など：具体的には、携帯電話機
，デジタルカメラなどの撮像装置，ＰＤＡ等の携帯情報処理端末装置など）に適用されても良い。また、このような操作部分が不便な装置に限らず、通常の情報処理装置に適用されても、ユーザは注目被写体について簡単に拡大表示を見る事が可能となるため、本発明の第一の態様は効果を奏する。

また、本発明の第一の態様は、表示手段に拡大表示されている注目被写体に含まれる次の注目被写体について拡大表示を行うことを示す命令を受け付けるための受付手段をさらに備えるように構成されても良い。そして、受付手段により命令が受け付けられた場合、検出手段は既に表示手段に拡大表示されている注目被写体から次の注目被写体を検出し、表示領域決定手段は次の注目被写体についての表示領域を決定し、拡大率決定手段は次の注目被写体についての拡大率を決定し、表示手段は次の注目被写体を新たに決定された表示領域及び拡大率に従い表示するように構成されても良い。

このように構成された本発明の第一の態様では、ある注目被写体が拡大表示された後に、その注目被写体に含まれる次の注目被写体について同様の拡大表示が行われる。例えば注目被写体が人の顔である場合には、この顔に含まれる目（両目又は片目），鼻，眉，口又はこれらの周囲を含む部分が、次の注目被写体として拡大表示されるように構成されても良い。このように構成されることにより、撮像される又は撮像された画像について詳細なピントの確認をすることが可能となる。また、例えば注目被写体が自動車である場合には、運転座席付近やナンバープレートなどが次の注目被写体として拡大表示されるように構成されても良い。このように構成されることにより、自動車に関する重要情報の確認を容易にすることが可能となる。

また、次の注目被写体が拡大表示された後、さらに次の被写体について拡大表示が繰り返し行われても良い。例えば次の注目被写体として目の周囲が拡大表示された場合、さらに次の注目被写体として、拡大表示された目に含まれる瞳や白目部分などが拡大表示されても良い。また、例えば次の注目被写体として自動車の運転座席付近が拡大表示された場合、運転座席の人物の顔がさらに次の注目被写体として拡大表示されても良い。

また、本発明の第一の態様は、表示手段に拡大表示されている注目被写体と異なる注目被写体について拡大表示を行うことを示す命令を受け付けるための受付手段をさらに備えるように構成されても良い。そして、受付手段により前記命令が受け付けられた場合、検出手段によって検出された注目被写体のうち、表示手段に拡大表示されていない注目被写体に関する、表示領域手段及び拡大率決定手段の処理結果である表示領域及び拡大率に従った表示を表示手段が行うように構成されても良い。

このように構成された本発明の第一の態様では、ユーザは、既に表示手段によって表示されている注目被写体と異なる注目被写体について拡大表示を望む場合、受付手段を用いてその旨の命令を入力するのみでよい。従って、ユーザは、異なる注目被写体に対しカーソルを合わせる等の位置指定処理を行う必要はなく、さらに異なる注目被写体に応じた拡大率の設定なども行う必要がない。従って、ユーザは、表示手段に表示されているのと異なる注目被写体について、容易に拡大表示を見る事が可能となる。

また、本発明の第一の態様は、検出手段によって複数の注目被写体が検出された場合に、検出された複数の注目被写体を複数の集合に分類する分類手段をさらに備えるように構成されても良い。この場合、表示領域決定手段は、分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定する。分類手段は、例えば各注目被写体が位置する画像中の領域や、各注目被写体同士の位置関係などに応じて分類を行うように構成される。また、表示領域決定手段は、例えば、同一の集合に分類された全ての注目被写体が表示領域内に収まるように表示領域を決定する。

このように構成された本発明の第一の態様では、複数の注目被写体が複数の集合に分類され、集合毎に１以上の注目被写体が同時に拡大表示される。このため、ユーザは複数の注目被写体について同時にその画像を見る事が可能となり、作業の効率化を図る事が可能となる。

また、本発明の第一の態様は、表示領域決定手段によって決定された表示領域を、拡大率決定手段によって決定される拡大率で表示することによって表示領域に含まれる注目被写体が十分に拡大されるか否か評価する評価手段，十分に拡大されないと評価手段により評価された場合、表示領域に含まれる複数の注目被写体をさらに複数の集合に分類する再分類手段とをさらに備えるように構成されても良い。そして、表示領域は、再分類手段によって分類が行われた場合に、再分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定するように構成されても良い。ここで、注目被写体が十分に拡大されるか否かの評価とは、表示手段の画面に注目被写体が拡大表示される場合に十分な大きさで表示されるか否かを示す。この判断基準は、拡大表示装置が実装される形態に応じて設計者により適宜設定される。

例えば画像の横方向に長く並んだ複数の注目被写体が一つの集合として判断され表示領域が横に長く決定された場合のように、広範囲に渡って位置する注目被写体が同一の集合に分類されてしまった場合には、注目被写体の大きさに関わらず拡大率が小さく決定されてしまう可能性がある。この場合、各注目被写体の画像は十分に拡大されずに小さい画像としてまとめて表示されてしまう可能性がある。しかし、上記のように構成された本発明の第一の態様では、拡大率決定手段によって決定された拡大率による拡大表示が十分であるか否か評価され、十分でないと評価された場合にはさらに複数の集合に再分類される。そして、再分類された新たな各集合について改めて表示領域及び拡大率が決定され、拡大表示が実施される。このため、横一列に長く注目被写体が並んで撮像された画像などのように、単純に分類して拡大率を求めただけでは十分に拡大表示されない可能性のある画像であっても、注目被写体の画像が十分に拡大された表示を自動的に実施させることが可能となる。

また、本発明の第一の態様における表示手段は、表示される画像全体又は表示されている画像全体の縮小画像を画面の一部に表示し、画面の他の部分には表示領域を拡大表示するように構成されても良い。このように表示されることにより、ユーザは拡大された注目被写体各々の画像のみならず、全体的な構成を容易に把握する事が可能となる。

また、本発明の第一の態様における表示手段は、表示しようとする画像又は表示されている画像において検出手段によって検出された注目被写体の位置を画面の一部に表示し、画面の他の部分には表示領域を拡大表示するように構成されても良い。注目被写体の位置は、例えば円や多角形などの幾何学図形によって表示されても良い。このように表示される事により、ユーザは拡大された注目被写体の画像のみならず、画像全体における各注目被写体の位置を把握する事が可能となり、その構図などについて確認することが可能となる。また、この図形の大きさは、各注目被写体の大きさに応じて変更されても良い。

また、第一の態様における表示手段は、画面の一部に表示される表示において、他の領域に拡大表示されている表示領域を表示するように構成されても良い。ここで、「他の領域に拡大表示されている表示領域を表示する」とは、この表示領域内の画像を表示することを示すのではなく、この表示領域の位置及び／又は大きさなどを表示することを示す。例えば、このような表示領域を囲う枠を表示することにより実現されても良いし、このような表示領域の色を他の領域と異なる色によって表示することにより実現されても良い。このように表示されることにより、ユーザは現在拡大表示されている部分が画像のどの部
分なのかを容易に把握することが可能となる。

また、第一の態様における表示手段は、画面の一部に表示される表示において、他の領域に拡大表示されている注目被写体を他の注目被写体と区別可能に表示するように構成されても良い。このように表示される事により、ユーザは現在拡大表示されている注目被写体の位置が画像のどの部分なのかを容易に把握することが可能となる。

また、第一の態様における拡大率決定手段は、少なくとも画面の一部を除いた残りの画面の大きさに基づいて前記拡大率を決定するように構成されても良い。画面の一部に拡大表示以外の表示が行われた場合、拡大表示される画面の大きさが小さくなってしまう。このような場合に、表示手段の画面そのものの大きさに基づいて拡大率が決定されると、十分に拡大された画像が表示されない可能性が生じてしまう。しかし、上記のように構成された本発明の第一の態様では、拡大表示が行われない一部分を予め省いた画面の大きさに基づいて拡大率が決定されるため、このような問題を回避することが可能となる。

また、第一の態様における表示領域決定手段は、縮小画像が表示される画面の一部の位置に基づいて、表示領域の位置を変更するように構成されても良い。このように構成された本発明の第一の態様では、例えば表示手段の画面右下の一部分に拡大表示以外の表示が行われる場合、注目被写体が画面中央から左寄りにずれて表示領域が決定され拡大表示される。従って、例えば上記の場合、画面右下の一部に拡大表示以外の表示が行われたとしても、この表示によって注目被写体の拡大画像が邪魔されることなく表示され、ユーザが拡大画像を確認することが可能となる。

本発明の第二の態様は、拡大画像制御装置であって、画面に表示される画像又は表示されている画像から注目被写体を検出する検出手段，検出手段によって検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定する表示領域決定手段，決定された表示領域の大きさと、画面の大きさとに基づいて、表示領域の拡大率を決定する拡大率決定手段，及び、表示領域決定手段及び拡大率決定手段によって決定された表示領域及び拡大率を出力する出力手段を備える。

本発明の第二の態様は、検出手段によって複数の注目被写体が検出された場合に、検出された複数の注目被写体を複数の集合に分類する分類手段をさらに備え、表示領域決定手段は、分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定するように構成されても良い。

また、本発明の第二の態様は、表示領域決定手段によって決定された表示領域を、拡大率決定手段によって決定される拡大率で画面に表示することによって表示領域に含まれる注目被写体が十分に拡大して表示されるか否か評価する評価手段，及び、十分に拡大されないと評価手段により評価された場合、表示領域に含まれる複数の注目被写体をさらに複数の集合に分類する再分類手段とをさらに備え、表示領域は、再分類手段によって分類が行われた場合に、再分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定するように構成されても良い。

また、本発明の第二の態様の拡大画像制御装置は、携帯情報処理端末に含まれる装置、通常の情報処理装置、ネットワークに接続された情報処理装置で実現されても良い。ネットワークに接続された情報処理装置で実現された拡大画像制御装置は、同じネットワーク上にある撮像部または画像蓄積サーバから画像情報を入力すると共に、その画像から注目被写体を検出し、表示部またはネットワーク上にある表示端末に結果を配信することができるように構成されても良い。

また、第一の態様や第二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一の態様や第二の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、注目被写体の画像が自動的に拡大して表示されるため、ユーザは表示領域や拡大率などを設定するための操作を行うことなく、容易に拡大画像を見る事が可能となる。

以下の説明において、顔画像とは、少なくとも人物の顔の一部または全部の画像を含む画像である。従って、顔画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。

［第一実施形態］
〔システム構成〕
まず、拡大画像制御装置７の第一実施形態である拡大画像制御装置７ａを備えた撮像装置１ａについて説明する。図１は、撮像装置１ａの機能ブロックの例を示す図である。撮像装置１ａは、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置を用いて構成される。撮像装置１ａは、情報処理装置（例：ＰＤＡ（Personal Digital Assistant）や携帯電話機など）等に備えられても良い。

撮像装置１ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む）
，ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

撮像装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、撮像部２，入力部３，制御部４ａ，画像記憶部５，表示部６，及び拡大画像制御装置７ａ等を含む装置として機能する。次に、撮像装置１ａが含む各機能部や装置について説明する。

〈撮像部〉
撮像部２は、画像を撮像するために、レンズなどを通して入力される光信号を電気信号に変換し、画像データを取得する。撮像部２は、例えばＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成され
る。撮像部２は、不図示のボタンがユーザによって操作されるなど撮像命令が入力された場合に撮像を行う。撮像部２は、撮像を行うと、取得された画像データを拡大画像制御装置７ａ及び画像記憶部５へ渡す。

〈入力部〉
入力部３は、ユーザが撮像装置１ａに対して命令を入力するために使用されるユーザインタフェース装置として構成される。入力部３は、例えばポインティングデバイス（マウス，トラックボールなど）やタッチパネルやキーボードやボタンやダイヤル等を用いて構
成される。また、入力部３は、例えば音声認識装置を用いる事によりユーザの声を認識して命令が入力されるように構成されても良いし、他のセンサを用いて命令が入力されるように構成されても良い。

入力部３は、ユーザによる命令の入力があった場合、入力された命令の内容を制御部４ａへ渡す。

〈制御部〉
制御部４ａは、撮像装置１ａの各機能部の動作を制御する。以下に、制御部４ａが行う処理の具体例について説明する。

表示部６に再生される画像が決定されると、制御部４ａは画像記憶部５，表示部６，及び拡大画像制御装置７ａを制御する。表示部６に再生される画像が決定する場合の例として、撮像部２によって撮像が行われた場合や入力部３を介してユーザによって画像が選択された場合がある。撮像部２によって撮像が行われた場合には、撮像部２によって撮像された画像が表示部６に表示される事が決定する。また、ユーザによって画像記憶部５に記憶される画像の中から任意の画像が選択された場合、選択された画像が表示部６に表示されることが決定する。以下、撮像部２によって撮像が行われた場合を例にとって制御部４ａの動作を説明する。

制御部４ａは、撮像部２によって撮像が行われた場合、撮像された画像のデータについて、拡大表示領域及び拡大率を出力するように拡大画像制御装置７ａに命令する。制御部４ａは、拡大画像制御部７ａから拡大表示領域及び拡大率の値を組として受け取る。また、制御部４ａは、撮像された画像のデータを拡大画像制御装置７ａの出力に従って表示するように表示部６へ命令する。そして、制御部４ａは、入力部３を介したユーザの入力に従って、撮像された画像のデータを記憶するように又は記憶しないように、画像記憶部５に命令する。

制御部４ａは、拡大画像制御装置７ａから複数の拡大表示領域と拡大率とを受け取った場合、それらの値を不図示の記憶装置に記憶する。そして、制御部４ａは、ユーザから新たな拡大表示領域の画像を表示するように命令された場合、記憶している拡大表示領域及び拡大率のうち、表示部６によって表示されていないものを選択し、選択した値に従って表示を行うことを表示部６に命令する。このとき、制御部４ａは、拡大表示領域に優先度が設定されている場合には、優先度に従って表示する順番を決定しても良い。また、制御部４ａは、ユーザから新たな拡大表示領域の画像を表示するように命令された場合、且つ記憶している全ての拡大表示領域について表示が完了している場合、エラーを出力するように構成されても良いし、既に表示が完了したものを再度表示するように構成されても良い。

制御部４ａは、その他撮像装置１ａを撮像装置として動作させるための様々な制御を行う。

〈画像記憶部〉
画像記憶部５は、いわゆる不揮発性記憶装置を用いて構成される。画像記憶部５は、撮像部２によって撮像された画像を受け取り、制御部４ａによって記憶することを命令された場合に、この画像を記憶する。また、制御部４ａによって指定された画像を出力する事を命令された場合、画像記憶部５は、指定された画像を表示部６へ渡す。

〈表示部〉
表示部６は、液晶ディスプレイ等の画像表示装置を用いて構成される。表示部６は、画
像記憶部５に記憶される画像データを受け取り、制御部４ａの命令に従って画像を表示する。制御部４ａから、拡大画像制御装置７ａの出力に従って画像を表示する事を命令された場合、拡大画像制御装置７ａから出力される内容に従って画像を表示する。具体的には、表示部６は、画像記憶部５から読み出された画像データのうち、拡大画像制御装置７ａから出力される拡大表示領域の画像を、出力される拡大率で変形して表示する。

〈拡大画像制御装置〉
拡大画像制御装置７ａは、撮像装置１ａに備えられるＣＰＵによってプログラムが実行され、顔検出部８及び拡大画像制御部９ａ等を備える装置として実現される。また、拡大画像制御装置７ａは、撮像装置１ａから独立してＲＡＭ等の記憶装置やＣＰＵなどを備え、このＣＰＵによってプログラムが実行されることによって上記各機能部を備える装置として実現されても良い。また、拡大画像制御装置７ａ又はその各機能部は専用のチップとして構成されても良い。以下、拡大画像制御装置７ａが備える各機能部について説明する。

〈〈顔検出部〉〉
顔検出部８は、拡大画像制御装置７ａに入力された画像（以下、「原画像」と呼ぶ）から人の顔を検出する。顔検出部８は、原画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔座標を特定する。顔検出部８は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部８は、顔の器官（目，瞳，鼻，鼻孔，口，唇，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部８は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部８は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部８は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部８による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、顔検出部８は、拡大画像制御部９ａにおいて必要となる情報、例えば検出された顔に含まれる複数の各器官の位置を検出する。以下の説明において拡大画像制御部９ａは両目及び口の中心位置を用いて処理を行うため、顔検出部８は少なくとも両目及び口の中心位置を検出するように構成される。また、顔検出部８は、さらに顔の大きさや顔の向き等を検出するように構成されても良い。

顔検出部８は、検出された各顔に関する情報（顔の位置，顔の大きさ，顔の向き，各器官の位置など：以下「顔情報」と呼ぶ）を拡大画像制御部９ａに渡す。

〈〈拡大画像制御部〉〉
拡大画像制御部９ａは、顔検出部８において検出された顔を表示部６に拡大して表示するための情報（拡大表示領域，拡大率など）を生成する。まず、拡大画像制御部９ａは、顔検出部８によって検出された任意の一つの顔を囲む領域である顔矩形領域を取得する。このとき、拡大画像制御部９ａは、顔の領域の大きさや顔の器官の大きさや器官間の距離などに応じて顔矩形領域を決定する。また、顔矩形領域は、顔の輪郭を横切らないように設定されることが望ましい。次に、拡大画像制御部９ａは、顔矩形領域に基づいて拡大表示領域を決定する。拡大表示領域とは、表示部６によって拡大表示される原画像中の領域を示す。このとき、拡大画像制御部９ａは、顔矩形領域をそのまま拡大表示領域として決定しても良いし、顔画像の傾きに応じて最終的な拡大表示領域を決定しても良い。そして、拡大画像制御部９ａは、決定された拡大表示領域の大きさ及び表示部６の大きさに従って、拡大表示領域の画像を拡大するための拡大率を決定する。以下、拡大画像制御部９ａ
の具体的な処理例について説明する。

まず、拡大画像制御部９ａは、顔検出部８によって検出された顔画像の傾きを取得する。図２は、顔画像の傾きを取得する方法を示す図である。拡大画像制御部９ａは、顔検出部８によって検出された左右の目の位置（Ｐ１，Ｐ２）を結ぶ線分と、原画像の横軸（水平な線）との角度θを取得する。そして、拡大画像制御部９ａは、取得された角度θに従って顔画像を回転し、左右の目の位置関係が水平となるような顔画像を取得する。

図３は、回転後の顔画像の例を示す図である。拡大画像制御部９ａは、回転後の顔画像における左右の目（Ｐ１’，Ｐ２’）と口の中心の位置（Ｐ３’）とを取得する。次に、拡大画像制御部９ａは、Ｐ１’，Ｐ２’，Ｐ３’の重心（Ｇ’）の位置を顔画像の中心として取得する。Ｇ’の座標は数１の式によって取得できる。

また、拡大画像制御部９ａは、Ｐ１’とＰ２’との中点（Ｐ４’）の位置を取得する。そして、拡大画像制御部９ａは、Ｐ１’とＰ２’との距離（Ｄ１２）及びＰ３’とＰ４’との距離（Ｄ３４）を取得する。

次に拡大画像制御部９ａは、Ｄ１２及びＤ３４を基に、顔矩形領域（Ａ’Ｂ’Ｃ’Ｄ’）を決定する。顔矩形領域とは、検出された顔を囲む矩形であり、原画像に対してどのような角度に配置されても良い領域である。拡大画像制御部９ａは、数２の式に従って四つの座標Ａ’，Ｂ’，Ｃ’，Ｄ’を取得し、顔矩形領域を決定する。なお、数２においてＧｘとＧｙとはそれぞれ重心Ｇのｘ座標とｙ座標の値とを示す。

数２において、α及びβは、矩形Ａ’Ｂ’Ｃ’Ｄ’に含まれる線分が顔の領域を横切る事のないように、設計者によって適宜決定される値である。次に、拡大画像制御部９ａは、この四点に対し、最初に行った回転の逆回転を実施することにより、回転前の原画像における四点（Ａ，Ｂ，Ｃ，Ｄ）の位置を取得し、拡大表示領域を決定する。図４は拡大表示領域の例を示す図である。拡大画像制御部９ａは、四点（Ａ，Ｂ，Ｃ，Ｄ）に基づいて拡大表示領域となる矩形（太線の矩形）を決定する。例えば、拡大画像制御部９ａは、四点（Ａ，Ｂ，Ｃ，Ｄ）の上を通過し、入力画像のｘ軸やｙ軸に平行な線（入力画像に対して水平な線と鉛直な線）によって決定される矩形の領域を拡大表示領域として決定しても良い。また、例えば拡大画像制御部９ａは、四点（Ａ，Ｂ，Ｃ，Ｄ）に外接する図形を用いて拡大表示領域を決定しても良い。

次に、拡大画像制御部９ａは、拡大表示領域の画像を拡大表示する際の拡大率を決定する。拡大画像制御部９ａは、決定された拡大表示領域の大きさに基づき、拡大表示領域の全体が表示部６に表示可能となるように拡大率を決定する。さらに、拡大画像制御部９ａは、縦と横との拡大率が異なる事のないように（拡大後の画像が歪む事のないように）、拡大率を決定しても良い。例えば、拡大画像制御部９ａは、拡大表示領域の幅Ｗ及び高さ
Ｈと、予め決まっている表示部６の表示領域の幅Ｗｄ及び高さＨｄとを用いて、Ｗｄ／ＷとＨｄ／Ｈとを算出し、小さい方の値を拡大率として決定しても良い。そして、拡大画像制御部９ａは、拡大表示領域及び拡大率を制御部４ａへ出力する。拡大画像制御部９ａは、検出された全ての顔について拡大表示領域及び拡大率を決定し、それらを組として制御部４ａへ出力する。

〔動作例〕
図５は、撮像装置１ａの動作例を示すフローチャートである。表示部６に再生表示される画像が決定すると（Ｓ０１）、決定した画像のデータは拡大画像制御装置７ａへ渡される。再生表示される画像の例として以下のような画像がある。撮像部２によって撮像された画像を、画像記憶部５に記憶させるか否かをユーザに選択させるために、表示部６に表示させるように制御される場合には、このように表示される画像。既に画像記憶部５に記憶されている画像であって、ユーザによって表示部６に表示する事が選択された画像。

拡大画像制御装置７ａに画像データが入力されると、顔検出部８は、原画像データから人の顔の画像を検出する（Ｓ０２）。人の顔が検出されなかった場合（Ｓ０３−ＮＯ）、拡大画像制御装置７ａはその旨を表示部６へ通知し、表示部６は通常表示を行い（Ｓ０４）、処理を終了する。通常表示とは、画像の全体を表示することである。一方、人の顔が検出された場合（Ｓ０３−ＹＥＳ）、顔検出部８はさらに両目及び口の中心を検出する。そして、拡大画像制御部９ａは、顔拡大表示領域決定処理を実行する（Ｓ０５）。以下、顔拡大表示領域決定処理について説明する。

図６は、顔拡大表示領域決定処理の例を示すフローチャートである。まず、左右の目が水平となるように、拡大画像制御部９ａは画像をθ度回転する（Ｓ１０）。次に、拡大画像制御部９ａは、回転後の両目と口の中心との座標を取得し（Ｓ１１）、その三点の重心を取得する（Ｓ１２）。拡大画像制御部９ａは、重心や回転後の三点の位置に基づき、顔矩形領域を決定する（Ｓ１３）。次に、拡大画像制御部９ａは、決定した顔矩形領域を−θ度回転する（Ｓ１４）。そして、拡大画像制御部９ａは、−θ度回転後の顔矩形領域を基に、拡大表示領域及び拡大率を決定する（Ｓ１５）。

図５に戻り、顔拡大表示領域決定処理以降の処理について説明する。拡大画像制御装置７ａは、決定した拡大表示領域及び拡大率を制御部４ａに対して出力する。制御部４ａは、この拡大表示領域及び拡大率を表示部６へ通知し、この内容に従って拡大表示を行うことを命令する。表示部６は、この命令の内容に従って画像を拡大表示する（Ｓ０６）。こののち、制御部４ａは、ユーザによって新たな拡大表示領域を表示する旨の入力があるまで待機する（Ｓ０７−ＮＯ）。このような入力がユーザによってなされると（Ｓ０７−ＹＥＳ）、制御部４ａは、表示されていない新たな拡大表示領域があるか否か判断する。新たな拡大表示領域が無い場合（Ｓ０８−ＮＯ）、処理を終了する。一方、新たな拡大表示領域がある場合（Ｓ０８−ＹＥＳ）、制御部４ａは、新たな拡大表示領域及び拡大率を表示部６へ通知し、これらの値に従って拡大表示を行うように命令する。そして、表示部６は、この命令に従って拡大表示を行う（Ｓ０９）。この後、再びＳ０７以降の処理が実行される。

〔作用／効果〕
図７は、撮像装置１ａにおける効果を説明するための図である。撮像装置１ａでは、表示部６に画像が表示される場合、拡大画像制御装置７ａが表示される画像の中に人の顔の画像が含まれているか否か判断する。含まれる場合、拡大画像制御装置７ａは、その人の顔を表示する際の表示領域として拡大表示領域を判断し、この領域が表示部６の枠（画面）からはみ出ないような拡大率を判断する。そして、表示部６は、拡大画像制御装置７ａの判断に従って、顔の領域を拡大して表示する。このため、図７（ａ）のように表示部６
に表示される画像に人の顔が含まれる場合、ユーザが特に人の顔の領域や拡大率などを指定することなく、図７（ｂ）のように人の顔の画像が適切な拡大率に従って拡大表示される。従って、ユーザは、注目被写体としての人の顔が拡大された画像を簡単に確認することが可能となる。

また、表示部６に表示されていない新たな顔を表示する事をユーザが入力部３を介して入力した場合、図７（ｃ）のように新たな顔の画像が拡大表示される。このため、ユーザは、表示されている顔と異なる新たな顔を拡大表示させたい場合、新たな顔の位置を探して表示枠を移動させるなどの作業をすることなく、新たな顔の画像を容易に拡大表示させる事が可能となる。また、このとき、既に表示されている顔の大きさと新たに表示される顔の大きさとが異なる場合にも、新たに表示される顔の大きさに応じた拡大率が拡大画像制御装置７ａによって判断され、表示部６に表示される。従って、ユーザは、新たに表示される画像について拡大率を判断する必要はなく、適切な拡大率で拡大された画像を用いた確認を行うことが容易に可能となる。

〔変形例〕
拡大画像制御部９ａは、他の処理によって拡大表示領域を決定しても良い。図８は拡大画像制御部９ａによる他の処理例を説明するための図である。まず拡大画像制御部９ａは、Ｐ１，Ｐ２，Ｐ３の三点の重心Ｇの位置を求める。次に、拡大画像制御部９ａは、重心Ｇ付近の画素（例えば、Ｇを中心とした所定の大きさの半径によって特定される円領域Ａｇ（図８中の斜線部分）内の画素）の画素値を基に、処理対象となっている顔の肌の色を特定する。次に、拡大画像制御部９ａは、この肌の色又はこの肌の色に近い色を有する領域を肌色領域として特定する。なお、肌の色の特定は、例えばＬａｂ色空間などの色空間に基づいて実施される。そして、拡大表示領域内を占める肌色領域の割合が所定の値となるように、拡大表示領域が決定される。例えば、拡大表示領域の幅をＷ、高さをＨ、肌色領域の大きさをＳとすると、所定の値α及びβに対し、

となるＷ及びＨを取得するように構成されても良い。このとき、ＷとＨとの比を予め定めておく事によりＷ及びＨを取得するように構成されても良い。

また、拡大画像制御部９ａは、顔検出部８において顔が検出される際に顔の領域を示す矩形が用いられる場合、顔矩形領域を示す矩形として、この検出の際に使用される矩形を用いるように構成されても良い。

また、拡大率は、縦の拡大率と横の拡大率とが異なる値として取得されるように拡大画像制御部９ａが構成されても良い。

また、画像記憶部５に記憶される画像の一部が拡大されて表示される際に、拡大などの画像変換は、表示部６が行っても良いし、拡大画像制御装置７ａが行っても良いし、不図示の他の画像変換部が行っても良い。

また、画像記憶部５は、撮像装置１ａの撮像部２によって撮像された画像のみを記憶する必要はなく、他の装置によって生成された画像を記憶するように構成されても良い。

また、拡大画像制御部９ａは、複数の拡大表示領域及び拡大率を出力する際に、表示する上での優先順位をつけるように構成されても良い。例えば、顔矩形領域の面積、顔の原画像上での位置（この場合、例えば、左上から右下方向へラスタスキャンされる順番に応じて優先順位が決定される）、顔の向き（例えば、正面を向いているか否か）、顔から推
定される性別、顔から推定される年代、顔の同定結果（即ち誰の顔であるか）などに応じて、表示の優先順位（言い換えれば表示される順番）が定められても良い。

また、表示部６は、拡大表示を行う際に拡大率を表示するように構成されても良い。同様に、表示部６は、通常表示を行う際に、通常表示を行っている旨を表示するように構成されても良い。

また、顔検出部８は、検出した各顔について、開眼状態をさらに検出するように構成されても良い。開眼状態の検出は、エッジによるテンプレートマッチング（開眼のテンプレートや閉眼のテンプレートなどを用いる）により実現されても良いし、目領域の縦横比による検出や、目領域の黒色領域と白色領域との面積比による検出など、既存のどのような検出方法が適用されても良い。そして、この場合、撮像装置１ａは、開眼状態の検出結果を出力するように構成されても良い。例えば、表示部６へ開眼状態の検出結果を表示するように構成されても良いし、ランプの点灯や音声によって検出結果を出力するように構成されても良い。

また、顔検出部８は、検出した各顔について、ピントのぼけをさらに検出するように構成されても良い。ピントのぼけの検出は、例えば以下のように顔検出部８を構成することにより実現される。

顔検出部８は、検出された顔の画像をグレースケールに変換し、高速フーリエ変換を実行する。次に、顔検出部８は、パワースペクトルを検出し、パワースペクトル空間での原点を中心としたドーナツ形領域内のエネルギーの和を取得する。図９は、ドーナツ形領域の例を示す図である。図９の斜線領域がドーナツ形領域の例である。そして、顔検出部８は、このエネルギーの和が閾値以下である場合に、ピントがずれていると判断する。閾値は個人の好みに応じて設定できる。また、被写体の顔に限らず画像全体について上記の処理を行うことにより、画像全体でピントがずれているか否か判断することもできる。そして、この場合、撮像装置１ａは、ピントのぼけの検出結果を出力するように構成されても良い。例えば、表示部６へピントのぼけの検出結果を表示するように構成されても良いし、ランプの点灯や音声によって検出結果を出力するように構成されても良い。

また、顔検出部８は、各顔について同定処理をさらに行うように構成されても良い。この場合、顔検出部８は、予め登録されている特徴量などに従って、検出された人物がだれであるか同定処理を行う。この場合、撮像装置１ａは、同定結果を出力するように構成されても良い。例えば、表示部６へ同定結果を表示するように構成されても良いし、ランプの点灯や音声によって同定結果を出力するように構成されても良い。このような同定処理は、例えば以下の論文に記載された技術を適用することにより実現できる。

栗田 多喜夫、“顔検出・顔認識のための統計的手法”、［平成16年3月5日検索］、インターネット＜URL : http://www.neurosci.aist.go.jp/~kurita/lecture/statface.pdf
＞

また、撮像装置１ａは、表示部６に拡大表示された顔に含まれる一部分をさらに拡大して表示するように構成されても良い。例えば、顔に含まれる一部分をさらに拡大して表示することを示す命令が入力部３を介して入力された場合、拡大画像制御装置７ａはかかる一部分について拡大表示領域及び拡大率を求め、求められた値に従って表示部６が改めて表示を行うように構成されても良い。このような一部分の例として、目，鼻，瞳，口，額，眉又はこれらの周囲などがある。また、このような一部分の拡大表示は繰り返し実行されるように構成されても良い。例えば、顔が拡大表示された後にその一部分として目の周囲が拡大表示され、表示されている目に含まれる瞳部分がさらに一部分として拡大表示さ
れるように構成されても良い。

また、拡大画像制御装置７ａは、人の顔に限らず他の被写体を検出し拡大表示領域や拡大率を求めるように構成されても良い。例えば、自動車や人の体全体を検出するように構成されても良い。この場合、上記のようにさらに拡大される一部分の例として、自動車の運転座席部分や、人の体の一部分（手，足，胴，顔など）などがある。

また、拡大画像制御装置７ａは、撮像部２から画像を受け取るのではなく、画像記憶部５に既に記憶されている画像（例えば、撮像部２によって既に撮像が完了している画像）を用いて処理を行うように構成されても良い。この場合、表示部６は、拡大画像制御装置７ａの処理の対象となっている画像を画像記憶部５から受け取り拡大表示を行うように構成されても良い。

［第二実施形態］
〔システム構成〕
次に、拡大画像制御装置７の第二実施形態である拡大画像制御装置７ｂを備えた撮像装置１ｂについて説明する。図１０は、撮像装置１ｂの機能ブロックの例を示す図である。撮像装置１ｂは、拡大画像制御装置７ａに代えて拡大画像制御装置７ｂを備える点で撮像装置１ａと異なる。以下、撮像装置１ｂについて、撮像装置１ａと異なる点について説明する。

〈拡大画像制御装置〉
拡大画像制御装置７ｂは、集合検出部１０をさらに備える点、及び拡大画像制御部９ａに代えて拡大画像制御部９ｂを備える点で、拡大画像制御装置７ａと異なる。以下、拡大画像制御装置７ｂについて、拡大画像制御装置７ａと異なる点について説明する。

〈〈集合検出部〉〉
集合検出部１０は、顔検出部８において検出された顔を、複数の集合にクラスタリングする。集合検出部１０によるクラスタリングの結果、画像中の所定の領域に含まれる顔同士が同じ集合に含まれるように分類されても良いし、画像中の位置が近い顔同士が同じ集合に含まれるように分類されても良い。以下に、集合検出部１０の具体的な処理例について説明する。

図１１は、画像中の領域に応じてクラスタリングを実行する場合の集合検出部１０の処理例を示す図である。図１１のように複数の顔が存在する場合、集合検出部１０は、各顔の位置に応じてクラスタリングを行う。まず、集合検出部１０は、原画像を複数の領域（図１１においてはＡ〜Ｅの五つの領域）に分割する。次に、集合検出部１０は、検出された各顔の位置を取得する。このとき、集合検出部１０は、例えば各顔の両目の位置と口の中心の位置との重心を各顔の位置として取得しても良いし、肌色領域の重心や両目の中心や鼻の中心などを各顔の位置として取得しても良い。そして、集合検出部１０は、各顔を、その顔が位置する領域に割り当て、クラスタリングを実行する。

図１２は、各顔の距離に応じてクラスタリングを実行する場合の集合検出部１０の処理例を示す図である。図１２のように複数の顔が存在する場合、集合検出部１０は、最近傍法などのような方法を適用することにより、破線で示されるような三つの領域（Ｘ〜Ｚ）にクラスタリングを行うように構成されても良い。

集合検出部１０は、クラスタリングの後、各集合に含まれる顔の顔情報を集合毎に拡大画像制御部９ｂに出力する。

〈〈拡大画像制御部〉〉
拡大画像制御部９ｂは、集合検出部１０によるクラスタリングの結果にさらに応じて処理を行う点で拡大画像制御部９ａと異なる。拡大画像制御部９ｂは、集合検出部１０によってクラスタリングされた集合毎に拡大表示領域及び拡大率を決定する。言い換えれば、同じ集合にクラスタリングされた各顔は、同時に表示部６に表示されるように制御される。

図１３を用いて拡大画像制御部９ｂの具体的な処理例について説明する。図１３は、拡大画像制御部９ｂによる処理例を示す図である。図１３において、Ｗｄ，Ｈｄはそれぞれ表示部６における表示領域の幅と高さとを示す。また、Ｗｓｕｍ，Ｈｓｕｍはそれぞれ同一集合に含まれる全ての顔の顔矩形領域に外接する矩形の幅と高さとを示す。また、Ｗｍａｘ，Ｈｍａｘはそれぞれ同一集合に含まれる各顔の顔矩形領域のうち、面積が最大の顔矩形領域の幅と高さとを示す。

拡大画像制御部９ｂは、まず、処理対象となっている集合に含まれる各顔の顔矩形領域を取得する。拡大画像制御部９ｂによる顔矩形領域の取得方法は、拡大画像制御部９ａと同じで良い。次に、拡大画像制御部９ｂは、Ｗｓｕｍ及びＨｓｕｍを取得し、この値を拡大表示領域として判断する。次に、拡大画像制御部９ｂは、ａｗ＝Ｗｄ／Ｗｓｕｍとａｈ＝Ｈｄ／Ｈｓｕｍとを算出する。そして、拡大画像制御部９ｂは、ａｗとａｈのうち、値の小さい方を拡大率として取得する。拡大画像制御部９ｂは、こうして得られた拡大表示領域及び拡大率を制御部４ａへ出力しても良い。

また、拡大画像制御部９ｂは、さらに以下のような処理を行うように構成されても良い。拡大画像制御部９ｂは、Ｗｓｕｍ及びＨｓｕｍによって特定される領域を暫定拡大表示領域とし、ａｗとａｈのうち値の小さい方の値を暫定拡大率として取得する。次に、拡大画像制御部９ａは、暫定拡大率によって暫定拡大表示領域を拡大した場合に、この領域に含まれる顔の画像が十分な大きさで表示されるか否かを判断する。そして、拡大画像制御部９ｂは、十分な大きさで表示されないと判断した場合に、暫定拡大表示領域を複数の領域に分割し、分割された各領域を拡大表示領域とすることにより、十分な大きさで顔の画像が表示される事を担保する。以下に、このような場合の具体的な処理例を示す。

このように構成された場合、まず、拡大画像制御部９ｂは、ａｗとａｈのうち値の小さい方を暫定拡大率として定義し、集合の中で最も面積の大きい顔矩形領域（即ちＷｍａｘとＨｍａｘとにより定義される顔矩形領域）を暫定拡大率により拡大した場合の拡大後の面積をＳｍａｘとして取得する。即ち、拡大画像制御部９ｂは、以下の式に基づいてＳｍａｘの値を算出する。

なお、数４において、ｍｉｎ（ａｗ，ａｈ）は、ａｗとａｈのうち小さい方の値を示す。拡大画像制御部９ｂは、Ｓｍａｘの値と所定の閾値Ａとを比較する。Ｓｍａｘの値が閾値Ａ以上である場合、拡大画像制御部９ｂは、Ｗｓｕｍ，Ｈｓｕｍによって特定される領域を拡大表示領域とし、ｍｉｎ（ａｗ，ａｈ）の値を拡大率として出力する。一方、Ｓｍａｘの値が閾値Ａよりも小さい場合、拡大画像制御部９ｂは、Ｗｓｕｍ，Ｈｓｕｍによって特定される領域を複数の領域に分割し、分割されたそれぞれの領域を拡大表示領域として特定する。

次に、拡大画像制御部９ｂが行う領域の分割処理の例について説明する。図１４は、拡
大画像制御部９ｂが行う領域の分割処理例を示す図である。図１４において、各顔に含まれる黒点は、両目及び口の中心の重心であり、各顔の中心として取得される点である。拡大画像制御部９ｂは、集合の中で最も面積の大きい顔矩形領域の面積を閾値Ａとするための拡大率Ｅｍｉｎ（以下、この拡大率を「最小拡大率」と呼ぶ）を取得する。最小拡大率Ｅｍｉｎは例えば数５によって得られる。

次に、拡大画像制御部９ｂは、最小拡大率Ｅｍｉｎによって拡大処理を実行した場合に表示部６の表示枠内に収まる大きさを有する複数の分割領域を特定する。例えば、拡大画像制御部９ｂは、以下の処理によってこのような複数の分割領域を特定する。まず、数６によって算出されるＤＩＶｗとＤＩＶｈとの小数点以下をそれぞれ繰り上げし、得られた整数を幅方向と高さ方向との分割数とする。

そして、拡大画像制御部９ｂは、得られた分割数に応じて、Ｗｓｕｍ，Ｈｓｕｍによって特定される領域を複数の領域に分割する。図１４には、幅方向及び高さ方向に分割数２で均等に分割した場合の例を示す（太い破線によって分割されている）。

次に、拡大画像制御部９ｂは、分割されたそれぞれ同一の領域に顔の中心が存在する顔同士を、同一の集合に属する顔として分類する。そして、各集合に属する顔の顔矩形領域に基づいて、各集合における拡大表示領域を特定する。図１５は、図１４において分類された各集合における拡大表示領域の例を示す図である。図１５では、各集合における拡大表示領域は太線の矩形によって示される。このようにして特定された各拡大表示領域に対する拡大率は、Ｅｍｉｎで統一されても良いし、改めて各拡大表示領域に応じた拡大率が算出されても良い。

〔動作例〕
図１６は、撮像装置１ｂの動作例を示すフローチャートである。なお、図５に示される処理（即ち撮像装置１ａの処理）と同様の処理については、図１６に対し図５と同じ符号を付すことにより説明を省略する。

Ｓ０２の顔検出において顔が検出されなかった場合（Ｓ１６：＝０）、通常表示が実施される（Ｓ０４）。また、Ｓ０２の顔検出において顔が一つだけ検出された場合（Ｓ１６：＝１）、この顔について顔拡大表示領域決定処理が実行され（Ｓ０５）、この顔について拡大表示が実施される（Ｓ０６）。また、Ｓ０２の顔検出において複数の顔が検出された場合（Ｓ１６：＞＝２）、集合検出部１０がクラスタリングを実行する（Ｓ１７）。そして、拡大画像制御部９ｂが、集合検出部１０によって特定された各集合に対し、集合拡大表示領域決定処理を実行する（Ｓ１８）。

図１７は、集合拡大表示領域決定処理の例を示すフローチャートである。この処理が開
始されると、拡大画像制御部９ｂは、Ｗｓｕｍ，Ｈｓｕｍを得ることにより暫定拡大表示領域を特定する（Ｓ１９）。次に、拡大画像制御部９ｂは、特定された暫定拡大表示領域及び表示部６の表示領域Ｗｄ，Ｈｄに基づいて、暫定拡大率を算出する（Ｓ２０）。そして、拡大画像制御部９ｂは、算出された暫定拡大率による拡大が適切であるか否か判断する。拡大画像制御部９ｂは、適切であると判断した場合（Ｓ２１−ＹＥＳ）、暫定拡大表示領域と暫定拡大率とを拡大表示領域と拡大率として決定し（Ｓ２２）、これらの値を出力することによって集合拡大表示領域決定処理を終了する。

一方、拡大画像制御部９ｂは、暫定拡大率による拡大処理が適切ではないと判断した場合（Ｓ２１−ＮＯ）、適切な拡大処理を行うために最低限必要な拡大率の大きさとして、最小拡大率を算出する（Ｓ２３）。次に、拡大画像制御部９ｂは、算出された最小拡大率に応じて、暫定拡大表示領域を分割する分割数を決定する（Ｓ２４）。そして、分割された暫定拡大表示領域の各分割領域に含まれる顔に応じて拡大表示領域及び拡大率を特定し（Ｓ２５）、これらの値を出力することによって集合拡大表示領域決定処理を終了する。

図１６に戻って撮像装置１ｂの処理例について説明する。集合拡大表示領域決定処理が終了すると、制御部４ｂは拡大画像制御部９ｂからの出力に応じて拡大表示を行うように表示部６に命令し、表示部６はその命令に従って拡大表示を行う（Ｓ０６）。そして、撮像装置１ａと同様に、ユーザの入力に応じた拡大表示が実施される（Ｓ０７〜Ｓ０９）。

〔作用／効果〕
撮像装置１ｂでは、原画像上で近くに写っている人の顔や同一の領域（例えば図１１のＡ〜Ｅのような領域）に写っている人の顔などが一つの集合として検出される。そして、集合が検出された場合、一人一人の顔がそれぞれ拡大表示されるのではなく、同一の集合に含まれる複数の人の顔が同時に拡大表示される。従って、ユーザは、複数人の顔が原画像に含まれる場合に、それぞれの人の顔毎に拡大表示された画像を確認し、新たな顔の画像が拡大表示されるように操作する必要が無い。即ち、複数人の顔を同時に確認することで、注目被写体である人の顔の画像に対する確認作業を効率よく行うことが可能となる。

また、例えば縦や横に長く並んだ人の顔が一つの集合としてクラスタリングされた場合などは、拡大率として得られるａｗ又はａｈのうちの小さい方の値は、非常に小さくなる可能性がある。このような場合、集合に含まれる顔が同時に拡大表示されたとしても、十分な拡大（即ち適切な拡大処理）が実施されないため、画像の確認を有効に行うことが困難となる可能性がある。そこで、撮像装置１ｂでは、拡大画像制御部９ｂが、暫定的に得られた拡大率（暫定拡大率）によって適切な拡大処理が実施されるか否か判断する。そして、拡大画像制御部９ｂは、適切な拡大処理が実施されないと判断した場合には、暫定拡大表示領域をさらに複数の拡大表示領域に分割することにより、暫定拡大率よりも高い拡大率を確保し、適切な拡大処理を担保する。このため、ユーザは、画像を確認するに当たり十分に拡大された画像を見る事ができ、確認作業を効率よく有効に行う事が可能となる。

〔変形例〕
拡大画像制御部９ｂは、領域の分割処理を行う際に、Ｗｓｕｍ，Ｈｓｕｍによって特定される領域を再度クラスタリングすることを、集合検出部１０に対して依頼するように構成されても良い。この場合、集合検出部１０は、Ｗｓｕｍ，Ｈｓｕｍによって特定される領域に対し、上記したようなクラスタリングを実行し、複数の顔の集合を特定する。そして、拡大画像制御部９ｂは、集合検出部１０による再クラスタリングの結果に基づいて改めてＷｓｕｍ，Ｈｓｕｍを算出することで拡大表示領域を特定し、さらに拡大率を算出する。拡大画像制御部９ｂは、閾値Ａによる条件が満たされるまでこのような処理を再帰的に実行するように構成されても良い。

また、拡大画像制御部９ｂは、複数の拡大表示領域及び拡大率を出力する際に、表示する上での優先順位をつけるように構成されても良い。例えば、集合に含まれる顔の数、集合に含まれる顔矩形領域のうち最大の面積、集合に含まれる顔や顔矩形領域の総面積、領域毎に予め決められた順番（例えばＡ，Ｂ，Ｃ，Ｄ，Ｅの順など）、正面を向いている顔の数、性別毎の顔の数、年代毎の顔の数、集合に含まれる顔の同定結果（即ち誰の顔が含まれているか）などに応じて、表示の優先順位（言い換えれば表示される順番）が定められても良い。

また、一つの集合に含まれる顔の数を制御する事が可能となるように構成されても良い。例えば、ユーザによってその数が指定された場合、集合検出部１０は、指定された数よりも多い顔が一つの集合に含まれることのないようにクラスタリングを実行する。例えば、クラスタリングの結果、顔の数が多い集合が生じてしまった場合、この集合に対して再帰的にクラスタリングを実行することにより可能となる。

また、集合として複数の顔が同時に表示されている場合、表示されている顔を選択することにより、その顔のみをさらに拡大表示する事が可能となるように構成されても良い。この場合、例えばユーザにより選択された顔について顔拡大表示領域決定処理が実行されることにより、この顔単独の拡大表示領域及び拡大率が決定される。そして、決定された内容に従って表示部６に顔が表示される。

また、第二実施形態における撮像装置１ｂは、第一実施形態における変形例に従って構成されても良い。

［第三実施形態］
〔システム構成〕
次に、拡大画像制御装置７の第三実施形態である拡大画像制御装置７ｃを備えた撮像装置１ｃについて説明する。図１８は、撮像装置１ｃの機能ブロックの例を示す図である。撮像装置１ｃは、制御部４ａに代えて制御部４ｃを備える点、及び拡大画像制御装置７ａに代えて拡大画像制御装置７ｃを備える点で撮像装置１ａと異なる。以下、撮像装置１ｃについて、撮像装置１ａと異なる点について説明する。

〈拡大画像制御装置〉
拡大画像制御装置７ｃは、拡大画像制御部９ａに代えて拡大画像制御部９ｃを備える点で、拡大画像制御装置７ａと異なる。以下、拡大画像制御装置７ｃについて、拡大画像制御装置７ａと異なる点について説明する。

〈〈拡大画像制御部〉〉
拡大画像制御部９ｃは、全体画像を生成し、全体画像を表示可能となるように拡大表示領域や拡大率を決定する点で、拡大画像制御部９ａと異なる。全体画像とは、原画像全体を示す画像であり、原画像を縮小した画像や、原画像において検出された顔の位置や大きさを示す図形を含む画像として実現される。拡大画像制御部９ｃは、表示部６に全体画像が表示された際に、拡大画像における注目被写体としての顔画像の視認性を低下させないように、拡大表示領域や拡大率を決定する。以下、拡大画像制御部９ｃの具体的な処理について、三通りの処理例を説明する。

図１９は、全体画像が表示される場合の表示部６における表示例のうち、第一の処理例に応じた表示例を示す図である。第一の処理例では、全体画像が表示される分、拡大表示を行うための表示枠が小さく設定され表示される。撮像装置１ａ，１ｂでは、表示部６の表示枠（Ｗｄ，Ｈｄ）に応じて拡大表示領域及び拡大率が決定されていた。しかし、撮像
装置１ｃの第一の処理例では、全体画像の表示枠をＷｅ，Ｈｅと設定した場合には、拡大表示を行うための表示枠はＷｄ−Ｗｅ，Ｈｄ−Ｈｅとして定義される。従って、顔拡大表示領域決定処理が、Ｗｄ−Ｗｅ，Ｈｄ−Ｈｅとして定義される表示枠に応じて実行され、拡大表示領域及び拡大率が決定される。

図２０は、全該画像が表示される場合の表示部６における表示例のうち、第二の処理例に応じた表示例を示す図である。第三の処理例では、拡大表示を行う表示枠は小さく設定されることはなく、表示部６における表示枠と同じ大きさ（Ｗｄ，Ｈｄ）に応じて拡大表示領域及び拡大率が決定される。ただし、第二の処理例では、拡大表示領域は、全体画像が表示される領域を確保するためにいずれかの方向にずれて決定される。即ち、拡大画像制御部９ｃは、拡大画像制御部９ａと同様の処理によって拡大表示領域を決定した後、この拡大表示領域を上下方向や左右方向など、全体画像が表示される位置方向にずらすことにより、最終的な拡大表示領域を決定する。このずれの量は、たとえは全体画像の表示枠であるＷｅ，Ｈｅに基づいて決定されても良い。例えば、図２０の場合は、右下方向に全体画像が表示されるため、拡大表示領域は右下方向にずらされる。

図２１は、全体画像が表示される場合の表示部６における表示例のうち、第三の処理例に応じた表示例を示す図である。第三の処理例では、拡大表示を行う表示枠は小さく設定されることはなく、表示部６における表示枠と同じ大きさ（Ｗｄ，Ｈｄ）に応じて拡大表示領域及び拡大率が決定される。

〈制御部〉
制御部４ｃは、ユーザによる入力や記憶されている設定などに応じて、第一〜第三の処理例のうち、いずれの処理を拡大画像制御装置７ｃに実施させるかを制御する。

制御部４ｃは、第一の処理例に示す処理が拡大画像制御装置７ｃにおいて実施される場合、全体画像として原画像が縮小された画像が表示されるように表示部６を制御する。また、このとき、制御部４ｃは、拡大表示領域を示す枠などが全体画像に表示されるように（例えば太枠として表示されるように）表示部６を制御しても良い。また、制御部４ｃは、拡大表示されている人の顔がどの顔であるかが全体画像に表示されるように（例えば太枠の円などで顔が囲まれるように）表示部６を制御しても良い。また、制御部４ｃは、第一の処理例に示す処理が拡大画像制御装置７ｃにおいて実施される場合、顔拡大表示領域決定処理が、Ｗｄ−Ｗｅ，Ｈｄ−Ｈｅとして定義される表示枠に応じて実施されるように、拡大画像制御装置７ｃを制御する。

制御部４ｃは、第二の処理例に示す処理が拡大画像制御装置７ｃにおいて実施される場合、全体画像として第一の処理例と同様の画像が表示されるように表示部６を制御する。また、このとき、制御部４ｃは、表示枠の所定の位置（図２０においては右下隅）に、拡大画像の上に全体画像が重ねて表示されるように表示部６を制御する。

制御部４ｃは、第三の処理例に示す処理が拡大画像制御装置７ｃにおいて実施される場合、全体画像として原画像の縮小された画像が表示されるのではなく、顔検出部８によって検出された顔の位置や大きさを示す幾何学図形が表示されるように表示部６を制御する。また、このとき、制御部４ｃは、拡大表示領域として拡大表示されている顔を指す幾何学図形が、他の幾何学図形から識別可能に表示されるように表示部６を制御しても良い。例えば、このような幾何学図形を他の幾何学図形と異なるパターンや異なる形や異なる色によって表示するように構成されても良いし、このような幾何学図形を囲む枠をさらに表示するように構成されても良い。さらに、これらの幾何学図形や枠などは、半透明に表示されても良い。

〔作用／効果〕
撮像装置１ｃでは、人の顔が拡大して表示される拡大表示に加えて、原画像の全体の構成を確認可能な全体画像が表示部６に表示される。そして、拡大表示されている人の顔の位置や大きさが、全体画像に表示される。このため、ユーザは、拡大表示された顔が原画像のどの部分に存在する顔であるかやどの程度大きく撮像された顔であるかについて、容易に把握する事が可能となる。

また、全体画像は小さい表示枠に表示されるため、単に原画像を縮小した画像を表示するのみでは、ユーザは全体の構成を確認できない場合がある。しかし、撮像装置１ｃにおける第三の処理例では、全体画像として原画像が表示されるのではなく顔を示す幾何学図形が表示される。このため、全体画像がより単純な画像として表示され、全体の構成（撮像された各顔の配置や大きさなど）を把握する事が容易になる。

〔変形例〕
拡大画像制御装置７ｃは、第二実施形態における集合検出部１０をさらに備え、拡大画像制御部９ｃは、第二実施形態における拡大画像制御部９ｂのように集合検出部１０による出力に応じてさらに動作するように構成されても良い。言い換えれば、撮像装置１ｃは、第二実施形態における撮像装置１ｂのように、複数の顔を一つの集合としてまとめて取り扱えるように構成されても良い。

また、制御部４ｃは、拡大表示させる顔や集合を全体画像の表示から選択可能となるように表示部６を制御しても良い。例えば、全体画像において、ユーザによって選択されている顔や集合が他の顔や集合から識別可能に表示され、選択されている顔や集合をユーザによる入力部３を介した入力に応じて変更するように表示部６が制御されても良い。

また、制御部４ｃは、全体画像を表示するか否かをユーザによる入力部３を介した入力に応じて制御するように構成されても良い。

また、第一の処理例や第二の処理例に従って拡大表示が行われている場合に、全体画像として第三の処理例に従って幾何学図形を用いた表示が行われるように構成されても良い。また、第三の処理例に従って拡大表示が行われている場合に、第一の処理例や第二の処理例に従って縮小された原画像が表示されるように構成されても良い。

また、第三実施形態における撮像装置１ｃは、第一実施形態や第二実施形態における変形例に従って構成されても良い。

第一実施形態における撮像装置の機能ブロック例を示す図である。 顔画像の傾きを取得する方法を示す図である。 顔の傾きが水平となるように回転された後の顔画像の例を示す図である。 拡大表示領域の例を示す図である。 第一実施形態における撮像装置の動作例を示すフローチャートである。 顔拡大表示領域決定処理における動作例を示すフローチャートである。 第一実施形態における撮像装置による効果を説明するための図である。 第一実施形態における撮像装置による処理のうち、拡大表示領域を決定する際の処理の変形例を示す図である。 ピントがずれているか否かを判断する際の処理例を示す図である。 第二実施形態における撮像装置の機能ブロック例を示す図である。 画像中の領域に応じたクラスタリングの例を示す図である。 各顔の距離に応じたクラスタリングの例を示す図である。 第二実施形態における拡大画像制御部の処理例を示す図である。 第二実施形態における拡大画像制御部が行う領域の分割処理例を示す図である。 分割された拡大表示領域の例を示す図である。 第二実施形態における撮像装置の動作例を示すフローチャートである。 集合拡大表示領域決定処理における動作例を示すフローチャートである。 第三実施形態における撮像装置の機能ブロック例を示す図である。 第三実施形態における表示部の表示例を示す図である。 第三実施形態における表示部の表示例を示す図である。 第三実施形態における表示部の表示例を示す図である。

符号の説明

１ａ，１ｂ，１ｃ 撮像装置
２ 撮像部
３ 入力部
４ａ，４ｃ 制御部
５ 画像記憶部
６ 表示部
７ａ，７ｂ，７ｃ 拡大画像制御装置
８ 顔検出部
９ａ，９ｂ，９ｃ 拡大画像制御部
１０ 集合検出部

Claims (18)

1. 画像を表示する表示手段と、
   表示手段に表示される画像又は表示されている画像から注目被写体を検出する検出手段と、
   前記検出手段によって検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定する表示領域決定手段と、
   決定された表示領域の大きさと、前記表示手段が表示を行うための画面の大きさとに基づいて、前記表示領域の拡大率を決定する拡大率決定手段と
   を備え、前記表示手段は前記表示領域決定手段及び前記拡大率決定手段により決定される表示領域及び拡大率に従った表示を行う拡大表示装置。
2. 前記表示手段に拡大表示されている注目被写体に含まれる次の注目被写体について拡大表示を行うことを示す命令を受け付けるための受付手段をさらに備え、
   前記受付手段により前記命令が受け付けられた場合、前記検出手段は既に前記表示手段に拡大表示されている前記注目被写体から次の注目被写体を検出し、前記表示領域決定手段は前記次の注目被写体についての表示領域を決定し、前記拡大率決定手段は前記次の注目被写体についての拡大率を決定し、前記表示手段は前記次の注目被写体を新たに決定された前記表示領域及び前記拡大率に従い表示する請求項１に記載の拡大表示装置。
3. 前記表示手段に拡大表示されている注目被写体と異なる注目被写体について拡大表示を行うことを示す命令を受け付けるための受付手段をさらに備え、
   前記受付手段により前記命令が受け付けられた場合、前記検出手段によって検出された注目被写体のうち、前記表示手段に拡大表示されていない注目被写体を、前記表示領域手段及び前記拡大率決定手段の処理結果である表示領域及び拡大率に従い、前記表示手段が表示を行う請求項１に記載の拡大表示装置。
4. 前記検出手段によって複数の注目被写体が検出された場合に、検出された複数の前記注目被写体を複数の集合に分類する分類手段をさらに備え、
   前記表示領域決定手段は、前記分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定する請求項１〜３のいずれかに記載の拡大表示装置。
5. 前記表示領域決定手段によって決定された表示領域を、前記拡大率決定手段によって決定される拡大率で表示することによって前記表示領域に含まれる注目被写体が十分に拡大されるか否か評価する評価手段と、
   十分に拡大されないと前記評価手段により評価された場合、前記表示領域に含まれる複数の注目被写体をさらに複数の集合に分類する再分類手段とをさらに備え、
   前記表示領域は、前記再分類手段によって分類が行われた場合に、前記再分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定する請求項４に記載の拡大表示装置。
6. 前記表示手段は、表示される画像全体又は表示されている画像全体の縮小画像を画面の一部に表示し、画面の他の部分には前記表示領域を拡大表示する請求項１〜５のいずれかに記載の拡大表示装置。
7. 前記表示手段は、表示される画像又は表示されている画像において前記検出手段によって検出された注目被写体の位置を画面の一部に表示し、画面の他の部分には前記表示領域を拡大表示する請求項１〜５のいずれかに記載の拡大表示装置。
8. 前記表示手段は、前記画面の一部に表示される表示において、前記他の領域に拡大表示されている表示領域を表示する請求項６又は７に記載の拡大表示装置。
9. 前記表示手段は、前記画面の一部に表示される表示において、前記他の領域に拡大表示されている注目被写体を他の注目被写体と区別可能に表示する請求項６〜８のいずれかに記載の拡大表示装置。
10. 前記拡大率決定手段は、少なくとも前記画面の一部を除いた残りの画面の大きさに基づいて前記拡大率を決定する請求項６〜９のいずれかに記載の拡大表示装置。
11. 前記表示領域決定手段は、前記縮小画像が表示される画面の一部の位置に基づいて、表示領域の位置を変更する請求項６〜９のいずれかに記載の拡大表示装置。
12. 画面に表示される画像又は表示されている画像から注目被写体を検出する検出手段と、
    前記検出手段によって検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定する表示領域決定手段と、
    決定された表示領域の大きさと、前記画面の大きさとに基づいて、前記表示領域の拡大率を決定する拡大率決定手段と、
    前記表示領域決定手段及び前記拡大率決定手段によって決定された前記表示領域及び前記拡大率を出力する出力手段と
    を備える拡大画像制御装置。
13. 前記検出手段によって複数の注目被写体が検出された場合に、検出された複数の前記注目被写体を複数の集合に分類する分類手段をさらに備え、
    前記表示領域決定手段は、前記分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定する請求項１２に記載の拡大画像制御装置。
14. 前記表示領域決定手段によって決定された表示領域を、前記拡大率決定手段によって決定される拡大率で前記画面に表示することによって前記表示領域に含まれる注目被写体が十分に拡大して表示されるか否か評価する評価手段と、
    十分に拡大されないと前記評価手段により評価された場合、前記表示領域に含まれる複数の注目被写体をさらに複数の集合に分類する再分類手段とをさらに備え、
    前記表示領域は、前記再分類手段によって分類が行われた場合に、前記再分類手段によって同一の集合に分類された全ての注目被写体の位置に基づいて表示領域を決定する請求項１３に記載の拡大画像制御装置。
15. 画像を表示する表示手段が接続された情報処理装置によって実行されるプログラムであって、
    前記表示手段に表示される画像又は表示されている画像から注目被写体を検出するステップと、
    検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定するステップと、
    決定された表示領域の大きさと、前記表示手段が表示を行うための画面の大きさとに基づいて、前記表示領域の拡大率を決定するステップと、
    前記表示手段に対し、前記決定された表示領域及び拡大率に従った表示を実行させるステップと
    を前記情報処理装置に実行させるためのプログラム。
16. 画面に表示される画像又は表示されている画像から注目被写体を検出するステップと、
    検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領
    域を決定するステップと、
    決定された表示領域の大きさと、前記画面の大きさとに基づいて、前記表示領域の拡大率を決定するステップと、
    決定された前記表示領域及び前記拡大率を出力するステップと
    を情報処理装置に実行させるためのプログラム。
17. 画像を表示する表示手段が接続された情報処理装置を用いて実行される方法であって、
    前記情報処理装置が、前記表示手段に表示される画像又は表示されている画像から注目被写体を検出するステップと、
    前記情報処理装置が、検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定するステップと、
    前記情報処理装置が、決定された表示領域の大きさと、前記表示手段が表示を行うための画面の大きさとに基づいて、前記表示領域の拡大率を決定するステップと、
    前記情報処理装置が、前記表示手段に対し、前記決定された表示領域及び拡大率に従った表示を実行させるステップと
    を含む拡大表示方法。
18. 情報処理装置が、画面に表示される画像又は表示されている画像から注目被写体を検出するステップと、
    情報処理装置が、検出された注目被写体の位置に基づいて、この注目被写体を拡大表示するための表示領域を決定するステップと、
    情報処理装置が、決定された表示領域の大きさと、前記画面の大きさとに基づいて、前記表示領域の拡大率を決定するステップと、
    情報処理装置が、決定された前記表示領域及び前記拡大率を出力するステップと
    を含む拡大画像制御方法。

Images