JP2015088774A - カメラ装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【構成】携帯電話機１０はカメラモジュールなどを備える。カメラ機能が実行されているときにシャッターキーが操作されると、被写体どうしの位置が検出され、検出された位置に基づいて判断された被写体の相対位置関係がメタ情報として撮影画像と共に保存される。保存された撮影画像が表示されているときに抽出操作がされると、保存された相対位置関係および抽出操作によって示された位置に基づいて検索対象画像が抽出される。この状態で、実行キーが操作されると画像検索処理が実行され、検索対象画像による検索結果が得られる。そして、検索結果を含む検索結果ポップアップ（Ｐ）がディスプレイ１４に表示される。
【効果】撮影画像と共に被写体どうしの相対位置関係が保存されるため、撮影画像が保存されたあとでも、ユーザは、抽出操作を行うことで、被写体どうしの相対位置関係を適切に把握することが出来る。
【選択図】図１

Description

この発明はカメラ装置、画像処理プログラムおよび画像処理方法に関し、特にユーザの操作に応じて撮影画像データを保存する、カメラ装置、画像処理プログラムおよび画像処理方法に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１のカメラ付携帯電話機では、ユーザが撮影を行うと画像保存処理が実行され、撮影した画像がメモリに保存される。
特開2011-171988号公報［H04N 5/76, H04N 5/225, H04N 5/907, H04M 1/00, H04N 5/91］

特許文献１のカメラ付携帯電話機では、ユーザは、複数の被写体を撮影した後に、撮影した画像をディスプレイに表示させることが出来る。ところが、それぞれの位置が異なる複数の被写体をズームした状態で撮影すると画角が狭くなるため、撮影した画像の遠近感が弱くなる。そのため、撮影した画像を後で確認したときに、ユーザは複数の被写体の位置関係を適切に把握できないことがある。

それゆえに、この発明の主たる目的は、新規な、カメラ装置、画像処理プログラムおよび画像処理方法を提供することである。

この発明の他の目的は、撮影された被写体の状態を把握することが出来る、カメラ装置、画像処理プログラムおよび画像処理方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、カメラモジュール、カメラモジュールから取得された撮影画像において被写体の位置を検出する検出部、および撮影画像を、被写体の位置を示す位置情報と共に保存する保存部を備える、カメラ装置である。

第１の発明では、カメラ装置（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のカメラモジュール（５０−５４）は、たとえばイメージセンサ（５２）を含み、画像を出力する。検出部（３０，Ｓ９３）は、たとえば被写体を選択する操作が行われたときに、カメラモジュールから取得された画像から被写体の位置を検出する。保存部（３０，Ｓ９７）は、撮影画像を、被写体の位置を示す位置情報と共にフラッシュメモリ（４４）などの記憶部に保存する。

第１の発明によれば、撮影画像と共に被写体の位置を示す位置情報が保存されるため、撮影画像が保存されたあとでも、ユーザは被写体の位置を適切に把握することが出来る。

第２の発明は、第１の発明に従属し、カメラモジュールは、レンズを含み、検出部は、レンズの焦点距離を利用して、被写体の位置を検出する。

第２の発明では、カメラモジュールはレンズ（５４）を含む。たとえば、レンズをテレ端からワイド端に移動させたときのレンズの焦点距離を利用して、検出部は、被写体の位置を検出する。

第３の発明は、第２の発明に従属し、カメラモジュールの出力から算出したフォーカス評価値に基づいて前記レンズの位置を調整するオートフォーカス処理を制御する制御部をさらに備え、撮影画像は、所定数の分割領域に分割され、検出部は、分割領域毎にフォーカス評価値が算出され、分割領域毎にフォーカス評価値が最大となったときのレンズの位置に基づいて、被写体の位置を検出する。

第３の発明では、制御部（３０，５０）は、カメラモジュールから出力される生画像信号からフォーカス評価値を算出し、そのフォーカス評価値に基づいてレンズの位置を制御する。撮影画像は、所定数（たとえば、９）の分割領域（Ｒ）に分割される。レンズ位置を移動させたときに、分割領域毎にフォーカス評価値が算出され、フォーカス評価値が最大となった時のレンズ位置が、分割領域毎に記憶される。そして、このようにして記憶された分割領域毎のレンズ位置に基づいて、被写体の位置が検出される。

第２の発明または第３の発明によれば、レンズの焦点距離を利用して被写体の位置を検出することが可能であるため、カメラモジュールを備える既存のカメラ装置であってもソフトウェアを更新または追加することで、被写体の位置を検出できるようになる。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、検出部は、撮影操作が行われたときに被写体の位置を検出する。

第４の発明では、たとえば、ユーザがシャッターキーを操作すると、検出部は被写体の位置を検出する。

第４の発明によれば、撮影画像と共に被写体の位置を保存することが出来る。

第５の発明は、カメラモジュール（５０−５４）を有する、カメラ装置（１０）のプロセッサ（３０）を、カメラモジュールから取得された撮影画像において被写体の位置を検出する検出部（Ｓ９３）、および撮影画像を、被写体の位置を示す位置情報と共に保存する保存部（Ｓ９７）として機能させる、画像処理プログラムである。

第５の発明でも、第１の発明と同様、撮影画像と共に被写体の位置が保存されるため、撮影画像が保存されたあとでも、ユーザは被写体の位置を適切に把握することが出来る。

第６の発明は、カメラモジュール（５０−５４）を有する、カメラ装置（１０）における画像処理方法であって、カメラ装置のプロセッサ（３０）が、カメラモジュールから取得された撮影画像において被写体の位置を検出する検出ステップ（Ｓ９３）、および撮影画像を、被写体の位置を示す位置情報と共に保存する保存ステップ（Ｓ９７）を実行する、画像処理方法である。

第６の発明でも、第１の発明と同様、撮影画像と共に被写体の位置が保存されるため、撮影画像が保存されたあとでも、ユーザは被写体の位置を適切に把握することが出来る。

この発明によれば、撮影された被写体の状態を把握することが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機の外観の一例を示す外観図であり、図１（Ａ）は携帯電話機の表面の外観を示し、図１（Ｂ）は携帯電話機の裏面の外観を示す。 図２は図１に示す携帯電話機の電気的な構成を示す図解図である。 図３は図１に示すディスプレイにプレビュー画像が表示されている状態の一例を示す図解図である。 図４は図３に示すプレビュー画像においてオートフォーカス処理を行う手順の一例を示す図解図であり、図４（Ａ）はプレビュー画像に対してタッチ操作がされている状態の一例を示し、図４（Ｂ）はオートフォーカス処理によって被写体にピントが合った状態の一例を示す。 図５は図１に示すディスプレイに表示される画像に対して設定される分割領域の一例を示す図解図である。 図６は図２に示すＲＡＭに記憶される相対位置関係テーブルの一例を示す図解図である。 図７は図１に示すディスプレイに表示されるプレビュー画像において検索モードに切り替える操作の一例を示す図解図であり、図７（Ａ）は検索キーに対してタップ操作がされている状態の一例を示し、図７（Ｂ）は検索モードに切り替わった状態の一例を示す。 図８は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像を抽出する処理の流れの一例を示す図解図であり、図８（Ａ）は任意の位置にタップ操作がされている状態の一例を示し、図８（Ｂ）は相対位置関係が検出されると共に、タップ操作がされた被写体にピントが合わせられた状態の一例を示し、図８（Ｃ）は抽出範囲が設定された状態の一例を示す。 図９は図１に示すディスプレイに表示される検索対象画像によって画像検索を行う操作の一例を示す図解図であり、図９（Ａ）は画像検索を行うためのタッチ操作の一例を示し、図９（Ｂ）は検索結果が表示されている状態の一例を示す。 図１０は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図１１は図２に示すプロセッサのカメラ機能処理の一部の一例を示すフロー図である。 図１２は図２に示すプロセッサのカメラ機能処理の他の一部の一例であって、図１１に後続するフロー図である。 図１３は図２に示すプロセッサの画像検索処理の一例を示すフロー図である。 図１４は図１に示すディスプレイに撮影画像を表示する操作の手順の一例を示す図解図であり、図１４（Ａ）はサムネイル画像が表示されている状態の一例を示し、図１４（Ｂ）はサムネイル画像を選択する操作の一例を示し、図１４（Ｃ）は選択されたサムネイル画像に対応する撮影画像が表示されている状態を示す。 図１５は図１４に示すサムネイル画像から画像検索結果を得るまでの操作の手順の一例を示す図解図であり、図１５（Ａ）はサムネイル画像に対して抽出操作がされている状態を示し、図１５（Ｂ）は検索操作がされている状態を示し、図１５（Ｃ）は検索対象画像に対する検索結果が表示されている状態を示す。 図１６は図２に示すプロセッサの第２実施例のカメラ機能処理の一例を示すフロー図である。 図１７は図２に示すプロセッサの画像閲覧処理の一例を示すフロー図である。

＜第１実施例＞
図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、タブレット端末、タブレットＰＣ、ノートＰＣおよびＰＤＡなど任意の携帯端末またはデジタルカメラなどのカメラ装置に適用可能であることを予め指摘しておく。

ハウジング１２の主面（表面）には、たとえば液晶や有機ＥＬなで構成され、表示部とも呼ばれるディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。

ハウジング１２の縦方向一端の主面側にスピーカ１８が内蔵され、縦方向他端の主面側にマイク２０が内蔵される。

ハウジング１２の主面には、タッチパネル１６と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。

また、ハウジング１２の他面（裏面）には、カメラモジュールのレンズ５４などに通じるレンズ開口２４が設けられる。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルパッドに対して、タッチ操作が行われると電話番号が入力され、通話キー２２ａが操作されると音声通話が開始される。終話キー２２ｂが操作されると音声通話が終了する。なお、終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。

また、メニューキー２２ｃが操作されると、ディスプレイ１４にホーム画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているオブジェクトなどに対して、タッチパネル１６によるタッチ操作を行うことによってオブジェクトを選択し、その選択を確定させることができる。

また、カメラ機能が実行されると、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、レンズ開口２４が設けられている他面を任意の被写体に向けて撮影操作を行うことで、被写体を撮影することが出来る。

なお、携帯電話機１０は、電話機能以外に、メール機能およびブラウザ機能などを実行可能である。また、以下の説明では、ディスプレイ１４に表示されるキーなどのＧＵＩおよびアイコンなどは、まとめてオブジェクトと言うことがある。

図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０などを含む。プロセッサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８およびカメラ制御回路５０などが接続される。

プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。また、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。

入力装置４０は、図１に示すハードキー２２を含むものである。そのため、ハードキー２２に対するキー操作を受け付ける操作受付部を構成する。操作受付部が受け付けたハードキーの情報（キーデータ）はプロセッサ３０に入力される。

無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、タッチパネル１６が受け付けた発呼（音声発信）の操作に基づき、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。

また、無線通信回路３２はアンテナ３４を介して、ネットワーク（通信網、電話網）１００と無線接続される。データサーバ１０２は、有線または無線で、ネットワーク１００と接続される。したがって、携帯電話機１０は、ネットワーク１００を介してデータサーバ１０２と通信を確立することが出来る。

Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、上述のようにマイク２０からの音声信号はこのＡ／Ｄ変換器３６でディジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データに基づく音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。

表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含んでおり、プロセッサ３０から出力されたデータはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４に画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。そのため、プロセッサ３０は表示制御部と呼ばれることもある。なお、ディスプレイ１４には、バックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路４８には、タッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与すると共に、タッチパネル１６に対するタッチの開始を示すタッチ開始信号、タッチの終了を示す終了信号、およびタッチされたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、タッチされたオブジェクトを判断する。

実施例では、タッチパネル１６は、その表面と指などの物体（以下、便宜上合わせて指と言う。）との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスとも呼ばれる。タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、タッチパネル１６の表面に対してタッチ操作が行われることによって、操作位置や、操作方向などを携帯電話機１０に入力する。

本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。

タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、所定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。

また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。また、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と呼ぶ。

なお、以下の説明では、タップ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述されることがある。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。

カメラ制御回路５０には、イメージセンサ５２およびレンズ５４のレンズ位置を調整するモータ（図示せず）などが接続される。また、カメラ制御回路５０は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、カメラ機能を実行する操作が行われると、プロセッサ３０はカメラ制御回路５０を起動して、カメラ機能を実行する。なお、カメラ制御回路５０、イメージセンサ５２およびレンズ５４は、まとめてカメラモジュールまたは撮影部と呼ばれる。

たとえば、被写体の光学像はイメージセンサ５２に照射され、イメージセンサ５２の撮像エリアには、たとえばSXGA(1280×1024画素)に対応する受光素子が配置されており、撮像エリアでは、光電変換によって、被写体の光学像に対応する電荷つまりSXGAの生画像信号が生成される。なお、ユーザは、画像データのサイズを、SXGAの他に、XGA(1024×768画素)およびVGA(640×480画素)などに変更することができる。

カメラ機能が実行されると、被写体のリアルタイム動画像つまりプレビュー画像をディスプレイ１４に表示するべく、プロセッサ３０は、カメラ制御回路５０に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。

イメージセンサドライバは、イメージセンサ５２の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ５２から出力される。また、出力された生画像信号はカメラ制御回路５０に入力され、カメラ制御回路５０は入力された生画像信号に対して、色分離、白バランス調整、YUV変換などの処理を施し、YUV形式の画像データを生成する。そして、YUV形式の画像データはプロセッサ３０に入力される。

ここで、カメラ制御回路５０は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ３０に出力する。プロセッサ３０は、カメラ制御回路５０から出力されたフォーカス評価値に基づいて、オートフォーカス（ＡＦ）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路５０はプロセッサ３０の指示の下、レンズ５４の焦点距離ｆを調整する。その結果、被写体にピントが合わされたスルー画像がディスプレイ１４に表示される。

また、プロセッサ３０に入力されたYUV形式の画像データは、プロセッサ３０によってＲＡＭ４６に格納（一時記憶）される。さらに、格納されたYUV形式の画像データは、プロセッサ３０でRGBデータに変換された後に、ＲＡＭ４６から表示ドライバ４２に与えられる。そして、RGB形式の画像データがディスプレイ１４に出力される。これによって、被写体を表す低解像度（たとえば、320×240画素）のプレビュー画像がディスプレイ１４に表示される。

静止画像の撮影操作が行われると、プロセッサ３０は、静止画像の本撮影処理を実行する。つまり、プロセッサ３０は、イメージセンサ５２から出力されるSXGAの生画像信号に信号処理を施して、ＲＡＭ４６に一旦格納し、フラッシュメモリ４４に対する保存処理を実行する。保存処理が実行されると、プロセッサ３０を通してＲＡＭ４６から撮影画像データが読み出される。そして、プロセッサ３０は、読み出した撮影画像データにメタ情報を関連付けて、一つのファイルとしてフラッシュメモリ４４に保存する。さらに、プロセッサ３０は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。

なお、携帯電話機１０にメモリカードが接続される場合、撮影画像データはメモリカードに保存されてもよい。また、撮影画像データに関連付けられるメタ情報は、Ｅｘｉｆフォーマットで保存される。

また、動画像を撮影する設定がされ撮影操作が行われると、プロセッサ３０は、動画像用の本撮影処理を実行する。このとき、プロセッサ３０は、カメラ制御回路５０に対して、VGAの生画像信号を所定のフレームレートで出力させる命令を発行する。そして、プロセッサ３０は、静止画像の本撮影処理と同様、所定のフレームレートで読み出された各生画像信号に対して複数の処理を加えた後に、動画像データをフラッシュメモリ４４に保存する。

なお、フラッシュメモリ４４にはアドレス帳データが記憶されている。そして、フラッシュメモリ４４に記憶（保存）されているアドレス帳データと撮影画像データとはまとめてデータベースと呼ばれることがある。

図３はディスプレイ１４にプレビュー画像が表示されている状態の一例を示す図解図である。ディスプレイ１４の表示範囲は状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示領域６２には、カメラ画面が表示される。カメラ画面には、カメラモジュールの出力に基づくプレビュー画像が表示されると共に、カメラ画面の左側にはズームスライダーおよびメニューキーが表示され、カメラ画面の右側にはシャッターキー、閲覧キーおよび検索キーが表示される。

ズームスライダーに対してスライド操作がされると、デジタルズーム処理または光学ズーム処理によって画角が変化する。

メニューキーに対してタップ操作がされると、ホワイトバランスおよび露出補正などの設定を変更するためのＧＵＩが表示される。シャッターキーに対してタップ操作がされると、上述した本撮影処理が実行される。閲覧キーに対してタップ操作がされると、フラッシュメモリ４４に保存されている撮影画像データを閲覧可能にする閲覧機能が実行される。そして、検索キーに対してタッチ操作がされると、検索モードが設定される。検索モードについては後述するため、ここでの詳細な説明は省略する。

また、プレビュー画像において任意の位置にタップ操作がされると、タップされた被写体にピントが合うように、ＡＦ処理が実行される。たとえば、図３では、手前の花壇に対してピントがあった状態であるが、図４（Ａ）に示すように、背後の自動車に対してタップされると、その自動車にピントが合うようにＡＦ処理が実行される。その結果、ディスプレイ１４には、図４（Ｂ）に示すように、自動車にピントが合った状態のプレビュー画像が表示される。

ここで、本実施例では、本撮影処理が実行されるときに、被写体どうしの位置を検出し、検出された位置に基づいて判断された被写体どうしの相対位置関係をメタ情報として保存する。

具体的には、図５を参照して、プレビュー画像に対して９つの分割領域Ｒ１−Ｒ９を設定する。シャッターキーが操作されると、レンズ５４の焦点距離ｆをワイド端からテレ端に変化させ、焦点距離ｆが変化しているときの各分割領域Ｒのそれぞれのフォーカス評価値を算出する。また、フォーカス評価値が最大値となったときの焦点距離ｆをそれぞれ特定し、特定された焦点距離ｆ１−ｆ９が、分割領域Ｒ１−Ｒ９にそれぞれ対応付けられて、図６に示す相対位置関係テーブルに記憶される。そして、このようにして焦点距離ｆ１−ｆ９が記憶された相対位置関係テーブルは、撮影画像データのメタ情報の一部として保存される。

たとえば、被写体どうしの相対位置が異なる場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは異なる。一方、被写体どうしの相対位置が同じである場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは略同じ値となる。つまり、分割領域Ｒ５の焦点距離ｆ５および分割領域Ｒ６の焦点距離ｆ６を比較したときに、異なっていれば、分割領域Ｒ５に含まれる被写体と分割領域Ｒ６に含まれる被写体とは、携帯電話機１０から異なる位置（距離）に存在していることとなる。また、２つの分割領域Ｒの焦点距離ｆが略同じであれば、それぞれの分割領域Ｒに含まれる被写体は、携帯電話機１０から略同じ位置（距離）に存在していることがわかる。つまり、複数の分割領域Ｒに対して、フォーカス評価値が最大となった時の焦点距離ｆを記憶することで、被写体どうしの相対位置関係を検出することが出来る。このように、レンズ５４の焦点距離ｆを利用して被写体の位置を検出することが可能であるため、カメラモジュールを備える既存のカメラ装置でもソフトウェアを更新または追加することで、被写体の位置を検出できるようになる。

なお、本実施例では、焦点距離ｆを略同じ値と判断する範囲は、０．０−０．２ｍｍとする。ただし、他の実施例では上述の範囲より狭く設定されてもよいし、広く設定されてもよい。

また、本実施例では分割領域Ｒの数を９つとしたが、他の実施例ではさらに多くてもよいし、少なくてもよい。また、分割領域Ｒの大きさは全てが同じであってもよいし、全部または一部が異なる大きさであってもよい。

次に、検索モードについて説明する。図７（Ａ），（Ｂ）を参照して、上述したように、検索キーに対してタップ操作がされると、検索モードに遷移する。検索モードでは、検索キーの色が反転すると共に、ズームスライダーおよびメニューキーの表示が消去される。そして、検索モードでは、画像検索によって画像を利用してデータサーバ１０２またはフラッシュメモリ４４に記憶されるデータベースから、検索用の画像についての検索結果を得ることが出来る。検索モードで検索キーに対してタップ操作がされると、撮影モードに戻る。画像検索のアルゴリズム等については、広く一般的な技術であるため詳細な説明は省略する。

図８（Ａ）−（Ｃ）を参照して、たとえばプレビュー画像において被写体を示す位置にタップ操作がされると、相対位置関係テーブルに、各分割領域Ｒの焦点距離ｆが記憶され、かつタッチ位置に基づいてＡＦ処理が実行される。そして、焦点距離ｆが記憶された相対位置関係テーブルに基づいて、タップされた分割領域Ｒに含まれる被写体と略同じ位置に存在する被写体を含む分割領域Ｒが特定される。つまり、タップされた分割領域Ｒの焦点距離ｆと略同じ値の焦点距離ｆが対応付けられた分割領域Ｒが特定される。たとえば、分割領域Ｒ５と分割領域Ｒ８との焦点距離ｆが略同じであれば、分割領域Ｒ５に対してタップ操作がされると、分割領域Ｒ５と共に、分割領域Ｒ８が特定される。そして、分割領域Ｒ５および分割領域Ｒ８は１つの抽出範囲として設定され、抽出範囲内の画像が検索対象画像として抽出される。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色はグレースケールに変更される。このように、抽出範囲を設定することで、ユーザは抽出される検索対象画像を把握することが出来る。

また、抽出範囲に対してタップ操作がされると、検索対象画像の抽出が解除される。さらに、抽出範囲以外の位置にタップ操作がされると、検索対象画像が変更される。つまり、抽出範囲以外の位置にタップ操作が行われると、既に抽出されていた検索対象画像の抽出が解除され、タップ操作が行われた抽出範囲内の画像が新たな検索対象画像として抽出される。上記の態様によれば、ユーザは、検索対象を誤って選択したとしても、任意に変更することが出来る。

図９（Ａ）を参照して、検索対象画像が抽出された状態で、シャッターキーが操作されると、検索対象画像による検索結果を得るために、画像検索処理が実行される。具体的には、データサーバ１０２およびフラッシュメモリ４４に記憶されるデータベースから、検索対象画像と関連する情報が検索される。たとえばここでは、検索対象画像には被写体として花が含まれており、データサーバ１０２のデータベースから花の名称や特徴などの情報が検索結果として得られる。そして、図９（Ｂ）に示すように、得られた検索結果を含む検索結果ポップアップＰが、検索対象画像に関連付けて表示される。

また、図９（Ｂ）に示す検索結果ポップアップＰの中には、テキストが表示されているが、検索結果として画像が得られた場合は、その画像も検索結果ポップアップＰの中に表示される。さらに、検索結果ポップアップＰに対してダブルタップ操作がされると、得られた検索結果が機能表示領域６２に拡大して表示される。そして、検索結果ポップアップＰの外側にタップ操作がされると、検索結果が消去されると共に抽出範囲の設定が解除され、検索対象を任意に選択することが出来る状態に戻る。なお、複数の検索結果を取得した場合には、切替操作によって検索結果ポップアップに表示される検索結果が切り換えられる。

このように、本実施例では、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来る。そのため、画像検索の検索精度を向上させることが出来る。また、ユーザは撮影中に所望の被写体について、容易に画像検索を行うことが出来る。

ここで、表示されている検索対象画像は矩形ではない場合が多い。ところが、画像検索を行う際には検索に利用する画像は矩形である必要がある。そこで、本実施例では、検索対象画像が抽出されると、その検索対象画像を囲うことが出来る最小面積の矩形を定義し、その矩形の中に検索対象画像を張り付けることで、画像検索を行うことが可能な状態に加工する。なお、このように加工された検索対象画像において、元の検索対象画像が描かれていない部分は、所定の色（たとえば、白）で彩色されるか、無色透明にされる。

なお、他の実施例では、タッチ操作による検索対象画像の抽出ではなく、カメラ画面に表示されるガイドリングによって検索対象画像が抽出されてもよい。たとえば、他の実施例の検索モードでは、カメラ画面にガイドリングが表示される。そして、ユーザはガイドリングの中に検索対象が入るように携帯電話機１０の位置を調整した後にシャッターキーを操作すれば、ガイドリングの位置に基づいて検索対象画像が抽出される。つまり、ガイドリングが表示されている状態では、タッチ操作が行われなくても、検索対象画像を抽出することが出来る。そのため、シャッターキーをソフトキーではなく、ハードウエアキーとした場合は、タッチパネル１６を利用することなく、画像検索を実施することが出来るようになる。したがって、タッチパネル１６を有しないデジタルカメラなどのカメラ装置であっても、本実施例を適用することが出来る。

上述では第１実施例の特徴を概説した。以下では、図１０に示すメモリマップおよび図１１−図１３に示すフロー図を用いて詳細に説明する。

図１０を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域３０２には、カメラ機能を実行するためのカメラ機能プログラム３１０、画像検索を行うための画像検索プログラム３１２および撮影画像を閲覧するための画像閲覧プログラム３１４などが記憶される。なお、プログラム記憶領域３０２には、メール機能、ブラウザ機能などの機能を実行するためのプログラムも記憶される。

続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、プレビュー画像バッファ３３２、相対位置関係バッファ３３４、検索対象画像バッファ３３６および検索結果バッファ３３８などが設けられる。また、データ記憶領域３０４には、タッチ座標マップ３４０が記憶されると共に、タッチフラグ３４２も設けられる。

タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータ、タッチ操作の始点および終点のタッチ座標のデータなどが一時的に記憶される。プレビュー画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。そして、カメラ機能が実行されたときには、プレビュー画像バッファ３３２に記憶されている画像に基づいてプレビュー画像が表示される。相対位置関係バッファ３３４には、相対位置関係が検出されたときに、相対位置関係テーブルが一時的に記憶される。検索対象画像バッファ３３６には、抽出された検索対象画像が一時的に記憶される。検索結果バッファ３３８には検索対象画像による検索結果が一時的に記憶される。

タッチ座標マップ３４０は、タッチ操作におけるタッチ座標とディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチパネル１６に対して行われたタッチ操作の結果が、タッチ座標マップ３４０に基づいてディスプレイ１４の表示に反映される。

タッチフラグ３４２は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４２は、１ビットのレジスタで構成される。タッチフラグ３４２がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４２がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。また、タッチフラグ３４２は、タッチパネル制御回路４８の出力に基づいてオン／オフが切り換えられる。

なお、データ記憶領域３０４には、ＧＵＩなどのオブジェクトを表示するためのデータが記憶されたり、プログラムの実行に必要な、他のフラグやタイマ（カウンタ）が設けられたりする。

プロセッサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図１１、図１２に示すカメラ機能処理および図１３に示す画像検索処理などを含む、複数のタスクを並列的に処理する。

図１１はカメラ機能処理のフロー図の一部である。カメラ機能処理は、たとえばカメラ機能を実行する操作がされると開始される。ステップＳ１でプロセッサ３０は、プレビュー画像を表示する。たとえば、プロセッサ３０は、カメラ制御回路５０を動作させ、カメラ制御回路５０の出力に基づくプレビュー画像を、プレビュー画像バッファ３３２から読み出す。そして、読み出されたプレビュー画像はディスプレイ１４に表示される。

続いて、ステップＳ３でタッチ操作がされたか否かを判断する。つまり、タッチフラグ３４２がオンであるかが判断される。ステップＳ３で“ＮＯ”であれば、つまりタッチ操作がされなければ、プロセッサ３０はステップＳ３の処理を繰り返す。また、ステップＳ３で“ＹＥＳ”であれば、たとえばタップ操作がされると、ステップＳ５でプロセッサ３０は、検索キーにタップされたか否かを判断する。つまり、検索モードを設定するタッチ操作がされたかが判断される。

ステップＳ５で“ＮＯ”であれば、つまり検索キーに対してタッチ操作がされていなければ、ステップＳ７でプロセッサ３０は、終了か否かを判断する。つまり、カメラ機能を終了させるタッチ操作されたかが判断される。ステップＳ７で“ＹＥＳ”であれば、つまりカメラ機能を終了させるタッチ操作がされた場合、プロセッサ３０はカメラ機能処理を終了する。一方、ステップＳ７で“ＮＯ”であれば、つまりカメラ機能を終了させるタッチ操作がされていなければ、ステップＳ９でプロセッサ３０は、タッチ位置に基づいて処理を実行する。たとえば、プレビュー画像の任意の位置にタップ操作がされた場合は、ＡＦ処理が実行される。また、シャッターキーにタップ操作がされた場合は、本撮影処理が実行される。そして、ステップＳ９の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。

また、ステップＳ５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１１で検索モードが設定される。たとえば、検索モードが設定されると、図７に示すカメラ画面が表示される。

続いて、ステップＳ１３でプロセッサ３０は、抽出操作がされたか否かを判断する。たとえば、抽出操作としてプレビュー画像に対するタップ操作を受け付けたかが判断される。ステップＳ１３で“ＮＯ”であれば、つまり抽出操作がされなければ、ステップＳ１５でプロセッサ３０は、検索キーに対してタップがされたか否かを判断する。つまり、撮影モードに遷移させる操作がされたかが判断される。ステップＳ１５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１７でプロセッサ３０は、検索モードを解除する。たとえば、図３に示すカメラ画面が再び表示される。そして、ステップＳ１７の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。ただし、他の実施例では、抽出操作が行われずに検索キーに対してタップされると、表示されている画像をキャプチャーし、キャプチャー画像に基づいて画像検索処理が実行されてもよい。

また、ステップＳ１５で“ＮＯ”であれば、つまり検索キーにタップされていなければ、プロセッサ３０はステップＳ１３の処理に戻る。さらに、ステップＳ１３で“ＹＥＳ”であれば、つまりプレビュー画像に対してタップする抽出操作がされると、ステップＳ１９でプロセッサ３０は、相対位置関係を検出する。つまり、プロセッサ３０は、レンズ５４を駆動させる命令をカメラモジュール（カメラ制御回路５０）に出し、各分割領域Ｒにおいてフォーカス評価値が最大となったときの焦点距離ｆを相対位置関係テーブルに記憶させる。また、相対位置関係テーブルが相対位置関係バッファ３３４に記憶されると、タッチされた分割領域Ｒのフォーカス評価値が最大値となるように、カメラモジュールはレンズ５４を移動させる。つまり、相対位置関係を検出した結果を利用して、ＡＦ処理が実行される。続いて、ステップＳ２１でプロセッサ３０は、抽出範囲を設定する。つまり、相対位置関係テーブルに基づいて、タッチ操作がされた分割領域Ｒと略同じ焦点距離ｆが対応付けられている分割領域Ｒを特定し、特定された分割領域Ｒを抽出範囲として設定する。続いて、ステップＳ２３でプロセッサ３０は、検索対象画像を抽出する。つまり、設定された抽出範囲に含まれる画像の画像データを抽出し、抽出した画像データを検索対象画像バッファ３３６に記憶させる。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色がグレースケールにされる。

続いて、ステップＳ２５でプロセッサ３０は、変更操作か否かを判断する。つまり、抽出範囲以外のプレビュー画像に対するタップ操作を受け付けたかが判断される。ステップＳ２５で“ＹＥＳ”であれば、つまり変更操作がされると、プロセッサ３０はステップＳ１９の処理に戻る。一方、ステップＳ２５で“ＮＯ”であれば、つまり変更操作がされていなければ、ステップＳ２７でプロセッサ３０は、解除操作か否かを判断する。つまり、プロセッサ３０は、抽出範囲に対するタップ操作を受け付けたかを判断する。ステップＳ２７で“ＹＥＳ”であれば、つまり解除操作がされると、プロセッサ３０はステップＳ１３の処理に戻る。一方、ステップＳ２７で“ＮＯ”であれば、つまり解除操作がされなければ、ステップＳ２９でプロセッサ３０は、検索操作か否かを判断する。つまり、シャッターキーに対するタップ操作を受け付けたかが判断される。ステップＳ２９で“ＮＯ”であれば、つまり検索操作がされなければ、プロセッサ３０はステップＳ２５の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり検索操作がされると、ステップＳ３１でプロセッサ３０は、画像検索処理を実行する。この画像検索処理の詳細については後述するため、ここでの詳細な説明は省略する。そして、ステップＳ３１の処理が終了すれば、プロセッサ３０はステップＳ１３の処理に戻る。

図１３は画像検索処理のフロー図である。たとえば、ステップＳ３１の処理が実行されると、画像検索処理が開始される。ステップＳ５１でプロセッサ３０は、データサーバ１０２から検索対象画像を検索する。つまり、データサーバ１０２とのデータ通信を確立した後、検索対象画像をデータサーバ１０２に送信すると共に、検索対象画像データに基づく画像検索をデータサーバ１０２に要求する。続いて、ステップＳ５３でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、検索対象画像についての検索結果をデータサーバ１０２から受信したかが判断される。ステップＳ５３で“ＮＯ”であれば、つまりデータサーバ１０２には検索対象画像に関連する情報が記憶されておらず、データサーバ１０２から検索結果を取得することが出来なければ、プロセッサ３０はステップＳ５７の処理に進む。また、ステップＳ５３で“ＹＥＳ”であれば、つまりデータサーバ１０２から検索結果を取得することが出来れば、ステップＳ５５でプロセッサ３０は、検索結果を記憶する。つまり、データサーバ１０２から受信した検索結果が検索結果バッファ３３８に記憶される。

続いて、ステップＳ５７でプロセッサ３０は、フラッシュメモリ４４から検索対象画像を検索する。たとえば、フラッシュメモリ４４に記憶される複数の撮影画像およびアドレス帳データを含むデータベースから、検索対象画像と関連する情報を検索する。続いて、ステップＳ５９でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、フラッシュメモリ４４に検索対象画像と関連する情報が記憶されていたかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていなければ、プロセッサ３０はステップＳ６３の処理に進む。また、ステップＳ５９で“ＹＥＳ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていれば、ステップＳ６１でプロセッサ３０は、検索結果を記憶する。たとえば、検索対象画像についての検索結果としてアドレスデータが得られた場合、そのアドレスデータが検索結果バッファ３３８に記憶される。

続いて、ステップＳ６３でプロセッサ３０は、検索結果を表示する。つまり、検索結果バッファ３３８に記憶されている内容を含む検索結果ポップアップＰがディスプレイ１４に表示される。ただし、検索結果バッファ３３８に検索結果が記憶されていない場合は、検索結果ポップアップＰの中には、「検索結果を得ることが出来ませんでした。」などの文字列が表示され、検索結果が得られなかったことが通知される。

続いて、ステップＳ６５でプロセッサ３０は、検索結果が複数か否かを判断する。つまり、検索結果バッファ３３８に複数の検索結果が記憶されているかが判断される。ステップＳ６５で“ＹＥＳ”であれば、つまり検索結果が複数であれば、ステップＳ６７でプロセッサ３０は、切替操作か否かを判断する。たとえば、検索結果を切り替えるためのタッチ操作を受け付けたかが判断される。ステップＳ６７で“ＮＯ”であれば、つまり切替操作がされなければ、プロセッサ３０はステップＳ７１の処理に進む。一方、ステップＳ６７で“ＹＥＳ”であれば、つまり切替操作がされると、ステップＳ６９でプロセッサ３０は、検索結果の表示を切り替える。つまり、検索結果ポップアップＰの中には、他の検索結果が表示される。そして、ステップＳ６９の処理が終了すれば、プロセッサ３０はステップＳ６５の処理に戻る。

ステップＳ６５で“ＮＯ”であれば、つまり検索結果バッファ３３８に記憶されている検索結果が１つであれば、ステップＳ７１でプロセッサ３０は、終了か否かを判断する。つまり、検索結果ポップアップＰの表示を終了（消去）する操作がされたかが判断される。ステップＳ７１で“ＮＯ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされなければ、プロセッサ３０はステップＳ６５の処理に戻る。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされると、ステップＳ７３でプロセッサ３０は、検索結果の表示を消去する。つまり、検索結果ポップアップＰの表示が消去される。そして、ステップＳ７３の処理が終了すれば、プロセッサ３０は、画像検索処理を終了して、カメラ機能処理に戻る。

＜第２実施例＞
第２実施例では、撮影画像データと共に保存された相対位置関係を読み出して、第１実施例と同様に画像検索を行う。なお、第２実施例の携帯電話機１０は、第１実施例と略同じであるため、外観および電気的な構成などの説明は省略する。

まず、第２実施例では、上述したようにシャッターキーが操作されると、相対位置関係を検出する処理が実行され、検出された相対位置関係を含むメタ情報が作成される。そして、撮影画像データと共に作成されたメタ情報が保存される。つまり、シャッターキーを操作すると、撮影画像と共に相対位置関係を保存することが出来る。

次に、図１４（Ａ）−（Ｃ）を参照して、画像閲覧機能が実行されると、保存された画像ファイル（画像データ）のサムネイル画像がディスプレイ１４に表示される。この状態で任意のサムネイル画像がタップされると、タップされたサムネイル画像と対応する撮影画像がディスプレイ１４に表示される。そして、撮影画像がディスプレイ１４に表示されると、サムネイル画像の表示に戻るためのサムネイルキーと、画像検索を行うための実行キーとがディスプレイ１４の右側に表示される。

図１５（Ａ）−（Ｃ）を参照して、表示された撮影画像において任意の位置にタップ操作がされると、表示されている撮影画像と共に保存された相対位置関係が読み出され、第１実施例と同様、抽出範囲が設定される。そして、検索対象画像が抽出された状態で実行キーが操作されると画像検索処理が実行され、検索結果ポップアップＰがディスプレイ１４に表示される。

このように、撮影画像と共に被写体どうしの相対位置関係が保存されるため、撮影画像が保存されたあとでも、抽出操作が行われると、被写体どうしの相対位置関係を適切に把握することが出来る。そして、ユーザは、保存した相対位置関係を利用して、画像検索を行うことが出来る。

上述では第２実施例の特徴を概説した。以下では、図１６および図１７に示すフロー図を用いて、第２実施例について詳細に説明する。

図１６は、第２実施例のカメラ機能処理のフロー図である。なお、第１実施例のカメラ機能処理と略同じ処理については詳細な説明を省略する。第２実施例のカメラ機能処理が実行されると、プロセッサ３０は、ステップＳ８１でプレビュー画像を表示し、ステップＳ８３でタッチ操作か否かを判断する。ステップＳ８３で“ＮＯ”であれば、つまりタッチ操作がされていなければ、プロセッサ３０はステップＳ８３の処理を繰り返す。

一方、ステップＳ８３で“ＹＥＳ”であれば、つまりタッチ操作がされると、ステップＳ８５でプロセッサ３０は、撮影操作か否かを判断する。つまり、シャッターキーに対してタッチ操作がされたかが判断される。ステップＳ８５で“ＮＯ”であれば、つまり、シャッターキーに対してタッチ操作がされていなければ、ステップＳ８７でプロセッサ３０は、終了か否かを判断する。つまり、カメラ機能を終了する操作がされたかが判断される。ステップＳ８７で“ＹＥＳ”であれば、つまりカメラ機能を終了する操作がされると、プロセッサ３０は、カメラ機能処理を終了する。一方、ステップＳ８７で“ＮＯ”であれば、つまりタッチ操作がカメラ機能を終了する操作でなければ、ステップＳ８９でプロセッサ３０は、タッチ位置に基づいて処理を実行する。たとえば、メニューキーに対してタップ操作がされていれば、ステップＳ８９では、設定を変更するためのＧＵＩを表示する処理が実行される。そして、ステップＳ８９の処理が終了すれば、プロセッサ３０はステップＳ８３の処理に戻る。

ステップＳ８５で“ＹＥＳ”であれば、つまり撮影操作がされると、ステップＳ９１でプロセッサ３０は、撮影画像データをＲＡＭに記憶する。つまり、イメージセンサ５２から出力される生画像信号に信号処理が施され、その生画像信号が撮影画像データとしてＲＡＭ４６に一旦記憶される。続いて、ステップＳ９３でプロセッサ３０は、相対位置関係を検出する。つまり、第１実施例のステップＳ１９と同様、相対位置関係を検出する。続いて、ステップＳ９５でプロセッサ３０は、メタ情報を作成する。つまり、検出された相対位置関係を含むメタ情報が作成される。続いて、ステップＳ９７でプロセッサ３０は、撮影画像ファイルを保存する。つまり、ＲＡＭ４６から撮影画像データが読み出され、その撮影画像データにメタ情報が関連付けられる。そして、メタ情報が関連付けられた撮影画像データは、画像ファイルとしてフラッシュメモリ４４に保存される。また、ステップＳ９７の処理が終了すると、プロセッサ３０はステップＳ８３の処理に戻る。

なお、ステップＳ９３の処理を実行するプロセッサ３０は検出部として機能し、ステップＳ９７の処理を実行するプロセッサ３０は保存部として機能する。

図１７は画像閲覧処理のフロー図である。なお、第１実施例のカメラ機能処理で説明された処理と同等の処理については詳細な説明を省略する。

画像閲覧機能を実行する操作がされると、プロセッサ３０は、ステップＳ１１１でサムネイル画像を表示する。つまり、フラッシュメモリ４４から撮影画像データを読み出し、そのデータに基づくサムネイル画像が作成される。そして、図１４（Ａ）に示すように、作成されたサムネイル画像がディスプレイ１４に表示される。続いて、ステップＳ１１３でプロセッサ３０は、選択されたか否かを判断する。たとえば、サムネイル画像に対してタップ操作がされたかが判断される。ステップＳ１１３で“ＮＯ”であれば、つまりサムネイル画像を選択する操作がされていなければ、ステップＳ１１５でプロセッサ３０は、画像閲覧機能を終了する操作がされたか否かを判断する。ステップＳ１１５で“ＹＥＳ”であれば、つまり画像閲覧機能を終了する操作がされると、プロセッサ３０は画像閲覧処理を終了する。

一方、ステップＳ１１５で“ＮＯ”であれば、つまり画像閲覧機能を終了する操作がされなければ、プロセッサ３０はステップＳ１１３の処理に戻る。ステップＳ１１３で“ＹＥＳ”であれば、つまりサムネイル画像がタップ操作によって選択されると、ステップＳ１１７でプロセッサ３０は、撮影画像を表示する。つまり、選択されたサムネイル画像に対応する撮影画像が、ディスプレイ１４に表示される。

続いて、ステップＳ１１９でプロセッサ３０は、抽出操作がされたか否かを判断する。たとえば、サムネイル画像に対してタップ操作がされたかが判断される。ステップＳ１１９で“ＮＯ”であれば、つまり抽出操作がされなければ、ステップＳ１２１でプロセッサ３０は、戻る操作か否かを判断する。つまり、サムネイル画像の表示に戻る操作がされたかが判断される。また、具体的には、サムネイルキーに対してタッチ操作がされたかが判断される。ステップＳ１２１で“ＹＥＳ”であれば、たとえばサムネイルキーに対してタッチ操作がされると、プロセッサ３０はステップＳ１１３の処理に戻る。一方、ステップＳ１２１で“ＮＯ”であれば、たとえばサムネイルキーに対してタッチ操作がされなければ、プロセッサ３０はステップＳ１１９の処理に戻る。

ステップＳ１１９で“ＹＥＳ”であれば、つまり抽出処理がされると、ステップＳ１２３でプロセッサ３０は、相対位置関係を読み出す。つまり、表示されている撮影画像データのメタ情報から相対位置関係の情報が読み出される。続いて、プロセッサ３０は、ステップＳ１２５で抽出範囲を設定し、ステップＳ１２７で検索対象画像を抽出する。たとえば、図１５（Ａ），（Ｂ）に示すように、ステップＳ１２３で読み出された相対位置関係に基づいて検索対象画像が抽出される。

続いて、ステップＳ１２９でプロセッサ３０は、変更操作か否かを判断する。ステップＳ１２９で“ＹＥＳ”であれば、つまり変更操作がされると、プロセッサ３０はステップＳ１２３の処理に戻る。ステップＳ１２９で“ＮＯ”であれば、変更操作がされなければ、ステップＳ１３１でプロセッサ３０は、解除操作か否かを判断する。ステップＳ１３１で“ＹＥＳ”であれば、つまり解除操作がされると、プロセッサ３０はステップＳ１１９の処理に戻る。一方、ステップＳ１３１で“ＮＯ”であれば、つまり解除操作がされると、ステップＳ１３３でプロセッサ３０は、検索操作か否かを判断する。つまり、実行キーに対してタップ操作がされたかが判断される。ステップＳ１３３で“ＮＯ”であれば、たとえば実行キーに対してタップ操作がされなければ、プロセッサ３０はステップＳ１２９の処理に戻る。一方、ステップＳ１３３で“ＹＥＳ”であれば、たとえば実行キーに対してタップ操作がされると、ステップＳ１３５でプロセッサ３０は、画像検索処理を実行する。そして、画像検索処理が終了すれば、プロセッサ３０はステップＳ１１９の処理に戻る。

なお、他の実施例では、抽出範囲が設定された後に、色情報に基づく領域選択や、顔検出処理などの画像処理を加えることで検索対象画像をより適切に抽出するようにしてもよい。

また、その他の実施例では、保存された相対位置関係を利用して、撮影画像を３Ｄ表示するようにしてもよい。つまり、メタ情報として保存された相対位置関係が示す被写体の位置情報に基づいて、撮影画像を３Ｄ表示する際の被写体の表示位置を決定する。このような態様によれば、３Ｄ画像を撮影するため専用カメラを使わずに、３Ｄ画像を表示することが可能となる。

また、レンズ５４は、複数のズーム用のレンズおよび複数のフォーカス用のレンズから構成されていてもよい。この場合、フォーカス用のレンズのレンズ位置を変更させることで、焦点距離ｆを変化させずにピントを合わせることが可能である。そして、このような場合は、相対位置関係テーブルには、焦点距離ｆに代えてフォーカス用のレンズ位置が記憶されてもよい。

また、被写体までの距離を推定または測定することが出来る場合は、上述した焦点距離ｆに代えて被写体までの距離が相対位置関係テーブルに記憶されてもよい。

また、図示は省略するが、複数の被写体に対してマルチタッチ操作を行うことで、複数の検索対象画像が抽出される。また、さらにその他の実施例では、複数の検索対象画像が選択された場合、選択された検索対象画像において最も手前の被写体と最も奥の被写体との間に存在する被写体も検索対象画像として抽出されてもよい。つまり、さらにその他の実施例では、複数の抽出範囲に基づいて定められる焦点距離の範囲に含まれる、複数の抽出範囲の全てが選択される。たとえば、奥行きを持つ被写体を撮影した場合、被写体の手前の部分をタップ操作すると、被写体の手前の部分だけが検索対象画像として抽出されてしまう。そこで、手前の部分と奥の部分との２ヶ所にマルチタッチ操作を行うと、被写体全体をまとめて検索対象画像として抽出することができる。したがって、さらにその他の実施例では、ユーザが検索対象画像を抽出するときの操作が簡略化される。

また、タップ操作ではなく、任意の領域を囲うようスライド操作がされたときに、その任意の領域から検索対象画像が抽出されてもよい。

また、フラッシュメモリ４４に記憶されるデータベースには、アドレス帳データおよび撮影画像以外のデータが含まれていてもよい。

また、他の実施例では、検索対象画像を抽出せずにシャッターキーが操作された場合、プレビュー画像の全体が検索対象画像として抽出され、画像検索処理が実行されてもよい。

また、その他の実施例では、携帯電話機１０がＴＶ放送を表示可能な場合、任意のシーンをキャプチャーし、そのキャプチャーした画像から検索対象画像を抽出して画像検索を行ってもよい。

また、本実施例では、検索結果をディスプレイ１４に表示していたが、さらにその他の実施例はスピーカ１８から音声によって出力されてもよいし、他の端末またはＰＣなどに転送され、他の端末またはＰＣから出力（表示も含む）されてもよい。

また、他の実施例では、保存された被写体の位置情報に基づいて、分割領域が選択されたときにその分割領域に含まれる被写体と略同じ位置に存在する他の被写体を含む分割領域が、他の分割領域とは異なる表示態様で示されてもよい。この場合、ユーザは略同じ位置に存在する被写体を認識することが出来る。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ … 携帯電話機
１４ … ディスプレイ
１６ … タッチパネル
３０ … プロセッサ
４４ … フラッシュメモリ
４６ … ＲＡＭ
４８ … タッチパネル制御回路
５０ … カメラ制御回路
５２ … イメージセンサ
５４ … レンズ
１００ … ネットワーク
１０２ … データサーバ

Claims (6)

1. カメラモジュール、
   前記カメラモジュールから取得された撮影画像において被写体の位置を検出する検出部、および
   前記撮影画像を、前記被写体の位置を示す位置情報と共に保存する保存部を備える、カメラ装置。
2. 前記カメラモジュールは、レンズを含み、
   前記検出部は、前記レンズの焦点距離を利用して、前記被写体の位置を検出する、請求項１記載のカメラ装置。
3. 前記カメラモジュールの出力から算出したフォーカス評価値に基づいてレンズの位置を調整するオートフォーカス処理を制御する制御部をさらに備え、
   前記撮影画像は、所定数の分割領域に分割され、
   前記検出部は、分割領域毎にフォーカス評価値が算出され、分割領域毎にフォーカス評価値が最大となったときの前記レンズの位置に基づいて、前記被写体の位置を検出する、請求項２記載のカメラ装置。
4. 前記検出部は、撮影操作が行われたときに前記被写体の位置を検出する、請求項１ないし３のいずれかに記載のカメラ装置。
5. カメラモジュールを有する、カメラ装置のプロセッサを、
   前記カメラモジュールから取得された撮影画像において被写体の位置を検出する検出部、および
   前記撮影画像を、前記被写体の位置を示す位置情報と共に保存する保存部として機能させる、画像処理プログラム。
6. カメラモジュールを有する、カメラ装置における画像処理方法であって、前記カメラ装置のプロセッサが、
   前記カメラモジュールから取得された撮影画像において被写体の位置を検出する検出ステップ、および
   前記撮影画像を、前記被写体の位置を示す位置情報と共に保存する保存ステップを実行する、画像処理方法。

Images