JP5884260B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、被写体の特徴を直感的かつ即座に把握させることができる技術に関する。

従来、被写体を撮影する際に、撮影した被写体の画像を鑑賞する鑑賞者に被写体像の実際の大きさを伝えるため、被写体の近傍に大きさの指標となる物体を配置して撮影することが行われている。
例えば、長さが数センチ程度の被写体を撮影する場合、直径が既知の硬貨（例えば、日本国で発行されている直径が２．５ｃｍの１０円玉）を被写体の傍に置いて、デジタルカメラで撮影する。これにより、被写体とともに硬貨の写った画像が得られるため、鑑賞者は、画像に写る硬貨と被写体を比較することによって、被写体の実際の大きさを認識することができる。

ただし、ビルや橋といった大きな物体が被写体となる場合には、当該被写体の近傍に、大きさの指標となる物体を実際に配置することは困難である。
そこで、特許文献１には、画像とともに、被写体と同一の寸法である数値を表すスケールを表示させる技術が開示されている。

特許３０５９７７３号公報

しかしながら、特許文献１記載の技術では、鑑賞者は、表示されたスケールから被写体の大きさを把握するように試みるが、当該スケールは、被写体と同一の寸法であり、かつ、長さ等を単純な数値表現により表すものであるため、被写体の大きさを即座に直感的に把握することは困難であるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、被写体の特徴を直感的かつ即座に把握させることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、画像を取得する第１の取得手段と、前記第１の取得手段により取得された画像中の主要被写体の特徴を取得する特徴取得手段と、前記特徴取得手段により取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得手段と、前記第２の取得手段により取得された前記複数の指標画像を表示手段に表示させる第１の表示制御手段と、前記表示手段に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を指定する指定手段と、前記指定手段により指定された前記特定の指標画像を前記第１の取得手段により取得された前記画像中の主要被写体の周囲に合成する合成手段と、 を備えたことを特徴とする。
また、上記目的を達成するため、請求項２に記載の発明は、複数の指標画像を記憶する記憶手段、を更に備え、前記第２の取得手段は、前記主要被写体の特徴に基づき、前記記憶手段に記憶された前記複数の指標画像の総数より少ない数の指標画像を取得する。
また、上記目的を達成するため、請求項３に記載の発明は、前記表示手段に前記複数の指標画像が表示されている時、ユーザに対してユーザ操作をするように報知する報知手段を更に備えることを特徴とする。
また、上記目的を達成するため、請求項４に記載の発明は 前記特徴取得手段により取得された主要被写体の特徴に基づいて、前記指標画像を加工する加工手段を更に備え、前記第２の取得手段は、前記加工手段により加工された指標画像を前記指標画像として取得することを特徴とする。

また、上記目的を達成するため、請求項５に記載の発明は、前記特徴取得手段は、前記主要被写体の長さを前記特徴として計測する計測手段を有し、前記加工手段は、前記計測手段により計測された主要被写体の長さに基づいて、前記指標画像を加工することを特徴とする。

また、上記目的を達成するため、請求項６に記載の発明は、前記加工手段は、前記主要被写体の長さが前記指標画像より長い場合は、前記主要被写体の長さに合わせた数の前記指標画像を複製する複製手段を更に備え、前記合成手段は、前記第１の取得手段により取得された画像と、前記複製手段により複製された前記主要被写体の長さに合わせた数の指標画像とを合成することを特徴とする。
また、上記目的を達成するため、請求項７に記載の発明は、前記加工手段は、前記主要被写体の長さが前記指標画像より長い場合は、前記主要被写体の長さに合わせた前記指標画像のアニメーションデータを生成する生成手段を更に備え、前記合成手段は、前記第１の取得手段により取得された画像と、前記生成手段により生成された前記アニメーションデータとを合成することを特徴とする。
また、上記目的を達成するため、請求項８に記載の発明は、前記計測手段は、前記被写体の直交する２辺の長さを計測することを特徴とする。
また、上記目的を達成するため、請求項９に記載の発明は、前記第１の取得手段により取得された画像に含まれる主要被写体を検出する検出手段を更に備え、前記特徴取得手段は、前記検出手段により検出された主要被写体の特徴を取得することを特徴とする。
また、上記目的を達成するため、請求項１０に記載の発明は、前記第１の取得手段により取得された画像に含まれる主要被写体を検出する検出手段を更に備え、前記特徴取得手段は、前記検出手段により検出された主要被写体の特徴を取得することを特徴とする。
また、上記目的を達成するため、請求項１１に記載の発明は、前記検出手段により検出された主要被写体の位置を強調表示する第３の表示制御手段を更に備えたことを特徴とする。

また、上記目的を達成するため、請求項１２に記載の発明は、表示部を備える画像処理装置が実行する画像処理方法において、画像を取得する第１の取得ステップと、前記第１の取得ステップの処理により取得された画像に含まれる主要被写体の特徴を取得する特徴取得ステップと、前記特徴取得ステップにより取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得ステップと、前記第２の取得ステップにより取得された前記複数の指標画像を前記表示部に表示させる第１の表示制御ステップと、前記表示部に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を指定する指定ステップと、前記指定ステップにより指定された前記特定の指標画像を前記第１の取得ステップにより取得された画像中の主要被写体の周囲に合成する合成ステップと、を含む画像処理方法であることを特徴とする。

また、上記目的を達成するため、請求項１３に記載の発明は、コンピュータを、画像を取得する第１の取得手段と、前記第１の取得手段により取得された画像中に含まれる主要被写体の特徴を取得する特徴取得手段と、前記特徴取得手段により取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得手段、前記第２の取得手段により取得された前記複数の指標画像を表示手段に表示させる第１の表示制御手段、前記表示手段に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を指定する指定手段、前記指定手段により指定された前記特定の指標画像を前記第１の取得手段により取得された画像中の主要被写体の周囲に合成する合成手段、として機能させるプログラムであることを特徴とする。

本発明によれば、被写体の特徴を直感的かつ即座に把握させることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、スケール表示処理を実行するための機能的構成を示す機能ブロック図である。 スケール表示処理の結果の具体例としての各画像を示す図である。 対応テーブルの構造を模式的に表した図である。 図２の機能的構成を有する図１の撮像装置１が実行するスケール表示処理の流れを説明するフローチャートである。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、画像計測部１５と、バス１６と、入出力インターフェース１７と、撮像部１８と、操作部１９と、表示部２０と、記憶部２１、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＣＰＵ１１には、表示制御部４１と、主要被写体検出部４２と、記憶制御部４３と、が設けられている。なお、表示制御部４１乃至記憶制御部４３のさらなる詳細については、図２を参照して後述する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部１８から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
画像処理部１４には、画像取得部５１と、指標画像取得加工部５２と、画像合成部５３とが設けられている。なお、画像取得部５１と、指標画像取得加工部５２と、画像合成部５３とのさらなる詳細については、図２を参照して後述する。

画像計測部１５は、撮像画像等の画像のデータに基づいて、当該画像内に含まれる被写体の各種物理量（例えば長さ）を計測する。画像計測部１５のさらなる詳細については、図２を参照して後述する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４及び画像計測部１５は、バス１６を介して相互に接続されている。このバス１６にはまた、入出力インターフェース１７も接続されている。入出力インターフェース１７には、撮像部１８、操作部１９、表示部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。

撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１８の出力信号として出力される。
なお、以下、撮像部１８の出力信号が、「撮像画像のデータ」であるものとする。従って、撮像部１８からは撮像画像のデータが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。

操作部１９は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部２０は、液晶ディスプレイ等で構成され、各種画像（例えば、後に詳述する合成画像）を表示する。

記憶部２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを記憶する。また、記憶部２１は、画像処理部１４等の処理に必要な各種データも記憶する。
例えば、記憶部２１には、指標画像記憶部６１及び対応テーブル記憶部６２が設けられている。なお、指標画像記憶部６１及び対応テーブル記憶部６２のさらなる詳細については、図２を参照して後述する。

通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。また、リムーバブルメディア３１には、本実施形態においては、後述する合成画像等が記憶される。

図２は、このような撮像装置１の機能的構成のうち、スケール表示処理を実行するための機能的構成を示す機能ブロック図である。

スケール表示処理とは、撮像画像等の原画像のデータを取得し、当該原画像に含まれる被写体の長さ等の物理量をユーザに把握させる指標となる画像（後述する指標画像）を、当該原画像とともに表示させるまでの一連の処理をいう。

図２において、ＣＰＵ１１は、表示制御部４１と、主要被写体検出部４２と、記憶制御部４３とを構成する。
なお、表示制御部４１乃至記憶制御部４３は、本実施形態では、ＣＰＵ１１と、当該ＣＰＵ１１により実行されるプログラムとの組み合わせ、即ち、ハードウェアとソフトウェアとの組み合わせにより構成されている。しかしながら、これは例示にすぎず、表示制御部４１乃至記憶制御部４３の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。

画像処理部１４は、画像取得部５１と、指標画像取得加工部５２と、画像合成部５３とを構成する。
なお、画像取得部５１乃至画像合成部５３が画像処理部１４に設けられていることは例示にすぎず、画像取得部５１乃至画像合成部５３の少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。

記憶部２１には一領域として、指標画像記憶部６１と、対応テーブル記憶部６２と、が設けられている。
なお、指標画像記憶部６１及び対応テーブル記憶部６２が記憶部２１の一領域として設けられていることは例示にすぎず、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。

撮像部１８は、撮像画像のデータを、画像取得部５１に供給する。
ここで、本実施の形態では、撮像画像のデータには、メタ情報が付加されているものとする。当該メタ情報には、撮像条件として、ズーム値、フォーカス値、撮像画像における被写体までの距離の情報等が含まれているものとする。

画像取得部５１は、撮像部１８から供給される撮像画像のデータを、原画像のデータとして取得して、主要被写体検出部４２に供給する。
なお、原画像のデータは、図２の例では撮像部１８により供給される撮像画像のデータとして説明されているが、図２の例に特に限定されず、所定の物理量を有する被写体が含まれている画像のデータであれば、その供給元は問わない。例えば、画像取得部５１は、リムーバブルメディア３１や、通信部２２を介するインターネット等から供給される画像のデータを、原画像のデータとして取得することもできる。

主要被写体検出部４２は、原画像のデータが供給されると、当該原画像に含まれる主要被写体を検出し、その検出結果とともに原画像のデータを画像計測部１５に供給する。
なお、主要被写体の検出手法は、特に限定されず、例えば本実施形態においては、メタ情報として含まれるフォーカス値等に基づいて、フォーカス対象を主要被写体として検出する、といった検出手法が採用されている。
また、主要被写体検出部４２により検出される主要被写体の数は、１つに限定されず、複数であってもよい。この場合、複数の主要被写体がユーザに提示され、ユーザは、操作部１９を操作することによって、スケール表示の対象となる１つを選択する。主要被写体検出部４２は、このようにして選択された１の主要被写体を検出結果として、原画像のデータともに画像計測部１５に供給する。

画像計測部１５は、主要被写体検出部４２により検出された主要被写体の長さ、例えば長手方向の長さを計測する。ここで、主要被写体の長さとは、原画像内における主要被写体の相対的な長さではなく、実世界に存在する又は存在した主要被写体の絶対的な長さ（実寸）を意味する。

画像計測部１５による主要被写体の長さの計測手法は、特に限定されないが、例えば本実施形態では、特許文献１と同様に、ズーム値と被写体までの距離情報に基づいて長さを計測する、といった計測手法が採用される。

なお、本実施形態においては、画像計測部１５は、主要被写体の長手方向の長さを、主要被写体の長さとして計測する。しかし、長さの計測対象は、特にこれに限定されず、任意の方向の長さを採用することができる。例えば、画像計測部１５は、主要被写体の直交する２辺の長さをそれぞれ計測することによって、結果として、主要被写体の面積を計測したことと等価にすることができる。
計測対象は、長さに特に限定されず、例えば主要被写体の体積や重量等、主要被写体が有する任意の数の任意の種類の実物理量を採用してもよい。また、当該実物理量を予め画像に付加しておき、計測を行わずに、このメタ情報に付加された当該実物理量に基づいて対応する指標となる画像を加工してもよい。

指標画像取得加工部５２は、画像計測部１５により計測された主要被写体の物理量と、当該主要被写体を含む画像の鑑賞者に把握させるために指標となる画像（以下、「指標画像」と呼ぶ）のデータとを、後述する指標画像記憶部６１から取得する。
この場合、指標画像取得加工部５２は、画像計測部１５の計測結果等に基づいて自律的な判断で、即ち自動的に、指標画像のデータを取得してもよいし、ユーザが操作部１９を操作して指定した指標画像のデータを取得してもよい。
そして、指標画像取得加工部５２は、指標画像のデータを、原画像のデータに合成するために適切な形態となるように加工する。

例えば、画像計測部１５により計測された主要被写体の物理量が、主要被写体の長さである場合、次のようにして指標画像のデータが取得されて加工される。
即ち、指標画像取得加工部５２は、主要被写体の長さの指標となるもの、例えばクジラや硬貨等を示す指標画像のデータを、指標画像記憶部６１から取得する。
そして、指標画像取得加工部５２は、指標画像のデータを加工することによって、当該指標画像を、主要被写体の長さに相当する数だけ、当該主要被写体の長さ方向に連続して繰り返し配置させた画像のデータを生成する。
なお、このようにして、指標画像のデータが加工された結果得られるデータ、例えば本例では、所定個数の指標画像を所定方向に連続して繰り返し配置させた画像のデータを、以下、「加工指標画像のデータ」と呼ぶ。

画像合成部５３は、画像取得部５１により取得された原画像のデータと、指標画像取得加工部５２により生成された加工指標画像のデータとを合成することによって、合成画像のデータを生成する。

表示制御部４１は、画像取得部５１により取得されたデータにより表わされる原画像や、画像合成部５３により生成されたデータにより表わされる合成画像を表示部２０に表示させる制御を実行する。

記憶制御部４３は、必要に応じて、画像合成部５３により生成された合成画像のデータを、リムーバブルメディア３１に記憶させる制御を実行する。

さらに以下、ＣＰＵ１１により構成される表示制御部４１乃至記憶制御部４３、並びに、画像処理部１４により構成される画像取得部５１乃至画像合成部５３の各機能について、即ち、スケール表示処理の実行機能について、図３を参照して具体的に説明する。
図３は、スケール表示処理の結果の具体例としての各画像を示す図である。
図３（ａ）には、被写体として橋９１やビル９２を含む原画像８１が示されている。
画像取得部５１により原画像８１のデータが取得されると、主要被写体検出部４２によって、橋９１やビル９２が主要被写体として検出される。

この場合、表示制御部４１は、検出された主要被写体を特定可能なシンボル等を原画像８１に重畳させて表示部２０に表示させる。具体的には例えば図３（ａ）の例では、二重カギ括弧（『』）のシンボルによって、橋９１が主要被写体であることが特定されるとともに、二重カギ括弧（『』）のシンボルによって、ビル９２が主要被写体であることが特定される。この場合、ユーザは、操作部１９を操作することによって、橋９１又はビル９２をスケール表示の対象として選択することができる。

ここで、例えば、スケール表示の対象として橋９１が選択された場合について説明する。
まず、画像計測部１５は、主要被写体の橋９１の長手方向（水平方向）の長さが９０ｍであると計測したものとする。
そして、指標画像取得加工部５２は、例えば、２０ｍの長さのクジラを示す指標画像（後述する図４の指標画像１２１）のデータを取得したものとする。
この場合、指標画像取得加工部５２は、４つの指標画像（２０ｍの長さのクジラ×４）と指標画像を半分にした画像（１０ｍの長さのクジラの一部分）を、橋９１の長手方向（水平方向）に連続して繰り返し配置させた画像のデータを、加工指標画像１０１のデータとして生成する。

画像合成部５３は、原画像８１のデータと、加工指標画像１０１のデータとを合成することによって、合成画像１１１のデータを生成する。これにより、表示部２０には、図３（ｂ）に示すような合成画像１１１が表示される。
なお、図３（ｂ）においては、説明の便宜上、加工指標画像１０１の範囲を示す点線枠が示されているが、このような点線枠の表示は特に必須ではなく、実際には表示を省略しても構わない。

記憶制御部４３は、必要に応じて、合成画像１１１のデータをリムーバブルメディア３１に記憶させる。

一方で、例えば、スケール表示の対象としてビル９２が選択された場合について説明する。
まず、画像計測部１５は、主要被写体のビル９２の長手方向の長さ（高さ）が４６ｍであると計測したものとする。
そして、指標画像取得加工部５２は、２０ｍの長さのクジラを示す指標画像（後述する図４の指標画像１２１）のデータを取得したものとする。
この場合、指標画像取得加工部５２は、２つの指標画像（２０ｍの長さのクジラ×２）と指標画像を約（１／３）にした画像（６ｍの長さのクジラの一部分）を、ビル９２の長手方向（垂直方向）に連続して繰り返し配置させた画像のデータを、加工指標画像１０２のデータとして生成する。

画像合成部５３は、原画像８１のデータと、加工指標画像１０２のデータとを合成することによって、合成画像１１２のデータを生成する。これにより、表示部２０には、図３（ｃ）に示すような合成画像１１２が表示される。
なお、図３（ｃ）においては、説明の便宜上、加工指標画像１０２の範囲を示す点線枠が示されているが、このような点線枠の表示は特に必須ではなく、実際には表示を省略しても構わない。

記憶制御部４３は、必要に応じて、合成画像１１２のデータをリムーバブルメディア３１に記憶させる。

図２に戻り、指標画像記憶部６１は、上述したクジラを示す指標画像等、複数の指標画像のデータを記憶する。指標画像のデータは、その形態は特に限定されないが、本実施形態では、ＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）の画像ファイルであるものとする。

なお、指標画像のデータは、指標画像取得加工部５２によって取得される段階で、指標画像記憶部６１に記憶されていれば足りる。従って、撮像装置１の出荷時にデフォルトで与えられるＧＩＦファイルを、指標画像のデータとして指標画像記憶部６１に予め記憶しておくこともできる。また、出荷後に、通信部２２やドライブ２３等を介して得られたＧｉＦファイルを、指標画像のデータとして指標画像記憶部６１に事後的に記憶させることもできる。さらに、ユーザが操作部１９を操作して、撮像画像のデータからＧＩＦファイルを作成した場合、当該ＧＩＦファイルを、指標画像のデータとして指標画像記憶部６１に事後的に記憶させることもできる。

対応テーブル記憶部６２は、指標画像記憶部６１に記憶されている複数の指標画像のデータの各々に対して、当該指標画像の物理量（例えば長さ）が対応付けられたテーブル（以下、「対応テーブル」と呼ぶ）を記憶している。

図４は、対応テーブルの構造を模式的に表した図である。
本実施形態において、対応テーブルは行列構造を有しているため、以下、図４中横方向の項目の集合体を「行」と呼び、同図中縦方向の項目の集合体を「列」と呼ぶ。
対応テーブルの１行は、指標画像記憶部６１に記憶されている１つの指標画像のデータが対応する。即ち、対応テーブルの所定の行には、所定の指標画像のデータについての、「データ名」、「指標画像」及び「長さ」という項目がそれぞれ配置されている。
所定の行の「データ名」の項目には、当該行に対応する指標画像のデータの名称が格納される。
所定の行の「指標画像」の項目には、当該行に対応する指標画像のイメージが格納される。ただし、「指標画像」の項目は、対応テーブルの理解を容易なものとすべく図４に図示したものであり、実際に対応テーブル記憶部６２に格納されている対応テーブルには含まれていない。
所定の行の「長さ」の項目には、当該行に対応する指標画像の長手方向の長さが格納される。

具体的には例えば、１行目に着目すると、「クジラ．ｇｉｆ」という名称のＧＩＦファイルにより表わされる指標画像は、「クジラの画像１２１」であって、その長手方向の長さは「２０ｍ」であることがわかる。
２行目に着目すると、「１０円．ｇｉｆ」という名称のＧＩＦファイルにより表わされる指標画像は、「硬貨（日本国で発行される１０円玉）の画像１２２」であって、その長手方向の長さ（ここでは１０円玉の直径）は「２．５ｃｍ」であることがわかる。
３行目に着目すると、「恐竜．ｇｉｆ」という名称のＧＩＦファイルにより表わされる指標画像は、「恐竜の画像１２３」であって、その長手方向の長さは「２５ｍ」であることがわかる。

以上、図２乃至図４を参照して、本実施形態の撮像装置１の機能的構成について説明した。
次に、このような機能的構成を有する撮像装置１が実行する処理のうち、スケール表示処理の流れについて説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行するスケール表示処理の流れを説明するフローチャートである。

スケール表示処理は、本実施形態においては、ユーザが操作部１９を操作してスケール表示の指示をした後に、撮像部１８による撮像動作が行われたことを契機にして開始される。

ステップＳ１において、画像取得部５１は、撮像部１８から出力された撮像画像のデータを、原画像のデータとして取得する。例えば本例では、図３（ａ）の原画像８１のデータが取得されたものとする。

ステップＳ２において、主要被写体検出部４２は、ステップＳ１の処理で取得された原画像のデータに基づいて、当該原画像の中の主要被写体を検出する。例えば本例では、主要被写体検出部４２は、図３（ａ）に示すように、二重カギ括弧（『』）で囲われる橋９１を主要被写体として検出したものとする。

ステップＳ３において、画像計測部１５は、ステップＳ２の処理で検出された主要被写体の長さを計測する。例えば、画像計測部１５は、ステップＳ２の処理で検出された橋９１の長手方向（車や人等の進行方向）の長さ（実寸）を、ズーム値や主要被写体９１までの距離情報のメタ情報に基づいて計測する。具体的には例えば、本例では、上述の例にあわせて９０ｍが計測されたものとする。

ステップＳ４において、表示制御部４１は、指標画像を選択するよう報知する。即ち、表示制御部４１は、画像計測部１５の計測結果に基づいて、使用可能な指標画像の一覧を示す画像を表示部２０に表示させることによって、指標画像を選択するよう報知する。
例えば本例では、主要被写体である橋９１の長さは９０ｍであると計測されている。従って、図４の対応テーブルによれば、９０ｍをユーザに把握させるために適切な長さを有する指標画像としては、「長さ」が２０ｍのクジラの画像１２１と、「長さ」が２５ｍの恐竜の画像１２３とが存在する。従って、本例では、クジラの画像１２１と、恐竜の画像１２３とを含む一覧画像が表示部２０に表示されることによって、指標画像として画像１２１又は画像１２３を選択するよう報知される。

ステップＳ５において、指標画像取得加工部５２は指標画像が選択されたか否かを判定する。

指標画像が選択されない場合には、ステップＳ５においてＮＯであると判定されて、処理はステップＳ４に戻される。即ち、指標画像が選択されるまでの間、ステップＳ４及びＳ５のループ処理が繰り返し実行されることによって、スケール表示処理は待機状態になる。なお、図示はしないが、所定時間経過しても未だ指標画像が選択されない場合には、スケール表示処理を終了するようにしてもよい。

その後、指標画像が選択された場合には、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。なお、本例では、クジラの画像１２１が指標画像として選択されたものとして、以下の説明を行う。

ステップＳ６において、指標画像取得加工部５２は、選択された指標画像のデータを、指標画像記憶部６１から取得して、その加工を行うことによって、加工指標画像のデータを生成する。
具体的には例えば、本例では、指標画像のデータとして、クジラの画像１２１についての「クジラ．ｇｉｆ」というＧＩＦファイルが取得される。図４の対応テーブルによれば、画像１２１により示されるクジラの長さは２０ｍである。一方、主要被写体としての橋９１の長さは９０ｍであり、クジラの長さの４．５倍である。よって、本例では、クジラの画像１２１が４．５枚分、橋９１の長さ方向（水平方向）に連続して繰り返し配置された画像のデータ、即ち図３（ｂ）に示す加工指標画像１０１のデータが生成される。

ステップＳ７において、画像合成部５３は、ステップＳ１の処理で取得された原画像のデータと、ステップＳ６の処理で生成された加工指標画像のデータとを合成することによって、合成画像のデータを生成する。
本例では図３（ｂ）に示すように、原画像８１の橋９１の上方に、４．５頭のクジラが水平方向に連続して繰り返し配置された加工指標画像１０１が重畳された合成画像１１１のデータが生成される。

ステップＳ８において、表示制御部４１は、ステップＳ２７の処理でデータとして生成された合成画像を表示部２０に表示させる。
例えば本例では、図３（ｂ）に示すような合成画像１１１が表示部２０に表示される。

ステップＳ９において、記憶制御部４３は、保存指示があったか否かを判定する。
即ち、ユーザは、操作部１９を操作することによって、表示部２０に表示された合成画像のデータを保存するか否かの保存指示をすることができる。
このような保存指示があった場合には、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、記憶制御部４３は、合成画像のデータをリムーバブルメディア３１に保存（記憶）させる。これにより、スケール表示処理は終了となる。
これに対して、保存指示がなかった場合には、ステップＳ９においてＮＯであると判定されて、ステップＳ１０の処理は実行されずに、即ち合成画像のデータは保存されずに、スケール表示処理は終了となる。

以上のように構成される撮像装置１は、指標画像記憶部６１と、画像取得部５１と、画像計測部１５と、表示部２０と、を備える。
指標画像記憶部６１は、長さの指標となる指標画像のデータを記憶する。
画像取得部５１は、被写体を含む画像のデータを、原画像のデータとして取得する。
画像計測部１５は、原画像のデータに基づいて、原画像に含まれる主要被写体の長さを計測する。
表示部２０は、主要被写体の長さに基づいて、原画像とともに指標画像を表示する。

これにより、鑑賞者は、特別な撮影操作が必要なく、主要被写体の長さを直感的かつ即座に把握することができる。
また原画像とともに表示される指標画像は、長さを想起しやすい画像であれば任意の画像を採用することができるので、興趣に富んだ画像を容易に生成することができる。

また、画像計測部１５は、主要被写体の直交する２辺の長さを計測することもできる。
即ち、画像計測部１５は、これらの２辺の長さを用いて、主要被写体９１の面積を算出することができる。
これにより、被写体の面積を直感的かつ即座に把握させる画像であって、興趣に富んだ画像を生成することができる。

さらにまた、指標画像取得加工部５２は、主要被写体９１の長さに基づいて、指標画像のデータを加工することができる。
このようにして加工されたデータにより表わされる指標画像（上述した加工指標画像）は原画像とともに表示部２０に表示される。
これにより、被写体の大きさをより直感的かつより即座に把握させる画像であって、より興趣に富んだ画像を生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上記実施形態の図３（ｂ）において、原画像８１の橋９１の上方に、４．５頭のクジラが水平方向に連続して繰り返し配置された合成画像１１１のデータが生成されるようにした。しかしながら、上記実施形態に限定されることなく、例えば、図４の指標画像としてクジラが移動する態様をアニメーションＧＩＦファイルとして指標画像記憶部６１に記憶させておき、加工指標画像１０１として指標画像記憶部６１に記憶されている１頭のクジラを４．５頭分の範囲でアニメーション表示させても良い。
このような表示をすることにより動きのあるスケールの表現が可能となる。
また、例えば、上述の実施形態においては、原画像のデータは、メタ情報が付加された画像のデータが採用されたが、メタ情報が付加されている必要は特になく、例えば撮像時にＣＰＵ１１等が、被写体の物理量を計測可能な情報（例えばズーム値や被写体までの距離情報）を演算したり、メタ情報とは別に取得するようにしてもよい。

また、上述の実施形態においては、指標画像として、指標となる物体（クジラ、硬貨、恐竜等）が単体で含まれる画像が採用されたが、本発明は特にこれに限定されない。例えば、指標となる物体（クジラ、硬貨、恐竜等）がｉ個連続して繰り返し配置された各画像（ｉ＝１乃至Ｎとした各画像であって、ｉは小数や分数でもよい）のそれぞれを、指標画像として採用することもできる。

さらにまた、撮像装置１は、このような指標となる物体（クジラ、硬貨、恐竜等）をイメージとして原画像とともに表示する代わりに、例えば、「指標となる物体（クジラ、硬貨、恐竜等）がＫ個（Ｋは正の値であって、小数や分数でもよい）分です」といったメッセージ画像を、指標画像として採用してもよい。

また、上記実施形態においては、指標画像により表現される主要被写体の物理量は、長さとされたが、特にこれに限定されず、その他例えば、径、重さ、位置、標高等を採用することもできる。さらに、指標画像により表現される主要被写体の特徴は、物理量に特に限定されず、検出可能な特徴であれば足り、その他例えば、色、天気等を採用することもできる。

径に関しては、例えば、画像計測部１５は、主要被写体の直径を計測すればよい。この場合、指標画像としては、タイヤや切り株等の径の大きさを想起しやすい画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。
重さに関しては、例えば、画像計測部１５は、主要被写体の種別に対応する重さを予め規定しておき、当該規定に基づいて主要被写体の重さを決定すればよい。この場合、指標画像としては、体重計の上に重さを想起させる重りや象を積み重ねた画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。
位置に関しては、例えば、画像計測部１５は、ＧＰＳ等により撮像地点の座標を取得すればよい。この場合、指標画像としては、略式の地図を表示し、当該地図に座標に対応する位置をポイントして表示する画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。
標高に関しては、例えば、画像計測部１５は、ＧＰＳ等により撮像地点の座標を取得して、当該座標に対応する標高を取得すればよい。この場合、指標画像としては、例えば、海抜０ｍを基準にした海や山が一連になった画像を表示し、現在の標高に対応する位置をポイントして表示する画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。
天気に関しては、例えば、画像計測部１５は、撮影時の撮影場所の座標を取得して、当該座標における天気を取得すればよい。この場合、指標画像としては、天気を示すシンボルの画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。
色に関しては、例えば、画像計測部１５は、主要被写体の画像の色を解析すればよい。この場合、指標画像としては、赤ならリンゴ等、特定の色を想起しやすいものの画像を採用することで、直感的かつ興趣に富んだ画像を生成することができる。

また、上述の実施形態では、本発明が適用される電子装置は、デジタルカメラ等の撮像装置１を例として説明したが、特にこれに限定されない。本発明は、上述のスケール表示処理を実行可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１の外部メモリ２６により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。外部メモリ２６は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・画像計測部、１６・・・バス、１７・・・入出力インターフェース、１８・・・撮像部、１９・・・操作部、２０・・・表示部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・表示制御部、４２・・・主要被写体検出部、４３・・・記憶制御部、５１・・・画像取得部、５２・・・指標画像取得加工部、５３・・・画像合成部、６１・・・指標画像記憶部、６２・・・対応テーブル記憶部

Claims (13)

1. 画像を取得する第１の取得手段と、
   前記第１の取得手段により取得された画像中の主要被写体の特徴を取得する特徴取得手段と、
   前記特徴取得手段により取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得手段と、
   前記第２の取得手段により取得された前記複数の指標画像を表示手段に表示させる第１の表示制御手段と、
   前記表示手段に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を指定する指定手段と、
   前記指定手段により指定された前記特定の指標画像を前記第１の取得手段により取得された前記画像中の主要被写体の周囲に合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 複数の指標画像を記憶する記憶手段、
   を更に備え、
   前記第２の取得手段は、前記主要被写体の特徴に基づき、前記記憶手段に記憶された前記複数の指標画像の総数より少ない数の指標画像を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段に前記複数の指標画像が表示されている時、ユーザに対してユーザ操作をするように報知する報知手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記特徴取得手段により取得された主要被写体の特徴に基づいて、前記指標画像を加工する加工手段を更に備え、
   前記第２の取得手段は、前記加工手段により加工された指標画像を前記指標画像として取得する
   ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記特徴取得手段は、前記主要被写体の長さを前記特徴として計測する計測手段を有し、
   前記加工手段は、前記計測手段により計測された主要被写体の長さに基づいて、前記指標画像を加工する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記加工手段は、前記主要被写体の長さが前記指標画像より長い場合は、前記主要被写体の長さに合わせた数の前記指標画像を複製する複製手段を更に備え、
   前記合成手段は、前記第１の取得手段により取得された画像と、前記複製手段により複製された前記主要被写体の長さに合わせた数の指標画像とを合成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記加工手段は、前記主要被写体の長さが前記指標画像より長い場合は、前記主要被写体の長さに合わせた前記指標画像のアニメーションデータを生成する生成手段を更に備え、
   前記合成手段は、前記第１の取得手段により取得された画像と、前記生成手段により生成された前記アニメーションデータとを合成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記計測手段は、前記被写体の直交する２辺の長さを計測する
   ことを特徴とする請求項５から７の何れか１項に記載の画像処理装置。
9. 前記合成手段により合成された前記画像と前記指標画像とを表示手段に表示させる第２の表示制御手段を更に備えた
   ことを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 前記第１の取得手段により取得された画像に含まれる主要被写体を検出する検出手段を更に備え、
    前記特徴取得手段は、前記検出手段により検出された主要被写体の特徴を取得する
    ことを特徴とする請求項１から９の何れか１項に記載の画像処理装置。
11. 前記検出手段により検出された主要被写体の位置を強調表示する第３の表示制御手段を更に備えた
    ことを特徴とする請求項１０記載の画像処理装置。
12. 表示部を備える画像処理装置が実行する画像処理方法において、
    画像を取得する第１の取得ステップと、
    前記第１の取得ステップの処理により取得された画像に含まれる主要被写体の特徴を取得する特徴取得ステップと、
    前記特徴取得ステップにより取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得ステップと、
    前記第２の取得ステップにより取得された前記複数の指標画像を前記表示部に表示させる第１の表示制御ステップと、
    前記表示部に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を
    指定する指定ステップと、
    前記指定ステップにより指定された前記特定の指標画像を前記第１の取得ステップにより取得された画像中の主要被写体の周囲に合成する合成ステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータを、
    画像を取得する第１の取得手段と、
    前記第１の取得手段により取得された画像中に含まれる主要被写体の特徴を取得する特徴取得手段と、
    前記特徴取得手段により取得された主要被写体の特徴に基づいて、当該主要被写体の特徴に対する相対的な指標となる複数の指標画像を取得する第２の取得手段、
    前記第２の取得手段により取得された前記複数の指標画像を表示手段に表示させる第１の表示制御手段、
    前記表示手段に表示された前記複数の指標画像から、ユーザ操作により特定の指標画像を指定する指定手段、
    前記指定手段により指定された前記特定の指標画像を前記第１の取得手段により取得された画像中の主要被写体の周囲に合成する合成手段、
    として機能させることを特徴とするプログラム。
    

Images