JP2009219024A - 付加情報の合成方向および位置決定方法、プログラムおよび装置 - Google Patents

Abstract

【課題】付加情報を自動的に正しい向きで見た目も自然な位置に合成する。
【解決手段】タグに記入されている撮影方向に基づいて画像の方向（天地方向および左右方向のうち少なくとも一方）を判別するか、あるいは画像から顔領域を識別し、識別した顔領域に基づいて画像の方向を判別する。その画像の方向に適合するよう付加情報を回転する。各候補領域について算出された画素値の平均値が一定の範囲にありかつ画素値の標準偏差が一定範囲にある候補領域のうち、優先順位の最も高いものを最終的な写し込み領域に決定する。そして、写し込み領域に上記回転された付加情報を配置して合成する。
【選択図】 図２

Description

本発明は、画像への付加情報の写し込みの方向と位置の決定に関する。

特許文献１によると、銀塩カメラのデート機構を用いて、日付が露光されたネガフィルムにおける特定の画像で被写体と日付とがかぶってしまったような場合に、その日付の位置を変更したいとき、顧客は、かかる画像が形成されたガイドプリントＰ３に所定のマーク（三角マークと数字）を書き込み、ラボ側の作業者に手渡すだけで、ラボ側の作業者又は装置は、顧客が、かかる画像については日付の形成位置を変更することを希望していることが判り、又日付の新たな形成位置も自動的に判るので、顧客の希望に添った写真プリントを容易に得ることができる。

特許文献２によると、写真用フィルム上に記録されているコード化情報をデータ読取手段で読み取り、コード化情報中の撮影年月日情報に基づき、日付プリント手段によって日付を印画紙にプリントする際、コード化情報中のカメラ姿勢・カメラ構造情報により移動手段は、日付プリント手段を移動させて、印画紙の適切な位置に日付をプリントさせる。
特開２００２−１７４８６４号公報 特開平５−１８８４７９号公報

従来、図７（ａ）、（ｂ）、（ｃ）に示すように、日付その他の付加情報の画像への合成位置は、画面の右下など構図とは無関係な固定位置であるのが通常であった。このため、図７（ａ）、（ｂ）のような縦位置構図の画像の場合、図７（ｃ）、（ｄ）のように日付が９０度反転した状態で構図上の右上や左下に入ってしまう。あるいは、（図７（ｅ）のような天地逆構図の画像の場合、図７（ｆ）のように日付が左上に逆さまに入ってしまう。

本発明はこのような問題点に鑑みてなされたもので、付加情報を自動的に正しい向きで見た目も自然な位置に合成することを目的とする。

本発明に係る付加情報の合成方向および位置決定方法は、画像を取得するステップと、画像へ合成する付加情報を取得するステップと、画像の主要被写体の位置および方位を検出するステップと、画像に関連づけて記録されている画像の撮影方向を示す情報または画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別するステップと、判別された画像の天地方向または左右方向と付加情報の天地方向または左右方向とが適合するよう付加情報を回転するステップと、画像内に複数の付加情報合成候補領域を設定するステップと、画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、複数の付加情報合成候補領域から、第１の付加情報合成領域を決定するステップと、を含む。

好ましくは、複数の付加情報合成候補領域の各々における画像の色情報を取得するステップと、各付加情報合成候補領域の色情報に基づいて、複数の付加情報合成候補領域から、第２の付加情報合成領域を決定するステップと、第１の付加情報合成領域と第２の付加情報合成領域とが合致しない場合、第１の付加情報合成領域を最終的な付加情報合成領域に決定するステップと、を含む。

好ましくは、画像を取得するステップと、画像へ合成する付加情報を取得するステップと、画像の主要被写体の方位を検出するステップと、画像に関連づけて記録されている画像の撮影方向を示す情報または画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別するステップと、判別された画像の天地方向または左右方向に付加情報の天地方向または左右方向が適合するよう付加情報を回転するステップと、画像内に複数の付加情報合成候補領域を設定するステップと、複数の付加情報合成候補領域の各々における画像の色情報を取得するステップと、各付加情報合成候補領域の色情報に基づいて、複数の付加情報合成候補領域から、第１の付加情報合成領域を決定するステップと、を含む。

好ましくは、画像の主要被写体の位置を検出するステップと、画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、複数の付加情報合成候補領域から、第２の付加情報合成領域を決定するステップと、第１の付加情報合成領域と第２の付加情報合成領域とが合致しない場合、第１の付加情報合成領域を最終的な付加情報合成領域に決定するステップと、を含む。

好ましくは、回転された付加情報を第１の付加情報合成領域に合成することで、付加情報合成画像を作成するステップと、付加情報合成画像を出力するステップと、を含む。

好ましくは、付加情報の本来の天地方向または左右方向を示す付加情報方向情報を回転された付加情報と対応づけて記録するステップを含む。

好ましくは、回転された付加情報を第１の付加情報合成領域に合成することで、付加情報合成画像を作成するステップと、付加情報合成画像内の付加情報が付加情報方向情報の示す付加情報の本来の天地方向または左右方向に適合するよう付加情報合成画像を回転するステップと、回転された付加情報合成画像を出力するステップと、を含む。

上記の付加情報の合成方向および位置決定方法をコンピュータに実行させるプログラムも本発明に含まれる。

本発明に係る付加情報の合成方向および位置決定装置は、画像を取得する手段と、画像へ合成する付加情報を取得する手段と、画像の主要被写体の位置および方位を検出する手段と、画像に関連づけて記録されている画像の撮影方向を示す情報または画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別する手段と、判別された画像の天地方向または左右方向と付加情報の天地方向または左右方向とが適合するよう付加情報を回転する手段と、画像内に複数の付加情報合成候補領域を設定する手段と、画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、複数の付加情報合成候補領域から、第１の付加情報合成領域を決定する手段と、を含む。

好ましくは、複数の付加情報合成候補領域の各々における画像の色情報を取得する手段と、各付加情報合成候補領域の色情報に基づいて、複数の付加情報合成候補領域から、第２の付加情報合成領域を決定する手段と、第１の付加情報合成領域と第２の付加情報合成領域とが合致しない場合、第１の付加情報合成領域を最終的な付加情報合成領域に決定する手段と、を含む。

本発明に係る付加情報の合成方向および位置決定装置は、画像を取得する手段と、画像へ合成する付加情報を取得する手段と、画像の主要被写体の方位を検出する手段と、画像に関連づけて記録されている画像の撮影方向を示す情報または画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別する手段と、判別された画像の天地方向または左右方向に付加情報の天地方向または左右方向が適合するよう付加情報を回転する手段と、画像内に複数の付加情報合成候補領域を設定する手段と、複数の付加情報合成候補領域の各々における画像の色情報を取得する手段と、各付加情報合成候補領域の色情報に基づいて、複数の付加情報合成候補領域から、第１の付加情報合成領域を決定する手段と、を含む。

好ましくは、画像の主要被写体の位置を検出する手段と、画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、複数の付加情報合成候補領域から、第２の付加情報合成領域を決定する手段と、第１の付加情報合成領域と第２の付加情報合成領域とが合致しない場合、第１の付加情報合成領域を最終的な付加情報合成領域に決定する手段と、を含む。

好ましくは、回転された付加情報を第１の付加情報合成領域に合成することで、付加情報合成画像を作成する手段と、付加情報合成画像を出力する手段と、を含む。

好ましくは、付加情報の本来の天地方向または左右方向を示す付加情報方向情報を回転された付加情報と対応づけて記録する手段を含む。

好ましくは、回転された付加情報を第１の付加情報合成領域に合成することで、付加情報合成画像を作成する手段と、付加情報合成画像内の付加情報が付加情報方向情報の示す付加情報の本来の天地方向または左右方向に適合するよう付加情報合成画像を回転する手段と、回転された付加情報合成画像を出力する手段と、を含む。

本発明によると、画像の向きと付加情報の向きが合致した状態で両者を合成することができる。また、主要被写体の位置や画像の色情報に基づいて、適切な付加情報合成領域を決定することができるから、方向だけでなく空間的・色彩的にも適切な位置に付加情報を合成できる。

図１は、本発明を適用した画像編集装置１０の概略構成を示すブロック図である。画像編集装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディア４０やメモリカード４２などに格納された静止画像データ（動画をキャプチャした静止画も含む）を取り込み、これを素材として付加情報合成画像（上記取り込まれた静止画像内の特定位置に所望の付加情報を合成して表示させる表示データまたは印刷させる印刷データ）を作成する。この画像編集装置１０は、マウス、タッチパッド、トラッグボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやキーボード、キーボタンなどの各種操作デバイスを含む操作部２６によって操作される。

画像編集装置１０は、画像編集装置１０全体を制御するＣＰＵ１２と、記録メディア４０にデータを読み書きするドライブ１４と、メモリカード４２にデータを読み書きするカードスロット１６と、読み込まれた静止画像データや画像編集装置１０を制御するプログラムなどが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、ＲＡＭ２０などに格納された画像の一覧や後述のテンプレート画像を含むウィンドウその他画像編集に関係する各種のグラフィカルユーザインターフェース、操作部２６からの入力操作に従って上記ウィンドウ上を移動するポインタの映像信号などをディスプレイ５０に出力して表示させるビデオエンコーダ２２と、インターネットその他のネットワークに接続するための通信Ｉ／Ｆ２８と、とを備えている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、画像編集装置１０には、プリンタドライバ３８を介して、指示された付加情報合成画像または単なる静止画像を普通紙や印画紙などにプリントするプリンタ４４が接続されている。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１４やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、１または複数の静止画像データの他に、これらの静止画像データと合成される装飾データ（例えば「Printoperator: T. Fuji」というプリント作成者の署名）などが記憶されている。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータを格納するタグ領域とが用意されている。各画像ファイルのタグ領域には、例えば、撮影日時、シャッター速度、絞り、カメラ名称、レンズ焦点距離、撮影者の署名（例えば「Photo by H. Fuji」）、撮影方向（例えばＥＸＩＦのOrientationタグ（画像方向タグ）で示される縦位置または横位置）、撮影場所その他の撮影情報が記録されている。

通信Ｉ／Ｆ２８は、画像編集装置１０をインターネットに接続して、インターネット上のホームページをディスプレイ５０に表示させたり、電子メール（以下、メールと称す）を介した画像データの送受信を行う。この通信Ｉ／Ｆ２８は、ブロードバンド対応のモデムなどである。通信Ｉ／Ｆ２８は、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続するものでもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する他の電子機器（例えば携帯電話やＰＤＡ）であれば、本発明の実施は可能である。

以下、図２のフローチャートに従い、付加情報合成処理の流れを説明する。この処理は、ＣＰＵ１２によって制御される。この処理をＣＰＵ１２に実行させるプログラムは、ＨＤＤ１８その他の記録媒体に記録されているか、通信Ｉ／Ｆ２８を介して外部から取り込まれる。

Ｓ１では、タグに記入されている撮影方向に基づいて画像の方向（天地方向および左右方向のうち少なくとも一方）を判別するか、あるいは画像から顔領域を識別し、識別した顔領域に基づいて画像の方向を判別する画像方向判別サブルーチンを実施する。このサブルーチンの詳細は後述する。

Ｓ２では、タグに記入されている撮影情報データあるいは署名などの装飾データに基づいて、付加情報を作成する。例えば、ＥＸＩＦタグの撮影日時情報や撮影者名を文字化したデータやプリント作成者を文字化したデータを付加情報とする。

Ｓ３では、Ｓ１で判別された画像方向に静止画像における付加情報の写し込み領域（合成位置）を決定する写し込み領域決定サブルーチンを実施する。このサブルーチンの詳細は後述する。

Ｓ４は、Ｓ１で判別された画像の方向と、付加情報の方向（天地方向および左右方向のうち少なくとも一方）とが整合するよう、付加情報を回転する。例えば、９０度回転の縦構図の場合（図７参照（ａ））、付加情報を９０度回転する。あるいは、１８０度回転の天地逆構図の画像の場合（図７参照（ｅ））、付加情報を１８０度回転する。こうすることで、構図の向きと付加情報の向きが合致する。

Ｓ５では、Ｓ３で決定された写し込み領域に、Ｓ４で回転した付加情報を配置して画像と付加情報とを合成し、付加情報合成画像を作成する。なお、合成する付加情報を彩色したり立体文字化するなど各種の装飾を施してもよい。また、付加情報自身の本来の天地左右方向（例えば文字の上下または左右の方向）を示す付加情報方向情報を、付加情報あるいは付加情報合成画像に関連づけて記録（例えば付加情報あるいは付加情報合成画像のヘッダやタグに記録）してもよい。

Ｓ６では、Ｓ５で作成された付加情報合成画像を出力装置（ディスプレイ５０、プリンタ４４、Ｗｅｂサーバなど）に出力する。ここで、目視の際に画像を回転する必要性のある出力装置（ディスプレイ５０、Ｗｅｂサーバなど）に画像を出力する場合、天地方向または左右方向が出力装置の天地方向または左右方向と合致するよう、画像を回転する。ここで、上述の付加情報方向情報が付加情報あるいは付加情報合成画像に関連づけられて記録されている場合は、その付加情報方向情報を参照し、付加情報合成画像内の付加情報が本来の方向に戻るよう付加情報合成画像の回転を行う。こうすると、特に表示装置のように付加情報合成画像の出力時にこれを素早く回転して閲覧に適した状態にする必要がある際は、便利である。

この結果、図６（ａ）〜（ｃ）のような正しい向きの付加情報が適切な位置に合成された画像が、ディスプレイ５０に表示されるか、あるいは、プリンタ４４によって印画媒体に記録される。どの出力装置に付加情報合成画像を出力するかは、操作部２６によって指定できる。

図３は付加情報合成処理の他の態様を示す。

Ｓ１１〜Ｓ１４は、Ｓ１〜Ｓ４と同様である。

Ｓ１５では、付加情報自身の本来の天地左右方向（例えば文字の上下または左右の方向）を示す付加情報方向情報を、付加情報あるいは付加情報合成画像に関連づけてＨＤＤ１８などに記録する。

また、Ｓ１３で決定された静止画像に対する写し込み位置を、当該静止画像に関連づけてＨＤＤ１８などに記録する。例えば、当該静止画像のヘッダやタグに写し込み位置を記録する。この後、本処理はＳ１６に進むが、Ｓ１５からＳ１６に進むタイミングは任意であり、Ｓ１５の終了後即時にＳ１６に移行する必然性はない。例えば操作部２６から「付加情報合成画像をプリント」や「付加情報合成画像を表示」といった特定の指示が入力された場合に限ってＳ１６に移行するとよい。

Ｓ１６では、静止画像を読み出し、また、読み出した静止画像に関連づけられた写し込み位置および付加情報方向情報をＨＤＤ１８その他の記録媒体から読み出す。そして、読み出した付加情報を読み出した合成位置に配置して、静止画像と付加情報とを合成し、付加情報合成画像を作成する。

Ｓ１７は、Ｓ６と同様である。ここでは、付加情報方向情報が付加情報あるいは付加情報合成画像に関連づけられて記録されているから、必要であれば、その付加情報方向情報を参照し、付加情報合成画像内の付加情報が本来の方向に戻るよう付加情報合成画像の回転を行う。

次に、図４のフローチャートに従い、画像方向判別サブルーチン（Ｓ１またはＳ１１）の詳細を説明する。

Ｓ２１では、画像のタグに撮影方向が記載されており、かつ、そのタグの撮影方向を基準にした画像の方向の判別を優先するか否かを、操作部２６の指示に基づいて判断する。タグの撮影方向に基づいて画像の方向の判別を優先しない場合はＳ２５、優先しない場合はＳ２５に進む。なお、操作部２６から、どちらを優先するか否かを指定できてもよいが、処理の簡略化のため、タグに撮影方向が記載されていれば自動的に“Ｙｅｓ”と判別しＳ２５に進んでもよい。

Ｓ２２では、画像から顔領域を識別し、識別した顔領域に基づいて撮影方向を判別する。例えば本出願人による特許公開２００７−２１３５８２に記載されるように、顔オブジェクトを認識し、当該顔オブジェクトパーツとして、顔領域内の目、鼻、口のうちいずれか２つの位置を特定する。そして、識別した顔領域内の２つのオブジェクトパーツの位置関係に応じて、静止画像の撮影方向（本来の向き）の判別を試みる。

例えば、図６（ａ）に示す静止画の場合、左目Ｅｌ１、右目Ｅｒ１、鼻Ｎ１と口Ｍ１の４つのオブジェクトパーツが認識されており、鼻Ｎ１の位置が口Ｍ１の位置よりも上になる画像の向き、あるいは、左目Ｅｌ１もしくは右目Ｅｒ１が鼻Ｎ（もしくはＭ１）の位置よりも上になる画像の向きが当該静止画の天地方向であると判別する。また、左目Ｅｌ１に近い画像の側部が画像の右端、右目Ｅｒ１に近い画像の端部が画像の左端と判別する。これによって画像の天地方向または左右方向が判別され、これが撮影方向として判別される。

図６（ｂ）では、左目Ｅｌ２、右目Ｅｒ２、鼻Ｎ２と口Ｍ２の４つのオブジェクトパーツが認識されており、鼻Ｎ２の位置が口Ｍ２の位置よりも上になる画像の向き、あるいは、左目Ｅｌ２もしくは右目Ｅｒ２が鼻Ｎ（もしくは口Ｍ２）の位置よりも上になる画像の向きが当該静止画の天地方向であると判別する。また、左目Ｅｌ２に近い画像の側部が画像の右端、右目Ｅｒ２に近い画像の端部が画像の左端と判別する。これによって画像の天地方向または左右方向が判別され、これが撮影方向として判別される。

図６（ｃ）では、左目Ｅｌ３、右目Ｅｒ３、口Ｍ３の３つのオブジェクトパーツが認識されており、左目Ｅｌ３もしくは右目Ｅｒ３が口Ｍ３の位置よりも上になる画像の向きが当該静止画の撮影方向であると判別する。また、左目Ｅｌ３に近い画像の側部が画像の右端、右目Ｅｒ３に近い画像の端部が画像の左端と判別する。これによって画像の天地方向または左右方向が判別され、これが撮影方向として判別される。

要するに、異なる２つのオブジェクトパーツが静止画から特定されれば、それに基づいて画像の天地方向または左右方向を判別できるから、必ずしも３つ以上のオブジェクトパーツの位置を特定する必要はない。

Ｓ２３では、Ｓ２３での撮影方向の判別を試みた結果、画像方向を判別できた場合はＳ２５、できなかった場合はＳ２６に進む。撮影方向が判別できない原因の１つとしては、２つのオブジェクトパーツを特定できなかった場合が挙げられる。

Ｓ２４では、Ｓ２２での判別結果を、最終的な画像方向に確定する。最終的な画像方向は、取り込まれて回転操作の施されていない静止画像を基準に、（１）画像上辺が天、（２）画像左辺が天、（３）画像右辺が天、（４）画像下辺が天、のうちいずれか１つである。この後、本サブルーチンを終え、付加情報合成処理に復帰する。

Ｓ２５では、タグに撮影方向が記載されている場合、それに基づいて取り込まれた静止画像の方向（天地方向または左右方向）を判別し、これを最終的な画像方向に確定する。最終的な画像方向は、取り込まれて回転操作の施されていない静止画像を基準に、（１）画像上辺が天、（２）画像左辺が天、（３）画像右辺が天、（４）画像下辺が天、のうちいずれか１つである。この後、本サブルーチンを終え、付加情報合成位置決定処理に復帰する。

以下、図５のフローチャートに従い、写し込み位置決定サブルーチン（Ｓ３またはＳ１３）の詳細を説明する。

Ｓ３１では、上述の画像方向判別サブルーチンで判別された画像方向に基づき、あるいはその画像方向に基づかず、写し込み候補領域を、静止画像に設定する。例えば、天方向とは逆の地方向の右側あるいは左側の領域を、写し込み候補領域（以下、単に候補領域と表記）に設定する。そして、設定された各候補領域内の静止画像の画素値の平均値（例えば、輝度値の平均、色差値の平均、もしくはそれらの組）と標準偏差（例えば、輝度値の標準偏差、色差値の標準偏差、もしくはそれらの組）を算出する。

また、操作部２６からの指示あるいはＨＤＤ１８に予め格納された優先順位情報に基づき、各候補領域に優先順位を設定する。例えば、右下の写し込み候補領域には第１順位、左下の候補領域には第２順位を設定し、右下が左下よりも高い順位とする。

なお、画像方向に基づかず、写し込み候補領域を静止画像に設定することもできる。典型的には、画像の四隅を候補領域とすることができる。ただし、上記のようにして認識された顔領域と一部が重複するような部分は、付加情報が顔領域を妨げることになるから、候補領域から除外することが望ましい。

Ｓ３２では、各候補領域について上記算出された平均値が一定の範囲内にある写し込み領域が少なくとも１つ存在するか否かを判断する。上記算出された平均値が一定の範囲内にある写し込み領域が少なくとも１つ存在する場合はＳ３３、１つもない場合はＳ３５に進む。例えば、白系の単一色の文字を付加情報として合成する場合、この一定の範囲内は、人の目によりほぼ黒い背景と認識されるような輝度範囲となるよう、経験的に定められる。あるいは、黒系の単一色の文字を付加情報として合成する場合、この一定の範囲内は、人の目によりほぼ白い背景と認識されるような輝度範囲となるよう、経験的に定められる。

Ｓ３３では、各写し込み領域について上記算出された標準偏差が一定値以下の範囲内にある写し込み領域が少なくとも１つ存在するかか否かを判断する。一定値以下の範囲内にある写し込み領域が少なくとも１つ存在する場合はＳ３４、１つもない場合はＳ３６に進む。

例えば、文字を付加情報として合成する場合、この一定値は、人によりほぼ一様な明るさや色の背景と認識されるような値となるよう、経験的に定められる。これは、領域内の色や輝度のばらつきが少なく、のっぺりとした情報量の少ない領域を背景にすると文字が読みやすく、これを写し込み領域に決定するためである。

Ｓ３４では、Ｓ３２およびＳ３３で“Ｙ”と判定された候補領域のうち、優先順位の最も高いものを最終的な写し込み領域に決定する。なお、Ｓ３２およびＳ３３で“Ｙ”と判定された候補領域から、さらに別の条件を満たすもののみを選別してもよい。例えば、構図の下側（地側）に存在する候補領域、識別された顔領域から最も離れた位置に存在する候補領域、色空間（ＹＣｒＣｂなど）において付加情報の輝度ないし色と最も距離の離れた輝度ないし色を有する候補領域、表色系（ＸＹＺ表色系など）において付加情報の色相、明度、彩度と最も離れた色相、明度、彩度を有する候補領域を最終的な写し込み領域に決定してもよい。こうすると、似かよった色であったり明るすぎたり暗すぎたり一様でない写し込み領域が決定されることがなく、付加情報と自然に調和して目視しやすい適切な画像内の場所が写し込み領域に決定される。

さらに、複数の条件（候補領域の色、候補領域と顔領域との位置）の各々に基づいて独立して写し込み領域を決定し、それらの決定された写し込み領域が相反する場合、どちらか一方を優先的に写し込み領域に決定する。例えば、候補領域の色に基づいて決定された写し込み領域（Ｓ３２およびＳ３３で“Ｙ”と判定された領域）が画像左下の矩形領域、顔領域の位置に基づいて決定された写し込み領域が画像右下の矩形領域であったとする。この場合、顔領域の位置に基づいて決定された方を優先するならば、画像右下の矩形領域を最終的な写し込み領域に決定する。また、候補領域の色に基づいて決定された方を優先するならば、画像左下の矩形領域を最終的な写し込み領域に決定する。どちらを優先するかは、操作部２６の指示によって決定するとよい。

Ｓ３５では、Ｓ３１で設定された優先順位が最も高い候補領域を最終的な写し込み領域に決定する。

Ｓ３６では、所定のデフォルト領域（例えば画像右下部分の矩形領域）を最終的な写し込み領域に決定する。

例えば、図６（ａ）〜（ｃ）では、地面側（下側）の右下の矩形領域が最終的な写し込み領域に決定されている。ただし、これはあくまで一例であって、その他の場所が写し込み領域に決定されてもよい。

このように、付加情報と静止画像の色彩的あるいは位置的な性質を比較して、適切な写し込み領域を決定することができるから、方向だけでなく色彩的にも適切な位置に付加情報を合成できる。

画像編集装置の構成図 付加情報合成処理の一態様を示すフローチャート 付加情報合成処理の他の態様を示すフローチャート 画像方向判別サブルーチンのフローチャート 写し込み位置決定サブルーチンのフローチャート 付加情報合成画像の一例を示す図 従来の日付情報合成の一例を示す図

符号の説明

１０：画像編集装置、１２：ＣＰＵ、１８：ＨＤＤ

Claims (15)

1. 画像を取得するステップと、
   前記画像へ合成する付加情報を取得するステップと、
   前記画像の主要被写体の位置および方位を検出するステップと、
   前記画像に関連づけて記録されている前記画像の撮影方向を示す情報または前記画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別するステップと、
   前記判別された画像の天地方向または左右方向と前記付加情報の天地方向または左右方向とが適合するよう前記付加情報を回転するステップと、
   前記画像内に複数の付加情報合成候補領域を設定するステップと、
   前記画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、前記複数の付加情報合成候補領域から、第１の付加情報合成領域を決定するステップと、
   を含む付加情報の合成方向および位置決定方法。
2. 前記複数の付加情報合成候補領域の各々における前記画像の色情報を取得するステップと、
   前記各付加情報合成候補領域の色情報に基づいて、前記複数の付加情報合成候補領域から、第２の付加情報合成領域を決定するステップと、
   前記第１の付加情報合成領域と前記第２の付加情報合成領域とが合致しない場合、前記第１の付加情報合成領域を最終的な付加情報合成領域に決定するステップと、
   を含む請求項１に記載の付加情報の合成方向および位置決定方法。
3. 画像を取得するステップと、
   前記画像へ合成する付加情報を取得するステップと、
   前記画像の主要被写体の方位を検出するステップと、
   前記画像に関連づけて記録されている前記画像の撮影方向を示す情報または前記画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別するステップと、
   前記判別された画像の天地方向または左右方向に前記付加情報の天地方向または左右方向が適合するよう前記付加情報を回転するステップと、
   前記画像内に複数の付加情報合成候補領域を設定するステップと、
   前記複数の付加情報合成候補領域の各々における前記画像の色情報を取得するステップと、
   前記各付加情報合成候補領域の色情報に基づいて、前記複数の付加情報合成候補領域から、第１の付加情報合成領域を決定するステップと、
   を含む付加情報の合成方向および位置決定方法。
4. 前記画像の主要被写体の位置を検出するステップと、
   前記画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、前記複数の付加情報合成候補領域から、第２の付加情報合成領域を決定するステップと、
   前記第１の付加情報合成領域と前記第２の付加情報合成領域とが合致しない場合、前記第１の付加情報合成領域を最終的な付加情報合成領域に決定するステップと、
   を含む請求項３に記載の付加情報の合成方向および位置決定方法。
5. 前記回転された付加情報を前記第１の付加情報合成領域に合成することで、付加情報合成画像を作成するステップと、
   前記付加情報合成画像を出力するステップと、
   を含む請求項１〜４のいずれかに記載の付加情報の合成方向および位置決定方法。
6. 前記付加情報の本来の天地方向または左右方向を示す付加情報方向情報を前記回転された付加情報と対応づけて記録するステップを含む請求項１〜４のいずれかに記載の付加情報の合成方向および位置決定方法。
7. 前記回転された付加情報を前記第１の付加情報合成領域に合成することで、付加情報合成画像を作成するステップと、
   前記付加情報合成画像内の付加情報が前記付加情報方向情報の示す前記付加情報の本来の天地方向または左右方向に適合するよう前記付加情報合成画像を回転するステップと、
   前記回転された付加情報合成画像を出力するステップと、
   を含む請求項６に記載の付加情報の合成方向および位置決定方法。
8. 請求項１〜７のいずれかに記載の付加情報の合成方向および位置決定方法をコンピュータに実行させるプログラム。
9. 画像を取得する手段と、
   前記画像へ合成する付加情報を取得する手段と、
   前記画像の主要被写体の位置および方位を検出する手段と、
   前記画像に関連づけて記録されている前記画像の撮影方向を示す情報または前記画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別する手段と、
   前記判別された画像の天地方向または左右方向と前記付加情報の天地方向または左右方向とが適合するよう前記付加情報を回転する手段と、
   前記画像内に複数の付加情報合成候補領域を設定する手段と、
   前記画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、前記複数の付加情報合成候補領域から、第１の付加情報合成領域を決定する手段と、
   を含む付加情報の合成方向および位置決定装置。
10. 前記複数の付加情報合成候補領域の各々における前記画像の色情報を取得する手段と、
    前記各付加情報合成候補領域の色情報に基づいて、前記複数の付加情報合成候補領域から、第２の付加情報合成領域を決定する手段と、
    前記第１の付加情報合成領域と前記第２の付加情報合成領域とが合致しない場合、前記第１の付加情報合成領域を最終的な付加情報合成領域に決定する手段と、
    を含む請求項９に記載の付加情報の合成方向および位置決定装置。
11. 画像を取得する手段と、
    前記画像へ合成する付加情報を取得する手段と、
    前記画像の主要被写体の方位を検出する手段と、
    前記画像に関連づけて記録されている前記画像の撮影方向を示す情報または前記画像の主要被写体の方位に基づいて画像の天地方向または左右方向を判別する手段と、
    前記判別された画像の天地方向または左右方向に前記付加情報の天地方向または左右方向が適合するよう前記付加情報を回転する手段と、
    前記画像内に複数の付加情報合成候補領域を設定する手段と、
    前記複数の付加情報合成候補領域の各々における前記画像の色情報を取得する手段と、
    前記各付加情報合成候補領域の色情報に基づいて、前記複数の付加情報合成候補領域から、第１の付加情報合成領域を決定する手段と、
    を含む付加情報の合成方向および位置決定装置。
12. 前記画像の主要被写体の位置を検出する手段と、
    前記画像の主要被写体の位置と各付加情報合成候補領域の位置とに基づいて、前記複数の付加情報合成候補領域から、第２の付加情報合成領域を決定する手段と、
    前記第１の付加情報合成領域と前記第２の付加情報合成領域とが合致しない場合、前記第１の付加情報合成領域を最終的な付加情報合成領域に決定する手段と、
    を含む請求項１１に記載の付加情報の合成方向および位置決定装置。
13. 前記回転された付加情報を前記第１の付加情報合成領域に合成することで、付加情報合成画像を作成する手段と、
    前記付加情報合成画像を出力する手段と、
    を含む請求項９〜１２のいずれかに記載の付加情報の合成方向および位置決定装置。
14. 前記付加情報の本来の天地方向または左右方向を示す付加情報方向情報を前記回転された付加情報と対応づけて記録する手段を含む請求項９〜１２のいずれかに記載の付加情報の合成方向および位置決定装置。
15. 前記回転された付加情報を前記第１の付加情報合成領域に合成することで、付加情報合成画像を作成する手段と、
    前記付加情報合成画像内の付加情報が前記付加情報方向情報の示す前記付加情報の本来の天地方向または左右方向に適合するよう前記付加情報合成画像を回転する手段と、
    前記回転された付加情報合成画像を出力する手段と、
    を含む請求項１４に記載の付加情報の合成方向および位置決定装置。

Images