JP4718950B2 - 画像出力装置及びプログラム - Google Patents

Description

この発明は、カメラ撮影画像、テレビ放送受信画像などの画像に対して画像加工処理を施して出力する画像出力装置及びプログラムに関する。

従来、携帯電話装置においては、カメラ撮影画像、テレビ放送受信画像などの画像を表示出力させる際に、表示パネルの表示領域の大きさとなるように画像サイズを拡大して表示させることで当該表示領域の全体を有効に活用するようにしているが、このように画像を拡大して表示すると、全体の画質が粗くなってしまう。そこで、表示領域の大きさに画像を拡大して表示する際に、画像の中央部分を除いてその周辺部分を拡大するようにした技術が知られている（特許文献１参照）。
特開２００４−８０４７２号公報

ところで、一般に、人物などの被写体を撮影する際には、ファインダー画面の中央位置に被写体が来るようにカメラ向きを合わせて撮影するようにしている。この場合、上述の従来技術のように表示領域に大きさに画像全体を拡大して表示したとしても、被写体像の周辺部分が拡大されるだけであって画像の中央部分にある被写体部分は拡大対象外となるが、画像の端に人物が位置しているときには、中央部分以外の拡大によって人物部分も引き伸ばされて表示されてしまう。
一方、表示領域のどの位置に画像を表示させるかを任意に指定して画像表示を行った際に、その表示位置によっては画像の一部が表示領域からはみ出してしまい、その全体を表示領域内に収めることができなくなる。このような場合、画像を縮小したり、画像の向き（縦向き／横向き）を変更して表示するようにすればよいが、画像全体を縮小表示すると、人物部分などの重要な部分までもが小さく表示されてしまい、また、画像の向きを変えて表示すると、人物部分などの向きが９０°回転した状態で表示されてしまい、見難くなる。

この発明の課題は、画像を加工して出力する場合に、人物などが画像内のどこに位置しているかに拘らず、人物などの注目部分を残してそれ以外の部分を加工できるようにすることである。

請求項１記載の発明は、出力対象の画像に対して画像加工処理を施して出力する画像出力装置であって、出力対象画像の画像解析により得られた情報、又は、画像撮影時の情報、又は、出力対象画像に付加された情報に基づいて、出力対象画像内の一部分を注目部分として特定する特定手段と、この特定手段によって特定された注目部分を除いてその周辺部分を拡大あるいは縮小することによって画像全体のサイズを変更する加工手段と、この加工手段によって加工された画像を出力する出力手段と、を具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
なお、出力対象画像は、カメラ撮影画像に限らず、例えば、テレビ放送受信画像などであってもよく、画像の種類は問わない。

なお、上述した請求項１記載の発明は次ぎのようなものであってもよい。
前記画像加工処理は、画像全体の縦横比を変更する縦横比変更処理であって、前記加工手段は、前記周辺部分を拡大あるいは縮小することによって画像全体の縦横比を変更する（請求項２記載の発明）。

前記特定手段は、出力対象画像を解析することによってその中に含まれている特定物を注目部分として認識する（請求項３記載の発明）。

前記特定手段は、出力対象画像を解析することによってその変化状態に基づいて注目部分を認識する（請求項４記載の発明）。

前記特定手段は、撮影画像としての出力対象画像の中からカメラ撮影時に焦点を合わせた被写体部分を注目部分として特定する（請求項５記載の発明）。

前記特定手段は、出力対象画像の中に含まれている文字部分を注目部分として特定する（請求項６記載の発明）。

前記特定手段は、出力対象画像に付加されている付加情報に基づいて当該画像内の注目部分を特定する（請求項７記載の発明）。

前記加工手段は、前記周辺部分を拡大あるいは縮小する際に、注目部分から離れるほど徐々に拡大率を変更する拡大処理あるいは注目部分から離れるほど徐々に縮小率を変更する縮小処理を実行する（請求項８記載の発明）。

前記加工手段は、画像全体のサイズを変更するとともに、前記周辺部分の画像をフィルタにかけるフィルタ加工処理、又は、前記周辺部分の画像の色を変更する色変更処理を実行する（請求項９記載の発明）。

請求項１又は２に記載の発明によれば、出力対象画像の画像解析により得られた情報、又は、画像撮影時の情報、又は、出力対象画像に付加された情報に基づいて、出力対象画像内の一部分を注目部分として特定すると共に、この注目部分を除いてその周辺部分を拡大あるいは縮小することによって画像全体の縦横比又はサイズを変更して出力するようにしたから、人物などが画像内のどこに位置しているかに拘らず、人物などの注目部分を残してそれ以外の部分を加工することができ、画像全体の縦横比又はサイズを変更してもその注目部分を元の大きさのままとすることができる。つまり、この加工によって注目部分の画質などに悪影響を与えることはなく、その部分の当初の状態を維持することが可能となると共に、注目部分の視認性を相対的に高めることが可能となる。

請求項３記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、出力対象画像を解析することによってその中に含まれている特定物を注目部分として認識するようにしたから、画像解析によって特定物、例えば、人物、建物、自動車、オブジェクト（ 文字、図形など）を注目部分として画像認識することができる。この場合、全体形状をパターン認識したり、各構成要素の位置関係及び形状などの特徴を分析して認識するなど、その認識の仕方は任意である。また、特定物の一部あるいは全体、例えば、人物の顔部分あるいは人物の全体を注目部分としてもよい。

請求項４記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、出力対象画像を解析することによってその変化状態に基づいて注目部分を認識するようにしたから、例えば、コントラスト、彩度、明るさなどの変化の大きさに基づいて注目部分を画像認識することができる。

請求項５記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、撮影画像としての出力対象画像の中からカメラ撮影時に焦点を合わせた被写体部分を注目部分として特定するようにしたから、ピントが一番合っている部分を被写体部分（注目部分）として特定することができる。この場合、画像解析によってピントが一番合っている部分を被写体部分として画像認識するようにしてもよい。

請求項６記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、出力対象画像の中に含まれている文字部分を注目部分として特定するようにしたから、例えば、バスの時刻表などをメモ代わりに撮影した場合、この撮影画像の中から文字が含まれている部分を注目部分として特定することができる。この場合、字幕付きのテレビ放送受信画像の場合には、この受信画像に付加されている文字領域を注目部分として特定するようにしてもよい。

請求項７記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、出力対象画像に付加されている付加情報に基づいて当該画像内の注目部分を特定するようにしたから、撮影画像に付加されている属性情報から「焦点位置」を示す情報を取得して被写体部分を注目部分として特定するようにしてもよい。また、デジタルテレビ放送受信画像に付加されている各種の情報を参照することによって注目部分を特定するようにしてもよい。

請求項８記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、周辺部分を拡大あるいは縮小する際に、注目部分から離れるほど徐々に拡大率を変更する拡大処理あるいは注目部分から離れるほど徐々に縮小率を変更する縮小処理を実行するようにしたから、例えば、注目部分から離れるほど徐々に大きくなるようにしたり、注目部分から離れるほど徐々に小さくなるようにすることができ、注目部分を中心とした遠近感効果の付与が可能となるほか、注目部分が浮き出てくるような感覚のハイライト効果を付与することも可能となる。

請求項９記載の発明によれば、上述した請求項１又は２に記載の発明と同様の効果を有するほか、画像全体のサイズを変更するとともに、前記周辺部分の画像をフィルタにかけるフィルタ加工処理、又は、前記周辺部分の画像の色を変更する色変更処理を実行するようにしたから、注目部分以外の周辺部分にモザイクなどのぼかし処理、色相変更処理、彩度変更処理、明度変更処理を施すことができ、また、様々な加工を施す場合でも、それに影響されず、注目部分の当初の状態を維持することができる。

以下、図１〜図８を参照して本発明の実施例を説明する。
この実施例は、画像出力装置として携帯電話装置に適用した場合を例示したもので、図１は、この携帯電話装置の基本的な構成要素を示したブロック図である。
この携帯電話装置は、二次電池を主電源として駆動され、通話機能、電子メール機能、インターネット接続機能などのほか、テレビ放送電波を受信して出力するテレビ機能と、このテレビ機能によって受信したテレビ放送を逐次録画する録画機能と、この録画機能によって録画された内容を再生出力したり、外部供給された各種の画像を読み出して再生出力する再生機能などを備えている。

ＣＰＵ１は、記憶部２内の各種のプログラムに応じてこの携帯電話装置の全体動作を制御する中央演算処理装置である。記憶部２は、不揮発性メモリ(内部メモリ)であり、例えば、フラッシュメモリなどによって構成され、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図４〜図７に示す動作手順に応じて本実施例を実現するためのプログラムが格納されている。記録メディア３は、着脱自在な可搬型メモリで、撮影画像データ、各種のデータ、プログラムを外部供給するもので、例えば、スマートメディア、ＩＣカードなどによって構成されている。メモリ４は、ワーク領域を有する内部メモリで、例えば、ＤＲＡＭ（Direct Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）などによって構成されている。

電話通信部５は、アンテナ６に接続された送受信デュプレクサの受信側から信号を取り込んで受信ベースバンド信号に復調したのちに、音声データを音声スピーカ７から出力させる。また、電話通信部５は、音声マイク８から入力された音声データを送信ベースバンド信号に符号化したのちに、送受信デュプレクサの送信側に与えられ、アンテナ６から発信出力させる。一方、電子メール機能、インターネット接続によって電話通信部５を介して受信した画像などの表示データは、ＬＣＤ（液晶表示器）によって構成されたメイン表示部９に与えられて表示出力される。メイン表示部９は、例えば、４００×２４０ドット構成の表示画面を有し、文字情報、テレビ放送受信画像、カメラ撮影画像、各種メッセージなどを高品位に表示する。このメイン表示部９のほか、装置本体の背面部にはサブ表示部１０が設けられており、現在日時、簡易なメッセージ、アイコンなどが表示される。

テレビ受信部１１は、ＴＶアンテナ１２を備え、携帯電話などの携帯受信機向けの地上波デジタルテレビ放送を受信するもので、テレビ映像及び音声情報以外にも電子番組表(ＥＰＧ)なども含めて受信可能である。テレビ受信部１１は、専用ＣＰＵ、ＴＶアンテナ１２に接続されている受信部と、受信したテレビ放送を映像信号、音声信号に分離分離する増幅分離部と、圧縮データを解凍するデコード部などを有する構成となっており、このテレビ受信部１１から出力されたテレビ映像信号は、メイン表示部９から表示出力され、また、テレビ音声信号は、内蔵スピーカ１３あるいはイヤホン１４から出力される。

キー操作部１５は、押しボタン式の各種のキーを備え、ダイヤル入力、文字入力、コマンド入力などを行うもので、テレビ機能用としてテレビＯＮ／ＯＦＦキー、チャンネル切り替えキーのほか、テレビ放送の録画（録音を含む）を指示する録画開始キー、録画内容の再生を指示する再生キー、再生の一時停止を指示する一時停止キー、早送り再生を指示する早送りキー、画像表示時に画像に加工を施して表示する特殊出力機能を選択する機能選択キーなどを有している。ＣＰＵ１は、キー操作部１５からのキー入力信号に応じた処理を実行する。報知部１６は、上述した内蔵スピーカ１３を含めて、ＬＥＤ(発光ダイオード)、振動モータを有する構成で、電話・メール着信時には着信報知を行うほか、警告アラームなどの報知時にも駆動される。

カメラ撮像部１７は、静止画撮影のほかに動画撮影も可能なもので、撮影レンズ、ミラー等のレンズ・ミラーブロック、ＣＣＤイメージセンサ等の撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路等を備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランス等を制御する。このカメラ撮像部１７によって撮影された撮影画像は、記憶部２、記録メディア３に記憶保存される。この場合、メイン表示部９は、モニタ画像を表示する撮影モニタ画面（ファインダ画面）、記憶部２、記録メディア３に記憶保存されている撮影画像を再生出力する再生画面として機能する。

図２及び図３は、カメラ撮影画像あるいはテレビ放送受信画像などの画像（出力対象画像）をメイン表示部９に表示出力させる際に、この画像に所定の加工を施して表示する特殊出力機能がユーザ操作によって選択された場合において、この画像加工処理の実行前及び実行後の画像を例示した図である。なお、図中、左側が加工処理の実行前の画像、右側が加工処理の実行後の画像を示している。
ここで、ＣＰＵ1は、画像加工を行う前に、出力対象画像内の一部分を注目部分として特定する。すなわち、注目対象となる特定物、例えば、人物、建物、自動車、オブジェクト（文字、図形など）が出力対象画像内に含まれているか否かを判別し、特定物が含まれているときには、この特定物が写っている部分（注目部分）の中心位置をターゲット位置として特定する。

この場合、出力対象画像が撮影画像である場合には、この撮影画像に付加されているフォーカス情報（焦点位置情報）に基づいてピントが合っている部分（例えば、人物の顔部分）をターゲット位置として特定するようにしているが、撮影画像にフォーカス情報が付加されていなかったり、テレビ放送受信画像などであれば、この画像を解析しながら画像認識を行い、画像内に特定物が含まれているか否か判別するようにしている。なお、特定物の認識アルゴリズムは、周知の技術を使用して行うが、全体形状をパターン認識したり、各構成要素の位置関係及び形状などの特徴を分析して認識してもよく、更には画像解析によってコントラスト、彩度、明るさなどの変化を検出し、この変化の大きさに基づいて特定物を認識するようにしてもよく、その認識の仕方は任意である（以下、同様）。このようにして特定したターゲット位置を基準にしてＣＰＵ1は、特定物が含まれている領域をターゲット領域として特定する。

図２（Ａ）、（Ｂ）は、画像加工処理として画像全体の縦横比を変更する縦横比変更処理を例示したもので、（Ａ）は、標準比率（横縦比４：３）からワイド比率（横縦比１６：９）に変更した場合、（Ｂ）は、ワイド比率から標準比率に変更した場合を示している。ここで、ＣＰＵ1は、出力対象の画像をその横方向にＮ等分（例えば、８等分）してＮ個の縦枠領域に分割すると共に、各縦枠領域のうち、ターゲット位置を基準にして特定物（例えば、人物の顔部分）を含む領域をターゲット領域として特定するようにしている。

図２（Ａ）は、図中左から数えて３番目〜４番目の領域に跨った各領域がターゲット領域として特定された場合を示し、（Ｂ）は、２番目〜３番目の領域に跨った各領域がターゲット領域として特定された場合を示している。そして、ＣＰＵ1は、このターゲット領域を除く他の全ての領域（ターゲット周辺部分）を拡大あるいは縮小して画像全体を指定された縦横比に変更するようにしている。その際、ターゲット領域から離れるほどその部分の拡大率あるいは縮小率を指数関数的に順次変更するようにしている。すなわち、ターゲット領域から離れるほど徐々に大きくなるような拡大処理を実行したり、ターゲット領域から離れるほど徐々に小さくなるような縮小処理を実行するようにしている。なお、このような拡大／縮小処理を周辺部の比率変更拡大／縮小処理と呼称する。

なお、画像全体の縦横比を変更する縦横比変更処理は、図２（Ａ）、（Ｂ）に示す横長表示の場合に限らず、図示省略したが、縦長表示の場合であってもよい。すなわち、縦長表示の場合には、出力対象の画像をその縦方向にＮ等分してＮ個の横枠領域に分割し、ターゲット領域を除く他の全ての横枠領域を拡大あるいは縮小して画像全体を指定された縦横比に変更するようにしている。この場合においても、ターゲット領域から離れているほど徐々に大きくし、ターゲット領域から離れるほど徐々に小さくする比率変更拡大／縮小処理が行われる。

この場合、図２（Ａ）では、３番目及び４番目のターゲット領域の拡大率は「１倍」となり、２番目及び５番目の領域の拡大率は、例えば、「1.１倍」、また、１番目及び６番目の領域の拡大率は、例えば、「1.３倍」、‥‥、となる。このようにして拡大率を徐々に大きくしてゆくことによってターゲット領域から離れているほど徐々に大きく拡大されて画像全体の横縦比が標準比率（４：３）からワイド比率（１６：９）に変更される。

このように横縦比を変更した結果、完全にワイド比率あるいは標準比率とならない場合には、許容範囲内の誤差であれば、その誤差を無視して画像表示させたり、その誤差を各縦枠領域に振り分けるようにしてもよい。なお、この誤差を各縦枠領域に振り分ける場合、各縦枠領域の拡大率を微調整するようにしてもよいが、拡大率を変更せず、各縦枠領域の大きさを増減することによって微調整するようにしてもよい。また、画像の略全体がターゲット領域に相当する場合、例えば、上半身の人物が画像全体に大写しされているような場合には、この人物画像の一部分（人物の顔部分）をターゲット領域としてもよい。

図３（Ａ）は、横長画像の表示を縦長画像の表示に変更した場合、つまり、画像の向きを変更する場合を示し、（Ｂ）は、画像全体の縦横を任意に縮小した場合する場合を示している。この場合、ＣＰＵ１は、出力対象の画像をマトリックス状（桝目状）に分割すると共に、各枡目領域のうち、ターゲット位置を基準にして特定物（人物）を含む領域をターゲット領域として特定する。そして、このターゲット領域を除く他の全ての領域をターゲット周辺領域として特定すると共に、この周辺領域をその横方向、縦方向毎に拡大あるいは縮小することによって当該画像を指定された向きに変更したり、指定されたサイズに変更するようにしている。

この場合においても、ターゲット領域から離れているほど徐々に大きくなり、ターゲットから離れるほど徐々に小さくなる比率変更拡大／縮小処理が行われる。なお、上述の場合と同様、画像全体を指定サイズに変更した際に許容範囲内の誤差を生じた場合には、その誤差を無視したり、誤差を各領域に振り分けるようにしてもよい。なお、図中、矢印マークは、上方向矢印が拡大、下方向矢印が縮小を示し、また、矢印マークの太さは、拡大率／縮小率の大きさを示している。また、図示省略したが、図３（Ａ）、（Ｂ）の場合とは逆に、縦長表示を横長表示に変更する場合、画像全体の縦横を任意に拡大する場合であっても、基本的には図３（Ａ）、（Ｂ）の場合と同様である。

図３（Ｃ）は、画像加工処理として画像にフィルタにかけるフィルタ加工処理（ぼかし処理）を例示したもので、この場合においても、ＣＰＵ１は、出力対象の画像をマトリックス状（桝目状）に分割すると共に、各桝目領域のうち、ターゲット位置を含む領域をターゲット領域として特定する。そして、このターゲット領域を除く他の全ての桝目領域にフィルタ加工処理（ぼかし処理）を施すようにしている。なお、この実施例においては、画像加工処理としては、上述した「縦横比変更処理」、「サイズ変更処理」、「フィルタ加工処理」のほか、「色変更処理」があり、この中から任意の加工種を選択可能としている。

次ぎに、この実施例における携帯電話装置の動作概念を図４〜図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。

図４〜図６は、カメラ撮影画像あるいはテレビ放送受信画像などの画像に所定の加工を施して表示する特殊出力機能がユーザ操作によって選択された場合に実行開始される動作を示したフローチャートである。
先ず、ＣＰＵ１は、カメラ撮影画像あるいはテレビ放送受信画像などの１画像を出力対象画像（ソース画像）として取得したのち（ステップＡ１）、ユーザ操作によって選択指定されている画像加工種の判別を行う（ステップＡ２）。

この画像加工種は、上述の特殊出力機能が起動される前に、ユーザ操作によって選択指定されたもので、この実施例では、「縦横比変更」、「サイズ変更」、「フィルタ加工」、「色変更」の中から任意の加工種を選択指定するようにしている。いま、画像加工種として、画像の大きさ変更を伴う「縦横比変更」あるいは「サイズ変更」が選択されている場合には（ステップＡ３でＹＥＳ）、ソース画像内に含まれている人物の顔部分などの中心位置をターゲット位置として特定するターゲット位置特定処理に移る（ステップＡ４）。

図７は、ターゲット位置特定処理を詳述するためのフローチャートである。
先ず、ＣＰＵ１は、出力対象画像が撮影画像である場合に、この撮影画像にフォーカス情報（焦点位置情報）が付加されているか否かを調べ（ステップＢ１）、フォーカス情報が付加されていれば、この画像内の焦点位置に基づいてピントが合っている部分（被写体部分）をターゲット位置として特定する（ステップＢ２）。また、フォーカス情報が付加されていなければ（ステップＢ１でＮＯ）、出力対象画像を解析することによって人物の顔部分が含まれているか否かを画像認識し（ステップＢ３）、顔部分が含まれていれば（ステップＢ４でＹＥＳ）、その中から最も大きい顔部分を上位２つまで特定し、これらの中心位置をターゲット位置として特定する（ステップＢ５）。なお、人物が一人の場合には、１つの顔部分がターゲット位置として特定される。

また、人物の顔部分が含まれていなければ（ステップＢ４でＮＯ）、画像解析によって当該画像内に文字部分が含まれているか否かを画像認識し（ステップＢ６）、文字部分が含まれていれば、この文字部分をターゲット位置として特定する（ステップＢ７）。この場合、文字列であれば、その全体領域がターゲット位置として特定される。なお、人物の顔部分、文字部分を画像認識する以外にも、その他の画像認識処理（ステップＢ８）では、予め決められている自動車、建物などの特定物が含まれているか否かを画像認識し、この特定物の所定位置（中心点）をターゲット位置として特定する。なお、出力対象画像が字幕付きのテレビ放送受信画像の場合には、この受信画像に付加されている文字部分の上書き位置をターゲット位置として特定するようにしてもよい。

このようなターゲット位置特定処理が終わると、ＣＰＵ1は、この処理結果を参照してターゲット位置を特定できたか否かをチェックする（図４のステップＡ５）。ここで、ソース画像内に特定物が含まれていない場合、つまり、ターゲット位置を特定できなかった場合には（ステップＡ５でＮＯ）、ソース画像全体を一様のサイズに変更する（ステップＡ６）。すなわち、画像全体を指定された横縦比に変更したり、指定されたサイズに変更する通常処理が行われる。また、ソース画像内に特定物が含まれている場合（ターゲット位置を特定できた場合）には（ステップＡ５でＹＥＳ）、縦サイズの変更を伴う処理であるか否かをチェックする（ステップＡ７）。言い換えれば、「縦横比変更処理」あるいは「サイズ変更処理」は、主に横サイズを変更する処理であるか否かを判別する。

ここで、図２（Ａ）、（Ｂ）に示すように、縦サイズの変更を伴わず、主に横サイズを変更する場合には（ステップＡ７でＮＯ）、出力対象の画像をその横方向にＮ等分（例えば、８等分）してＮ個の縦枠領域に分割すると共に、各縦枠領域のうち、ターゲット位置を基準にして特定物を含む領域を縦枠ターゲット領域として特定する（ステップＡ１３）。なお、特定物が隣り合う複数の領域に跨る場合には、この複数の領域がターゲット領域として特定される（以下、同様）。図８（Ａ）に示す白抜き部分は、ターゲット位置「＋」を基準に特定された縦枠ターゲット領域を示している。次ぎに、図５のフローに移り、図２（Ａ）に示すように、画像の横サイズを大きくする場合か、図２（Ｂ）に示すように、画像の横サイズを小さくする場合かをチェックする（ステップＡ１８）。

いま、横サイズを大きくする場合には（ステップＡ１８でＹＥＳ）、縦枠ターゲット領域を基準にして、このターゲット領域を除く他の全ての領域をその横方向に順次比率変更して拡大する処理を行う（ステップＡ１９）。図８（Ａ）に示す斜線部分は、ターゲット領域以外の領域を示し、この斜線部分の全領域が拡大対象となる。ここで、画像全体が指定された縦横比となるように、各縦枠領域を拡大変更するが、その際、ターゲット領域から離れるほど徐々に大きくなる。一方、画像の横サイズを小さくする場合には（ステップＡ１８でＮＯ）、ターゲット領域を除く他の全ての縦枠領域をその横方向に順次比率変更して縮小する処理を行う（ステップＡ２０）。この場合においても、画像全体が指定された縦横比となるように、各縦枠領域を縮小変更するが、その際、ターゲット領域から離れるほど徐々に小さくなるような縮小処理が行われる。

また、主に縦サイズを変更する場合であるが（図４のステップＡ７でＹＥＳ）、横サイズの変更を伴わない場合には（ステップＡ８でＮＯ）、出力対象の画像をその縦方向にＮ等分してＮ個の横枠領域に分割すると共に、各横枠領域のうち、ターゲット位置を基準にして特定物を含む領域を横枠ターゲット領域として特定する（ステップＡ１７）。図８（Ｂ）に示す白抜き部分は、ターゲット位置「＋」を基準に特定された横枠ターゲット領域を示している。次ぎに、図５のフローに移り、縦サイズを大きくする場合か、縦サイズを小さくする場合かをチェックする（ステップＡ１５）。

いま、縦サイズを大きくする場合には（ステップＡ１５でＹＥＳ）、横枠ターゲット領域を基準にして、このターゲット領域を除く他の全ての横枠領域をその縦方向に順次比率変更して拡大する処理が行われる（ステップＡ１６）。図８（Ｂ）に示す斜線部分は、ターゲット領域以外の周辺領域を示し、この斜線部分の全領域が拡大対象となる。ここで、画像全体が指定された縦横比となるように、各横枠領域を拡大変更するが、その際、ターゲットから離れるほど徐々に大きくなるような拡大処理が行われる。また、縦サイズを小さくする場合には（ステップＡ１５でＮＯ）、ターゲット領域を除く他の全ての横枠領域をその縦方向に順次比率変更して縮小する処理が行われるが（ステップＡ１７）、その際、ターゲット領域から離れるほど徐々に小さくなるような縮小処理が行われる。

一方、図３（Ａ）、（Ｂ）に示すように、画像の向きを変更したり、画像全体のサイズを変更する場合には、縦サイズ及び横サイズの両方の変更を伴うため、ステップＡ７では縦サイズ変更有り、ステップＡ８では横サイズ変更有りと判断される。この場合、出力対象の画像を縦横方向にＮ×Ｍのマトリックス状（桝目状）に分割すると共に、各枡目領域のうち、ターゲット位置を基準にして特定物を含む桝目領域（矩形領域）をターゲット領域として特定する（ステップＡ９）。図８（Ｃ）に示す白抜き部分は、ターゲット位置「＋」を基準に特定されたターゲット領域を示している。次ぎに、横サイズを大きくする場合か、図３（Ａ）、（Ｂ）に示すように、横サイズを小さくする場合かをチェックする（ステップＡ１０）。

いま、横サイズを大きくする場合には（ステップＡ１０でＹＥＳ）、ターゲット領域を基準にして、このターゲット領域を除く他の全ての縦枠領域をその横方向に順次比率変更して拡大する処理が行われる（ステップＡ１１）。図８（Ｃ）に示す斜線部分は、ターゲット領域以外の周辺領域を示し、この斜線部分の全領域が拡大対象となる。ここで、画像全体が指定されたサイズとなるように、各領域を拡大変更するが、その際、ターゲット領域から離れるほど徐々に大きくなるような拡大処理が行われる。また、図３（Ａ）に示すように、横サイズを小さくする場合には（ステップＡ１０でＮＯ）、ターゲット領域を除く他の全ての領域をその横方向に順次比率変更して縮小する処理が行われるが（ステップＡ１２）、その際、ターゲット領域から離れるほど徐々に小さくなるような縮小処理が行われる。

上述のように画像全体をマトリックス状に分割した場合、各桝目領域は、縦枠領域と横枠領域との交差部分であるから、上述のような横方向の拡大／縮小処理が終わったのちは、縦方向の拡大／縮小処理に移る（図５のステップＡ１５〜Ａ１７）。すなわち、周辺領域を横方向、縦方向に分けて拡大／縮小処理が行われる。いま、図３（Ａ）に示すように、縦サイズを大きくする場合には（ステップＡ１５でＹＥＳ）、横枠ターゲット領域を基準にしてターゲット領域を除く他の全ての領域をその縦方向に順次比率変更して拡大する処理を行うが（ステップＡ１６）、縦サイズを小さくする場合には（ステップＡ１５でＮＯ）、ターゲット領域を除く他の全ての領域をその縦方向に順次比率変更して縮小する処理を行う（ステップＡ１７）。したがって、図３（Ａ）に示すように、横向き画像を縦向きの画像に変更する場合に、横方向には縮小処理が実行され、縦方向には拡大処理が実行される。また、図３（Ｂ）に示すように、画像全体を小さくする場合には、縦横の両方向で縮小処理が実行される。

他方、画像加工種として「縦横比変更」、「サイズ変更」以外の「フィルタ加工」、「色変更」、「明るさ変更」が選択された場合には（ステップＡ３でＮＯ）、図６のフローに移る。いま、選択された画像加工種が「フィルタ加工」であれば（ステップＡ２１でＹＥＳ）、上述と同様のターゲット位置特定処理の実行に移る（ステップＡ２２）。そして、ＣＰＵ1は、この処理結果を参照してターゲット位置を特定することができたかをチェックし（ステップＡ２３）、ターゲット位置を特定できなかった場合には、ソース画像全体に対してフィルタ加工処理（ぼかし処理）を施す（ステップＡ２６）。

また、ターゲット位置を特定することができた場合には（ステップＡ２３でＹＥＳ）、出力対象画像をマトリックス状（桝目状）に分割すると共に、各枡目領域のうち、ターゲット位置を基準にして特定物（例えば、人物の顔部分）を含む桝目領域（矩形領域）をターゲット領域として特定する（ステップＡ２４）。そして、このターゲット領域を除く他の全ての領域に対してフィルタ加工処理（ぼかし処理）を施す（ステップＡ２５）。この場合においてもターゲット領域から離れているほど、その加工強度が段階的（指数関数的）に順次大きくなるようなフィルタ加工処理が行われる。

また、「色変更」が選択された場合には（ステップＡ２１でＮＯ）、図示省略したが、基本的には上述の「フィルタ加工」と同様に、ターゲット位置を特定したのち、画像をマトリックス状に分割してターゲット領域を特定すると共に、ターゲット領域を除く全ての領域を加工対象として特定したのち、この対象処理に対して「色変更処理」を施す。この場合、ターゲット領域以外の領域は、指定された色に変更されるが、色相変更、彩度変更、明度変更のうち、少なくともその何れかを変更するようにしてもよい。この場合においてもターゲット領域から離れているほど、その加工強度が段階的（指数関数的）に順次大きくなるような色変更処理が行われる。

以上のように、この実施例においてＣＰＵ１は、カメラ撮影画像あるいはテレビ放送受信画像などの画像（出力対象の画像）をメイン表示部９に表示出力させる際に、この画像内に含まれている人物などをターゲット領域として特定し、このターゲット領域以外の領域に画像加工処理を施して表示出力するようにしたから、人物などが画像内のどこに位置しているかに拘らず、ターゲット領域以外の領域に画像加工を施すことができると共に、画像の表示時に画像加工を施したとしても、この加工によってターゲット領域の画質などに悪影響を与えることはなく、その部分の当初の状態を維持することが可能となると共に、注目部分の視認性を相対的に高めることが可能となる。

この場合、ＣＰＵ１は、出力対象画像を解析することによってその中に含まれている特定物を認識するようにしたから、画像解析によって特定物、例えば、人物、建物、自動車、オブジェクト（文字、図形など）をターゲットとして画像認識することができる。また、出力対象画像を解析することによってその変化状態に基づいて特定物を認識するようにしたから、例えば、コントラスト、彩度、明るさなどの変化の大きさに基づいて特定物を画像認識することができる。

ＣＰＵ１は、撮影画像に付加されている属性情報から「焦点位置」を示す情報を取得して被写体部分を特定するようにしたから、カメラ撮影時に焦点を合わせた被写体部分（ピントが一番合っている部分）をターゲットとして特定することができる。
また、出力対象画像の中に含まれている文字部分をターゲットとして特定するようにしたから、例えば、バスの時刻表などをメモ代わりに撮影した場合、この撮影画像の中から文字が含まれている部分をターゲットとして特定することができる。

ＣＰＵ１は、画像全体の縦横比を変更する縦横比変更処理を実行する際に、ターゲットを除いてその周辺部分を拡大あるいは縮小することによって画像全体の縦横比を変更するようにしたから、画像全体の縦横比を変更してもそのターゲットを元の大きさのままとすることができる。
また、画像全体のサイズを変更するサイズ変更処理を実行する際に、ターゲット領域を除いてその周辺部分を拡大あるいは縮小することによって画像全体のサイズを変更するようにしたから、画像全体のサイズを変更してもそのターゲットを元の大きさのままとすることができる。

この場合、ターゲットの周辺部分を拡大あるいは縮小する際に、ターゲットから離れるほど徐々に大きくなるような拡大処理あるいはターゲットから離れるほど徐々に小さくなるような縮小処理を行うようにしたから、ターゲットを中心とした遠近感効果の付与が可能となるほか、ターゲットが浮き出てくるような感覚のハイライト効果を付与することも可能となる。

画像全体の縦横比を変更する縦横比変更処理、画像全体のサイズを変更するサイズ変更処理、画像をフィルタにかけるフィルタ加工処理、画像の色を変更する色変更処理のうち、その何れの加工処理を選択可能としたから、ターゲット以外の領域にモザイクなどのぼかし処理、色相変更処理、彩度変更処理、明度変更処理を施すことができ、また、様々な加工を施す場合でも、それに影響されず、ターゲットの当初の状態を維持することができる。

なお、上述した実施例においては、人物の顔部分をターゲットとしたが、人物の全体（全身）が写っていれば、全身をターゲットとしてもよい。また、出力対象画像の中に含まれている文字部分をターゲットとして特定する場合に、画像認識によって特定するようにしたが、デジタルテレビ放送受信画像の場合には、この受信画像に付加されている各種の情報を参照することによってターゲット特定を行うようにしてもよい。

また、１つの画像内に複数のターゲット領域が特定された場合には、この複数のターゲット領域の大きさを比較して、その中から最も大きいターゲット領域のみに絞り込んでもよい。つまり、複数のターゲットの中から一つのターゲットを特定し、その他のターゲットを無効としてもよい。また、複数のターゲットを有効としてもよい。この場合、複数のターゲット領域以外の領域が加工対象の領域となる。
上述した実施例においては、撮影画像に付加されている属性情報から「焦点位置」を示す情報を取得してターゲットを特定するようにしたが、画像解析によってピントが一番合っている部分をターゲットとして特定するようにしてもよい。

上述した実施例においては、出力対象画像をその縦方向にＮ等分してＮ個の横枠領域に分割したり、画像をその横方向にＮ等分してＮ個の縦枠領域に分割したり、画像を縦横方向にＮ×Ｍのマトリックス状（桝目状）に分割する場合を例示したが、その分割数は任意であり、例えば、画像をその横方向にＭ等分したり、縦横方向にＸ×Ｙに分割するようにしてもよい。
また、画像の縦長比を変更する場合、画像全体を複数の縦枠領域あるいは横枠領域に分割するようにしたが、画像の縦長比を変更する場合でも縦横方向にマトリックス分割するようにしてもよい。

また、上述した実施例では、ターゲット領域以外の周辺領域を拡大あるいは縮小処理する場合に、ターゲット領域から離れるほど徐々に拡大率が大きくなるような拡大処理を実行したり、ターゲット領域から離れるほど徐々に縮小率が大きくなるような縮小処理を実行するようにしたが、これとは逆に、ターゲット領域から離れるほど徐々に拡大率が小さくなるような拡大処理を実行したり、ターゲット領域から離れるほど徐々に縮小率が小さくなるような縮小処理を実行するようにしてもよい。また、ターゲット以外の周辺領域を均一に拡大したり、均一に縮小するようにしてもよい。

その他、上述した実施例では、画像を表示する場合を示したが、画像表示に限らず、画像を印刷出力したり、ネットワークを介して送信出力する場合であっても同様に適用可能である。
また、携帯電話装置に限らず、例えば、ＰＤＡ、電子カメラ、電子腕時計、携帯音楽再生機、携帯ビデオレコーダなどの携帯端末装置であっても同様に適用可能であり、更に、携帯端末装置に限らず、定置式の画像出力装置（パーソナルコンピュータ、テレビ受信機、ビデオレコーダなど）であってもよい。

画像出力装置として適用した携帯電話装置の基本的な構成要素を示したブロック図。 特殊出力機能がユーザ操作によって選択された場合において、この画像加工処理の実行前及び実行後の画像を例示し、（Ａ）は、標準比率（横縦比４：３）からワイド比率（横縦比１６：９）に変更した場合、（Ｂ）は、ワイド比率から標準比率に変更した場合を示した図。 特殊出力機能がユーザ操作によって選択された場合において、この画像加工処理の実行前及び実行後の画像を例示し、（Ａ）は、横長画像の表示を縦長画像の表示に変更した場合を示し、（Ｂ）は、画像全体の縦横を任意に縮小した場合する場合を示し、（Ｃ）は、フィルタ加工処理（ぼかし処理）を実行した場合を示した図。 カメラ撮影画像あるいはテレビ放送受信画像などの画像に所定の加工を施して表示する特殊出力機能がユーザ操作によって選択された場合に実行開始される動作を示したフローチャート。 図４に続く、フローチャート。 図４に続く、フローチャート。 図４、図６のターゲット位置特定処理を詳述するためのフローチャート。 （Ａ）は、画像を横方向にＮ等分してＮ個の縦枠領域に分割した場合、（Ｂ）は、画像を縦方向にＮ等分してＮ個の縦枠領域に分割した場合、（Ｃ）は、画像をＮ×Ｍのマトリックス状（桝目状）に分割した場合において、ターゲット位置、ターゲット領域、ターゲット領域以外の領域を説明するための図。

符号の説明

１ ＣＰＵ
２ 記憶部
３ 記録メディア
５ 電話通信部
９ メイン表示部
１１ テレビ受信部
１５ キー操作部
１７ カメラ撮像部

Claims (11)

1. 出力対象の画像に対して画像加工処理を施して出力する画像出力装置であって、
   出力対象画像の画像解析により得られた情報、又は、画像撮影時の情報、又は、出力対象画像に付加された情報に基づいて、出力対象画像内の一部分を注目部分として特定する特定手段と、
   この特定手段によって特定された注目部分を除いてその周辺部分を拡大あるいは縮小することによって画像全体のサイズを変更する加工手段と、
   この加工手段によって加工された画像を出力する出力手段と、
   を具備したことを特徴とする画像出力装置。
2. 前記画像加工処理は、画像全体の縦横比を変更する縦横比変更処理であって、
   前記加工手段は、前記周辺部分を拡大あるいは縮小することによって画像全体の縦横比を変更する、
   ことを特徴とする請求項１に記載の画像出力装置。
3. 前記特定手段は、出力対象画像を解析することによってその中に含まれている特定物を注目部分として認識する、
   ようにしたことを特徴とする請求項１又は２に記載の画像出力装置。
4. 前記特定手段は、出力対象画像を解析することによってその変化状態に基づいて注目部分を認識する、
   ようにしたことを特徴とする請求項１又は２に記載の画像出力装置。
5. 前記特定手段は、撮影画像としての出力対象画像の中からカメラ撮影時に焦点を合わせた被写体部分を注目部分として特定する、
   ようにしたことを特徴とする請求項１又は２に記載の画像出力装置。
6. 前記特定手段は、出力対象画像の中に含まれている文字部分を注目部分として特定する、
   ようにしたことを特徴とする請求項１又は２に記載の画像出力装置。
7. 前記特定手段は、出力対象画像に付加されている付加情報に基づいて当該画像内の注目部分を特定する、
   ようにしたことを特徴とする請求項１又は２に記載の画像出力装置。
8. 前記加工手段は、前記周辺部分を拡大あるいは縮小する際に、注目部分から離れるほど徐々に拡大率を変更する拡大処理あるいは注目部分から離れるほど徐々に縮小率を変更する縮小処理を実行する、
   ようにしたことを特徴とする請求項１乃至７のいずれかに記載の画像出力装置。
9. 前記加工手段は、画像全体のサイズを変更するとともに、前記周辺部分の画像をフィルタにかけるフィルタ加工処理、又は、前記周辺部分の画像の色を変更する色変更処理を実行する、
   ようにしたことを特徴とする請求項１乃至８のいずれかに記載の画像出力装置。
10. コンピュータに対して、
    出力対象画像の画像解析により得られた情報、又は、画像撮影時の情報、又は、出力対象画像に付加された情報に基づいて、出力対象画像内の一部分を注目部分として特定する機能と、
    特定された注目部分を除いてその周辺部分を拡大あるいは縮小することによって画像全体のサイズを変更する画像加工処理を施す機能と、
    加工された画像を出力する機能と、
    を実現させるためのプログラム。
11. 前記画像加工処理を施す機能は、前記周辺部分を拡大あるいは縮小することによって画像全体の縦横比を変更する、
    ことを特徴とする請求項１０に記載のプログラム。

Images