JP2019053461A - 画像処理装置、プログラム及び画像データ - Google Patents

Abstract

【課題】画像の内容を分かりやすく表すことができる画像処理装置、プログラム及び画像データを提供する。【解決手段】画像処理装置１は、キーワードと、画像６０を含む画像情報とを対応付けて記憶する画像記憶部３２と、画像６０からキーワードに対応するオブジェクトのキーワード領域を抽出する領域抽出部１５と、画像６０に、領域抽出部１５により抽出したキーワード領域を強調して表示する画像出力部２０とを備えることを特徴とする。【選択図】図２

Description

本発明は、画像処理装置、プログラム及び画像データに関する。

従来、画像を検索する画像検索に関する技術が開示されている。例えば、画像がメッセージ情報を有し、メッセージ情報の少なくとも一部を検索条件として指定し、指定された検索条件で画像データベースを検索して、所定値以上の一致度を持つ画像を読み出す技術が開示されている（例えば、特許文献１）。

特開２００１−８４２７４号公報

ところで、検索結果として表示された画像について、単に画像を表示しただけでは、検索条件に一致している箇所が容易に判断しづらい。

そこで、本発明は、画像の内容を分かりやすく表すことができる画像処理装置、プログラム及び画像データを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、キーワードと、画像情報とを対応付けて記憶する記憶部と、画像から前記キーワードに対応する要素画像のキーワード領域を抽出する領域抽出手段と、前記画像に、前記領域抽出手段により抽出した前記キーワード領域を強調して表示する画像出力手段と、を備える画像処理装置である。
第２の発明は、第１の発明の画像処理装置において、前記領域抽出手段により抽出した前記キーワード領域を強調した強調画像を生成する強調画像生成手段を備え、前記強調画像は、透過性を有する画像であり、前記画像出力手段は、前記強調画像を、前記画像に重畳して表示させる、画像処理装置である。
第３の発明は、第１の発明又は第２の発明の画像処理装置において、強調した前記キーワード領域を表示するか否かを切り替える切替手段を備える、画像処理装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの画像処理装置において、画像を分析して前記要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の語を抽出する語抽出手段と、前記語抽出手段により抽出した語の少なくとも一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードと、前記画像を含む前記画像情報とを対応付けて前記記憶部に記憶する関連付け手段と、を備え、前記領域抽出手段は、前記キーワードに対応した前記矩形領域を、前記キーワード領域として抽出する、画像処理装置である。
第５の発明は、第４の発明の画像処理装置において、前記キーワード選定手段によって選定したキーワードに対してスコアを付与するスコア付与手段と、前記スコア付与手段により付与された前記スコアに応じて、対応する前記キーワード領域の表示態様を決定する表示態様決定手段と、を備え、前記画像出力手段は、前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する、画像処理装置である。
第６の発明は、第５の発明の画像処理装置において、前記スコア付与手段は、前記キーワードの出現頻度に基づいて前記スコアを付与する、画像処理装置である。
第７の発明は、第５の発明の画像処理装置において、前記スコア付与手段は、前記キーワード領域の前記画像に占める割合に応じて前記スコアを付与する、画像処理装置である。
第８の発明は、第５の発明の画像処理装置において、前記スコア付与手段は、前記説明文生成手段において画像を分析する際に用いた、前記要素画像の認識結果である確信度に応じて前記スコアを付与する、画像処理装置である。
第９の発明は、第５の発明の画像処理装置において、前記スコア付与手段は、自然言語処理による意味解析結果に基づいて前記スコアを付与する、画像処理装置である。
第１０の発明は、第５の発明の画像処理装置において、複数の画像を記憶した画像データベースに対して通信可能に接続されており、前記スコア付与手段は、前記画像データベースに記憶された前記複数の画像との前記キーワードの相対出現頻度に基づいて、前記スコアを付与する、画像処理装置である。
第１１の発明は、第１の発明から第１０の発明までのいずれかの画像処理装置としてコンピュータを機能させるためのプログラムである。
第１２の発明は、複数の要素画像からなる画像の情報と、前記要素画像同士の比較結果から優先順位を決定し、前記優先順位に基づいて階層状に生成した前記要素画像に対応する要素領域情報と、を備えた画像データである。
第１３の発明は、第１２の発明の画像データにおいて、前記要素領域情報は、前記要素画像の領域の大きさに基づいて決定した優先順位により複数の要素画像の領域が階層に表示される、画像データである。
第１４の発明は、第１２の発明又は第１３の発明の画像データにおいて、前記要素領域情報は、前記要素画像の領域を指示した際に表示される、画像データである。
第１５の発明は、第１２の発明から第１４の発明までのいずれかの画像データにおいて、前記要素領域情報は、前記要素画像を認識して生成した前記要素画像の領域が表示される、画像データである。

本発明によれば、画像の内容を分かりやすく表すことができる画像処理装置、プログラム及び画像データを提供することができる。

本実施形態に係る画像処理システムの全体概要図及び端末の機能ブロック図である。 本実施形態に係る画像処理装置の機能ブロック図である。 本実施形態に係る画像処理システムの画像編集処理を示すフローチャートである。 本実施形態に係る画像処理装置での処理の具体例を示す図である。 本実施形態に係る画像処理装置の画像分析処理を示すフローチャートである。 本実施形態に係る画像処理装置での処理の具体例を示す図である。 本実施形態に係る画像処理装置の画像編集処理を示すフローチャートである。 本実施形態に係る画像処理装置での処理の具体例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理システム１００＞
図１は、本実施形態に係る画像処理システム１００の全体概要図及び端末４の機能ブロック図である。
図２は、本実施形態に係る画像処理装置１の機能ブロック図である。

図１に示す画像処理システム１００は、画像処理装置１と、端末４とを備えたシステムである。画像処理装置１は、端末４から画像データ（画像の情報）を受信し、受信した画像データを分析して、画像内のオブジェクト（要素画像）を含むキーワード領域を抽出し、キーワード領域を強調する編集を行って画像を表示させる。そうすることで、画像処理装置１は、画像の内容を表すオブジェクトと、その位置とを、端末４のユーザに一見して分かるように提示する。
以下の説明において、画像データは、例えば、美術館や博物館等で展示されている絵画等を、画像データ化したものであるとする。しかし、これは一例であり、画像データは、カメラによる写真データ等であってもよい。
画像処理装置１と、端末４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。

＜画像処理装置１＞
画像処理装置１は、画像データが示す画像を分析して、画像内のオブジェクトを表す複数の語を抽出し、キーワードを選定する。そして画像処理装置１は、キーワードに関する情報と、画像データを含む画像情報とを関連付けて、画像記憶部３２（記憶部）に記憶させる。また、画像処理装置１は、選定したキーワードに対するスコアを付与し、付与されたスコアに応じて決定した表示態様で、画像内のキーワード領域を強調表示する編集を行う。

画像処理装置１は、例えば、サーバである。画像処理装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
図２に示すように、画像処理装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、画像受信部１１と、説明文生成部１２（説明文生成手段）と、語抽出部１３（語抽出手段）と、キーワード選定部１４（キーワード選定手段）と、領域抽出部１５（領域抽出手段）と、関連付け部１６（関連付け手段）と、スコア付与部１７（スコア付与手段）と、態様決定部１８（態様決定手段）と、画像編集部１９（強調画像生成手段）と、画像出力部２０（画像出力手段）と、切替部２１（切替手段）とを備える。
画像受信部１１は、処理対象の画像データを受け付ける。画像受信部１１は、例えば、端末４が送信した、絵画を画像化した画像データを受け付ける。

説明文生成部１２は、受け付けた画像データから説明文を生成する。
説明文生成部１２は、例えば、公知の説明文生成ソフトウェアである“ＤｅｎｓｅＣａｐ”を使用して、画像に関する説明文を生成する。
ここで、“ＤｅｎｓｅＣａｐ”を使用した場合には、説明文生成部１２は、画像に含まれるオブジェクトを認識し、オブジェクトを含む矩形領域を抽出する。ここで、オブジェクトとは、何かしらの物体を意味する。また、説明文生成部１２は、オブジェクトの認識結果としてオブジェクトの認識度合を示す確信度を算出する。そして、説明文生成部１２は、オブジェクトに関する説明文を生成する。ここで、説明文生成部１２は、複数の説明文を生成する。また、“ＤｅｎｓｅＣａｐ”を使用した場合、説明文の言語は、英語である。

次に、説明文の言語が英語であるので、説明文生成部１２は、英語の説明文を、日本語に翻訳する。説明文生成部１２は、例えば、公知の自動翻訳のソフトウェアを用いて、説明文を翻訳することができる。なお、その他として、説明文生成部１２は、通信ネットワークＮを介して接続された翻訳のウェブサービスを行うサーバ（図示せず）に対して通信をして、翻訳のウェブサービスを行うサーバによって英語から日本語に翻訳してもよい。

なお、“ＤｅｎｓｅＣａｐ”の場合、説明文の生成では、現在の写真等の画像データを使用して学習した学習器を用いている。そのため、“ＤｅｎｓｅＣａｐ”は、学習結果として、画像から現在においてありふれた物を用いた説明文を生成する。他方、この例のように、美術館や博物館等の絵画の画像データには、古い時代の絵画を含むため、“ＤｅｎｓｅＣａｐ”では、誤変換が生じる場合がある。例えば、人物が手に持っている聖書を、現在においてありふれた物であるタブレットに、誤って変換する場合がある。よって、その場合には、生成された説明文に含まれるタブレットを、聖書に置き換えたり、絵画がモチーフとしている時代にはない物の説明については、削除したりする必要がある。

語抽出部１３は、複数の説明文から複数の語を抽出する。具体的には、語抽出部１３は、例えば、各説明文に対して形態素解析を行うことによって、複数の説明文から複数の語を抽出する。ここで、語抽出部１３が抽出する語は、例えば、名詞や、名詞句である。
なお、語抽出部１３は、語を抽出する際に、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞等を除外するようにしてもよい。
また、上述では、“ＤｅｎｓｅＣａｐ”を用いた説明文の生成及び語の抽出を説明したが、これに限定するものではない。画像中のオブジェクトを含む領域を抽出し、オブジェクトを表す語が抽出されるものであれば、他の方法を用いてもよい。

キーワード選定部１４は、語抽出部１３により抽出された複数の語からキーワードを選定する。キーワード選定部１４は、例えば、抽出された語の出現頻度に基づいて、語のうちの少なくとも一部を、キーワードとして選定してもよい。
領域抽出部１５は、キーワードに対応するオブジェクトの少なくとも一部を含んだキーワード領域を抽出する。ここで、領域抽出部１５は、キーワードに対応するオブジェクトのうち少なくとも１つの矩形領域を、キーワード領域として抽出してもよい。
関連付け部１６は、キーワードに関連する情報と、画像データを含む画像情報とを関連付けて画像記憶部３２に記憶させる。ここで、キーワードに関連する情報としては、例えば、キーワード、キーワードに対応するキーワード領域、次に説明するスコア等を含む。また、画像情報は、画像データの他、画像の特徴量等を含んでよい。

スコア付与部１７は、キーワードに対するスコアを算出して、キーワードに付与する。
スコア付与部１７は、例えば、画像を分析した結果得られたキーワードの出現頻度に基づいて、スコアを算出することができる。なお、スコア付与部１７は、キーワードの出現頻度以外のものでスコアを算出してもよい。スコア付与部１７は、例えば、画像データの面積に対してキーワード領域の面積が占める割合である占有率に応じて、スコアを算出してもよい。また、スコア付与部１７は、例えば、“ＤｅｎｓｅＣａｐ”によって画像を分析する際に得たオブジェクトの確信度に対応した値を、キーワードに対するスコアとして算出してもよい。さらに、スコア付与部１７は、例えば、自然言語処理による意味解析結果に基づいて、スコアを算出してもよい。さらにまた、スコア付与部１７は、例えば、上述の方法により算出した複数のスコアを用いてもよい。

態様決定部１８は、領域抽出部１５で抽出したキーワード領域の表示態様を、スコアに基づいて決定する。ここで、表示態様は、例えば、キーワード領域の色や濃淡や、キーワードのフォントの大きさ等である。
画像編集部１９は、キーワード領域の表示態様に基づいて、キーワード領域を強調した強調画像（要素領域情報）を生成する。ここで、生成する強調画像は、透過性を有するものであってもよい。そのようにすることで、画像に強調画像を重ねた場合であっても、ユーザは、強調画像の下にある画像についても視認できる。
画像出力部２０は、元の画像に強調画像を重畳した編集後画像データを、端末４に対して出力する。このようにすることで、端末４では、元の画像に重ねて強調画像が表示される。
切替部２１は、端末４での切替操作に応じて、強調画像の表示及び非表示を切り替える。

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、画像記憶部３２とを備える。
プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、上述した“ＤｅｎｃｅＣａｐ”等の公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアの他、画像処理プログラム３１ａを記憶している。画像処理プログラム３１ａは、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、画像処理プログラム３１ａは、公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアを含むものであってもよい。

画像記憶部３２は、端末４から受信した画像データを含む画像情報と、キーワードに関する情報とを関連付けて記憶する記憶領域である。
通信インタフェース部３９は、通信ネットワークＮを介して、例えば、端末４との間の通信を行うためのインタフェースである。

＜端末４＞
図１に示す端末４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の端末である。端末４は、その他、スマートフォンや携帯電話機等の携帯型の端末でもよいし、ＰＣ等の据置型の端末であってもよい。
端末４は、画像処理装置１に対して画像データを送信し、画像処理装置１から受信した編集後画像データを表示させる。
端末４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。

制御部４０は、端末４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、処理対象の画像データを、画像処理装置１に対して送信する。
また、制御部４０は、画像処理装置１から受信した編集後画像データを、タッチパネルディスプレイ５７に表示させる。
さらに、制御部４０は、強調画像の表示及び非表示の切替要求を、画像処理装置１に対して送信する。

記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像処理装置１との間で通信を行うためのインタフェースである。

ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像処理装置１及び端末４は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。

＜画像処理システム１００の処理＞
次に、画像に強調画像を重畳して表示させる処理について説明する。
図３は、本実施形態に係る画像処理システム１００の画像編集処理を示すフローチャートである。
図４、図６及び図８は、本実施形態に係る画像処理装置１での処理の具体例を示す図である。
図５は、本実施形態に係る画像処理装置１の画像分析処理を示すフローチャートである。
図７は、本実施形態に係る画像処理装置１の画像編集処理を示すフローチャートである。

図３のステップＳ（以下、単に「Ｓ」という。）１０において、端末４の制御部４０は、処理対象の画像データを、画像処理装置１に対して送信する。
図４（Ａ）は、画像処理装置１に対して送信した、処理対象の画像データが示す画像６０の例である。
図３のＳ１１において、画像処理装置１の制御部１０（画像受信部１１）は、処理対象の画像データを受信する。
Ｓ１２において、制御部１０は、画像分析処理を行う。
ここで、画像分析処理について、図５に基づき説明する。

図５のＳ２０において、制御部１０（説明文生成部１２）は、画像に含まれるオブジェクトを認識する。オブジェクトの認識は、画像内のオブジェクト（物体）の有無を、例えば、ｐｘ（ピクセル）ごとの色情報の変化の度合い等から判断することで認識する。
Ｓ２１において、制御部１０（説明文生成部１２）は、オブジェクトの確信度を算出する。これは、オブジェクトの認識度合に応じたものであり、例えば、輪郭がぼやけているオブジェクトは、確信度が低い値になる。
Ｓ２２において、制御部１０（説明文生成部１２、領域抽出部１５）は、オブジェクトを含む矩形領域を抽出する。

Ｓ２３において、制御部１０（説明文生成部１２）は、矩形領域ごとにその内容を説明する説明文を生成する。そして、制御部１０（説明文生成部１２）は、生成した説明文を翻訳する。
図４（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０の矩形領域ごとに文を出力する。矩形領域は、上述したように、オブジェクトごとに抽出するために、画像６０内に重なって複数生成される。よって、矩形領域に対応して、文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプション６２を生成する。
図４（Ｃ）は、キャプション６２を翻訳した説明文６３の例を示す。

図５のＳ２４において、制御部１０（語抽出部１３）は、生成した複数の説明文から、語を抽出する。そして、制御部１０（キーワード選定部１４）は、抽出した語の一部を、キーワードとして選定する。その際、制御部１０（キーワード選定部１４）は、出現頻度が一定以上の語を、キーワードとして選定するようにしてもよい。なお、キーワードは、抽出した語の少なくとも一部を含むものであればよく、抽出したキーワード全てであってもよい。
図６（Ａ）は、説明文６３を形態素解析することによって、名詞を語として抽出した名詞頻度テーブル６４の例を示す。名詞頻度テーブル６４は、抽出した名詞と、その出現頻度とを対応付けたテーブルである。
図５のＳ２５において、制御部１０（関連付け部１６）は、キーワードに関する情報と、画像データを含む画像情報とを、画像記憶部３２に記憶させる。キーワードに関する情報は、この例では、選定したキーワードと、キーワードに対応する矩形領域の情報を含む。そして、矩形領域の情報に示される矩形領域は、キーワードに対応した少なくとも１つであってもよい。また、矩形領域は、複数の矩形領域を結合したものであってもよい。さらに、矩形領域は、画像を、再認識処理をすることによって抽出してもよい。その後、制御部１０は、処理を図３に移す。

図３に戻り、Ｓ１３において、制御部１０は、画像編集処理を行う。
ここで、画像編集処理について、図７に基づき説明する。
図７のＳ３０において、制御部１０（領域抽出部１５）は、選定したキーワード及びキーワードが示すキーワード領域を抽出する。具体的には、制御部１０は、画像記憶部３２を参照し、選定したキーワードと矩形領域とを抽出する。
Ｓ３１において、制御部１０（スコア付与部１７）は、キーワードに対するスコアを付与する。制御部１０は、キーワードの出現頻度に対応するようにスコアを付与してもよい。また、制御部１０は、画像の面積に対するキーワード領域の占有率に応じて、スコアを付与してもよい。さらに、制御部１０は、キーワード領域に対応付けられたオブジェクトの確信度に対応したスコアを付与してもよい。さらにまた、制御部１０は、上述したスコアを複数用いて、スコアを付与してもよい。そして、制御部１０は、付与したスコアを、画像記憶部３２に記憶させる。
図６（Ｂ）は、キーワードスコアテーブル６５の例を示す。キーワードスコアテーブル６５は、キーワードと、算出されたスコアとを対応付けたテーブルである。このキーワードスコアテーブル６５は、画像記憶部３２のデータの一部である。

図７のＳ３２において、制御部１０（態様決定部１８）は、スコアに基づいて、キーワード領域の表示態様を決定する。制御部１０は、スコアが所定の閾値以上のキーワードを、強調表示の対象にしてもよい。また、制御部１０は、スコアが上位である（例えば、上位５つである）キーワードを、強調表示の対象にしてもよい。
そして、制御部１０は、例えば、スコアに基づいてキーワード領域の色の濃淡を変化させる場合に、スコアがより高い方が、より濃い色になるように表示態様を決定してもよい。また、制御部１０は、例えば、スコアに基づいて、キーワード領域を囲む囲い線の太さを変化させてもよく、スコアが高い方が、より太い線になるように表示態様を決定してもよい。
さらに、制御部１０は、例えば、スコアに基づいて、キーワード領域に表示するキーワードの表示態様を決定する。制御部１０は、キーワードのフォントの大きさを変化させてもよく、スコアが高い方が、より大きなフォントの文字になるように表示態様を決定してもよい。

Ｓ３３において、制御部１０（画像編集部１９）は、決定した表示態様に基づいてキーワード領域を強調した強調画像を生成する。
Ｓ３４において、制御部１０（画像編集部１９）は、生成した強調画像を、元の画像に重畳させて、編集後画像データを生成する。
図８（Ａ）は、強調画像７０の例を示す。強調画像７０は、キーワード領域７０ａ〜７０ｅを含む。また、強調画像７０は、透過性のある画像である。キーワード領域７０ａ及び７０ｂは、キーワード「女性」に対応する領域である。キーワード領域７０ｃは、キーワード「空」に対応する領域である。キーワード領域７０ｄは、キーワード「山々」に対応し、キーワード領域７０ｅは、キーワード「植物」に対応する。ここで、キーワードスコアテーブル６５（図６（Ｂ）参照）によれば、キーワード「女性」に対するスコアが最も高い。よって、キーワード「女性」に対応するキーワード領域７０ａ及び７０ｂは、他のキーワード領域７０ｃ〜７０ｅと比較して、キーワード領域の色の濃淡が、より濃い色によって表現されている。また、キーワード領域７０ａ及び７０ｂのキーワードの文字フォントは、他のキーワード領域の文字フォントよりも大きな文字で表されている。
また、キーワード領域７０ａと、キーワード領域７０ｄとは、重なっている。このような場合、面積の大きいキーワード領域７０ａが、キーワード領域７０ｄよりも下になるように階層状態で示されてもよい。

図８（Ｂ）は、編集後画像８０の例を示す。編集後画像８０は、画像６０（画像の情報）の上に、強調画像７０（要素領域情報）を重ねたものである。上述したように、強調画像７０は、透過性のある画像であるため、編集後画像８０によっても、強調画像７０の下にある画像６０を見ることができる。
その後、制御部１０は、処理を図３に移す。

図３に戻り、Ｓ１４において、制御部１０（画像出力部２０）は、編集後画像データを、端末４に送信する。その後、制御部１０は、本処理を終了する。
Ｓ１５において、端末４の制御部４０は、編集後画像データを受信して、タッチパネルディスプレイ５７に出力する。その後、制御部４０は、本処理を終了する。

このような画像処理装置１の処理によって、端末４には、編集後画像が表示される。編集後画像は、処理対象の画像に対して画像の内容を表したキーワードに対応するオブジェクトを強調したものである。編集後画像は、画像に含まれるオブジェクトを含む領域を、色やキーワードによって強調表示するものであるので、ユーザに、画像の内容を分かりやすく表すことができる。

なお、元の画像にしたい場合には、例えば、表示画面に切替ボタン（図示せず）を用意しておき、ユーザが切替ボタンを選択させることで、元の画像と、編集後画像とを切り替えるようにすればよい。その場合、画像処理装置１は、端末４から切替要求を受信すると、制御部１０（切替部２１）は、切替要求に内容に応じて、強調画像の表示及び非表示を切り替えればよい。そうすることで、ユーザは、編集後画像を確認後に、元の画像も簡単に確認できる。

このように、本実施形態の画像処理装置１によれば、以下のような効果がある。
（１）画像内のオブジェクトを含むキーワード領域と、オブジェクトを表すキーワードとを含む強調画像を生成し、画像に重畳して表示する。よって、画像の内容を一見して分かりやすく表すことができる。
（２）強調画像は、透過性を有するものであるため、重畳した場合であっても元の画像を見ることができる。
（３）強調画像の表示及び非表示を切り替えることができるので、強調画像によって画像の内容を分かりやすく示した後に、強調画像を非表示することで、元の画像を見やすくできる。

（４）画像を分析してオブジェクトを含む矩形領域を得て説明文を生成し、説明文から複数の語を抽出してキーワードを選定するので、キーワードは、画像の内容を表すものにできる。
また、“ＤｅｎｃｅＣａｐ”を使用することで、オブジェクトを含む矩形領域や説明文を簡単に生成でき、説明文からキーワードを簡単に選定できる。
（５）キーワードに対してスコアを付与し、スコアに応じてキーワード領域の表示態様を決定する。よって、表示態様によって、画像の内容を分かりやすく示すことができる。また、表示態様によって、キーワードと、画像におけるキーワードの重要度を分かりやすく示すことができる。

（６）キーワードの出現頻度に応じてスコアを算出するので、出現頻度の高いキーワードは、画像の内容を表す重要なものとして、表示態様を決定できる。
（７）キーワード領域の画像の面積に対する占有率に応じてスコアを算出するので、面積比の高いキーワード領域を、画像の内容を表す重要なものとして、表示態様を決定できる。
（８）画像を分析して説明文を生成する際に用いた、画像内のオブジェクトの認識度合いを示す認識確信度に応じてスコアを算出する。よって、認識確信度の高いオブジェクトを含むキーワード領域を、画像の内容を表す重要なものとして、表示態様を決定できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、端末から受け付けた画像データに対して画像分析及び編集を行って、画像の内容を表すものを分かりやすく示すものを説明したが、これに限定されない。例えば、画像検索時に、抽出された各画像に対して、本実施形態で用いた処理を適用し、強調画像を画像に重畳表示をさせるものであってもよい。その場合には、各画像の内容を示すキーワードとその位置とを一見して把握できるため、ユーザは、探している画像をより早くかつ正確に見つけることができる。

（２）本実施形態では、キーワード領域に対するスコアの算出に際して、いくつかの方法について説明したが、これに限定されない。例えば、対象の画像内のキーワードの出現頻度ではなく、画像処理装置に対して通信可能に接続され、様々な画像データを蓄積した画像ＤＢ（データベース）の画像データを用い、画像ＤＢ内の画像データとのキーワードの相対出現頻度（ＩＤＦ）を用いてスコアを算出してもよい。そのようにすれば、処理対象の画像データには多く含まれるキーワードであって、他の画像データにはあまり含まれないキーワードに対応するキーワード領域を、処理対象の画像データの特徴部分として強調表示されるため、対象の画像データの特徴をより表すものにできる。
また、自然言語処理による意味解析の結果を用いてスコアを算出してもよい。例えば、「○○な女性」という説明文の場合に、途中の名詞ではなく、係り受けの受け元に修飾されている名詞を重要なものとしてスコアを高く付与したり、外部辞書を用いて固有名詞等のスコアを高く付与したりする。そのようにすることで、画像の内容をより表したキーワードを、高いスコアで算出でき、対応するキーワード領域を強調表示できる。

（３）本実施形態では、強調表示として、キーワード領域の色の濃淡、キーワードのフォントの大きさを例に説明したが、これに限定されない。例えば、キーワード領域の枠の線の太さによる表示や、異なる色によるキーワード領域の表示であってもよい。また、キーワードをスコア順に一列に並べて別画面等に表示し、キーワードとキーワード領域との結び付きを含めて表すようにしてもよい。
（４）本実施形態では、キーワード領域を矩形領域として説明したが、これに限定されない。キーワードに対応するオブジェクトを含む領域であれば、円形、楕円形、オブジェクトの形状等であってもよい。
（５）本実施形態では、キーワード領域が重なっている場合であっても、透過性を有するもののために同一平面上に表現するようなものを例に説明したが、これに限定されない。例えば、透過性を有するか否かにかかわらず、スコアによって階層状に形成してもよい。

（６）本実施形態では、強調画像を透過性の有する画像であるとして元の画像に重ねるものを説明したが、これに限定されない。元の画像に強調した領域を表示するものであればよく、例えば、強調画像と元の画像とを合成した合成画像を生成してもよい。
（７）本実施形態では、強調表示の対象にしたものを全て含んだ強調画像を生成して出力するものとして説明したが、これに限定されない。例えば、画像が表示されている状態で、例えば、ユーザによりオブジェクトに対するタッチ入力がされた等によりオブジェクトの選択を受け付けた場合に、選択されたオブジェクトに対応するキーワード領域のみを強調して出力してもよい。また、選択されたオブジェクトに対応するキーワードが複数のキーワード領域に対応付けられている場合には、複数のキーワード領域を強調して出力してもよい。

（８）本実施形態では、美術館や博物館で保有する絵画の画像データを対象とした例を説明したが、これに限定されない。画像化されているデータであればよく、例えば、特許図面の画像データであってもよいし、写真等の画像データであってもよい。
（９）本実施形態では、“ＤｅｎｃｅＣａｐ”を用いて処理を行うものを例に説明したが、これに限定されない。画像を分析可能な他の分類器を用いてもよい。

１ 画像処理装置
４ 端末
１０ 制御部
１２ 説明文生成部
１３ 語抽出部
１４ キーワード選定部
１５ 領域抽出部
１６ 関連付け部
１７ スコア付与部
１８ 態様決定部
２０ 画像出力部
２１ 切替部
３０ 記憶部
３１ａ 画像処理プログラム
３２ 画像記憶部
６０ 画像
７０ 強調画像
８０ 編集後画像
１００ 画像処理システム

Claims (15)

1. キーワードと、画像情報とを対応付けて記憶する記憶部と、
   画像から前記キーワードに対応する要素画像のキーワード領域を抽出する領域抽出手段と、
   前記画像に、前記領域抽出手段により抽出した前記キーワード領域を強調して表示する画像出力手段と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記領域抽出手段により抽出した前記キーワード領域を強調した強調画像を生成する強調画像生成手段を備え、
   前記強調画像は、透過性を有する画像であり、
   前記画像出力手段は、前記強調画像を、前記画像に重畳して表示させる、
   画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   強調した前記キーワード領域を表示するか否かを切り替える切替手段を備える、
   画像処理装置。
4. 請求項１から請求項３までのいずれかに記載の画像処理装置において、
   画像を分析して前記要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、
   前記説明文生成手段により生成した説明文から複数の語を抽出する語抽出手段と、
   前記語抽出手段により抽出した語の少なくとも一部をキーワードとして選定するキーワード選定手段と、
   前記キーワード選定手段によって選定したキーワードと、前記画像を含む前記画像情報とを対応付けて前記記憶部に記憶する関連付け手段と、
   を備え、
   前記領域抽出手段は、前記キーワードに対応した前記矩形領域を、前記キーワード領域として抽出する、
   画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記キーワード選定手段によって選定したキーワードに対してスコアを付与するスコア付与手段と、
   前記スコア付与手段により付与された前記スコアに応じて、対応する前記キーワード領域の表示態様を決定する表示態様決定手段と、
   を備え、
   前記画像出力手段は、前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する、
   画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記スコア付与手段は、前記キーワードの出現頻度に基づいて前記スコアを付与する、
   画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記スコア付与手段は、前記キーワード領域の前記画像に占める割合に応じて前記スコアを付与する、
   画像処理装置。
8. 請求項５に記載の画像処理装置において、
   前記スコア付与手段は、前記説明文生成手段において画像を分析する際に用いた、前記要素画像の認識結果である確信度に応じて前記スコアを付与する、
   画像処理装置。
9. 請求項５に記載の画像処理装置において、
   前記スコア付与手段は、自然言語処理による意味解析結果に基づいて前記スコアを付与する、
   画像処理装置。
10. 請求項５に記載の画像処理装置において、
    複数の画像を記憶した画像データベースに対して通信可能に接続されており、
    前記スコア付与手段は、前記画像データベースに記憶された前記複数の画像との前記キーワードの相対出現頻度に基づいて、前記スコアを付与する、
    画像処理装置。
11. 請求項１から請求項１０までのいずれかに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
12. 複数の要素画像からなる画像の情報と、
    前記要素画像同士の比較結果から優先順位を決定し、前記優先順位に基づいて階層状に生成した前記要素画像に対応する要素領域情報と、
    を備えた画像データ。
13. 請求項１２に記載の画像データにおいて、
    前記要素領域情報は、前記要素画像の領域の大きさに基づいて決定した優先順位により複数の要素画像の領域が階層に表示される、
    画像データ。
14. 請求項１２又は請求項１３に記載の画像データにおいて、
    前記要素領域情報は、前記要素画像の領域を指示した際に表示される、
    画像データ。
15. 請求項１２から請求項１４までのいずれかに記載の画像データにおいて、
    前記要素領域情報は、前記要素画像を認識して生成した前記要素画像の領域が表示される、
    画像データ。

Images