JP2022172788A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】複数の画像との間で画質の統一感が得られるように２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせる情報処理装置及びプログラムを提供する。【解決手段】画像処理装置１０は、プロセッサを備える。プロセッサは、複数の対象物の何れかをそれぞれが含む複数の画像を取得し、複数の画像における複数の対象物に関する解析結果に基づいて生成され、複数の対象物のうちの２つ以上の対象物を含む一の画像を、２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、撮影時の環境を示す情報である環境情報を取得する取得手段と、シーンカテゴリ毎の帰属率に環境情報を反映させて合成補正値を求める補正値算出手段と、合成補正値を用いて画像を補正する画像補正手段とを有する情報処理装置が記載されている。

特許文献２には、画像内に存在する被写体を識別して画像を複数に区分し、区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする工程を経る画像処理方法が記載されている。

特開２０１３－６９１４８号公報 特開２００４－２３４０６９号公報

複数の画像との間で画質の統一感が得られるように一の画像を補正したいが、その一の画像が２つ以上の対象物を含んでいる場合がある。このような場合には、その一の画像をその２つ以上の対象物の何れかに合わせて補正することが考えられる。しかしながら、その一の画像を何れの対象物に合わせて補正するかを出力することなく補正する構成を採用したのでは、その一の画像を何れの対象物に合わせて補正するかを、ユーザに知らせることができない。

本発明の目的は、複数の画像との間で画質の統一感が得られるように２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせることにある。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、複数の対象物の何れかをそれぞれが含む複数の画像を取得し、前記複数の画像における前記複数の対象物に関する解析結果に基づいて生成された情報であって、当該複数の対象物のうちの２つ以上の対象物を含む一の画像を当該２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力することを特徴とする情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記複数の画像を含む印刷物の原稿から、当該複数の画像を取得することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記一の画像は、前記原稿から取得された前記複数の画像に含まれることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記通知情報は、前記一の画像を前記２つ以上の対象物の何れに合わせて補正するかを決定するための前記複数の対象物の順序を含むことを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記複数の対象物の順序は、当該複数の対象物の一部の順序であることを特徴とする請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記解析結果は、前記複数の画像における前記複数の対象物の各対象物の重要性を示し、前記複数の対象物の前記一部は、当該複数の対象物のうちの特定の対象物の重要性が基準以下であることを前記解析結果が示す場合に当該特定の対象物を除外した部分であることを特徴とする請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記複数の対象物の前記一部は、当該複数の対象物のうちの特定の対象物と他の対象物とを含む画像が存在しない場合に当該特定の対象物を除外した部分であることを特徴とする請求項５に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、ユーザの操作に応じて、前記複数の対象物の順序を変更することを特徴とする請求項４に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記複数の対象物のうちの第１の対象物及び第２の対象物の順序の変更が当該第１の対象物及び当該第２の対象物を含む前記一の画像の補正に与える影響を示す影響情報を出力することを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記影響情報は、前記第１の対象物及び前記第２の対象物を含む前記一の画像を当該第１の対象物に合わせて補正した後の画像と、当該第１の対象物及び当該第２の対象物を含む当該一の画像を当該第２の対象物に合わせて補正した後の画像とを比較するための情報を含むことを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、コンピュータに、複数の対象物の何れかをそれぞれが含む複数の画像を取得する機能と、前記複数の画像における前記複数の対象物に関する解析結果に基づいて生成された情報であって、当該複数の対象物のうちの２つ以上の対象物を含む一の画像を当該２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する機能とを実現させるためのプログラムである。

請求項１の発明によれば、複数の画像との間で画質の統一感が得られるように２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせることができる。
請求項２の発明によれば、原稿内の画像との間で画質の統一感が得られるように２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせることができる。
請求項３の発明によれば、原稿内で画質の統一感が得られるように原稿内の２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせることができる。
請求項４の発明によれば、一の画像を何れの対象物に合わせて補正するかを、複数の対象物の順序によってユーザに知らせることができる。
請求項５の発明によれば、一の画像を何れの対象物に合わせて補正するかをユーザに知らせるために複数の対象物の全部の順序を出力することによる無駄がなくなる。
請求項６の発明によれば、一の画像を何れの対象物に合わせて補正するかをユーザに知らせるために複数の画像における重要性が基準以下の対象物を含む複数の対象物の順序を出力することによる無駄がなくなる。
請求項７の発明によれば、一の画像を何れの対象物に合わせて補正するかをユーザに知らせるために他の対象物と一緒に含まれる画像が存在しない対象物を含む複数の対象物を出力することによる無駄がなくなる。
請求項８の発明によれば、一の画像を何れの対象物に合わせて補正するかを決定するための複数の対象物の順序を、ユーザの操作によって変更することができる。
請求項９の発明によれば、第１の対象物及び第２の対象物の順序の変更が第１の対象物及び第２の対象物を含む画像の補正に与える影響をユーザに知らせることができる。
請求項１０の発明によれば、第１の対象物及び第２の対象物の順序を変更する前後における第１の対象物及び第２の対象物を含む画像を補正した後の画像の比較が可能となる。
請求項１１の発明によれば、複数の画像との間で画質の統一感が得られるように２つ以上の対象物を含む一の画像を補正する際に何れの対象物に合わせて補正するかを、ユーザに知らせることができる。

本発明の実施の形態における画像処理装置のハードウェア構成例を示した図である。 本発明の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の実施の形態における画像処理装置の動作の例を示したフローチャートである。 本発明の実施の形態における画像処理装置の動作の例を示したフローチャートである。 本発明の実施の形態における画像処理装置の動作の例を示したフローチャートである。 （ａ），（ｂ）は、原稿取得部が原稿を取得するのに先立って表示される補正設定画面の例を示した図である。 シーン判定部が複数の画像についてシーンごとの画像数をカウントアップした後のシーン情報の例を示した図である。 優先順位変更部が表示する優先順位確認画面の第１の例を示した図である。 優先順位変更部が表示する優先順位確認画面の第２の例を示した図である。 優先順位変更部が表示する優先順位確認画面の第３の例を示した図である。 優先順位変更部が表示する変更後の優先順位を含む優先順位確認画面の第１の例を示した図である。 （ａ）は、優先順位変更部が表示する変更後の優先順位を含む優先順位確認画面の第２の例を示した図であり、（ｂ）は、優先順位変更部が表示する変更結果確認画面の例を示した図である。 補正内容決定部が補正内容を決定する際に参照する補正内容情報の例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［本実施の形態の概要］
本実施の形態は、複数の対象物の何れかをそれぞれが含む複数の画像を取得し、複数の画像における複数の対象物に関する解析結果に基づいて生成された情報であって、複数の対象物のうちの２つ以上の対象物を含む一の画像を２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する情報処理装置を提供する。

ここで、情報処理装置は、複数の画像を含む印刷物の原稿やページ等の如何なる単位のデータから複数の画像を取得するものであってもよいが、以下では、複数の画像を含む印刷物の原稿から複数の画像を取得するものとして説明する。

その場合、２つ以上の対象物の何れに合わせて補正するかを決定する対象である一の画像は、原稿から取得された複数の画像に含まれる場合と含まれない場合とが考えられる。前者は、原稿内の画像を、原稿内での統一感が得られるように補正する場合であり、後者は、原稿外の画像を、原稿内の統一感に合わせて補正する場合である。情報処理装置は、これらの何れの補正を行うものであってもよいが、以下では、前者の補正を行うものとして説明する。

また、通知情報は、１つの画像の補正に先立ちその画像に含まれる２つ以上の対象物の何れに合わせて補正するかを決定するためのその２つ以上の対象物の順序を含むものであってよい。或いは、通知情報は、複数の対象物の何れかをそれぞれが含む複数の画像を補正するに先立ち各画像に含まれる２つ以上の対象物の何れに合わせて補正するかを決定するためのその複数の対象物の順序を含むものであってもよい。以下では、通知情報が後者である場合を例にとって説明する。

その場合、まず、複数の対象物の順序は、複数の対象物の全部の順序であってもよいし、複数の対象物の一部の順序であってもよい。前者は、通知情報が、複数の対象物の一部を省略することなくその順序を含む場合であり、後者は、通知情報が、複数の対象物の一部を省略してその順序を含む場合である。

このとき、複数の対象物の一部は、如何なる方法で決めたものでもよいが、以下では、次の２つの方法で決めたものを例にとって説明する。

第１の方法は、解析結果が複数の画像における複数の対象物の各対象物の重要性を示す場合の方法である。そして、この方法は、複数の対象物のうちの特定の対象物の重要性が基準以下であることを解析結果が示す場合にその特定の対象物を除外した部分を複数の対象物の一部とする方法である。

第２の方法は、複数の対象物のうちの特定の対象物と他の対象物とを含む画像が存在しない場合にその特定の対象物を除外した部分を複数の対象物の一部とする方法である。

その場合、次に、情報処理装置は、ユーザの操作に応じて、複数の対象物の順序を変更するようにしてもよい。情報処理装置は、必ずしも複数の対象物の順序を変更しなくてもよいが、以下では、複数の対象物の順序を変更するものとして説明する。

また、情報処理装置は、複数の対象物のうちの第１の対象物及び第２の対象物の順序の変更が第１の対象物及び第２の対象物を含む一の画像の補正に与える影響を示す影響情報を出力するものであってよい。情報処理装置は、必ずしも影響情報を出力しなくてもよいが、以下では、影響情報を出力するものとして説明する。

そして、影響情報は、そのような影響を示す如何なる情報であってもよい。以下では、影響情報として、第１の対象物及び第２の対象物を含む一の画像を第１の対象物に合わせて補正した後の画像と、第１の対象物及び第２の対象物を含む一の画像を第２の対象物に合わせて補正した後の画像とを比較するための情報を含むものを例にとって説明する。

また、以下では、情報処理装置として画像処理装置を例にとって説明する。ここで、画像処理装置は、画像処理ソフトウェアがインストールされたＰＣ（Personal Computer）等であってよく、画像処理後の画像を印刷する印刷装置に接続されていてもよい。

［画像処理装置のハードウェア構成］
図１は、本実施の形態における画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、プロセッサ１１と、メインメモリ１２及びＨＤＤ（Hard Disk Drive）１３とを備える。ここで、プロセッサ１１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。また、メインメモリ１２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。更に、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「Ｉ／Ｆ」と表記する）１４と、ディスプレイ等の表示デバイス１５と、キーボードやマウス等の入力デバイス１６とを備える。

［画像処理装置の機能構成］
図２は、本実施の形態における画像処理装置１０の機能構成例を示したブロック図である。図示するように、画像処理装置１０は、原稿取得部２１と、画像取得部２２と、シーン判定部２３と、シーン情報記憶部２４と、優先順位判定部２５と、優先順位記憶部２６と、優先順位変更部２７と、補正内容決定部２８と、補正処理部２９とを備えている。

原稿取得部２１は、複数の画像を含む印刷物の原稿を取得する。ここで、印刷物とは、紙等の記録媒体に印刷装置による印刷がなされ、特定の用途に用いられるものをいう。印刷物には、例えば、フォトブックや、食品商材がある。原稿とは、その印刷物を作成するために印刷装置に出力されるデータのことである。原稿には、例えば、ソフトウェアにより作成されたフォトブックや食品商材のデータがある。

画像取得部２２は、原稿取得部２１により取得された原稿から複数の画像を取得する。ここで、複数の画像は、原稿に含まれる全ての画像とするのが好ましいが、全ての画像とすると画像が多くなり過ぎる場合等は、原稿に含まれる一部の画像としてもよい。また、複数の画像のそれぞれは、予め用意された複数のシーンの何れかを含む。ここで、シーンとは、画像に含まれる対象物のことである。例えば、画像が写真であるとすると、シーンとは、画像に含まれる被写体、つまり撮影対象である。シーンには、例えば、風景、人、動物、料理等がある。シーンとしては、例えば、ＡＩによる画像判別技術で判別可能なものが予め用意されるとよい。本実施の形態では、複数の対象物の何れかをそれぞれが含む複数の画像を取得することの一例として、画像取得部２２の処理を行っている。

シーン判定部２３は、画像取得部２２により取得された複数の画像のそれぞれが含むシーンを判定することにより、原稿におけるシーンに関するシーン情報を作成する。シーン判定部２３は、例えば、ＡＩによる画像判別技術を用いて、シーンを判定すればよい。シーン判定部２３は、シーンごとにそのシーンを含む画像の数をカウントし、シーンごとのそのシーンを含む画像の数の情報をシーン情報として作成する。

ここで、ＡＩによる画像判別技術で判定されるシーンと、シーン情報で管理されるシーンとは、必ずしも１対１に対応していなくてよい。ＡＩでは、学習精度向上のため、シーンを表すラベルとして細分化した多くのラベルを用意することがあるが、これをそのまま表示すると項目が多くなりユーザが選び難いからである。従って、ＡＩで判別されるシーンを幾つかまとめたものをユーザに対して表示するシーンとすればよい。例えば、哺乳類と爬虫類をまとめて動物とすること、料理と食材をまとめて食べ物とすること、木と花をまとめて植物とすること、ガラスと金属をまとめて工業製品とすること等が考えられる。

また、シーン判定部２３は、あるシーンのみを含む画像の数と、そのシーン及び他のシーンを含む画像の数とを、別々にカウントしてよい。或いは、シーン判定部２３は、あるシーンを少なくとも含む画像の数と、そのシーン及び他のシーンを含む画像の数とを、別々にカウントしてもよい。以下では、前者のカウント方法を例にとって説明する。但し、何れのカウント方法を採用した場合であっても、シーンごとの画像数とは、そのシーンを少なくとも含む画像の数のことをいうものとする。また、シーン判定部２３は、あるシーン及び他のシーンを組み合わせたシーンに対しては、画像の数だけでなく、画像そのものも関連付けておく。

尚、シーン判定部２３は、画像取得部２２により取得された画像が含むシーンを判定する都度、その画像を補正内容決定部２８に受け渡す。

シーン情報記憶部２４は、シーン判定部２３により作成されたシーン情報を記憶する。本実施の形態では、複数の画像における複数の対象物に関する解析結果の一例として、シーン情報を用いている。また、本実施の形態では、複数の画像における複数の対象物の各対象物の重要性を示す解析結果の一例としても、シーン情報を用いている。

優先順位判定部２５は、シーン情報記憶部２４に記憶されたシーン情報に基づいて、２つ以上のシーンを含む画像をその２つ以上のシーンの何れに合わせて補正するかを決定するためのシーンの優先順位を判定する。例えば、優先順位判定部２５は、原稿内で多くの画像に含まれるシーンの優先度が高くなるように、優先順位を判定する。また、優先順位判定部２５は、原稿内で同じ数の画像に含まれるシーンが２つ以上あれば、予め定められた推奨の優先順位における優先度が高い方の優先度が高くなるように、優先順位を判定する。ここで、予め定められた推奨の優先順位としては、人、風景、動物、食べ物、植物、工業製品の順が例示される。これは、補正の影響の度合いを加味して得られた影響の度合いが弱いと思われる順である。

優先順位記憶部２６は、優先順位判定部２５により判定された優先順位を記憶する。

優先順位変更部２７は、優先順位記憶部２６に記憶された優先順位をそのまま含む優先順位確認画面を作成し、この優先順位確認画面を表示デバイス１５に出力する。本実施の形態では、解析結果に基づいて生成された情報であって、複数の対象物のうちの２つ以上の対象物を含む一の画像をその２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報の一例として、この優先順位確認画面を用いている。また、本実施の形態では、一の画像をその２つ以上の対象物の何れに合わせて補正するかを決定するための複数の対象物の順序を含む通知情報の一例としても、この優先順位確認画面を用いている。更に、本実施の形態では、通知情報を出力することの一例として、優先順位変更部２７のこの処理を行っている。

また、優先順位変更部２７は、優先順位記憶部２６に記憶された優先順位を絞り込んだ状態で含む優先順位確認画面を作成し、この優先順位確認画面を表示デバイス１５に出力するようにしてもよい。この優先順位確認画面には、少しの画像にしか含まれていないシーンを除外した後のシーンの優先順位を含むものや、他のシーンと一緒に１つの画像に含まれることがないシーンを除外した後のシーンの優先順位を含むものがある。前者の場合、優先順位変更部２７は、シーン情報記憶部２４に記憶されたシーン情報において、あるシーンに対する画像数が基準以下である場合に、そのシーンを除外すればよい。後者の場合、優先順位変更部２７は、シーン情報記憶部２４に記憶されたシーン情報において、あるシーン及び他のシーンを組み合わせたシーンに対する画像数が０である場合に、そのシーンを除外すればよい。本実施の形態では、複数の対象物の一部の順序である複数の対象物の順序を含む通知情報の一例として、この優先順位確認画面を用いている。また、本実施の形態では、複数の対象物のうちの特定の対象物の重要性が基準以下であることを解析結果が示す場合にその特定の対象物を除外した部分の順序である複数の対象物の順序を含む通知情報の一例としても、この優先順位確認画面を用いている。更に、本実施の形態では、複数の対象物のうちの特定の対象物と他の対象物とを含む画像が存在しない場合にその特定の対象物を除外した部分の順序である複数の対象物の順序を含む通知情報の一例としても、優先順位確認画面を用いている。

更に、優先順位変更部２７は、表示デバイス１５に表示された優先順位確認画面に対するユーザ操作により、優先順位記憶部２６に記憶された優先順位を変更する。また、優先順位変更部２７は、優先順位を変更するのに先立ち、優先順位を変更することによる画像の補正への影響を示す変更結果確認画面を作成し、この変更結果確認画面を表示デバイス１５に出力するようにしてもよい。その際、優先順位変更部２７は、シーン情報記憶部２４に記憶されたシーン情報において、優先順位が変更されたシーン及び他のシーンを組み合わせたシーンに関連付けられた画像を、優先順位を変更することにより影響を受ける画像として抽出してもよい。そして、優先順位変更部２７は、優先順位を変更する前におけるその画像の補正後の画像と、優先順位を変更した後におけるその画像の補正後の画像とを比較するための情報を作成し、この情報を変更結果確認画面に含めて表示デバイス１５に出力してもよい。本実施の形態では、ユーザの操作に応じて、複数の対象物の順序を変更することの一例として、優先順位変更部２７のこの処理を行っている。また、本実施の形態では、複数の対象物のうちの第１の対象物及び第２の対象物の順序の変更が第１の対象物及び第２の対象物を含む一の画像の補正に与える影響を示す影響情報の一例として、変更結果確認画面を用いている。更に、本実施の形態では、第１の対象物及び第２の対象物を含む一の画像を第１の対象物に合わせて補正した後の画像と、第１の対象物及び第２の対象物を含む一の画像を第２の対象物に合わせて補正した後の画像とを比較するための情報を含む影響情報の一例としても、変更結果確認画面を用いている。更にまた、本実施の形態では、影響情報を出力することの一例として、優先順位変更部２７のこの処理を行っている。

補正内容決定部２８は、シーン判定部２３から渡された２つ以上のシーンを含む画像をその２つ以上のシーンの何れに合わせて補正するかを、優先順位記憶部２６に記憶された優先順位によって決定する。そして、補正内容決定部２８は、そのシーンに合わせて補正する際の補正内容を、予め定めたシーンと補正内容との対応に基づいて決定する。

補正処理部２９は、補正内容決定部２８から画像及び補正内容が渡されると、渡された画像に対して、渡された補正内容で補正処理を行う。

尚、画像処理装置１０は、必ずしも、原稿取得部２１、画像取得部２２、シーン判定部２３、シーン情報記憶部２４、補正内容決定部２８、補正処理部２９の全てを備える必要はない。例えば、画像処理装置１０は原稿取得部２１を備えなくてもよい。その場合、画像処理装置１０では、画像取得部２２が、原稿に含める前の複数の画像を取得するようにしてもよい。或いは、画像処理装置１０は補正処理部２９を備えなくてもよい。その場合、画像処理装置１０は、補正内容決定部２８で決定された補正内容を他の装置に伝え、他の装置が、補正対象の画像に対して伝えられた補正内容で補正を行うようにしてもよい。

［画像処理装置の動作］
図３－１乃至図３－３は、本実施の形態における画像処理装置１０の動作の例を示したフローチャートである。尚、以下では、説明を簡単にするため、１つの画像は多くて２つのシーンを含むものとする。

図３－１に示すように、画像処理装置１０では、まず、原稿取得部２１が、原稿を取得する（ステップ２０１）。

次に、画像取得部２２が、ステップ２０１で取得された原稿から、複数の画像を取得する（ステップ２０２）。

次いで、シーン判定部２３が、ステップ２０２で取得された複数の画像のうち、１つの画像に着目する（ステップ２０３）。そして、シーン判定部２３は、ステップ２０３で着目した画像のシーンを判定する（ステップ２０４）。これにより、シーン判定部２３は、シーン情報記憶部２４に記憶されたシーン情報において、シーンごとの画像数をカウントアップする（ステップ２０５）。その後、シーン判定部２３は、ステップ２０２で取得された複数の画像の中に、未処理の画像があるかどうかを判定する（ステップ２０６）。そして、シーン判定部２３は、未処理の画像があると判定すれば、ステップ２０３へ処理を戻し、未処理の画像がないと判定すれば、ステップ２０７へ処理を進める。

次いで、優先順位判定部２５が、シーン情報記憶部２４に記憶されたシーン情報を参照することにより、シーンの優先順位を判定する。具体的には、優先順位判定部２５は、シーンごとの画像数が多いものから順に優先度が高くなるように、優先順位を判定する（ステップ２０７）。そして、優先順位判定部２５は、シーン情報記憶部２４に記憶されたシーン情報においてシーンごとの画像数が同じ複数のシーンが存在するかどうかを判定する（ステップ２０８）。シーンごとの画像数が同じ複数のシーンが存在すると判定すれば、優先順位判定部２５は、予め定められた推奨の優先順位が高い方の優先度が高くなるように、優先順位を判定する（ステップ２０９）。シーンごとの画像数が同じ複数のシーンが存在しないと判定すれば、優先順位判定部２５は、そのままステップ２１０へ処理を進める。すると、優先順位判定部２５は、このようにして判定された優先順位を優先順位記憶部２６に記憶する（ステップ２１０）。

次に、図３－２に示すように、優先順位変更部２７が、優先順位記憶部２６に記憶された優先順位を含む優先順位確認画面を表示デバイス１５に出力する（ステップ２２１）。

これにより、ユーザは、優先順位確認画面上で優先順位を変更する操作を行うことが可能になる。そこで、優先順位変更部２７は、ユーザによる優先順位を変更する操作があったかどうかを判定する（ステップ２２２）。ユーザによる優先順位を変更する操作がなかったと判定すれば、優先順位変更部２７は、ステップ２２６へ処理を進める。ユーザによる優先順位を変更する操作があったと判定すれば、優先順位変更部２７は、変更後の優先順位を、優先順位確認画面上に表示されるように表示デバイス１５に出力する（ステップ２２３）。

これにより、ユーザは、優先順位の変更結果、つまり、優先順位を変更することが画像の補正にどのような影響を与えるかを確認することが可能となる。そこで、優先順位変更部２７は、ユーザによる変更結果の確認を要求する操作があったかどうかを判定する（ステップ２２４）。ユーザによる変更結果の確認を要求する操作がなかったと判定すれば、優先順位変更部２７は、ステップ２２６へ処理を進める。ユーザによる変更結果の確認を要求する操作があったと判定すれば、優先順位変更部２７は、優先順位の変更結果をユーザに確認させるための変更結果確認画面を表示デバイス１５に出力する（ステップ２２５）。そして、優先順位変更部２７は、ステップ２２４へ処理を戻す。例えば、優先順位変更部２７は、変更結果確認画面上で承認入力が行われた場合や、変更結果確認画面が表示されてから予め定められた時間が経過した場合に、ステップ２２４へ処理を戻すとよい。

その後、優先順位変更部２７は、ユーザによる優先順位を確定する操作が行われたかどうかを判定する（ステップ２２６）。ユーザによる優先順位を確定する操作が行われなかったと判定した場合、優先順位変更部２７は、ステップ２２１へ処理を戻す。ユーザによる優先順位を確定する操作が行われたと判定した場合、優先順位変更部２７は、優先順位を確定させる（ステップ２２７）。具体的には、ステップ２２２でユーザによる優先順位を変更する操作がなかったことによりステップ２２７が実行されたのであれば、優先順位変更部２７は、優先順位記憶部２６に記憶された優先順位をそのまま確定させる。また、ステップ２２４でユーザによる変更結果の確認を要求する操作がなかったことによりステップ２２７が実行されたのであれば、優先順位変更部２７は、優先順位記憶部２６に記憶された優先順位をユーザにより変更された優先順位で上書きして確定させる。

次に、図３－３に示すように、補正内容決定部２８が、ステップ２０４でのシーン判定に用いられた複数の画像のうち、１つの画像に着目する（ステップ２４１）。そして、補正内容決定部２８は、ステップ２４１で着目した画像が２つのシーンを含むかどうかを判定する（ステップ２４２）。ステップ２４２でその画像が２つのシーンを含まないと判定すれば、補正内容決定部２８は、その画像が含む１つのシーンに合わせた補正内容を決定する（ステップ２４３）。

ステップ２４２でその画像が２つのシーンを含むと判定すれば、補正内容決定部２８は、優先順位記憶部２６に記憶された優先順位を取得する（ステップ２４４）。そして、補正内容決定部２８は、ステップ２４４で取得した優先順位を参照することにより、その２つのシーンのうちの優先順位が高いシーンに合わせた補正内容を決定する（ステップ２４５）。

次いで、補正処理部２９は、ステップ２４１で着目された画像に対し、ステップ２４３又はステップ２４５で決定された補正内容で補正を行う（ステップ２４６）。その後、補正処理部２９は、ステップ２０４でシーン判定に用いられた複数の画像のうち、未処理の画像があるかどうかを判定する（ステップ２４７）。そして、補正処理部２９は、未処理の画像があると判定すれば、ステップ２４１へ処理を戻し、未処理の画像がないと判定すれば、処理を終了する。

［画像処理装置の動作における具体例］
図４（ａ），（ｂ）は、図３－１のステップ２０１で原稿取得部２１が原稿を取得するのに先立って表示デバイス１５に表示される補正設定画面３００の例を示した図である。図示するように、補正設定画面３００は、プルダウンリスト３１０を含む。プルダウンリスト３１０では、自動補正及び手動補正の何れで画像を補正するかが選択される。

図４（ａ）に、プルダウンリスト３１０で手動補正が選択された場合の補正設定画面３００の状態を示す。この場合は、チェックボックス３３１，３３２及びスライダバー３３３，３３４がアクティブ表示され、その他の項目は非アクティブ表示される。チェックボックス３３１，３３２では、それぞれ、肌補正及びノイズ補正を行う旨が指示される。スライダバー３３３，３３４では、それぞれ、明るさ及び鮮やかさの程度が指示される。

図４（ｂ）に、プルダウンリスト３１０で自動補正が選択された場合の補正設定画面３００の状態を示す。この場合は、チェックボックス３２１がアクティブ表示され、その他の項目は非アクティブ表示される。チェックボックス３２１では、原稿用途に応じて補正を最適化する旨が指示される。また、チェックボックス３２１でこのような指示が行われた場合に、ボタン３２２もアクティブ表示される。ボタン３２２は、２つ以上のシーンを含む画像がその２つ以上のシーンの何れに合わせて補正されるかを確認するためのボタンである。そして、ボタン３２２が押下された場合に、本実施の形態の動作が行われる。

図５は、図３－１のステップ２０５でシーン判定部２３が複数の画像についてシーンごとの画像数をカウントアップした後のシーン情報６００の例を示した図である。図示するように、シーン情報６００は、シーン名と、画像数と、画像ＩＤとを対応付けたものとなっている。

シーン名は、シーンの名称である。シーン名は、１つのシーンのみのシーン名と、２つのシーンの組み合わせのシーン名とを含む。

画像数は、対応するシーンを含む画像の数である。この図は、図３－１のステップ２０２で取得した画像の中に、風景のみを含む画像が２０枚、人のみを含む画像が４０枚、動物のみを含む画像が３枚、食べ物のみを含む画像が１７枚、植物のみを含む画像が０枚含まれていたことを示している。また、この図は、図３－１のステップ２０２で取得した画像の中に、人と動物を含む画像が２枚、人と食べ物を含む画像が８枚含まれていたことも示している。

画像ＩＤは、対応するシーンを含む画像の識別情報である。この図は、図３－１のステップ２０２で取得した画像のうち、画像ＩＤが「Ｐ０２」の画像等が人と動物を含み、画像ＩＤが「Ｐ０４」の画像等が人と食べ物を含むことを示している。

尚、ここでは、シーン名を、１つのシーンのみのシーン名と、２つのシーンの組み合わせのシーン名とを含むものとしたが、１つのシーンを少なくとも含むシーン名と、２つのシーンの組み合わせのシーン名とを含むものとしてもよい。この場合は、１つの画像が複数のシーンを含むとき、その複数のシーンのそれぞれについて、１枚カウントすることになる。例えば、ある画像が人と料理とを含む場合、その画像を、人を含む画像としても１枚、料理を含む画像としても１枚カウントすることになる。

図６は、図３－２のステップ２２１で優先順位変更部２７が表示デバイス１５に表示する優先順位確認画面４００の例を示した図である。図示するように、優先順位確認画面４００は、優先順位表示欄４０１と、キャンセルボタン４１１と、確定ボタン４１２とを含む。

優先順位表示欄４０１には、人、食べ物、風景、動物、植物の順に優先されることが表示されている。また、優先順位表示欄４０１には、各シーンがどの程度の影響を及ぼすかをユーザに認知させるための情報として、そのシーンを含む画像の枚数も表示されている。図５で人のみを含む画像の枚数は４０枚、人及び動物を含む画像の枚数は２枚、人及び食べ物を含む画像の枚数は８枚であるので、ここでは人を含む画像の枚数としてこれらの合計である５０枚が表示されている。図５で動物のみを含む画像の枚数は３枚、人及び動物を含む画像の枚数は２枚であるので、ここでは動物を含む画像の枚数としてこれらの合計である５枚が表示されている。図５で食べ物のみを含む画像の枚数は１７枚、人及び食べ物を含む画像の枚数は８枚であるので、ここでは食べ物を含む画像の枚数としてこれらの合計である２５枚が表示されている。但し、画像の枚数は各シーンがどの程度の影響を及ぼすかを認知させるための情報のあくまで一例であり、各シーンの画像数の全体の画像数に対する割合等を表示してもよい。

キャンセルボタン４１１は、この処理を中止する際に押下されるボタンであり、確定ボタン４１２は、その時点で優先順位表示欄４０１に表示されている優先順位を確定させる際に押下されるボタンである。また、この優先順位確認画面４００には、優先順位の変更結果を確認するためのボタンが設けられていない。従って、この優先順位確認画面４００は、図３－２でステップ２２３が実行された後に、ステップ２２４，２２５が実行されることなくステップ２２６が実行される場合に表示される画面ということになる。

図７は、図３－２のステップ２２１で優先順位変更部２７が表示デバイス１５に表示する優先順位確認画面４２０の例を示した図である。優先順位確認画面４２０は、シーンを判定した結果、画像数の割合が少ないシーンは表示しなくてもよい、又は、画像数が上位である幾つかのシーンに絞って表示してもよい、という考えに基づくものである。図示するように、優先順位確認画面４２０は、優先順位表示欄４２１と、キャンセルボタン４３１と、確定ボタン４３２とを含む。

優先順位表示欄４２１には、人、食べ物、風景のみが表示されている。一方で、動物及び植物は、これらを含む画像が何れも全体の５％以下であるので、表示されていない。キャンセルボタン４３１及び確定ボタン４３２は、図６のキャンセルボタン４１１及び確定ボタン４１２と同じである。また、この優先順位確認画面４２０も、図３－２でステップ２２３が実行された後に、ステップ２２４，２２５が実行されることなくステップ２２６が実行される場合に表示される画面である。

図８は、図３－２のステップ２２１で優先順位変更部２７が表示デバイス１５に表示する優先順位確認画面４４０の例を示した図である。この優先順位確認画面４４０は、１つの画像内で他の如何なるシーンとも重複しないシーンがあった場合、そのシーンの優先順位を変更しても画像の補正に影響を与えないため、優先順位を変更する候補に含めなくてよい、という考えに基づくものである。図示するように、優先順位確認画面４４０は、優先順位表示欄４４１と、キャンセルボタン４５１と、確定ボタン４５２とを含む。

優先順位表示欄４４１には、１つの画像内で他の何れかのシーンと重複する人、食べ物、動物のみが表示されている。一方で、風景及び植物は、１つの画像内で他の如何なるシーンとも重複しておらず、優先順位を変更しても補正に影響がないため、表示されていない。また、図では、このことをより明確に示すため、文言４４２も表示されている。キャンセルボタン４５１及び確定ボタン４５２は、図６のキャンセルボタン４１１及び確定ボタン４１２と同じである。また、この優先順位確認画面４４０も、図３－２でステップ２２３が実行された後に、ステップ２２４，２２５が実行されることなくステップ２２６が実行される場合に表示される画面である。

図９は、図３－２のステップ２２３で優先順位変更部２７が表示デバイス１５に表示する変更後の優先順位を含む優先順位確認画面４００の例を示した図である。このように、ユーザは、シーン名を並べ替えて、補正で優先したいシーンを入れ換えることができる。図６では、優先順位表示欄４０１に、人、食べ物、風景、動物、植物の順に優先されることが表示されていたが、図９では、優先順位表示欄４０１に、人、風景、動物、食べ物、植物の順に優先されることが表示されている。

図１０（ａ）は、図３－２のステップ２２３で優先順位変更部２７が表示デバイス１５に表示する変更後の優先順位を含む優先順位確認画面４６０の例を示した図である。図示するように、優先順位確認画面４６０は、優先順位表示欄４６１と、キャンセルボタン４７１と、確定ボタン４７２と、変更結果確認ボタン４７３とを含む。ここでは、優先順位表示欄４６１において、食べ物の優先順位を人の優先順位よりも高くしている。

図１０（ｂ）は、図３－２のステップ２２５で優先順位変更部２７が表示デバイス１５に表示する変更結果確認画面５００の例を示した図である。図１０（ａ）の優先順位確認画面４６０で変更結果確認ボタン４７３が押下された場合にこの変更結果確認画面５００が表示される。変更結果確認画面５００は、優先順位を変更した場合に、影響のある画像を表示してユーザに補正内容を確認させるための画面である。図示するように、変更結果確認画面５００は、変更前画像５０１と、変更後画像５０２と、ＯＫボタン５１１とを含む。ここでは、食べ物の優先順位を人の優先順位よりも高くしたことで、人及び食べ物を含む画像の補正に影響がある。そこで、変更前画像５０１及び変更後画像５０２としては、人及び食べ物を含む画像が表示される。その際、変更前画像５０１としては、優先順位を変更する前における補正後の画像が表示され、変更後画像５０２としては、優先順位を変更した後における補正後の画像が表示される。

図１１は、図３－３のステップ２４３又はステップ２４５で補正内容決定部２８が補正内容を決定する際に参照する補正内容情報７００の例を示した図である。

図示するように、補正内容情報７００は、シーン名と、明るさ補正情報と、コントラスト補正情報と、ノイズ補正情報と、シャープネス補正情報と、彩度補正情報と、肌色補正情報とを対応付けたものとなっている。シーン名は、シーンの名称である。明るさ補正情報、コントラスト補正情報、ノイズ補正情報、彩度補正情報と、肌色補正情報は、画像が対応するシーンを含む場合にそれぞれ該当する補正を行うかどうかを定義した情報である。また、シャープネス補正情報は、画像が対応するシーンを含む場合にシャープネス補正をどの程度行うかを定義した情報である。

例えば、人と食べ物とを含む画像を補正する場合を考える。この画像を人に合わせて補正するのであれば、明るさ補正、コントラスト補正、ノイズ補正、肌色補正を行うことになる。一方で、この画像を食べ物に合わせて補正するのであれば、明るさ補正、コントラスト補正、彩度補正を行い、シャープネス補正を弱めに行うことになる。尚、図１１に示したシーンに対する補正の組み合わせはあくまで一例である。

［プロセッサ］
本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。

［プログラム］
本実施の形態における画像処理装置１０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

即ち、本実施の形態を実現するプログラムは、コンピュータに、複数の対象物の何れかをそれぞれが含む複数の画像を取得する機能と、複数の画像における複数の対象物に関する解析結果に基づいて生成された情報であって、複数の対象物のうちの２つ以上の対象物を含む一の画像をその２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する機能とを実現させるためのプログラムとして捉えられる。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、２１…原稿取得部、２２…画像取得部、２３…シーン判定部、２４…シーン情報記憶部、２５…優先順位判定部、２６…優先順位記憶部、２７…優先順位変更部、２８…補正内容決定部、２９…補正処理部

Claims (11)

1. プロセッサを備え、
   前記プロセッサは、
   複数の対象物の何れかをそれぞれが含む複数の画像を取得し、
   前記複数の画像における前記複数の対象物に関する解析結果に基づいて生成された情報であって、当該複数の対象物のうちの２つ以上の対象物を含む一の画像を当該２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する
   ことを特徴とする情報処理装置。
2. 前記プロセッサは、前記複数の画像を含む印刷物の原稿から、当該複数の画像を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記一の画像は、前記原稿から取得された前記複数の画像に含まれることを特徴とする請求項２に記載の情報処理装置。
4. 前記通知情報は、前記一の画像を前記２つ以上の対象物の何れに合わせて補正するかを決定するための前記複数の対象物の順序を含むことを特徴とする請求項１に記載の情報処理装置。
5. 前記複数の対象物の順序は、当該複数の対象物の一部の順序であることを特徴とする請求項４に記載の情報処理装置。
6. 前記解析結果は、前記複数の画像における前記複数の対象物の各対象物の重要性を示し、
   前記複数の対象物の前記一部は、当該複数の対象物のうちの特定の対象物の重要性が基準以下であることを前記解析結果が示す場合に当該特定の対象物を除外した部分であることを特徴とする請求項５に記載の情報処理装置。
7. 前記複数の対象物の前記一部は、当該複数の対象物のうちの特定の対象物と他の対象物とを含む画像が存在しない場合に当該特定の対象物を除外した部分であることを特徴とする請求項５に記載の情報処理装置。
8. 前記プロセッサは、ユーザの操作に応じて、前記複数の対象物の順序を変更することを特徴とする請求項４に記載の情報処理装置。
9. 前記プロセッサは、前記複数の対象物のうちの第１の対象物及び第２の対象物の順序の変更が当該第１の対象物及び当該第２の対象物を含む前記一の画像の補正に与える影響を示す影響情報を出力することを特徴とする請求項８に記載の情報処理装置。
10. 前記影響情報は、前記第１の対象物及び前記第２の対象物を含む前記一の画像を当該第１の対象物に合わせて補正した後の画像と、当該第１の対象物及び当該第２の対象物を含む当該一の画像を当該第２の対象物に合わせて補正した後の画像とを比較するための情報を含むことを特徴とする請求項９に記載の情報処理装置。
11. コンピュータに、
    複数の対象物の何れかをそれぞれが含む複数の画像を取得する機能と、
    前記複数の画像における前記複数の対象物に関する解析結果に基づいて生成された情報であって、当該複数の対象物のうちの２つ以上の対象物を含む一の画像を当該２つ以上の対象物の何れに合わせて補正するかを通知する情報である通知情報を出力する機能と
    を実現させるためのプログラム。

Images