JP6798243B2 - プログラム及び情報処理端末 - Google Patents

Description

本発明は、プリンタにプリントさせる画像を加工する情報処理端末のプログラムに関する。

例えば特許文献１には、デジタルカメラとプリンタとの色ずれを補正するための色補正テーブルを用いて、デジタルカメラに撮影させた画像を、プリンタにプリントさせる前に色補正する技術が開示されている。そして特許文献１には、上記の色補正を実行することによって、色ずれのない良好なプリント結果を得ることができると記載されている。

特開２００５−１３６６０３号公報

近年、情報処理端末に搭載されたハードウェアの能力向上に伴って、さらに複雑な画像処理が可能になっている。すなわち、今日の情報処理端末では、さらに良好なプリント結果を得るための画像処理が可能となっている。しかしながら、特許文献１に記載の色補正では、向上したハードウェアの能力を十分に活用して、ユーザの意図に合った画像に補正できているとは言い難い。

本発明は、上記の事情に鑑みてなされたものであり、プリントシートにプリントされる画像を、ユーザの意図に適した方法で加工することが可能な情報処理端末のプログラムを提供することにある。

本明細書では様々な開示を行う。開示例の１つであるプログラムは、ディスプレイと、入力インタフェースと、通信インタフェースとを備える情報処理端末によって読取可能である。該プログラムは、複数の画像データのうちの１つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第１受付処理と、プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第１表示処理とを前記情報処理端末に実行させる。前記プリントシートは、前記指定データで示される指定画像が記録されたシートである。該プログラムは、前記第１表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第２受付処理を前記情報処理端末に実行させる。前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標である。該プログラムは、前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第１加工処理と、前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを前記情報処理端末に実行させる。前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報である。

上記構成によれば、プリントシートを設置する物に対応した方法で指定画像が加工される。すなわち、設置位置を指定したユーザの意図に適した指定画像がプリントされたプリントシートを得ることができる。

図１は、実施形態に係るシステム１００のブロック図である。 図２は、対応する画像データ、日時情報、及び位置情報の一例を示す図である。 図３は、プリント処理のフローチャートである。 図４は、個別加工処理のフローチャートである。 図５（Ａ）はフレーム加工処理のフローチャートであり、図５（Ｂ）は共通加工処理のフローチャートである。 図６は、ディスプレイ５３の表示例であって、（Ａ）はデータ選択画面を、（Ｂ）は種類選択画面を示す。 図７は、位置選択画面の画面例である。 図８は、トリミング画面の画面例である。 図９は、個別加工処理に用いる色の例であって、（Ａ）は色相環を、（Ｂ）は家具素材及び模様画像の対応関係を、（Ｃ）は標識の種類に対応する色を、（Ｄ）はフレーム色の補色を示す。

以下、適宜図面を参照して本発明の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。

図１は、本実施形態に係るシステム１００の概略図である。図１に示されるシステム１００は、ＭＦＰ（Multi-Function Peripheralの略）１０と、携帯端末５０とで構成されている。また、システム１００は、ＭＦＰ１０に代えて、プリンタ単能機を含んでもよい。ＭＦＰ１０及び携帯端末５０は、通信ネットワーク１０１を通じて相互に通信可能に構成されている。通信ネットワーク１０１の具体例は特に限定されないが、例えば、インターネット、有線ＬＡＮ、無線ＬＡＮ、或いはこれらの組み合わせであってもよい。または、ＭＦＰ１０及び携帯端末５０は、ＵＳＢケーブル等によって接続されていてもよい。

ＭＦＰ１０は、図１に示されるように、プリンタ１１と、スキャナ１２と、ディスプレイ２３と、入力Ｉ／Ｆ２４と、通信Ｉ／Ｆ２５と、ＣＰＵ３１と、メモリ３２と、通信バス３３とを主に備える。ＭＦＰ１０を構成する各構成要素は、通信バス３３を通じて相互に接続されている。

プリンタ１１は、画像データで示される画像をシートに記録するプリント動作を実行する。プリンタ１１の記録方式としては、インクジェット方式や電子写真方式などの公知の方式を採用することができる。スキャナ１２は、原稿に記録された画像を読み取って画像データを生成するスキャン動作を実行する。但し、スキャナ１２は、省略可能である。

ディスプレイ２３は、液晶ディスプレイ、有機ＥＬディスプレイ等であり、各種情報を表示する表示画面を備える。

入力Ｉ／Ｆ２４は、ユーザによる入力操作を受け付けるユーザインタフェースである。具体的には、入力Ｉ／Ｆ２４はボタンを有しており、押下されたボタンに対応づけられた各種の操作信号をＣＰＵ３１へ出力する。さらに、入力Ｉ／Ｆ２４は、ディスプレイ２３の表示面に重畳された膜状のタッチセンサを有していてもよい。ディスプレイ２３の表示面に表示されたオブジェクトを指定する操作、文字列或いは数字列を入力する操作は、ユーザ操作の一例である。「オブジェクト」とは、例えば、ディスプレイ２３に表示された文字列、アイコン、ボタン、リンク、ラジオボタン、チェックボックス、プルダウンメニュー等である。

タッチセンサとして実現される入力Ｉ／Ｆ２４は、ユーザがタッチした表示面上の位置を示す位置情報を出力する。なお、本明細書中における「タッチ」とは、入力媒体を表示面に接触させる操作全般を含む。また、入力媒体が表示面に触れていなくても、表示面との間の距離がごく僅かな位置まで入力媒体を近接させる「ホバー」或いは「フローティングタッチ」を、前述の「タッチ」の概念に含めてもよい。さらに入力媒体とは、ユーザの指であってもよいし、タッチペン等であってもよい。ディスプレイ２３に表示されたオブジェクトの位置のタップするユーザ操作は、当該オブジェクトを指定する指定操作の一例である。

通信Ｉ／Ｆ２５は、通信ネットワーク１０１を通じて外部装置と通信可能なインタフェースである。すなわち、ＭＦＰ１０は、通信Ｉ／Ｆ２５を通じて外部装置に各種情報を送信し、通信Ｉ／Ｆ２５を通じて外部装置から各種情報を受信する。通信Ｉ／Ｆ２５の具体的な通信手順は特に限定されないが、例えば、Ｗｉ−Ｆｉ（登録商標）を採用することができる。また、ＭＦＰ１０及び携帯端末５０がＵＳＢケーブルで接続される場合、通信Ｉ／Ｆ２５は、ＵＳＢケーブルを着脱可能なＵＳＢインタフェースであってもよい。

ＣＰＵ３１は、ＭＦＰ１０の全体動作を制御するものである。ＣＰＵ３１は、入力Ｉ／Ｆ２４から出力される各種情報、通信Ｉ／Ｆ２５を通じて外部装置から受信した各種情報等に基づいて、後述する各種プログラムをメモリ３２から取得して実行する。ＣＰＵ３１及びメモリ３２は、コントローラの一例を構成する。

メモリ３２は、ＯＳ３４と、装置プログラム３５とを記憶している。装置プログラム３５は、単一のプログラムであってもよいし、複数のプログラムの集合体であってもよい。また、メモリ３２は、装置プログラム３５の実行に必要なデータ或いは情報等を記憶する。メモリ３２は、例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＨＤＤ、ＭＦＰ１０に着脱されるＵＳＢメモリ等の可搬記憶媒体、ＣＰＵ３１が備えるバッファ等、或いはそれらの組み合わせによって構成される。

メモリ３２は、コンピュータが読み取り可能なストレージ媒体であってもよい。コンピュータが読み取り可能なストレージ媒体とは、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体である。ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体には、上記の例の他に、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体も含まれる。また、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな媒体は、ｔａｎｇｉｂｌｅな媒体でもある。一方、インターネット上のサーバなどからダウンロードされるプログラムを搬送する電気信号は、コンピュータが読み取り可能な媒体の一種であるコンピュータが読み取り可能な信号媒体であるが、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙなコンピュータが読み取り可能なストレージ媒体には含まれない。後述する携帯端末５０のメモリ６２についても同様である。

携帯端末５０は、図１に示されるように、カメラ５２と、ディスプレイ５３と、入力Ｉ／Ｆ５４と、通信Ｉ／Ｆ５５と、ＣＰＵ６１と、メモリ６２と、通信バス６３とを主に備える。携帯端末５０に含まれるディスプレイ５３、入力Ｉ／Ｆ５４、通信Ｉ／Ｆ５５、ＣＰＵ６１、メモリ６２、及び通信バス６３は、ＭＦＰ１０に含まれるディスプレイ２３、入力Ｉ／Ｆ２４、通信Ｉ／Ｆ２５、ＣＰＵ３１、メモリ３２、及び通信バス３３と同様の構成であるので、説明は省略する。ＣＰＵ６１及びメモリ６２は、コントローラの一例である。

携帯端末５０は、例えば、携帯電話、スマートフォン、タブレット端末等である。より詳細には、携帯端末５０のディスプレイ５３は、表示画面のサイズが１２インチ以下、より好ましくは８インチ以下であるのが望ましい。また、携帯端末５０の入力Ｉ／Ｆ５４は、ディスプレイ５３の表示画面に重ねられたタッチパネルであるのが望ましい。携帯端末５０は、情報処理端末の一例である。但し、情報処理端末の具体例は携帯端末５０に限定されず、ＰＣ等であってもよい。

カメラ５２は、被写体を撮影してカラーの画像データ（以下、「撮影画像データ」と表記することがある。）を生成する。カメラ５２の動作は、例えば、メモリ６２に記憶される不図示のカメラプログラムによって制御される。すなわち、カメラプログラムは、カメラ５２が生成した撮影画像データで示される撮影画像と、［撮影］アイコンとをディスプレイ５３に表示させる。また、ディスプレイ５３に表示される撮影画像は、カメラ５２の向きが変更されるのに追従して変更される。そして、カメラプログラムは、［撮影］アイコンを指定するユーザ操作を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて、カメラ５２が生成した撮影画像データをメモリ６２に記憶させる。

メモリ６２は、図２に示されるように、複数の画像データを記憶することができる。画像データは、例えば、カメラ５２が撮影したものであってもよいし、不図示のペイントプログラムがユーザの指示に従って生成したものであってもよい。なお、画像データは、メモリ６２に代えて、インターネット上の不図示のサーバに記憶されていてもよい。

また、画像データには、日時情報及び位置情報の少なくとも１つが対応付けられていてもよい。日時情報は、対応する画像データが生成された日時を示す。位置情報は、対応する画像データを生成された場所の緯度及び経度を示す。すなわち、位置情報は、カメラ５２によって撮影された撮影画像データのみに対応付けられていればよい。日時情報及位置情報は、カメラ５２によって撮影された写真の撮影時の気温を推定するためのメタデータの一例である。

また図示は省略するが、メモリ６２は、後述する画像認識処理に用いる特徴データベースを記憶していてもよい。特徴データベースは、例えば、カメラ５２が物（例えば、壁、家具、フォトフレーム、扉、消火栓、ガスコンロ等）を撮影することによって得られる画像データに対応する情報を含むデータベースである。より詳細には、画像データに対応する情報とは、画像データの特徴を示すための情報である。すなわち、端末プログラム６５は、例えば、カメラ５２による撮影で得られた撮影画像データと、特徴データベースで示される画像データの特徴とをマッチングすることによって、撮影画像データで示される撮影画像内の小画像が、どの種類の物を撮影することで得られた画像であるかを特定することができる。

「撮影画像データの特徴」とは、例えば、撮影画像データ上において、同一種類の物が共通して有する特徴的な形状（例えば、ドアノブ、家具の把手等）を示す形状データ、特定の素材（例えば、金属、プラスチック、木材等）を撮影したときの写り方（例えば、光の反射の仕方、木目等）を示す素材データ等である。但し、画像内に含まれる物の種類及び素材を特定する方法は、前述の例に限定されず、周知の他の方法を用いてもよい。

本実施形態に係る画像認識処理では、例えば、撮影画像データと形状データとをマッチングすることによって、壁紙、家具、標識が設置され得る物（例えば、扉、消火栓、ガスコンロ等）、フォトフレームのうちの１つが、設置位置に存在する物として特定される。また、本実施形態に係る画像認識処理では、撮影画像データと素材データとをマッチングすることによって、設置位置に存在する物の素材が特定される。

［システム１００の動作］
図３〜図５を参照して、本実施形態に係るシステム１００の動作を説明する。

本明細書のフローチャートは、基本的に、プログラムに記述された命令に従ったＣＰＵ３１、６１の処理を示す。すなわち、以下の説明における「判断」、「抽出」、「選択」、「算出」、「決定」、「特定」、「制御」等の処理は、ＣＰＵ３１、６１の処理を表している。ＣＰＵ３１、６１による処理は、ＯＳ３４、６４を介したハードウェア制御も含む。また、本明細書中の「データ」とは、コンピュータに読取可能なビット列で表される。そして、実質的な意味内容が同じでフォーマットが異なるデータは、同一のデータとして扱われるものとする。本明細書中の「情報」についても同様である。

まず、端末プログラム６５は、図６（Ａ）に示されるデータ選択画面をディスプレイ５３に表示させる（Ｓ１１）。データ選択画面は、データアイコン１１１、１１２、１１３、１１４、１１５、１１６を含む。データアイコン１１１〜１１６は、メモリ６２或いはインターネット上のサーバに記憶された画像データの１つに対応する。そして、端末プログラム６５は、データ選択画面に対するユーザ操作を、入力Ｉ／Ｆ５４を通じて受け付ける（Ｓ１２）。Ｓ１２の処理は、第１受付処理の一例である。

次に、端末プログラム６５は、例えばデータアイコン１１２の指定を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ１２：Ｙｅｓ）、データアイコン１１２に対応する画像データを、指定データとしてメモリ６２に一時記憶させる。データアイコン１１２を指定するユーザ操作は、複数の画像データのうちの１つを、指定データとして指定するユーザ操作の一例である。

次に、端末プログラム６５は、図７に示される位置選択画面をディスプレイ５３に表示させる（Ｓ１３）。位置選択画面は、撮影画像１３１と、指定画像１３２と、［決定］アイコン１３３とを含む。撮影画像１３１は、後述するプリントシートを設置し得る場所をカメラ５２が撮影した画像である。指定画像１３２は、Ｓ１２で指定された指定データで示される画像である。そして、端末プログラム６５は、位置選択画面に対するユーザ操作を、入力Ｉ／Ｆ５４を通じて受け付ける（Ｓ１４）。Ｓ１３の処理は第１表示処理の一例であり、Ｓ１４の処理は第２受付処理の一例である。

より詳細には、端末プログラム６５は、カメラ５２の撮影開始をカメラプログラムに指示し、所定時間毎にカメラ５２が撮影した複数の撮影画像１３１をカメラプログラムを通じて順番に取得する。そして、端末プログラム６５は、カメラプログラムから順番に取得した複数の撮影画像１３１を切り替えて表示させる。一方、端末プログラム６５は、ディスプレイ５３に表示させた撮影画像１３１の中央の固定位置に、指定画像１３２を重ねて固定表示させる。換言すれば、撮影画像１３１と指定画像１３２との相対位置は、カメラ５２の向きを変更するユーザ操作に追従して変更される。

次に、端末プログラム６５は、［決定］アイコン１３３の指定を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ１４：Ｙｅｓ）、指定画像１３２が重ねられた撮影画像１３１の位置を示す座標を、指定座標として特定する。指定座標は、例えば、指定画像１３２が重ねられた撮影画像１３１のうち、［決定］アイコン１３３がタップされた時の指定画像１３２の中心位置に対応する撮影画像１３１上の位置を指す。また、指定座標は、撮影画像１３１に含まれる場所のうち、プリントシートを設置する設置位置に対応する座標である。座標とは、例えば、ディスプレイ５３の左上隅を原点とするディスプレイ５３上の位置を示すための情報（例えば、ｘ座標及びｙ座標の組み合わせ）である。

すなわち、携帯端末５０のユーザは、カメラ５２の向きを調整することによって、プリントシートを設置したい撮影画像１３１上の物に指定画像１３２を重ねて、［決定］アイコン１３３をタップすればよい。そして、端末プログラム６５は、図４に示される個別加工処理を実行する（Ｓ１５）。

まず、端末プログラム６５は、指定座標を含む小画像を撮影画像１３１から抽出する。小画像は、設置位置に存在する物をカメラ５２が撮影したことによって得られた画像である。換言すれば、小画像は、撮影画像１３１に含まれる複数の物のうちの１つを示す画像である。そして、端末プログラム６５は、抽出した小画像を特徴データベースとマッチングして、小画像で示される物の種類を特定する（Ｓ２１〜Ｓ２４）。また、端末プログラム６５は、抽出した小画像で示される物を特定できなかった場合、抽出範囲（例えば、大きさ、中心位置等）を変更して、前述の処理を繰り返せばよい。Ｓ２１〜Ｓ２４の処理は、特定処理の一例である。

そして、端末プログラム６５は、Ｓ２１〜Ｓ２４で特定した物の種類に対応する方法で、指定データを加工する（Ｓ２５〜Ｓ３２）。なお、本明細書中の「加工」とは、例えば、指定画像を構成する全ての画素に対して行われる画像処理を指し、線の描画或いは画像の一部の消去等の指定画像の一部に選択的に行われる画像処理とは異なる。より詳細には、「加工」とは、例えば、指定画像に色合いや風味を付加することを指し、指定画像を説明する文字列を指定画像に合成する処理等とは異なる。また、本明細書中の「強調」とは、例えば、ＲＧＢで構成される画素値のうち、特定の色の値のみを選択的に増加させることを指す。

一例として、端末プログラム６５は、小画像で示される物の種類を壁だと特定したことに応じて（Ｓ２１：Ｙｅｓ）、小画像で示される壁の色（例えば、青）を特定する（Ｓ２５）。端末プログラム６５は、例えば、小画像を構成する複数の画素について画素値のヒストグラムを生成し、生成したヒストグラムの最頻値の画素値で表される色を、小画像で示される壁の色と特定してもよい。後述するＳ４１でも同様である。

そして、端末プログラム６５は、指定データで示される指定画像に含まれる複数の色のうち、Ｓ２５で特定した色の調和色（例えば、赤、黄）を強調する（Ｓ２６）。換言すれば、端末プログラム６５は、指定画像を構成する全ての画素について、調和色の画素値を増加させる。調和色とは、例えば図９（Ａ）に示される色相環上において、壁の色を頂点とする正三角形の他の頂点に対応する色である。Ｓ２５、Ｓ２６の処理は、第１加工処理の一例である。

他の例として、端末プログラム６５は、小画像で示される物の種類を家具だと特定したことに応じて（Ｓ２２：Ｙｅｓ）、小画像で示される家具の素材（例えば、金属）を特定する（Ｓ２７）。家具の素材は、例えば、特徴データベースとのマッチングによって特定される。そして、端末プログラム６５は、Ｓ２７で特定した素材に対応する模様（例えば、メタル調）を示す模様画像を、指定画像の全域に合成する（Ｓ２８）。Ｓ２７、Ｓ２８の処理は、第１加工処理の一例である。

模様画像は、例えば、家具の素材に対応する模様を表し且つ指定画像が透過される画像である。すなわち、端末プログラム６５は、Ｓ２８において、家具の素材に対応するテクスチャを指定画像に付加する。家具の素材と模様画像との対応関係は、例えば、図９（Ｂ）に示されるように予め定められている。また、模様画像を示す画像データは、メモリ６２或いはインターネット上のサーバに記憶されている。

他の例として、端末プログラム６５は、小画像で示される物の種類を扉だと特定したことに応じて（Ｓ２３：Ｙｅｓ）、図６（Ｂ）に示される種類選択画面をディスプレイ５３に表示させる（Ｓ２９）。種類選択画面は、種類アイコン１２１、１２２、１２３、１２４、１２５を含む。種類アイコン１２１〜１２５は、設置位置に設置される標識の種類を示す。そして、端末プログラム６５は、種類選択画面に対するユーザ操作を、入力Ｉ／Ｆ５４を通じて受け付ける（Ｓ３０）。Ｓ３０の処理は、第３受付処理の一例である。

次に、端末プログラム６５は、例えば種類アイコン１２４の指定を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ３０：Ｙｅｓ）、指定データで示される指定画像に含まれる複数の色のうち、種類アイコン１２４で示される標識の種類に対応する色（例えば、青）を強調する（Ｓ３１）。Ｓ３１の処理は、第１加工処理の一例である。より詳細には、端末プログラム６５は、指定画像を構成する全ての画素について、標識の種類に対応する色の画素値を増加させる。標識の種類と色との対応関係は、例えば図９（Ｃ）に示されるように、ＪＩＳ Ｚ ９１０１：２００３，９１０３によって定義されている。

さらに他の例として、端末プログラム６５は、小画像で示される物の種類をフォトフレームだと特定したことに応じて（Ｓ２４：Ｙｅｓ）、図５（Ａ）に示されるフレーム加工処理を実行する（Ｓ３２）。

端末プログラム６５は、小画像で示されるフォトフレームの枠の色（例えば、赤）を特定する（Ｓ４１）。次に、端末プログラム６５は、指定データで示される指定画像に含まれる複数の色のうち、Ｓ４１で特定した色の補色（例えば、緑）を強調する（Ｓ４２）。より詳細には、端末プログラム６５は、指定画像を構成する全ての画素について、フォトフレームの枠の色の補色の画素値を増加させる。フレームの枠の色と補色との対応関係は、例えば、図９（Ｄ）に示されるように予め定められている。Ｓ４１、Ｓ４２の処理は、第１加工処理の一例である。

次に、端末プログラム６５は、図８に示されるトリミング画面をディスプレイ５３に表示させる（Ｓ４３）。トリミング画面は、Ｓ４２で加工された指定画像１３５が指定画像１３２に代えて表示されている点と、指定画像１３５に重ねてトリミング枠１３４がさらに表示されている点とを除いて、位置選択画面と同様である。トリミング枠１３４の大きさ及び縦横比は、Ｓ２４で特定したフォトフレームの枠と同一である。そして、端末プログラム６５は、トリミング画面に対するユーザ操作を、入力Ｉ／Ｆ５４を通じて受け付ける（Ｓ４４）。Ｓ４３の処理は第２表示処理の一例であり、Ｓ４４の処理は第４受付処理の一例である。

次に、端末プログラム６５は、指定画像１３５の位置に対するピンチイン操作を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ４４：ピンチイン）、トリミング画面上で指定画像１３５を縮小する（Ｓ４５）。一方、端末プログラム６５は、指定画像１３５の位置に対するピンチアウト操作を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ４４：ピンチアウト）、トリミング画面上で指定画像１３５を拡大する（Ｓ４５）。ピンチイン操作及びピンチアウト操作は、フォトフレームの枠（すなわち、トリミング枠１３４）に対する指定画像１３５のサイズを変更するユーザ操作の一例である。

より詳細には、ピンチイン操作は、指定画像１３５上の２点にタッチした２つの入力媒体を、ディスプレイ５３上で互いに近づける向きに移動させる操作である。そして、入力媒体の移動量は、指定画像の縮小量に対応する。ピンチアウト操作は、指定画像１３５上の２点にタッチした２つの入力媒体を、ディスプレイ５３上で互いに遠ざける向きに移動させる操作である。そして、入力媒体の移動量は、指定画像の拡大量に対応する。

次に、端末プログラム６５は、［決定］アイコン１３３の指定を入力Ｉ／Ｆ５４を通じて受け付けたことに応じて（Ｓ４４：決定）、トリミング画面に表示された指定画像１３５のうち、トリミング枠１３４の内側の画像を抽出する。そして、端末プログラム６５は、抽出した画像を示す画像データを新たな指定データとして生成する（Ｓ４６）。すなわち、Ｓ４６で抽出された画像は、フォトフレームの枠と縦横比が同一となる。Ｓ４６の処理は、トリミング処理の一例である。

次に図３に戻って、端末プログラム６５は、個別加工処理で加工した指定データに対して、図５（Ｂ）に示される共通加工処理を実行する（Ｓ１６）。まず、端末プログラム６５は、指定データにメタデータが対応付けられているか否かを判断する（Ｓ５１）。そして、端末プログラム６５は、指定データにメタデータが対応付けられていないと判断したことに応じて（Ｓ５１：Ｎｏ）、Ｓ５２〜Ｓ５４の処理をスキップして、後述するＳ５５の処理を実行する。

一方、端末プログラム６５は、指定データにメタデータが対応付けられていると判断したことに応じて（Ｓ５１：Ｙｅｓ）、指定データで示される写真の撮影時の気温を、メタデータに基づいて推定する。換言すれば、端末プログラム６５は、撮影時の気温が閾値未満の寒冷モードか、撮影時の気温が閾値以上の温暖モードかを判断する（Ｓ５２）。一例として、画像データ“image01.JPEG”はアイスランドで撮影された写真を示すから、撮影日時に拘わりなく寒冷モードと判断される。他の例として、画像データ“image02.JPEG”は小豆島で夏に撮影された写真を示すから、温暖モードと判断される。但し、撮影時の気温の推定方法は、前述の例に限定されない。

次に、端末プログラム６５は、寒冷モードと判断したことに応じて（Ｓ５２：寒冷）、前記指定画像を構成する全ての画素について、寒色（例えば、青）を強調する（Ｓ５３）。一方、端末プログラム６５は、温暖モードと判断したことに応じて（Ｓ５２：温暖）、前記指定画像を構成する全ての画素について、暖色（例えば、オレンジ）を強調する（Ｓ５４）。すなわち、端末プログラム６５は、指定画像を構成する全ての画素について、Ｓ５２で判断したモードに応じた色の画素値を増加させる。Ｓ５３、Ｓ５４の処理は、第２加工処理の一例である。

次に、端末プログラム６５は、指定画像を記録するシートのサイズに合わせて、指定画像を拡大或いは縮小する（Ｓ５５）。一例として、端末プログラム６５は、ＭＦＰ１０にセットしたシートのサイズを、入力Ｉ／Ｆ５４を通じてユーザに指定させてもよい。他の例として、端末プログラム６５は、ＭＦＰ１０にセットされたシートのサイズを示すサイズ情報を、通信Ｉ／Ｆ５５を通じてＭＦＰ１０から受信してもよい。

再び図３に戻って、端末プログラム６５は、通信Ｉ／Ｆ５５を通じてＭＦＰ１０にプリント指示情報を送信する（Ｓ１７）。プリント指示情報は、指定画像をシートにプリントして、プリントシートを出力させるための情報である。プリント指示情報は、例えば、指定データを含む。Ｓ１７の処理は、プリント指示処理の一例である。

一方図示は省略するが、ＭＦＰ１０の装置プログラム３５は、通信Ｉ／Ｆ２５を通じて携帯端末５０からプリント指示情報を受信する。そして、装置プログラム３５は、受信したプリント指示情報に従ったプリント動作を、プリンタ１１に実行させる。すなわち、プリンタ１１は、指定データで示される指定画像をシートに記録して、プリントシートを出力する。

［本実施形態の作用効果］
上記の実施形態によれば、プリントシートを設置する物に対応した方法で指定画像が加工される。すなわち、設置位置を指定したユーザの意図に適した指定画像がプリントされたプリントシートを得ることができる。なお、特定処理で特定した物の種類と、図９を用いて説明した加工の具体例との関係は、前述の例に限定されない。

また、上記の実施形態によれば、指定画像１３２を撮影画像１３１に重ねて表示させることによって、所望の位置にプリントシートが設置された状態をディスプレイ５３上で確認しながら、プリントシートの設置位置を指定することができる。また、プリントシートを設置したい場所にカメラ５２を向けることによって、撮影画像１３１及び指定画像１３２の相対位置を変化させることができる。これにより、直感的なユーザ操作でプリントシートの設置位置を指定することができる。

なお、撮影画像１３１に対して指定画像１３２を相対移動させる方法は、前述の例に限定されない。他の例として、端末プログラム６５は、図７に示される位置選択画面上において、指定画像１３２に対するドラッグ操作に追従して、撮影画像１３１上で指定画像１３２を移動させてもよい。ドラッグ操作とは、指定画像１３２上にタッチした入力媒体を、ディスプレイ５３上で移動させるユーザ操作である。また、この場合の撮影画像１３１は、カメラ５２によってリアルタイムに撮影されたものに限定されず、事前に撮影されたものであってもよい。

また、上記の実施形態では、位置選択画面を通じて指定座標をユーザに指定させ、指定座標を含む小画像で示される物の種類を特徴データベースを用いて特定する例を説明した。この処理は、例えば、カメラ５２によって撮影画像１３１をリアルタイムに撮影させる場合に、特に有効である。但し、撮影画像１３１に含まれる物の種類を特定する方法は、前述の例に限定されない。

また、端末プログラム６５は、撮影画像１３１に対する画像認識処理によって、撮影画像１３１に含まれる複数の小画像それぞれを認識する認識処理を、Ｓ１３の処理に先立って実行してもよい。そして、Ｓ１３で表示させる位置選択画面において、認識処理で認識した小画像それぞれを識別するための情報を、撮影画像１３１に重ねてディスプレイ５３に表示させてもよい。この処理は、認識処理の一例である。

「小画像を識別するための情報」とは、例えば、小画像で示される物の種類に対応する色であってもよいし、小画像で示される物の種類を示す文字列であってもよい。これにより、位置選択画面上において、撮影画像１３１に含まれる複数の物を、ユーザに容易に認識させることができる。この処理は、予め撮影された撮影画像１３１を表示させる場合に限定されず、カメラ５２によってリアルタイムに撮影された撮影画像１３１を表示させる場合にも適用され得る。

また、上記の実施形態によれば、プリントシートを設置するフォトフレームの縦横比に合わせて指定画像をトリミングすることができる。これにより、当該フォトフレームに設置するのに適した指定画像がプリントされたプリントシートを得ることができる。なお、指定画像をトリミングする処理は、特定処理でフォトフレームを特定した場合に限定されず、他の物を特定した場合にも適用可能である。

また、上記の実施形態によれば、カメラ５２によって撮影された指定画像を撮影時の気温に応じて加工するので、撮影時の雰囲気を反映させた指定画像がプリントされたプリントシートを得ることができる。なお、寒冷モード及び温暖モードの判断は、画像データに対応付けられたメタデータに基づい行うことに限定されず、プリント処理を実行する携帯端末５０の現在位置を示す情報に基づいて行ってもよい。端末プログラム６５は、例えば、不図示のシステムクロックから日時情報を取得し、不図示のＧＰＳアンテナを通じて位置情報を取得してもよい。

また、上記の実施形態のＭＦＰ１０及び携帯端末５０において、メモリ３２、６２に記憶された各種プログラムがＣＰＵ３１、６１によって実行されることによって、本発明のコントローラが実行する各処理が実現される例を説明した。しかしながら、コントローラの構成はこれに限定されず、その一部又は全部を集積回路等のハードウェアで実現してもよい。

さらに、本発明は、ＭＦＰ１０及び携帯端末５０として実現できるだけでなく、ＭＦＰ１０及び携帯端末５０に処理を実行させるプログラムとして実現してもよい。そして、当該プログラムは、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体に記録されて提供されてもよい。ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の他、通信ネットワーク１０１を通じてＭＦＰ１０及び携帯端末５０に接続可能なサーバに搭載されたメモリを含んでもよい。そして、サーバのメモリに記憶されたプログラムは、当該プログラムを示す情報或いは信号として、インターネット等の通信ネットワーク１０１を通じて配信されてもよい。

１０・・・ＭＦＰ
１１・・・プリンタ
５０・・・携帯端末
５３・・・ディスプレイ
５４・・・入力Ｉ／Ｆ
５５・・・通信Ｉ／Ｆ
６１・・・ＣＰＵ
６２・・・メモリ
６５・・・端末プログラム

Claims (14)

1. ディスプレイと、入力インタフェースと、通信インタフェースとを備える情報処理端末によって読取可能なプログラムであって、
   該プログラムは、
   複数の画像データのうちの１つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第１受付処理と、
   プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第１表示処理とを前記情報処理端末に実行させ、前記プリントシートは、前記指定データで示される指定画像が記録されたシートであり、
   該プログラムは、前記第１表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第２受付処理を前記情報処理端末に実行させ、前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標であり、
   該プログラムは、
   前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第１加工処理と、
   前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを前記情報処理端末に実行させ、前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報であるプログラム。
2. 前記情報処理端末は、カメラを備えており、
   該プログラムは、前記第１表示処理において、前記カメラに撮影を開始させ且つ前記カメラが撮影した前記撮影画像を、前記ディスプレイに表示させる請求項１に記載のプログラム。
3. 該プログラムは、
   前記第１表示処理において、前記撮影画像に対して相対移動可能な前記指定画像を、前記撮影画像に重ねて前記ディスプレイに表示させ、
   前記第２受付処理において、ユーザによって相対移動された前記指定画像が重ねられた前記撮影画像上の座標を、前記指定座標として受け付ける請求項１又は２に記載のプログラム。
4. 前記情報処理端末は、カメラを備えており、
   該プログラムは、
   前記第１表示処理において、所定の時間間隔毎に前記カメラが撮影した前記撮影画像を切り替えて表示させ、且つ前記撮影画像上に前記指定画像を固定表示させ、
   前記第２受付処理において、前記カメラの向きを変更するユーザ操作に追従して、前記指定画像に対して前記撮影画像を移動させる請求項３に記載のプログラム。
5. 前記入力インタフェースは、前記ディスプレイ上にタッチされた入力媒体の座標を検出するタッチセンサであり、
   該プログラムは、前記第２受付処理において、前記指定画像上にタッチされた前記入力媒体の前記ディスプレイ上の移動に追従して、前記撮影画像に対して前記指定画像を移動させる請求項３に記載のプログラム。
6. 該プログラムは、前記撮影画像内の前記指定座標を含む小画像に対する画像認識処理によって、前記小画像で示される物の種類を特定する特定処理を前記情報処理端末に実行させ、前記小画像は、前記設置位置に存在する物をカメラが撮影したことによって得られた画像であり、
   前記プログラムは、前記第１加工処理において、前記特定処理で特定した物の種類に対応する方法で、前記指定データを加工する請求項１から５のいずれかに記載のプログラム。
7. 該プログラムは、前記撮影画像に対する画像認識処理によって、前記撮影画像に含まれる複数の小画像を認識する認識処理を前記情報処理端末に実行させ、前記小画像は、前記プリントシートを設置し得る場所に存在する物をカメラが撮影したことによって得られた画像であり、
   該プログラムは、
   前記第１表示処理において、前記認識処理で認識した複数の前記小画像それぞれを識別するための情報を、前記撮影画像に重ねて前記ディスプレイに表示させ、
   前記第１加工処理において、前記指定座標を含む前記小画像で示される物の種類に対応する方法で、前記指定データを加工する請求項１から５のいずれかに記載のプログラム。
8. 該プログラムは、前記設置位置に存在する物の種類が壁である場合の前記第１加工処理において、前記指定画像を構成する全ての画素について、色相環上における壁の色を頂点とする正三角形の他の頂点に対応する色を強調する請求項１から７のいずれかに記載のプログラム。
9. 該プログラムは、前記設置位置に存在する物の種類が家具である場合の前記第１加工処理において、家具の素材に対応する模様を表し且つ前記指定画像が透過される模様画像を、前記指定画像の全域に合成する請求項１から８のいずれかに記載のプログラム。
10. 該プログラムは、前記設置位置に存在する物の種類が標識が設置され得る物であることに応じて、
    標識の種類を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第３受付処理を前記情報処理端末に実行させ、
    前記第１加工処理において、前記指定画像を構成する全ての画素について、前記第３受付処理で指定された種類に対応する色を強調する請求項１から９のいずれかに記載のプログラム。
11. 該プログラムは、前記設置位置に存在する物の種類がフォトフレームである場合の前記第１加工処理において、前記指定画像を構成する全ての画素について、フォトフレームの枠の色の補色を強調する請求項１から１０のいずれかに記載のプログラム。
12. 該プログラムは、前記設置位置に存在する物の種類がフォトフレームである場合の前記第１加工処理において、
    前記撮影画像と、前記撮影画像内のフォトフレームに重ねられた前記指定画像とを、前記ディスプレイに表示させる第２表示処理と、
    フォトフレームの枠に対する前記指定画像のサイズを変更するユーザ操作を、前記入力インタフェースを通じて受け付ける第４受付処理と、
    前記第４受付処理でサイズが変更された前記指定画像のうち、フォトフレームの枠の内側の画像を示す画像データを、新たな前記指定データとして生成するトリミング処理とを前記情報処理端末にさらに実行させる請求項１１に記載のプログラム。
13. 前記指定データは、カメラによって撮影された写真を示すデータであり、且つ撮影時の気温を推定するためのメタデータが対応付けられており、
    該プログラムは、前記指定画像を構成する全ての画素について、前記メタデータで推定される気温に応じた色を強調する第２加工処理を、前記情報処理端末に実行させる請求項１から１２のいずれかに記載のプログラム。
14. ディスプレイと、
    入力インタフェースと、
    通信インタフェースと、
    コントローラとを備える情報処理端末であって、
    前記コントローラは、
    複数の画像データのうちの１つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第１受付処理と、
    プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第１表示処理とを実行し、前記プリントシートは、前記指定データで示される指定画像が記録されたシートであり、
    前記コントローラは、前記第１表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第２受付処理を実行し、前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標であり、
    前記コントローラは、
    前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第１加工処理と、
    前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを実行し、前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報である情報処理端末。