JP6992342B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置、画像ファイルのデータ構造及びプログラムに関する。

従来のＪＰＥＧ（Joint Photographic Experts Group）フォーマットでは、撮影日や作成者等のメタデータを属性情報として記載することが認められている。例えば特許文献１には、画像ファイルの属性情報の記述にＥｘｉｆ（Exchangeable image file）フォーマットを用いる例が記載されている。

特開２００４－１２００６９号公報

現在の属性情報は画像ファイルに関する情報の記述にとどまっている。

本発明は、画像ファイルに付属する属性情報の一部に被写体に関連付けられたワークフロー処理を実行させるための情報が記述されていない場合に比して、画像の利便性を向上させることを目的とする。

請求項１に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部とを有し、前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、前記制御部は、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、情報処理装置である。
請求項２に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、ことを特徴とするプログラムである。
請求項３に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、情報処理装置である。
請求項４に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、ことを特徴とするプログラムである。
請求項５に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置である。
請求項６に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、ことを特徴とするプログラムである。
請求項７に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置である。
請求項８に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、ことを特徴とするプログラムである。
請求項９に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、情報処理装置である。
請求項１０に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、ことを特徴とするプログラムである。

請求項１記載の発明によれば、動画像の再生時刻に応じた処理を実行できる。
請求項２記載の発明によれば、動画像の再生時刻に応じた処理を実行できる。
請求項３記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項４記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項５記載の発明によれば、画像上で指定した被写体の部位に応じて連携動作の内容を切り替えることができる。
請求項６記載の発明によれば、画像上で指定した被写体の部位に応じて連携動作の内容を切り替えることができる。
請求項７記載の発明によれば、画像上での被写体の表示の状態に応じて連携動作の内容を切り替えることができる。
請求項８記載の発明によれば、画像上での被写体の表示の状態に応じて連携動作の内容を切り替えることができる。
請求項９記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項１０記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。

本実施の形態で使用するＪＰＥＧファイルのデータ構造を示す図である。 本実施の形態で使用する画像処理システムの構成例を示す図である。 コンピュータの画面を拡大して示す図である。 コンピュータのハードウェア構成の一例を示す図である。 コンピュータの機能構成の一例を示す図である。 実施の形態１における制御部によって実行される処理動作の一例を示すフローチャートである。 各利用形態で前提とする実空間と、コンピュータの操作画面に表示される静止画像の関係を表す図である。（ａ）は実空間を示し、（ｂ）は静止画像を示す。 利用形態１に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像の表示状態を示す。 利用形態２に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像の表示状態を示す。 利用形態２に係るワークフロー処理の続きの例を説明する図である。（ａ）は通知画面が表示された状態を示し、（ｂ）は操作画面が表示された状態を示す。 利用形態２に係るワークフロー処理の他の一例を説明する図である。（ａ）は像の１つが選択された後の静止画像の表示状態を示し、（ｂ）は通知画面の他の表示例を示す。 利用形態３に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像の表示状態を示す。 利用形態３に係るワークフロー処理の他の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像の表示状態を示す。 利用形態４に係るワークフロー処理の一例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態４に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態５に係るワークフロー処理の一例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 利用形態６に係るワークフロー処理の例を説明する図である。（ａ）は実在する機器の状態を反映して表示が変化している静止画像において２つの像が順番に指定された場合を示し、（ｂ）は実空間の様子を示す。 利用形態６に係るワークフロー処理の他の例を説明する図である。（ａ）は実在する機器の状態を反映して表示が変化している静止画像において２つの像が順番に指定された場合を示し、（ｂ）は実空間の様子を示す。 利用形態７に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。 ワークフロー処理を規定する情報を記録する観点から表現した制御部の機能構成の一例を示すブロック図である。 ユーザによるオブジェクトの領域の指定の例を説明する図である。 ワークフロー処理を規定する情報の属性情報への書き込みを説明する図である。（ａ）はＪＰＥＧファイルの属性情報には情報が含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイルの属性情報には情報が追加された状態を示す。 撮影が昼間に行われた場合に情報に記述されるワークフロー処理の一例を説明する図である。（ａ）は静止画像を示し、（ｂ）はＪＰＥＧファイルに記述される情報の内容を説明する。 撮影が夜間に行われた場合に情報に記述されるワークフロー処理の一例を説明する図である。（ａ）は静止画像を示し、（ｂ）はＪＰＥＧファイルに記述される情報の内容を説明する。 動画像の場合に実行されるワークフロー処理の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。 動画像の場合に実行されるワークフロー処理の他の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。 動画像の場合に実行されるワークフロー処理の他の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
本実施の形態では、便宜的にＪＰＥＧフォーマットに準拠したＪＰＥＧファイルの例を説明するが、他の画像フォーマットに対応する他の画像ファイルに適用してもよい。

＜静止画像ファイルのデータ構造＞
図１は、本実施の形態で使用するＪＰＥＧファイル１０のデータ構造を示す図である。ＪＰＥＧファイル１０は、画像ファイルの一例であり、ＪＰＥＧフォーマットに準拠する。

ＪＰＥＧファイル１０は、イメージの開始位置を示すイメージ開始セグメント（Start Of Image segment: SOI）１１と、Ｅｘｉｆ情報などの記述に用いられるタイプ１のアプリケーションセグメント（Application type 1 segment: App1）１２と、被写体に関連するワークフロー処理を規定する情報の記述に用いられるタイプ１１のアプリケーションセグメント（Application type 11 segment: App11）１３と、イメージデータ（Image Data: ID）１４と、イメージの終了位置を示すイメージ終了セグメント（End Of Image segment: EOI）１５とを有している。

ここで、イメージデータ１４には静止画像の本体が保存される。イメージデータ１４は第１のデータ領域の一例である。
イメージ開始セグメント１１とイメージ終了セグメント１５で挟まれた領域はフレームとも呼ばれる。
なお、図１では表していないが、ＪＰＥＧファイルには、不図示の２つのセグメント、すなわち量子化テーブル定義セグメント（Define Quantization Table segment: DQT）、ハフマンテーブル定義セグメント（Define Huffman Table segment: DHT）も含まれている。これら以外のセグメントは、必要に応じて配置される。
タイプ１のアプリケーションセグメント１２とタイプ１１のアプリケーションセグメント１３は、ＪＰＥＧファイル１０の属性情報１６の一部分である。属性情報１６は第２のデータ領域の一例である。

アプリケーションセグメント１３には、ＪＰＥＧファイル１０が作成された静止画像に含まれる被写体に関連するワークフロー処理を規定する情報１３Ａ、１３Ｂが記述されている。例えば情報１３Ａは被写体１に関連するワークフロー処理１に対応する情報であり、情報１３Ｂは被写体２に関連するワークフロー処理２に対応する情報である。
タイプ１１のアプリケーションセグメント１３に格納される情報の個数はゼロでもよいし、１個でもよいし、３個以上でもよい。以下では、情報１３Ａ及び１３Ｂを区別しない場合には単に情報１３Ａという。

例えば２つの情報１３Ａ及び１３Ｂは、１つの被写体（以下「オブジェクト」という）に対応付けられていてもよい。すなわち、１つの被写体に対して複数の情報が対応付けられていてもよい。
例えば情報１３Ａは、第１の言語（例えば日本語、第１のＯＳ用）による処理に用いられ、情報１３Ｂは、第２の言語（例えば英語、第２のＯＳ用）による処理に用いられてもよい。いずれの言語でワークフロー処理を実行するかは、例えばユーザが選択画面を通じて指定すればよい。
個々のワークフロー処理には、例えば情報１３Ａ及び１３Ｂに対応するオブジェクトに関する情報の保存、表示、集計、送信、取得などが含まれる。オブジェクトに関する情報は、インターネット上に存在する情報の他、実物に保持される情報、実物を撮影した画像、実物について実空間で管理されている情報などが含まれる。

また、個々のワークフロー処理には、例えば情報１３Ａ及び１３Ｂが記録されている被写体に対応する実物の機器の動作を制御するための操作パネルの表示、情報１３Ａ及び１３Ｂで予め定められている実物の機器の動作の制御、被写体に対応する実物の機器等からの情報の取得、取得した実物の機器の状態の画像への反映等が含まれる。
また例えば２つの情報１３Ａ及び１３Ｂはいずれも、１つの機器の操作の種類別に設けられていてもよい。例えば情報１３Ａはテレビジョン受像機のチャンネルの操作用、情報１３Ｂはテレビジョン受像機の電源ボタンの操作用であってもよい。
例えば情報１３Ａ及び１３Ｂは、テキストデータの形式で記述される。本実施の形態では、情報１３Ａ及び１３Ｂの記述にデータ交換フォーマットの一例であるＪＳＯＮ（Java Script Object Notation）を使用する。ＪＳＯＮ（登録商標）は、ＪａｖａＳｃｒｉｐｔ（登録商標）におけるオブジェクトの表記法の一部を構文のベースに使用する言語である。勿論、ワークフロー処理の記述に用いる言語はＪＳＯＮに限らない。

＜画像処理システム及び情報処理装置の構成＞
図２は、本実施の形態で使用する画像処理システム１００の構成例を示す図である。
画像処理システム１００は、静止画像１１１（例えば電子写真）の表示に使用される携帯型のコンピュータ１１０と、コンピュータ１１０と連携して処理機能の一部又は全部を実行するサーバ装置１２０と、静止画像１１１の撮影場所に対応する実空間１５０に存在する機器とで構成されている。
コンピュータ１１０とサーバ装置１２０は情報処理装置の一例である。もっとも、サーバ装置１２０は必須ではない。
本実施の形態におけるコンピュータ１１０は、図２に示すようなノート型のコンピュータに限らず、タブレット型のコンピュータ、スマートフォン、携帯電話機、カメラ、携帯型のゲーム機などもよい。

実空間１５０は、コンピュータ１１０が実在する空間と同じ空間でもよいし、異なる空間でもよい。
図２に示す実空間１５０は、ある室内を表している。実空間１５０には、用紙等の記録材に画像を形成する機能や光学的に原稿の画像を読み取る機能などを有する画像形成装置１５１と、放送番組等を表示する表示装置１５２と、動画像や音（以下「動画像など」という）を記録媒体に記録し又は記録媒体から動画像などを再生する録画再生機１５３と、人１５４と、植木１５５と、空調機１５６と、監視カメラ１５７とが存在している。
なお、実空間１５０は室内に限定されるものでなく、室外であってもよい。

図３は、コンピュータ１１０の画面を拡大して示す図である。
図３に示す画面は、操作画面１１０Ａとタスクバー１１０Ｂとで構成されている。このうち操作画面１１０Ａには、実空間１５０（図２参照）を撮影した静止画像１１１が小画面（ウィンドウ）の形式で表示されている。操作位置の指定にはマウスポインタ１１２が用いられる。タスクバー１１０Ｂには、起動中の３つのアプリケーションのアイコン１１３と、現在時刻１１４とが表示されている。

本実施の形態の場合、静止画像１１１は、いわゆる電子写真を想定する。なお、動画像は、複数の静止画像の時間列として定義されるため、以下に説明する説明は動画像の場合にも適用される。
図３に示す静止画像１１１には、画像形成装置の像２０１、表示装置の像２０２、録画再生機の像２０３、人の像２０４、植木の像２０５、空調機の像２０６、監視カメラの像２０７が含まれている。

静止画像１１１は実空間１５０（図２参照）のある時刻の状態を表している。このため、人の像２０４の位置は、現在時刻における人１５４（図２参照）の位置と異なっている。一般には、静止画像１１１を撮影した時点と表示の時点とでは、人物も人数も異なっている。また、表示装置の像１２２に写っている画像も現在時刻における表示装置１５２（図２参照）に移っている画像とは異なる。
静止画像１１１のデータは、ＪＰＥＧファイル１０（図１参照）のイメージデータ１４（図１参照）の部分に保存されている。本実施の形態の場合、ＪＰＥＧファイル１０の属性情報１６（図１参照）の部分に、静止画像１１１に含まれる７つの像のうち少なくとも１つに対応付けて、各像に固有のワークフローを規定する情報１３Ａが記述されている。

図４は、コンピュータ１１０のハードウェア構成の一例を示す図である。なお、サーバ装置１２０の基本構成も同じである。
コンピュータ１１０は、装置全体を制御する制御部１３１と、ＪＰＥＧファイル１０等の記憶に用いられる記憶部１３２と、操作画面１１０Ａ（図３参照）の表示に使用される表示部１３３と、ユーザの入力操作を受け付ける操作受付部１３４と、外部装置（例えばサーバ装置１２０（図１参照））や実空間１５０（図１参照）との通信に用いられる通信部１３５とを含む。前述した各部はバス１３６を通じて相互に接続されている。

制御部１３１は、制御手段の一例であり、ＣＰＵ（Central Processing Unit）１３１Ａ、ＲＯＭ（Read Only Memory）１３１Ｂ、ＲＡＭ（Random Access Memory）１３１Ｃにより構成される。
ＲＯＭ１３１Ｂには、ＣＰＵ１３１Ａにより実行されるＢＩＯＳ（Basic Input/Output System）やオペレーションシステム（ＯＳ）が記憶されている。
ＲＡＭ１３１Ｃはアプリケーションプログラムの作業領域として用いられる。
制御部１３１は、アプリケーションプログラムの実行を通じ、前述した情報１３Ａ、１３Ｂが規定するワークフロー処理を実行する。ワークフロー処理の具体例については後述する。

記憶部１３２は、ハードディスク装置や半導体メモリなどの記憶装置により構成される。
表示部１３３は、プログラム（オペレーションシステムやファームウェアを含む）の実行を通じて各種の画像を表示するディスプレイ装置である。表示部１３３は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルで構成される。
操作受付部１３４は、ユーザからの操作を受け付けるデバイスであり、例えばキーボード、ボタン、スイッチ、タッチパッド、タッチパネル等で構成される。
通信部１３５は、例えばＬＡＮ（Local Area Network）インターフェースで構成される。

図５は、コンピュータ１１０の機能構成の一例を示す図である。
図５に示す機能構成は、制御部１３１によるアプリケーションプログラムの実行を通じて実現される。
制御部１３１は、操作受付部１３４を通じて入力のあったユーザの指示を認識する指示認識部１４１と、指定された像（オブジェクト）に対応する情報１３Ａ（図１参照）を読み出して実行する実行制御部１４２として機能する。
ここでの指示認識部１４１は認識部及び検出部の一例であり、実行制御部１４２は制御部の一例である。

ユーザの指示は、静止画像１１１（図３参照）に含まれる特定の像（オブジェクト）の選択として認識される。もっとも、後述するように、指定は複数の像を対象（オブジェクト）とする場合もあれば、像の一部分が対象（オブジェクト）となる場合もある。
像の全体をオブジェクトとする場合、ユーザの指示位置は、静止画像１１１について定められた座標系（例えば静止画像１１１の左上隅を原点とする座標系）に対する座標（ピクセル値，ピクセル値）として与えられる。指示位置は、静止画像１１１に重ねて表示されるマウスポインタ１１２（図３参照）の位置として認識してもよく、操作画面１１０Ａに対して手前（ユーザ側）に配置されたタッチパネルセンサをユーザがタッチした位置として認識してもよい。

実行制御部１４２は、表示されている静止画像１１１に対応するＪＰＥＧファイル１０（図１参照）に付属する属性情報１６（図１参照）と実空間から取得される情報（以下「実空間情報」という）とに基づいてワークフロー処理を実行する。
図６は、実施の形態１における制御部１３１（図４参照）によって実行される処理動作の一例を示すフローチャートである。
まず、制御部１３１は、表示部１３３（図４参照）に表示されている静止画像１１１（図３参照）に対応するＪＰＥＧファイル１０（図１参照）から属性情報１６（図１参照）を読み込む（ステップ１）。

次に、制御部１３１は、静止画像１１１上にあるマウスポインタ１１２（図３参照）の位置を認識する（ステップ２）。
続いて、制御部１３１は、マウスポインタ１１２で指定された位置にＪＳＯＮ形式の記述（すなわち情報１３Ａ）が存在するか否かを判定する（ステップ３）。
マウスポインタ１１２で指定された位置は、不図示のマウスにおいて位置を特定する操作（例えば左クリック）が行われた時点にマウスポインタ１１２が位置している座標である。
制御部１３１は、マウスポインタ１１２の位置が属性情報１６に記憶されている情報１３Ａの領域（オブジェクト）に含まれているか否かを判定する。具体的には、制御部１３１は、マウスポインタ１１２の位置が、情報１３Ａが対応する個々の像の領域（オブジェクト）又は像の一部の領域（オブジェクト）に含まれるか否かを判定する。本実施の形態の場合、オブジェクトに対して情報１３Ａが登録されている。

指示認識部１４１（図５参照）で認識されたマウスポインタ１１２の位置が、情報１３Ａが対応付けられている領域（オブジェクト）に含まれない場合、制御部１３１は、新たな位置が指定されるまで待機する。なお、操作画面１１０Ａ（図３参照）に表示される静止画像１１１（図３参照）が切り替わる場合、制御部１３１は、図６に示す処理を終了する。
一方、指示認識部１４１で認識されたマウスポインタ１１２の位置が、情報１３Ａが対応付けられている領域（オブジェクト）に含まれる場合、制御部１３１は、ＪＳＯＮ形式の記述を解読し、マウスポインタ１１２の位置に関連のある実空間１５０（図２参照）の情報（実空間情報）を取得する（ステップ４）。

実空間情報は、静止画像１１１が撮像された実空間内の場所や静止画像１１１の各像に対応する実物に関連する情報である。
実空間情報の取得には、例えば属性情報１６（図１参照）に含まれる撮影時のＧＰＳ（Global Positioning System）情報が用いられる。また、実空間情報の取得には、例えば被写体である各製品に固有の製造番号、通信ネットワーク上で各機器を特定するアドレス等が用いられる。
通信ネットワークに制限はなく、例えばいわゆるインターネット、携帯電話網、ＩｏＴ（Intranet of Things）ネットワーク、電力線通信網を用いてもよい。なお、通信ネットワークは無線路でも有線路でも構わない。また、コンピュータ１１０（図２参照）と各機器との通信は直接通信である必要はなく、ゲートウェイやルータを介した接続でもよい。また、マルチホップで接続されてもよい。

また、コンピュータ１１０が静止画像１１１（図２参照）に対応する実空間１５０（図２参照）内に存在する場合には、無線による直接通信も可能である。直接通信には、例えばブルートゥース（登録商標）、Ｚｉｇｂｅｅ（登録商標）、赤外線通信などを使用可能である。
また、本実施の形態の場合、実空間情報を取得できればよいので、必ずしも個々の機器を指定して通信する必要はなく、撮影場所である部屋や地点に存在する機器との通信を可能とするアドレスを情報１３Ａ（図１参照）として記録し、当該アドレスを使用して通信できた機器との間で必要とする又は取得可能な実空間情報を収集してもよい。

本実施の形態では、通信に必要な位置情報は、情報１３Ａや属性情報１６の一部として記録されているものとする。もっとも、位置情報は、撮影時に限らず、撮影後に登録されてもよい。位置情報の登録は、手入力でもよいし、アプリケーションプログラムの実行を通じて実現してもよい。
また、情報１３Ａに位置情報が含まれていなくても、指定された像に対応する又は関連する機器を特定する情報と利用可能な位置データベース等を使用して特定の機器との通信に必要なアドレスを解決してもよい。

なお、静止画像１１１において指定される像（オブジェクト）は通信可能な機器に限らない。例えば人の像２０４（図３参照）や植木の像２０５（図３参照）が指定される場合もある。
このような場合には、属性情報１６に含まれる撮影時のＧＰＳ情報、これらの像に対応する情報１３Ａとして対応付けられている通信可能な機器に関する位置情報等を使用してもよい。例えば植木の像２０５に対して監視カメラの像２０７（図３参照）を指定しておくことも可能である。

取得される実空間情報には、例えば環境に関する情報が含まれる。環境に関する情報（環境情報）には、静止画像１１１を撮像した場所の気温、温度、湿度、照度、季節、天候（予報を含む）等が含まれる。
温度、湿度、照度などは、静止画像１１１を撮像した場所に設置されているセンサから取得される値だけでなく、静止画像１１１を撮像した場所の周囲（例えば撮影場所である部屋の外部）に設置されているセンサから取得される値でもよい。また、天候についても、静止画像１１１を撮影した場所を含む地域について気象庁や民間の気象事業者等から公表されている情報を取得してもよい。
この他、取得される実空間情報には、個々の機器で発生される又は収集される情報、監視カメラの像２０７（図３参照）によって撮像される画像なども含まれる。
本実施の形態における実空間情報は、ユーザが静止画像１１１に対して操作を行った時点（特定の被写体の指定が認識された時点）における情報とする。すなわち、操作時点と同期して利用可能な最新の情報を想定するが、過去の時点を指定することも可能である。

ステップ４で実空間情報が取得されると、制御部１３１は、ＪＳＯＮ形式の記述を解読し、取得された情報に基づいてワークフロー処理を実行する（ステップ５）。実行されるワークフロー処理の具体例については後述する。
なお、本実施の形態では、実空間情報の取得（ステップ４）とワークフロー処理の実行（ステップ５）とを別々に実行しているが、実空間情報の取得はワークフロー処理の動作の一部として実行しても良い。

＜利用形態＞
以下、属性情報１６に記述された情報１３Ａ（タイプ１１のアプリケーションセグメント）で規定されるワークフロー処理の実行を通じて実現可能な利用形態について説明する。
なお、各利用形態で用いるワークフロー処理や実空間情報は例示にすぎない。
図７は、各利用形態で前提とする実空間１５０と、コンピュータ１１０（図２参照）の操作画面１１０Ａ（図３参照）に表示される静止画像１１１の関係を表す図である。（ａ）は実空間１５０を示し、（ｂ）は静止画像１１１を示す。

図７の場合、実空間１５０に実在する表示装置１５２の画面には１６チャンネルで放送されている番組が表示されている。また、実空間１５０には２人（人１５４と人１５８）の人物が存在している。
一方、実空間１５０の過去の一時点の状態である静止画像１１１では、被写体である表示装置１５２の画面に１８チャンネルの画面が表示されている。また、静止画像１１１には１人（人の像２０４）だけが写っている。

＜利用形態１＞
ここでは、コンピュータ１１０（図２参照）が、静止画像１１１上で指定された像に対応する実物の機器と通信し、実物の機器から取得された情報に基づいて静止画像１１１の該当する機器の表示に変化を与える場合について説明する。
図８は、利用形態１に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像１１１の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像１１１の表示状態を示す。

図８の場合、マウスポインタ１１２が表示装置の像２０２の上に位置決めされている。
この状態で、不図示のマウスが左クリックされてマウスポインタ１１２の位置が特定されると、コンピュータ１１０（図２参照）は、特定されたマウスポインタ１１２の位置に対応する情報１３Ａで規定されているワークフロー処理を起動する。
次に、コンピュータ１１０は、静止画像１１１上で特定された表示装置の像２０２（属性情報１６ではオブジェクトとして管理されている）に対応付けられている実在の表示装置１５２（図２参照）を宛先として、現時点における動作状況の通知を要求する。
この問い合わせは、例えばＩｏＴネットワーク上の通信として実現される。この例の場合、現在、表示装置１５２の電源がオンであること、１６チャンネルの番組が表示されていること等が表示装置１５２からコンピュータ１１０に通知される。

表示装置１５２の動作状況の通知を受信すると、コンピュータ１１０は、例えば静止画像１１１の表示装置の像２０２の内容を、１８チャンネルから１６チャンネルに変化させる。図８の例では、表示画面の内容とチャンネル番号の表記が変化している。
変化後に表示される表示画面は、チャンネル別に予め用意されている固定の画像でも、放送中の番組からキャプチャ―された画像でもよい。
これらの画像は、コンピュータ１１０の記憶部１３２（図４参照）から読み出してもよいし、表示装置１５２（図２参照）から取得してもよいし、ワークフロー処理に関連するサービスを提供するサーバ装置１２０（図２参照）から取得してもよい。

なお、番組の表示に用いるチューナーがコンピュータ１１０に内蔵されている場合には、実在する表示装置１５２から受信した動作状況に基づいて内蔵するチューナーを制御し、操作時点に表示されている番組の画像を生成することも可能である。
もっとも、表示装置１５２に表示されている画像が録画再生機１５３（図２参照）から再生されている画像の場合には、表示装置１５２でキャプチャされた画像を使用してもよい。
もっとも、表示装置１５２の画面上に、実在する表示装置１５２の現時点の表示が１６チャンネルであることをテキストによって表示してもよい。

この利用形態の機能を用いれば、ユーザは、電子写真などの静止画像１１１を通じて、各像に対応する実物の状態を静止画像１１１に表示されている像の変化として確認することができる。
なお、静止画像１１１に写っている空間がプライベートな空間である場合には、例えばスマートフォンなどを通じてホームネットワーク（家庭内ＬＡＮ）にアクセスし、家庭内に存在するＩｏＴデバイスと通信することで必要とする情報を収集し、静止画像１１１に写っている他の像についても現在の状態に応じて表示を変更してもよい。

＜利用形態２＞
ここでは、コンピュータ１１０（図２参照）が、静止画像１１１上で指定された像に対応する実物の機器と通信し、実物の機器から取得された情報に基づいてユーザに特定の行動を促す通知画面を表示する場合について説明する。
図９は、利用形態２に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像１１１の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像１１１の表示状態を示す。

図９の場合、マウスポインタ１１２が空調機の像２０６の上に位置決めされている。
この状態で、不図示のマウスが左クリックされてマウスポインタ１１２の位置が特定されると、コンピュータ１１０（図２参照）は、特定されたマウスポインタ１１２の位置に対応する情報１３Ａで規定されているワークフロー処理を起動する。
次に、コンピュータ１１０は、静止画像１１１上で特定された空調機の像２０６（オブジェクト）に対応付けられている実在の空調機１５６（図２参照）を宛先として、現時点における動作状況の通知を要求する。この問い合わせは、例えばＩＯＴネットワーク上の通信として実現される。この例の場合、現在、空調機１５６の電源がオフであること、室温が２８℃であること等がコンピュータ１１０に通知される。なお、温度センサは空調機に内蔵されている。

空調機１５６の動作状況の通知を受信すると、コンピュータ１１０は、予め設定されている目標温度と取得された室温とを比較し、室温が目標温度になるように制御を実行する。図９の場合には、実在する空調機１５６がオフ動作中であるので、現在の室温が２８℃であること、目標温度に室温を下げるために空調機をつける（オン）すべきことを示す通知画面２１０が表示されている。
なお、実在する空調機１５６がオン動作している場合には、通知画面２１０を静止画像１１１に重ねて表示することなく、目標温度に室温が下がるように設定温度を下げる制御信号をコンピュータ１１０から空調機１５６に送信してもよい。
ここでの目標温度は情報１３Ａの一部として記憶されていてもよいし、コンピュータ１１０側のプログラム（情報１３Ａで規定されたワークフロー処理と連携して動作するアプリケーションプログラム）で規定されていてもよい。なお、アプリケーションプログラムはコンピュータ１１０で実行されている。

図１０は、利用形態２に係るワークフロー処理の続きの例を説明する図である。（ａ）は通知画面２１０が表示された状態を示し、（ｂ）は操作画面２１１が表示された状態を示す。
図１０では、オンボタンとオフボタンのうちオンボタンがマウスポインタ１１２で選択された状態を表している。なお、設定温度や目標温度の入力用の画面が表示されてもよい。
図１０の場合には、静止画像１１１上での空調機の像２０６の指定に伴って実行されるワークフロー処理の過程で操作画面２１１が表示されるので、操作時点の室温を確認しながら実在する空調機１５６を遠隔地からでも操作できる。
ここでの操作画面２１１は、機器が有する機能を操作するための画面の一例である。

なお、図１０の例では、室温が高い場合を想定しているが、室温が低い場合にも使用できる。
また、図９及び図１０では、静止画像１１１に写っている被写体のうち空調機の像２０６がユーザによって指定された場合において、実在する空調機１５６から取得した室温の情報に基づいて通知画面２１０や操作画面２１１を表示しているが、取得した室温の情報に基づいて空調に関連する他の機器（例えば扇風機）に対しても制御信号を送信してもよい。

引き続き、他の使い方を説明する。
図１１は、利用形態２に係るワークフロー処理の他の一例を説明する図である。（ａ）は像の１つが選択された後の静止画像１１１の表示状態を示し、（ｂ）は通知画面の他の表示例を示す。
図１１の例では、画像形成装置の像２０１の表示が、実在する画像形成装置１５１の状態に応じて変化した後の様子が表されている。具体的には、画像形成装置の像２０１の前扉が開いており、内部を確認できる状態にあることを示している。

この場合に、操作画面１１０Ａには、例えば扉が開いていること、現場に行って閉じるべきことを通知する文面の通知画面２１２や黒トナーが不足していること、黒トナーを交換するべきことを通知する文面の通知画面２１２が表示される。
なお、遠隔操作によって扉を閉じることが可能な機構が画像形成装置１５１に設けられている場合にはコンピュータ１１０の制御によって扉を閉じる信号が出力されてもよいし、予め登録されている事業者に対して黒トナーを発注する信号が送信されてもよい。

＜利用形態３＞
前述した利用形態１及び２の場合には、静止画像１１１で指定された像（オブジェクト）が通信機能を有する機器の像であった。しかし、現実には、被写体のいずれもが通信機能を有しているとは限らない。
そこで、この利用形態３では、静止画像１１１上で指定された像（オブジェクト）に対応する実物に通信機能が備わっていない場合について説明する。

図１２は、利用形態３に係るワークフロー処理の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像１１１の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像１１１の表示状態を示す。

図１２の場合、マウスポインタ１１２が植木の像２０５の上に位置決めされている。
この状態で、不図示のマウスが左クリックされてマウスポインタ１１２の位置が特定されると、コンピュータ１１０（図２参照）は、特定されたマウスポインタ１１２の位置に対応する情報１３Ａで規定されているワークフロー処理を起動する。
この例の場合、指定されたのは植木の像２０５であるので通信機能を有していないので、実施の形態１及び２のように、マウスポインタ１１２で指定された対象物との通信は不可能である。
このような場合は、像とは別の物体を通信対象として登録しておくことで、実空間情報を取得できるようにしておく。

図１２の場合には、植木の像２０５に対応する情報１３Ａにおいて監視カメラ１５７（図２参照）が通信先として記録されている。このため、コンピュータ１１０は、監視カメラ１５７との通信を通じて、現時点における植木１５５（図２参照）の画像を取得する。
コンピュータ１１０は、取得された画像を処理し、実在する植木１５５の現在の状況に応じて静止画像１１１上での植木の像２０５の表示を変化させる。

図１２の例では、静止画像１１１を撮像したときよりも成長した様子が示されている。例えば静止画像１１１上での植木の像２０５を画像処理で拡大した画像が表示される。
なお、成長したことが分かればよいので必ずしも実像である必要はない。例えばテキスト文で現状が表示されてもよい。また、画像処理で認識された成長段階と類似する段階のサンプル画像をデータベース等から読み出して置き換えてもよい。
また、画像処理で認識された成長段階に応じた手入れの内容や手入れの時期、手入れの際の注意点、収穫時期等に関する情報を表示してもよい。

また、監視カメラ１５７（図２参照）で撮像された画像の中から植木１５５（図２参照）の土の画像を抽出し、土の乾き具合を解析してもよい。
図１３は、利用形態３に係るワークフロー処理の他の一例を説明する図である。（ａ）は像の１つが選択されるまでの静止画像１１１の表示状態を示し、（ｂ）は像の１つが選択された後の静止画像１１１の表示状態を示す。
図１３においては、土が乾いていること、水をやるべきであることを示す通知画面２１３が表示されている。
なお、この利用形態では、植木の像２０５に対して監視カメラ１５７が通信先として登録されているが、植木１５５の土に差し込まれている湿度センサが通信先として登録されていてもよい。この場合は、湿度センサで計測された湿度の値がコンピュータ１１０に通知されることになる。湿度センサを通信先とすることで、監視カメラ１５７を用いて土の乾燥具合を判定する場合よりも高い精度で土壌の乾燥具合を知ることができる。

＜利用形態４＞
ここでは、静止画像１１１上で複数の被写体の像が指定された場合のワークフロー処理について説明する。
図１４は、利用形態４に係るワークフロー処理の一例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。
図１４では、表示装置の像２０２と録画再生機の像２０３が順番にクリックされた場合を想定している。この場合、コンピュータ１１０（図２参照）は、１番目に表示装置の像２０２がクリックされ、２番目に録画再生機の像２０３がクリックされた場合に対応する情報１３Ａを属性情報１６から読み出し、実空間情報を考慮して実在する表示装置１５２と録画再生機１５３に対する制御動作を決定する。

具体的には、実空間で表示装置１５２に表示されている放送番組の録画再生機１５３への録画の指示が、コンピュータ１１０（図２参照）から録画再生機１５３に出力される。例えばコンピュータ１１０は、表示装置１５２との通信を通じて表示中の画像のソース（チューナ）とチャンネル（１８チャンネル）の番組情報を取得し、その放送中の番組の録画を録画再生機１５３に指示する。

図１５は、利用形態４に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。
図１５の場合も、表示装置の像２０２と録画再生機の像２０３がクリックされている。ただし、クリックの順番が逆である。すなわち、録画再生機の像２０３のクリックの後に表示装置の像２０２がクリックされた場合を想定している。
この場合、コンピュータ１１０（図２参照）は、１番目に録画再生機の像２０３がクリックされ、２番目に表示装置の像２０２がクリックされた場合に対応する情報１３Ａを属性情報１６から読み出し、実空間情報を考慮して実在する表示装置１５２と録画再生機１５３に対する制御動作を決定する。

具体的には、録画再生機１５３による画像の再生と表示装置１５２における表示の指示が、コンピュータ１１０（図２参照）から表示装置１５２と録画再生機１５３に出力される。例えばコンピュータ１１０は、表示装置１５２との通信を通じて表示する画像の切り替えを指示すると共に、録画再生機１５３に対しては再生する画像を指示する。この際、静止画像１１１には、録画再生機１５３による再生対象の画像を選択するための操作画面が表示される。

なお、情報１３Ａで規定されるワークフロー処理は、クリックされた機器の順番に対応付けられている必要はなく、クリックされた像の組み合わせに対応付けられていてもよい。
この利用形態のように、静止画像１１１上で複数の機器に対応する像を指定した場合には、実在する複数の機器から取得した実空間情報に基づく連携動作を制御できる。

＜利用形態５＞
利用形態４では、複数の被写体の像が指定された場合のワークフロー処理について説明しているが、このワークフロー処理は、被写体のどの部位がクリックされたかに応じて内容が異なってもよい。
図１６は、利用形態５に係るワークフロー処理の一例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。

図１６の場合には、画像形成装置の像２０１とコンピュータの像２０９が順番にクリックされている。すなわち、画像形成装置の像２０１のクリックの後にコンピュータの像２０９がクリックされている。
ただし、図１６におけるマウスポインタ１１２は、画像形成装置の像２０１のうち画像読取部（いわゆるスキャナの部分）に位置している。この場合、コンピュータ１１０（図２参照）は、画像読取部で読み取った画像（スキャン画像）のコンピュータ１５９への保存を画像形成装置１５１とコンピュータ１５９に指示する。

図１７は、利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。
図１７の場合には、画像形成装置の像２０１とコンピュータの像２０９が順番にクリックされている点では同じであるが、マウスポインタ１１２が画像形成装置の像２０１のうち本体部分に位置している点で図１６の例とは相違する。
この場合、コンピュータ１１０（図２参照）は、画像形成装置１５１に蓄積されている操作ログのコンピュータ１５９への出力を画像形成装置１５１とコンピュータ１５９に指示する。
このように、クリックされる像（オブジェクト）だけでなく、どの部位がクリックされたかにも意味を持たせることで、より多様なワークフロー処理を実現することができる。

図１８は、利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。
図１８の場合では、画像形成装置の像２０１とコンピュータの像２０９とでクリックの順番が図１６と入れ替わった場合である。すなわち、１番目にコンピュータの像２０９がクリックされ、２番目に画像形成装置の像２０１のうち操作盤の位置がクリックされた場合を表している。

この例の場合、実在するコンピュータ１５９に蓄積されている画像を画像形成装置１５１の操作部に記憶されている宛先にファクシミリ送信（ＦＡＸ送信）が指示される。
この際、静止画像１１１を表示しているコンピュータ１１０の画面には、実空間情報としてＦＡＸ送信の対象とする画像を選択する画面や画像形成装置１５１に蓄積されている宛先を選択する画面が表示される。

図１９は、利用形態５に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。
図１９の場合も、１番目にコンピュータの像２０９がクリックされ、２番目に画像形成装置の像２０１がクリックされている点では図１８の例と同じであるが、画像形成装置の像２０１のうち本体の部分がクリックされた場合を表している。

この場合、コンピュータ１１０（図２参照）は、コンピュータ１５９に蓄積されている画像の画像形成装置１５１での印刷を画像形成装置１５１とコンピュータ１５９に指示する。この際、静止画像１１１には、印刷対象とする画像を選択するためにコンピュータ１５９から取得した画像の一覧が表示される。
このように、１つの像に対して複数のオブジェクトが登録されている場合には、クリックされる像（オブジェクト）だけでなく、どの部位がクリックされたかに応じた動作の指定が静止画像１１１に対する操作によって実現される。

＜利用形態６＞
前述した利用形態３及び４の場合には、静止画像１１１で複数の像（オブジェクト）が指定された場合における実在する機器間の連携動作について説明しているが、静止画像１１１における表示の状態を反映して連携動作の内容が切り替わる場合も考えられる。
図２０は、利用形態６に係るワークフロー処理の例を説明する図である。（ａ）は実在する機器の状態を反映して表示が変化している静止画像１１１において２つの像が順番に指定された場合を示し、（ｂ）は実空間の様子を示す。

図２０の例では、静止画像１１１における画像形成装置の像２０１の表示が前扉の開いた画像に変化した状態を表している。この表示は、図１１と同じである。
ここでは、画像形成装置の像２０１のうち前扉が開くことで外部からの確認が可能になったトナーの部分がクリックされた後、コンピュータの像２０９がクリックされた場合を表している。

この場合、コンピュータ１１０は、前扉が開いているという情報と、マウスポインタ１１２が位置している部位との関係からトナー容器がクリックされていると判定する。この場合、コンピュータ１１０は、クリックされた機器の表示の状態（換言すると、実在する画像形成装置１５１から取得した前扉が開いているという情報）との組み合わせに対応する情報１３Ａを実行し、トナー残量のコンピュータ１５９への出力を指示する。
なお、前扉が開いた状態の部位がオブジェクトとして登録されている場合には、このオブジェクトに対応する情報１３Ａを読み出して同様の処理を実行してもよい。

図２１は、利用形態６に係るワークフロー処理の他の例を説明する図である。（ａ）は実在する機器の状態を反映して表示が変化している静止画像１１１において２つの像が順番に指定された場合を示し、（ｂ）は実空間の様子を示す。

図２１の例では、静止画像１１１における画像形成装置の像２０１の表示が前扉の開いた画像に変化した状態を表している。
図２０との違いは、静止画像１１１上で、１番目に前扉の位置がクリックされ、２番目に実在するロボットの像２１０がクリックされている点である。
この場合、コンピュータ１１０は、実空間１５０におけるロボット１６０に対し、画像形成装置１５１の位置への移動と、前扉の閉操作とを指示する。ここでのロボット１６０は、自走式の移動機構（例えばタイヤ、キャタピラ、自立歩行のための機構等）と、目標物を認識するためのカメラと、可動式の腕などを備えている。
図２１では、実空間１５０において、画像形成装置１５１の前扉がロボット１６０によって閉じられた後の様子を表している。

＜利用形態７＞
前述の利用形態では、静止画像１１１上で指定される複数の像がいずれも機器と機器の組み合わせであったが、指定の組み合わせは、機器と非機器（例えば人、ペット、植物）や非機器と非機器の場合も考えられる。
図２２は、利用形態７に係るワークフロー処理の他の例を説明する図である。（ａ）は静止画像１１１上で２つの像が順番に選択される様子を示し、（ｂ）は実空間における動作状況を示す。

図２２の例では、１番目に空調機の像２０６がクリックされ、２番目に人の像２０４がクリックされた場合を表していている。この組み合わせに対応する情報１３Ａが属性情報１６に含まれていると、コンピュータ１１０は、像２０４に対応するＡさんに適した温度を実在する空調機１５６に指示する。

なお、想定される全ての組み合わせに応じた詳細なワークフロー処理を属性情報１６に予め記録しておくことは難しいので、個々の像に対応付けられた情報１３Ａによって規定されているワークフロー処理を通じてコンピュータ１１０で動作する特定のアプリケーションプログラムを読み出し、指定の組み合わせに応じた動作をコンピュータ１１０側のアプリケーションプログラムと連携して実現してもよい。

＜実施の形態２＞
前述の実施の形態１の説明では、ＪＰＥＧファイル１０（図１参照）の属性情報１６（図１参照）に静止画像１１１（図１参照）に含まれる各像に関連するワークフロー処理を記述した情報１３Ａが登録されているものとして、情報１３Ａを読み出したコンピュータ１１０（図１参照）を通じて実現される利用形態について説明した。
ここでは、実施の形態２として、ＪＰＥＧファイル１０の属性情報１６に情報１３Ａを記録するための処理機能について説明する。

図２３は、ワークフロー処理を規定する情報１３Ａを記録する観点から表現した制御部１３１の機能構成の一例を示すブロック図である。
本実施の形態における制御部１３１は、ユーザが指定するオブジェクトの領域を検出する位置検出部１４３と、ＪＰＥＧファイル１０のイメージデータ１４（図１参照）から画像処理技術を使用してオブジェクトとして登録する像の領域を検出するオブジェクト検出部１４４と、検出された各領域に対応付けるワークフロー処理の記述を対応付けて属性情報１６を生成する属性情報生成部１４５として機能する。

図２４は、ユーザによるオブジェクトの領域の指定の例を説明する図である。図２４では、マウスポインタ１１２のドラッグにより、静止画像１１１の像の１つである表示装置の像２０２の表示領域を破線で囲むように領域１１５が設定されている。
位置検出部１４３は、この領域１１５を規定する座標情報として、例えばドラッグの開始点である左上隅の座標値、ドラッグが終了した時点までに垂直方向に移動した画素数と水平方向に移動した画素数を出力する。

オブジェクト検出部１４４は、情報１３Ａを記録する像の画像（登録画像）が予め登録されている場合に用いられる。オブジェクト検出部１４４は、ＪＰＥＧファイル１０に含まれるイメージデータ１４と登録画像とのマッチング処理を実行し、登録画像にマッチした像（オブジェクト）が存在する領域を特定する座標情報を位置情報として出力する。

属性情報生成部１４５は、別画面を通じて入力された又は予め用意されたワークフロー処理の記述を各位置情報に関連付ける処理を実行する。この実施の形態でも、ワークフロー処理は、ＪＳＯＮ形式で記述される。
なお、像に対応する実空間の物体が機器である場合には、静止画像１１１を撮像する時点にＩｏＴネットワークを通じて各機器を特定する製造番号やＩｏＴネットワーク上のアドレスの情報を収集しておき、静止画像１１１と対応付けるようにすれば、個々の機器の製造番号等を手入力する手間を省くことができる。
なお、実施の形態１で説明したように、各像に対応付ける実空間の物体は、各像に対応する実物である必要はない。

図２５は、ワークフロー処理を規定する情報１３Ａの属性情報１６への書き込みを説明する図である。（ａ）はＪＰＥＧファイル１０の属性情報１６には情報１３Ａが含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイル１０の属性情報１６には情報１３Ａが追加された状態を示す。
このように、既存のＪＰＥＧファイル１０にワークフロー処理を規定する情報１３Ａを後から追記してもよい。

ところで、情報１３Ａに記述されるワークフロー処理の内容は、ユーザがその都度入力する手法を採用してもよいが、属性情報生成部１４５（図２３参照）が指定された像に応じた内容を与える手法やユーザに提示する手法を採用してもよい。
例えば静止画像１１１（図２４参照）で指定されたのが画像形成装置の像２０１の場合（換言すると機器の像が指定された場合）、属性情報生成部１４５は、画像形成装置の像２０１の制御を規定する内容をデータベース（不図示）から読み出して適用してもよい。
例えば静止画像１１１（図２４参照）で指定されたのが植木の像２０５の場合（換言すると操作できない物体の像が指定された場合）、属性情報生成部１４５は、植木の像２０５に関する情報の表示を規定する内容をデータベース（不図示）から読み出して適用してもよい。
また例えば、属性情報生成部１４５は、静止画像１１１が撮影された日時に応じた情報をデータベース（不図示）から読み出して適用してもよい。撮影の日時は、例えば属性情報１６にＥｘｉｆ情報として記述されている。

図２６は、撮影が昼間に行われた場合に情報１３Ａに記述されるワークフロー処理の一例を説明する図である。（ａ）は静止画像１１１を示し、（ｂ）はＪＰＥＧファイル１０に記述される情報１３Ａの内容を説明する。
図２６の例では、静止画像１１１にレストランの像２１５と街灯の像２１６が含まれており、マウスポインタ１１２によってレストランの像２１５の領域１１５が指定されている。ここでの属性情報生成部１４５（図２３参照）は、「ランチメニューを取得して表示する」との内容のワークフロー処理をデータベース（不図示）から読み出して属性情報１６に記述している。

図２７は、撮影が夜間に行われた場合に情報１３Ａに記述されるワークフロー処理の一例を説明する図である。（ａ）は静止画像１１１を示し、（ｂ）はＪＰＥＧファイル１０に記述される情報１３Ａの内容を説明する。
図２７の場合も、静止画像１１１にレストランの像２１５と街灯の像２１６が含まれており、マウスポインタ１１２によってレストランの像２１５の領域１１５が指定されている。ここでの属性情報生成部１４５（図２３参照）は、「ディナーメニューを取得して表示する」との内容のワークフロー処理をデータベース（不図示）から読み出して属性情報１６に記述している。
なお、属性情報生成部１４５は、撮影の日付より、撮影された季節（例えば春、夏、秋
、冬）に応じて属性情報１６に記述するワークフロー処理の内容を決定してもよい。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述した実施の形態に記載の範囲には限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、画像のファイルフォーマットの例として静止画像のＪＰＥＧファイル１０を例示したが、適用可能なファイルフォーマットは静止画像やＪＰＥＧファイルに限らず、動画像やＪＰＥＧ以外のファイルフォーマットにも適用できる。

図２８は、動画像の場合に実行されるワークフロー処理の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。
図２８に示す例は、コンピュータ１１０の操作画面１１０Ａに動画像１１６が表示されている場合を表している。動画像１１６には、各フレームの時間軸上の位置を表す情報（時、分、秒、フレームなど）が記録されている。
図２８の例では、再生開始から１分後と３分後に、マウスポインタ１１２によって画像形成装置の像２０１がクリックされた場合を表している。なお、操作画面１１０Ａに表示されているのは動画像１１６であるので、図示されていない期間の表示は任意である。

動画像１１６の場合、静止画像に対応する各フレームの像には各時点に応じた情報１３Ａが記録されている。情報１３Ａで記述されているワークフロー処理は各時点で同じでもよいし、異なっていてもよい。図２８の場合、再生開始から１分後のフレームにおける画像形成装置の像２０１には印刷を指示するワークフロー処理が記述されており、３分後のフレームのフレームにおける画像形成装置の像２０１にはフックス送信を指示するワークフロー処理が記述されている。このため、各像の指定に応じて対応する指示がコンピュータ１１０から送信されている。
なお、この例では、マウスポインタ１１２による像の指定と同時に情報１３Ａに記述されているワークフロー処理が実行される場合を想定しており、ワークフロー処理の過程で操作を指示する画面が表示される場合には実行ボタンなどが操作された後に画像形成装置１５１に対する指示が送信される。

図２９は、動画像の場合に実行されるワークフロー処理の他の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。
図２８の例では、再生開始から１分後と３分後に表示されている像が同じであったが、図２９の例では像が異なる場合を示している。因みに、図２９の例では、再生開始から１分後は画像形成装置の像２０１が表示され、３分後にはロボットの像２１０が表示されている。図２９の例では、再生開始から１分後に画像形成装置１５１に対して印刷が指示されているのに対し、再生開始から３分後にロボット１６０に対して移動が指示されている。
以上のように、動画像の場合には、各時点（フレーム）における属性情報１６（図１参照）に含まれる情報１３Ａ（図１参照）で規定されているワークフロー処理が実行されることになる。

図３０は、動画像の場合に実行されるワークフロー処理の他の例を説明する図である。（ａ）は動画像の再生中における像の指定を示し、（ｂ）は実空間で実行される動作を示す。
図３０に示す例では、コンピュータ１１０から各像に対応する物体（例えば画像形成装置１５１、ロボット１６０）への指示が送信されるまでの待ち時間が、再生開始から各像が指定された又はワークフロー処理の実行が指示された時点までに経過した時間に応じて定まる場合を表している。
例えば図３０の場合、再生開始から１分後に画像形成装置の像２０１が指定されたことによる印刷の指示は更に１分後の２分の時点である。また、再生開始から３分後にロボットの像２１０が指定されたことによる移動の指示は更に３分後の６分の時点である。

なお、実行が待機される時間は、再生開始から像が指定されるまでの時間と同じである必要はない。例えば再生開始からの経過時間の半分としてもよい。
また、前述した手法では、再生開始からの時間の経過が長いほど対応する物体への指示が送信されるまでの待機時間が長くなるが、像が指定された時点での再生時刻に応じて待機時間が定まるようにしてもよい。
いずれにしても、対応する物体への指示が送信されるまでの待機時間を、像が指定された場合の動画像の再生時刻に応じて可変することで、動画像を用いた実空間１５０の多様な制御を実現できる。

前述の実施の形態では、ＪＳＯＮ形式を使用してワークフロー処理を属性情報１６の一部に記録しているが、音データの形式やＪＳＯＮ以外のテキスト形式で属性情報１６の一部に記録してもよいし、ＪＰＥＧファイル１０に関連付けられた別ファイルに記録してもよい。例えば属性情報１６に割り当てられているデータ領域に制限がある場合には、別ファイルとして記録することが望ましい。

ここで、ワークフロー処理を音データの形式で記録している場合には、音データの再生音を解析して該当するワークフロー処理を実行してもよい。この場合、音データはトーン信号の組み合わせとして記録されていてもよい。また、音データを再生することなく、その周波数成分や波形パターンを解析してワークフロー処理を実行してもよい。

前述の実施の形態では、静止画像１１１を表示しているコンピュータ１１０でワークフロー処理を実行しているが、コンピュータ１１０と接続されているサーバ装置１２０上でワークフロー処理を実行し、処理結果をコンピュータ１１０に与えてもよい。もっとも、サーバ装置１２０が実空間１５０の機器等と通信してワークフロー処理を実行してもよい。

前述の実施の形態においては、情報１３Ａ（図１参照）が対応付けられている像が画像上で指定された場合には、対応付けられているワークフロー処理が実行されるだけであるが、ワークフロー処理の実行中におけるユーザの操作を記録し、既存の情報１３Ａに追記してもよい。この機能があれば、ユーザは、以後は特定の像を指定するだけで、後続する操作を省略できる。

１０…ＪＰＥＧファイル、１３…タイプ１１のアプリケーションセグメント、１３Ａ、１３Ｂ…ワークフロー処理を規定する情報、１００…画像処理システム、１１０…コンピュータ、１１１…静止画像、１１２…マウスポインタ、１２０…サーバ装置、１３１…制御部、１４１…指示認識部、１４２…実行制御部、１４３…位置検出部、１４４…オブジェクト検出部、１４５…属性情報生成部、１５０…実空間

Claims (10)

1. 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と
   を有し、
   前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、前記制御部は、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、情報処理装置。
2. コンピュータに、
   属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
   を実現させるためのプログラムであり、
   前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、
   ことを特徴とするプログラム。
3. 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
   を有し、
   前記制御部は、
   ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、情報処理装置。
4. コンピュータに、
   属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
   を実現させるためのプログラムであり、
   ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、
   ことを特徴とするプログラム。
5. 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
   を有し、
   前記制御部は、
   前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置。
6. コンピュータに、
   属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
   を実現させるためのプログラムであり、
   前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、
   ことを特徴とするプログラム。
7. 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
   を有し、
   前記制御部は、
   前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置。
8. コンピュータに、
   属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
   を実現させるためのプログラムであり、
   前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、
   ことを特徴とするプログラム。
9. 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
   ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
   を有し、
   前記制御部は、
   前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、情報処理装置。
10. コンピュータに、
    属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
    ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
    を実現させるためのプログラムであり、
    前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、
    ことを特徴とするプログラム。

Images