JP6551363B2 - 情報処理装置 - Google Patents

Description

この発明は、情報処理装置に関するものである。

画像情報の処理、例えば、画像情報の表示の処理に関する技術が、特開２０１２−３４４２号公報（特許文献１）、および特開２０１３−１１４４６７号公報（特許文献２）に開示されている。

特許文献１に開示の展示物用情報提示装置は、複数の展示物のうち閲覧者が注意を向けた特定の展示物についての情報を選択的に提示する。展示物用情報提示装置は、複数の展示物について、それぞれ三次元空間上での配置位置を示す配置位置情報を格納した配置位置情報格納部と、複数の展示物について、それぞれ提示対象情報を格納した提示対象情報格納部と、点を指し示す構造を有し、閲覧者による配置動作によって三次元空間上の所定の参照点を指し示す機能を有する位置指定ツールと、閲覧者の頭部もしくはその近傍に定められた所定の基準点の位置と、位置指定ツールによって指し示された参照点の位置と、を検出する位置検出手段と、位置検出手段によって検出された「基準点の位置」と「参照点の位置」とに基づいて、閲覧者が注意を向けていると推定される注視方向を予測する注視方向予測手段と、配置位置情報格納部内に格納されている配置位置情報を参照することにより、注視方向もしくはその近傍に配置されている展示物を注視展示物として特定する注視展示物特定手段と、提示対象情報格納部から、注視展示物についての展示対象情報を読み出し、これを閲覧者に提示する情報提示手段と、を備えることを特徴としている。

また、特許文献２に開示の表示システムは、実空間における対象領域に対するユーザーの操作を検出する操作検出部と、対象領域に対してユーザーに予め定められたコピー操作をしたことに応じて、対象領域を撮像した画像におけるコピー操作により指定された範囲を取得する画像取得部と、対象領域に対してユーザーが予め定められたペースト操作をしたことに応じて、実空間に画像を表示するための表示装置を制御して、コピー操作により取得された画像をペースト操作により指定された位置に表示する表示制御部と、を備える。

特開２０１２−３４４２号公報 特開２０１３−１１４４６７号公報

上記した特許文献１〜２に開示の技術では、画像情報の表示において、いずれも作業対象となる空間や領域が限定されているものである。そうすると、ユーザーの望む領域内における画像情報に対する処理、例えば、印刷領域の特定等が行えない。その結果、ユーザーの要望に応じた適切な画像情報の処理を行うことができないこととなる。

この発明の目的は、ユーザーの要望に応じた適切な画像情報の処理を行うことができる情報処理装置を提供することである。

この発明に係る情報処理装置は、表示部と、認識部と、切り出し部と、第一制御部と、第二制御部とを備える。表示部は、光学透過式であって、ユーザーに視認可能な電子画像を表示させる。認識部は、表示部を透過した所定の物体の所定箇所を認識する。切り出し部は、認識部により認識された所定箇所によって指定された領域を切り出し画像として切り出す。第一制御部は、切り出し部により切り出された切り出し画像を表示部に表示するよう制御する。第二制御部は、切り出し画像のデータを処理するよう制御する。第一制御部は、情報処理装置と通信可能な外部装置に対して、第一制御部により切り出し画像のデータを送信している際に表示部に切り出し画像のデータの送信状態を表示するよう制御する。第一制御部は、切り出し画像を、切り出し画像のデータの送信状態に応じて、外部装置側へ移動するように、かつ、ユーザーから遠ざかるに従って小さく表示するよう制御する。第二制御部は、認識部により表示部において切り出し画像と外部装置との間に遮蔽物が表れたことを認識すれば、切り出し画像のデータの送信を中止するよう制御する。

このような情報処理装置によれば、表示部により表示された領域内において、所定箇所によって指定された領域を切り出し画像として切り出し、切り出し画像のデータを処理することとしている。そうすると、ユーザーの望む領域内における画像情報に対する処理を行うことができる。したがって、ユーザーの要望に応じた適切な画像情報の処理を行うことができる。

この発明の一実施形態に係る情報処理装置を頭部装着型端末装置であるスマートグラスに適用した場合のスマートグラスを含む情報処理システムの構成を示すブロック図である。 スマートグラスを用いて領域を指定して画像を切り出す処理を行う場合の処理の流れを示すフローチャートである。 切り出し画像の一例を示す図である。 レンズに表示された複合機の状態に関するデータの表示態様の一例を示す図である。 レンズに表示された切り出し画像のデータの送信状態を示す図である。

以下、この発明の実施の形態を説明する。図１は、この発明の一実施形態に係る情報処理装置を頭部装着型端末装置であるスマートグラスに適用した場合のスマートグラスを含む情報処理システムの構成を示すブロック図である。

図１を参照して、情報処理システム２４は、画像を形成する外部装置である画像形成装置としての複合機１１と、この発明の一実施形態に係る情報処理装置としての頭部装着型端末装置、具体的には、スマートグラス３１とを含む。スマートグラス３１は、複合機１１と通信可能に構成されている。

次に、複合機１１の構成について説明する。複合機１１は、複合機制御部１２と、操作部１３と、読み取り部１４と、印刷部１５と、給紙カセット１６と、画像や設定の情報を記憶する記憶部としての複合機ハードディスク１７と、ネットワーク（図示せず）と接続するためのネットワークインターフェース部１８と、複合機通信部２３とを備える。

複合機制御部１２は、複合機１１全体の制御を行う。複合機制御部１２は、ＣＰＵ等から構成されており、一時的にデータを記憶する記憶部としての主記憶メモリ１９を含む。操作部１３は、情報を表示する表示画面としてのタッチパネル２１を含む。読み取り部１４は、原稿の画像を読み取る。印刷部１５は、読み取り部１４によって読み取られた画像や複合機通信部２３、ネットワークを介して外部機器から送信され、取得した画像等を基に形成した画像を用紙に印刷する。

複合機通信部２３は、外部機器、この場合、例えば、スマートグラス３１との通信を確立させて、データの送受信を行うことができる。複合機通信部２３により、複合機１１は、スマートグラス３１側から送信された画像を受信することができる。ここで、通信については、無線による通信でもよいし、有線による通信でもよい。

次に、スマートグラス３１の構成について説明する。スマートグラス３１は、いわゆるメガネ型の頭部装着型端末装置である。スマートグラス３１は、スマートグラス制御部３２と、スマートグラス通信部３３と、データを記憶するスマートグラス記憶部３４と、表示部としての光学透過式の一対のレンズ３５と、ユーザーがスマートグラス３１を頭部に装着した際に耳にかかる部分に相当する一対のアーム部（図示せず）とを含む。さらに、図示はしないが、各種のボタンがアーム部等に設けられている。

スマートグラス制御部３２は、スマートグラス３１全体の制御を行う。スマートグラス制御部３２についても、ＣＰＵ等から構成されており、一時的にデータを記憶する記憶部としての主記憶メモリ（不図示）を含む。スマートグラス通信部３３は、外部機器、この場合、例えば、複合機１１との通信を確立させて、データの送受信を行うことができる。一対のレンズ３５については、それぞれユーザーに視認可能な電子画像を表示させる。この表示については、後述する第一制御部４３により制御される。

次に、スマートグラス３１に備えられるスマートグラス制御部３２の構成について説明する。スマートグラス制御部３２は、認識部４１と、切り出し部４２と、第一制御部４３と、第二制御部４４とを備える。認識部４１は、レンズ３５を透過した所定の物体の所定箇所を認識する。切り出し部４２は、切り出し部４２は、認識部４１により認識された所定箇所によって指定された領域を切り出し画像として切り出す。第一制御部４３は、切り出し部４２により切り出された切り出し画像をレンズ３５に表示するよう制御する。第二制御部４４は、切り出し画像のデータを処理するよう制御する。これらの構成については、後に詳述する。

次に、スマートグラス３１を用いて領域を指定して画像を切り出す処理を行う場合について説明する。図２は、スマートグラス３１を用いて領域を指定して画像を切り出す処理を行う場合の処理の流れを示すフローチャートである。

図２を参照して、まず、ユーザーは、スマートグラス３１を頭部に装着する。そうすると、レンズ３５に、ユーザーの望む作業対象となる空間や領域がユーザーの視野に表れる。そして、ユーザーによってスマートグラス３１のレンズ３５越しに視認される画像について、画像の切り出しの要求を受け付ける（図３において、ステップＳ１１、以下、「ステップ」を省略する）。この要求の受け付けについては、例えば、スマートグラス３１に設けられた切り出しボタン（図示せず）の押下を検知することにより行われる。

その後、認識部４１は、レンズ３５を透過した所定の物体の所定箇所を認識する（Ｓ１２）。この場合、レンズ３５を透過して視認され、所定の物体として特定されるもの、例えば、レンズ３５越しの表れたユーザーの手を所定の物体とし、所定箇所としてユーザーの指を認識する。この認識については、例えば、レンズ３５に表れた画像に対し、新たに出現したユーザーの手が表れた際に、スマートグラス３１に設けられた認識ボタン（図示せず）を押下することにより行われる。

その後、ユーザーの手のうち、認識部４１により認識された指を所定箇所として、ユーザーにより切り出す画像の軌跡が描かれる。軌跡の始点、および終点の認識については、これもスマートグラス３１に設けられた図示しない始点認識ボタン、および終点認識ボタンのそれぞれの押下の検知により行われる。また、この場合、始点から開始した指の軌跡が再び始点に戻ってくることを検知してもよい。

そして、切り出し部４２は、軌跡によって囲われ、指定された領域を、切り出し画像として切り出す（Ｓ１３）。すなわち、切り出し部４２は、認識部４１により認識された所定箇所によって指定された領域を切り出し画像として切り出す。この場合、切り出し画像は、いわゆる二次元の画像として切り出される。この時、切り出し画像のデータについては、スマートグラス３１に設けられた記憶ボタン（図示せず）の押下の検知を契機として、スマートグラス記憶部３４に記憶させるようにしてもよい。

切り出し画像については、第一制御部４３により、レンズ３５に表示するよう制御される。すなわち、第一制御部４３は、切り出し画像をレンズ３５に表示するよう制御する（Ｓ１４）。

なお、切り出し画像については、三次元のものとして、軌跡とは別に表示するようにしてもよい。図３は、切り出し画像の一例を示す図である。図３は、レンズ３５越しに視認された状態を示している。

図３を参照して、レンズ３５越しに視認される新聞紙等のような原稿５１において、ユーザーの指５２によって始点から終点まで描かれた軌跡５３に囲まれ、指定された領域が、切り出し画像５４として切り出される。なお、切り出し画像５４については、図３中において一点鎖線で示している。この場合、切り出し画像５４の境界については、識別しやすい色、例えば、赤色で表示されている。第一制御部４３は、切り出し画像５４を、切り出される前の原稿５１の軌跡５３から間隔を開けて矢印Ｄ_１で示す上側に表示するよう制御する。具体的には、数センチメートル〜十数センチメートル程度、原稿５１から距離を開けて切り出し画像５４を表示するよう制御する。この場合、切り出し画像５４は、原稿５１上に、レンズ３５越しにいわゆる浮いたように見える。なお、この切り出し画像５４については、第一制御部４３によるレンズ３５における表示上において、レンズ３５越しに指５２で掴んだり、掴んで移動させたりすることができる。すなわち、切り出し画像５４を移動可能とするよう構成されている。

ここで、切り出し画像５４については、元の画像が変更された場合に、その変更を反映できる構成としてもよい。すなわち、原稿５１が新聞紙のような印刷物ではなく、例えば、テレビの画像やパソコンの画面上のインターネットの画像等、電子的に画像を表示させる表示装置であった場合、軌跡５３によって囲まれた領域内の画像が変化したり、変更されたりする場合がある。この変化や変更の内容のデータを、スマートグラス３１と通信可能な表示装置から受信し、第一制御部４３により変化や変更を切り出し画像５４に反映して表示することにしてもよい。こうすることにより、元の画像をリアルタイムで切り出し画像５４に反映して、元の画像の経時変化を切り出し画像５４でレンズ３５越しに視認することができる。

次に、第二制御部４４は、切り出し画像５４のデータを処理するよう制御する。この場合、複合機１１に切り出し画像５４のデータを送信して処理するよう制御する（Ｓ１５）。すなわち、切り出し画像５４のデータについては、第二制御部４４により、スマートグラス通信部３３を介して、複合機１１に送信される。

ここで、第二制御部４４は、認識部４１により切り出し画像５４の複合機１１に向けてのフリック操作を認識すれば、複合機１１に切り出し画像５４のデータを送信するようにしてもよい。複合機通信部２３は、スマートグラス３１側から送信された切り出し画像５４のデータを受信する（Ｓ１６）。受信が完了した後、複合機１１は、印刷部１５により切り出し画像５４を基に用紙に印刷する（Ｓ１７）。

このようなスマートグラス３１によれば、レンズ３５により表示された領域内において、所定箇所によって指定された領域を切り出し画像５４として切り出し、切り出し画像５４のデータを処理することとしている。そうすると、ユーザーの望む領域内における画像情報に対する処理を行うことができる。したがって、ユーザーの要望に応じた適切な画像情報の処理を行うことができる。

この場合、第一制御部４３は、切り出し画像５４を、切り出される前の箇所から間隔を開けて上側に表示するよう制御している。したがって、切り出し画像５４を視覚的に容易に認識することができる。

また、この場合、第二制御部４４は、認識部４１により切り出し画像５４の複合機１１に向けてのフリック操作を認識すれば、複合機１１に切り出し画像５４のデータを送信することとしている。したがって、より手軽に切り出し画像５４を複合機１１に送信することができる。

なお、上記の実施の形態において、第一制御部４３は、通信可能な複合機１１の状態に関するデータを取得し、取得した状態に関するデータをレンズ３５に表示するよう制御してもよい。

図４は、レンズ３５に表示された複合機１１の状態に関するデータの表示態様の一例を示す図である。なお、図４において、理解の容易の観点から、各複合機１１、２６、２７へ切り出し画像５４のデータを送信する際のフリック操作の方向を二点鎖線で示している。図４を参照して、第一制御部４３は、各複合機１１、２６、２７の状態に関するデータを取得する。そして、第一制御部４３は、各複合機１１、２６、２７の状態、例えば、各複合機１１、２６、２７に対応する消耗品、例えば、各複合機１１、２６、２７のトナーおよび用紙の残量に関するデータ５６ａ、５６ｂ、５６ｂを、レンズ３５に表示する。具体的には、データ５６ａについては、「残トナー情報 Ｋ 良 Ｃ 良 Ｍ 良 Ｙ 良」という情報、および「残紙情報 Ａ４ 多 Ｂ４ 良 Ａ３ 多」という情報が表示されている。なお、「Ｋ」はブラックのトナー、「Ｃ」はシアンのトナー、「Ｍ」はマゼンタのトナー、「Ｙ」はイエローのトナーを示している。Ａ４、Ｂ４、Ａ３は、それぞれ用紙のサイズを示している。また、データ５６ｂについては、「残トナー情報 Ｋ 良 Ｃ 少 Ｍ 少 Ｙ 少」という情報、および「残紙情報 Ａ４ 少 Ｂ４ 良 Ａ３ 少」という情報が表示されている。また、データ５６ｃについては、「残トナー情報 Ｋ 良 Ｃ 良 Ｍ 良 Ｙ 少」という情報、および「残紙情報 Ａ４ 多 Ｂ４ 良 Ａ３ 少」という情報が表示されている。このように構成することにより、各複合機１１、２６、２７の消耗品の状態に応じて、ユーザーは、切り出し画像５４のデータの送信先を決めることができる。そうすると、消耗品の不足によって印刷できないといった状況を回避したり、印刷可能な範囲でユーザーに近い複合機１１、２６、２７を選択したりすることができる。なお、各複合機２６、２７の構成については、複合機１１の構成と同様であるため、それらの説明を省略する。

また、上記の実施の形態において、第一制御部４３は、第二制御部４４により切り出し画像５４のデータを送信している際に、レンズ３５に切り出し画像５４のデータの送信状態を表示するよう制御してもよい。また、第一制御部４３は、切り出し画像５４を、切り出し画像５４のデータの送信状態に応じて、複合機１１側へ移動するように、かつ、ユーザーから遠ざかるに従って小さく表示するよう制御してもよい。

図５は、レンズ３５に表示された切り出し画像５４のデータの送信状態を示す図である。図５を参照して、レンズ３５には、切り出し画像５４と、三つの複合機１１、２６、２７が表示されている。

ユーザーのフリック操作により、複合機１１側に切り出し画像５４のデータが送信される。そうすると、やや切り出し画像５４のサイズを小さくした切り出し画像５７ａが表示される。その後、送信が進行するにしたがって、さらにサイズを小さくした切り出し画像５７ｂが、複合機１１に近い側に表示される。このように構成することにより、送信状態を視覚的に容易に認識することができる。

ここで、第二制御部４４は、認識部４１によりレンズ３５において切り出し画像５４と複合機１１との間に遮蔽物が表れたことを認識すれば、第二制御部４４による切り出し画像５４のデータの送信を中止するよう制御するようにしてもよい。例えば、図５に示す切り出し画像５７ａの送信状態において、切り出し画像５７ａと複合機１１との間の領域５８に遮蔽物、例えば、ユーザーの手を配置し、遮蔽物が表示されたとする。そうすると、このユーザーの手が認識部４１によって認識され、第二制御部４４は、切り出し画像５７ａの送信を中止する。こうすることにより、切り出し画像５４のデータの送信後、送信を中止する操作を容易に行うことができる。

なお、複合機１１、２６、２７は、複数備えられており、第一制御部４３は、フリック操作の向きに複数の複合機１１、２６、２７が存在していることを認識すれば、いずれの複合機１１、２６、２７への送信かを問い合わせる画面をレンズ３５に表示するよう制御し、第二制御部４４は、問い合わせ画面により指定された複合機１１、２６、２７へ切り出し画像５４のデータを送信するよう制御してもよい。こうすることにより、より確実に、ユーザーの要望する複合機１１、２６、２７へ切り出し画像５４のデータを送信することができる。すなわち、図４においては、二点鎖線で示す矢印がそれぞれ異なる方向に向いているが、これらの方向が近接したり、重なった場合に、このような制御を行うようにしてもよい。

なお、上記の実施の形態においては、ユーザーの指５２を所定の物体の所定の箇所として認識部４１により認識されたが、これに限らず、例えば、ペンや棒状の部材を所定の物体として認識するようにしてもよい。すなわち、認識部４１により認識される所定の物体の所定の箇所は、棒状の部材の端部およびユーザーの指のうちの少なくともいずれか一方であるよう構成してもよい。この場合、例えば、ペン先が点灯するペンを用い、軌跡を描いている最中は、ペン先を点灯させ、それ以外には、ペン先を消灯するようにして、始点と終点とを認識させるような構成としてもよい。

また、上記の実施の形態においては、第二制御部４４は、印刷部１５により切り出し画像５４のデータを基に用紙に印刷することとしたが、これに限らず、第二制御部４４は、他の処理、例えば、複合機１１に備えられる複合機ハードディスク１７に切り出し画像５４のデータを記憶させるよう処理してもよい。ここで、上記した複合機１１、２６、２７の状態として、複合機ハードディスク１７の容量や、保存先となるボックス名の状態を第一制御部４３により表示するよう制御してもよい。なお、複合機ハードディスク１７に記憶された切り出し画像５４のデータについては、タッチパネル２１に表示させて、何らかの加工や編集を行うことを可能としてもよい。

なお、上記の実施の形態において、切り出し画像５４に加筆や書き込みを可能な構成を採用してもよい。すなわち、スマートグラス３１側の設定において、ユーザーの指５２を加筆用のペンとして設定し、切り出し画像５４上に書き込む。具体的には、文章の画像に対して下線を引いたり、マーカーを引いたりする。この書き込まれた画像については、第一制御部４３によりスマートグラス３１のレンズ３５上で視認できる。このように構成することにより、よりユーザーの要望に応じた適切な画像処理を行うことができる。

また、上記の実施の形態において、切り出し部４２により切り出される箇所を複数とし、切り出された複数の切り出し画像について、第一表示部４３により表示される仮想空間内において、合成可能な構成としてもよい。

なお、上記の実施の形態においては、この発明に係る情報処置装置を頭部装着型端末装置であるスマートグラス３１に適用することとしたが、これに限らず、例えば、画像を表示する表示機能を有するスマートフォンや他の携帯端末装置に適用することとしてもよい。この場合、もちろん、頭部装着型でなくともよい。

今回開示された実施の形態はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明に係る情報処理装置は、ユーザーの要望に応じた適切な画像情報の処理が要求される場合に、特に有効に利用される。

１１，２６，２７ 複合機、１２ 複合機制御部、１３ 操作部、１４ 読み取り部、１５ 印刷部、１６ 給紙カセット、１７ 複合機ハードディスク、１８ ネットワークインターフェース部、１９ 主記憶メモリ、２１ タッチパネル、２３ 複合機通信部、２４ 情報処理システム、３１ スマートグラス、３２ スマートグラス制御部、３３ スマートグラス通信部、３４ スマートグラス記憶部、３５ レンズ、４１ 認識部、４２ 切り出し部、４３ 第一制御部、４４ 第二制御部、５１ 原稿、５２ 指、５３ 軌跡、５４，５７ａ，５７ｂ 切り出し画像、５６ａ，５６ｂ，５６ｃ データ、５８ 領域。

Claims (6)

1. 情報処理装置であって、
   ユーザーに視認可能な電子画像を表示させる光学透過式の表示部と、
   前記表示部を透過した所定の物体の所定箇所を認識する認識部と、
   前記認識部により認識された前記所定箇所によって指定された領域を切り出し画像として切り出す切り出し部と、
   前記切り出し部により切り出された前記切り出し画像を前記表示部に表示するよう制御する第一制御部と、
   前記切り出し画像のデータを処理するよう制御する第二制御部とを備え、
   前記第一制御部は、前記情報処理装置と通信可能な外部装置に対して、前記第一制御部により前記切り出し画像のデータを送信している際に前記表示部に前記切り出し画像のデータの送信状態を表示するよう制御し、
   前記第一制御部は、前記切り出し画像を、前記切り出し画像のデータの送信状態に応じて、前記外部装置側へ移動するように、かつ、前記ユーザーから遠ざかるに従って小さく表示するよう制御し、
   前記第二制御部は、前記認識部により前記表示部において前記切り出し画像と前記外部装置との間に遮蔽物が表れたことを認識すれば、前記切り出し画像のデータの送信を中止するよう制御する、情報処理装置。
2. 前記第一制御部は、前記切り出し画像を、前記切り出される前の箇所から間隔を開けて上側に表示するよう制御する、請求項１に記載の情報処理装置。
3. 前記第二制御部は、前記認識部により前記切り出し画像の前記外部装置に向けてのフリック操作を認識すれば、前記外部装置に前記切り出し画像のデータを送信するよう制御する、請求項１または２に記載の情報処理装置。
4. 前記外部装置は、複数備えられており、
   前記第一制御部は、前記フリック操作の向きに複数の前記外部装置が存在していることを認識すれば、いずれの前記外部装置への送信かを問い合わせる問い合わせ画面を前記表示部に表示するよう制御し、
   前記第二制御部は、前記問い合わせ画面により指定された前記外部装置へ前記切り出し画像のデータを送信するよう制御する、請求項３に記載の情報処理装置。
5. 前記外部装置は、画像データを基に用紙に画像を印刷する印刷部を含み、
   前記第二制御部は、前記印刷部により前記切り出し画像のデータを基に用紙に印刷するよう制御する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記認識部により認識される所定の物体の所定箇所は、棒状の部材の端部および前記ユーザーの指のうちの少なくともいずれか一方である、請求項１〜５のいずれか１項に記載の情報処理装置。

Images