JP7314528B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP7314528B2 JP7314528B2 JP2019032825A JP2019032825A JP7314528B2 JP 7314528 B2 JP7314528 B2 JP 7314528B2 JP 2019032825 A JP2019032825 A JP 2019032825A JP 2019032825 A JP2019032825 A JP 2019032825A JP 7314528 B2 JP7314528 B2 JP 7314528B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- screen
- parameter
- function
- contents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
- H04N1/00222—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
- H04N1/0097—Storage of instructions or parameters, e.g. customised instructions or different parameters for different user IDs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00318—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a multi-media apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00474—Output means outputting a plurality of functional options, e.g. scan, copy or print
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
- G06F3/1255—Settings incompatibility, e.g. constraints, user requirements vs. device capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
- G06F3/1258—Configuration of print job parameters, e.g. using UI at the client by updating job settings at the printer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Facsimiles In General (AREA)
Description
ところが、多機能化に伴い、画像形成装置に用意されるユーザインタフェース用の画面の構成や内容も複雑化している。このため、設定したい項目を発見できない場合や発見までの時間が長くなる場合がある。また、同じメーカの製品でも、発売の時期や市場の違いによりユーザインタフェース画面の構成や内容が異なることがある。
請求項2に記載の発明は、推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能とを実現させるためのプログラムである。
請求項5に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、を実現させるためのプログラムであり、前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、プログラムである。
請求項6に記載の発明は、差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項5に記載のプログラムである。
請求項7に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、保存されているパラメータの内容を、前記第1の機器とは異なる第2の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能とを実現させるためのプログラムである。
請求項8に記載の発明は、前記設定の可否は、パラメータの内容毎に提示される、請求項7に記載のプログラムである。
請求項9に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、前記第1の機器とは異なる第2の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能とを実現させるためのプログラムである。
請求項10に記載の発明は、パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項9に記載のプログラムである。
請求項2記載の発明によれば、推定されたパラメータの内容を登録前に確認できる。
請求項3記載の発明によれば、パラメータを正しい内容で登録できる。
請求項4記載の発明によれば、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作が容易になる。
請求項5記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項6記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項7記載の発明によれば、実機を操作する前に指示可能か否かを確認できる。
請求項8記載の発明によれば、パラメータ毎に指示可能か否かを確認できる。
請求項9記載の発明によれば、不慣れな操作画面でも効率よく必要とする設定を行うことができる。
請求項10記載の発明によれば、実機の操作画面を確認しながら操作できる。
<実施の形態>
<システムの全体構成>
図1は、実施の形態で使用する情報処理システム1の概念構成を説明する図である。情報処理システム1は、インターネット10と、地点Aに設置されている画像形成装置20Aと、地点Bに設置されている画像形成装置20Bと、ユーザが携帯する端末装置30と、パラメータ設定支援サーバ40とを有している。
本実施の形態における端末装置30は、インターネット10経由でパラメータ設定支援サーバ40と接続されている。
本実施の形態の場合、地点Aの画像形成装置20Aは、端末装置30を操作するユーザが使い慣れている装置を想定する。従って、画像形成装置20Aは、第1の機器の一例である。
なお、使い慣れている画像形成装置20Aは、1機種に限らず、複数の機種でもよい。また、使い慣れている画像形成装置20Aを製造している会社は複数社でもよい。
基本的には、使い慣れている画像形成装置20A以外は、使い慣れていない又は操作に不慣れな画像形成装置20Bである。従って、設置されている地点の違いは、使い慣れているか否かには無関係である。本実施の形態では、説明の都合上、地点Aに設置されている画像形成装置20Aを使い慣れている装置、地点Bに設置されている画像形成装置20Bを使い慣れていない装置と呼んでいるのに過ぎない。従って、同じ地点Aであっても、使い慣れている画像形成装置20Aと使い慣れていない画像形成装置20Bが設定されていてもよい。
また、パラメータの属性についても、画像形成装置20Aでは「1」であっても、画像形成装置20Bでは「2」とすべき場合もある。例えば濃度の与え方が異なる場合に起こり得る。このように、使い慣れていない画像形成装置20Bにおいて、使い慣れている画像形成装置20Aと同じ動作を再現させることは必ずしも容易ではない。
本実施の形態の場合、端末装置30は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
<端末装置の構成>
図2は、実施の形態で使用する端末装置30の構成例を示す図である。
図2に示す端末装置30は、装置全体の動作を制御する制御ユニット301と、画像データ等を記憶する記憶ユニット302と、ユーザインタフェース画面等の表示に用いられる表示ユニット303と、ユーザの操作を受け付ける操作受付ユニット304と、画像を撮像するカメラ305と、通信インタフェース306とを有している。
本実施の形態における制御ユニット301は、CPU(=Central Processing Unit)311と、ファームウェアやBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)312と、ワークエリアとして用いられるRAM(=Random Access Memory)313とを有している。制御ユニット301は、いわゆるコンピュータとして機能する。
表示ユニット303は、例えば液晶ディスプレイや有機ELディスプレイで構成される。表示ユニット303には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット304は、表示ユニット303の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット301と各ユニット等とは、バス307や不図示の信号線を通じて接続されている。
手法の1つは、カメラ305(図2参照)で撮像されたラベルその他の文字や数値の列を読み取って機種を特定する手法である。この手法では、撮像された画像が文字認識され、文字コードに変換される。ラベルその他の文字や数値の列は、操作の対象である機器の筐体に配置される他、操作画面に表示されることもある。
他の手法の1つは、カメラ305で撮像された画像形成装置20A等の外観の画像から機種を特定する手法である。操作対象特定モジュール321は、予め用意されている外観の写真、特徴部分の写真等との照合により、1又は複数の候補を特定する。複数の候補が該当する場合、ユーザが選択した機器の情報を取得する。
他の手法の1つは、操作の対象である機器との論理的又は物理的な接続により、機種を特定する情報を取得する手法である。
操作の対象である機種は、例えば一覧表の中からユーザが1つを選択することで特定される。
遷移候補検出モジュール322は、操作画面の操作の様子を撮像した画像データを処理し、操作画面の遷移の可能性が高い事象の発生を検出する。操作画面の遷移の可能性が高い事象とは、例えば操作画面全体のレイアウト等が変化する場合、ラジオボタン等の位置が移動する場合、特定ボタンの表示色や輝度が変化する場合である。例えば非選択状態から選択状態に変化したボタンは、他とは異なる表示色に変化する。また、非選択状態から選択状態に変化したボタンは、他のボタンよりも高い輝度に変化する。
本実施の形態の場合、操作画面の遷移の検出は、パラメータ設定支援サーバ40(図1参照)が実行する。このため、遷移候補検出モジュール322による処理は、操作画面の遷移の可能性が高い候補の検出にとどまる。
なお、操作中に写り込む指や手による変化は、無視することが望ましい。もっとも、写り込んだ指や手による変化を操作画面の変化として検出した場合でも、最終的な操作画面の遷移の検出は、パラメータ設定支援サーバ40(図1参照)側で実行される。
候補画面送信モジュール324は、操作画面の送信先を示す情報に基づいて、遷移の候補として保存された操作画面を送信する。本実施の形態の場合、送信先を示す情報として、パラメータ設定支援サーバ40のインターネット10(図1参照)上のアドレスが記録されている。送信先を示す情報は、アプリケーションプログラムのインストール時や更新時に与えられる。例えばURL(=Uniform Resource Locator)が用いられる。
推定結果提示モジュール325は、ユーザの操作により設定されたと推定された結果を、表示ユニット303(図2参照)に提示する。推定の結果は、パラメータの組み合わせで与えられる。推定の結果は、パラメータ設定支援サーバ40から与えられる。
設定支援画面提示モジュール327は、ユーザが指定する登録済み操作と同一の設定を、ユーザが操作する機種で実現するために必要な操作の手順や操作の内容を、実際に操作する操作画面に応じて提示する。設定支援画面提示モジュール327は、パラメータ設定支援サーバ40との連動により処理を進行する。ここでの設定支援画面提示モジュール327は、提示手段の一例である。
図4は、実施の形態で使用するパラメータ設定支援サーバ40の構成例を説明する図である。
図4に示すパラメータ設定支援サーバ40は、装置全体の動作を制御する制御ユニット401と、パラメータの設定の支援で使用されるデータを記憶する記憶ユニット402と、通信インタフェース403とを有している。
記憶ユニット402は、例えば不揮発性の記憶装置であるハードディスク装置(HDD:Hard Disk Drive)等によって構成される。記憶ユニット402には、ユーザが登録した操作に関するパラメータ、端末装置30(図1参照)から送信される操作画面、ユーザの操作として推定されたパラメータ、支援の対象である機器の機種毎の操作画面等が保存されている。
因みに、制御ユニット401と各ユニット等とは、バス404や不図示の信号線を通じて接続されている。
実施の形態における制御ユニット401は、ユーザが操作する機器の機種に関する情報を取得する機種情報取得モジュール421と、ユーザの操作に伴う操作画面の遷移を保存する画面遷移保存モジュール422と、操作画面の遷移を解析してユーザが操作したパラメータを推定するパラメータ推定モジュール423と、推定されたパラメータを操作に関連付けて保存するパラメータ保存モジュール424と、パラメータの確認をユーザに求めるパラメータ確認モジュール425と、登録されているパラメータ等の設定をユーザが指定する機器への移行が可能か否かを確認する移行可否確認モジュール426と、登録されているパラメータ等と同じ設定を実現する操作の実行を支援する設定支援モジュール427として機能する。
パラメータ確認モジュール425は、推定されたパラメータの内容の確認を操作の実行者であるユーザに求める。具体的には、パラメータ確認モジュール425は、推定されたパラメータの内容の承認又は修正を端末装置30(図1参照)から受け付ける。ユーザの確認が終了すると、推定されたパラメータは、ユーザによって登録された操作の内容として保存される。ジョブメモリとの違いは、操作されたパラメータの内容まで保存される点である。
登録済みの操作の一覧は、機種毎にパラメータ設定支援サーバ40に保存されている。なお、登録済みの操作の管理情報には、操作を登録したユーザを識別する情報が含まれていてもよい。なお、他のユーザによって登録された登録済み操作も一覧表示の対象になる。
移行先となる機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。
因みに、操作の登録に用いた機種と移行先の機種とでは、操作画面に表示されるパラメータの名称や表現等が一致するとは限らない。ただし、本実施の形態におけるパラメータ設定支援サーバ40には、機種の違いによるパラメータ間の対応関係のリストが記録されている。ここでのリストには、機種の違いによる属性間の対応関係についても記録されている。なお、ある機種における1つのパラメータが、別の機種では複数のパラメータの組に対応付けられていてもよい。属性についても同様である。
移行可否確認モジュール426は、設定されているパラメータ毎に移行の可否を確認し、確認の結果を端末装置30に通知する。ここでの移行可否確認モジュール426は、提示手段の一例である。
登録済みの操作の一覧については、移行可否確認モジュール426と同じである。
支援の対象である機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。
本実施の形態の場合、設定支援モジュール427による支援は、ユーザが支援の終了を指示した時点、機械音等の設定の終了を知らせる音が検出された時点、操作画面に変化が検出されない状態のまま予め定めた時間が経過した時点等に終了する。ここでの設定支援モジュール427は、提示手段の一例である。
以下では、前述した機能を有する端末装置30(図1参照)とパラメータ設定支援サーバ40(図1参照)とを用いた具体的な操作の例を説明する。
図6は、操作の登録動作を説明するシーケンス図である。図6の場合、記号のSはステップを意味している。
まず、操作の登録を希望するユーザは、端末装置30を操作して、操作を登録する画像形成装置20Aを特定する情報を取得する(ステップ1)。機種を特定する情報は、例えば筐体表面に印字されている文字等の読み取りにより行われる。
次に、ユーザは、カメラ305(図2参照)を起動し、操作の撮像を開始する(ステップ2)。なお、カメラ305の起動は、端末装置30の制御により実行されてもよい。この後、ユーザは、画像形成装置20Aに対する操作を開始する。撮像の終了は、操作の終了まで継続される(ステップ3)。
図中の「画面1」、「画面2」、「画面3」、「画面4」は、ユーザの操作に伴い、時系列に出現する操作画面に対応する。カメラ305による撮像が静止画像の場合、ユーザは、「画面1」、「画面2」、「画面3」、「画面4」を順番に撮像する。カメラ305による撮像が動画像の場合、ユーザは、登録する操作の開始から終了までを連続的に撮像する。
図6の場合、端末装置30は、撮像された画像データを処理して遷移の候補を検出する(ステップ4)。次に、端末装置30は、画像形成装置20Aを特定する情報と遷移の候補が検出された時点の前後の操作画面を送信する(ステップ5)。送信先は、パラメータ設定支援サーバ40である。
パラメータ設定支援サーバ40は、対象機器について保持されている操作画面のリストとの照合により、ユーザの操作に伴う操作画面の遷移を特定する(ステップ6)。
図8の中段には、端末装置30(図1参照)が遷移の候補として検出した操作画面が時系列に並んでいる。図8では、操作画面の切り替わりを伴う時点にのみ吹き出しを示しているが、遷移の候補は、これらの時点の間にも検出されている。例えば後述するパターン2(図9参照)に対応する画面の変化も、遷移の候補として検出されている。
画面遷移保存モジュール422は、端末装置30から受信した操作画面と、操作の対象である機器について用意されている操作画面のリストとを照合し、操作画面の遷移を推定する。具体的には、リストと一致する4つの画面、すなわち「画面1」、「画面2」、「画面3」、「画面4」が抽出される。
図6の場合、パラメータ設定支援サーバ40は、遷移の原因であるパラメータの内容を推定する(ステップ7)。操作画面の前後の関係により、設定されたパラメータの内容の推定が可能である。
図9は、パラメータ推定モジュール423(図5参照)によるパラメータの推定の手法を説明する図である。(A)は遷移のパターン1を示し、(B)は遷移のパターン2を示す。
パターン2は、操作画面は「画面1」のままであるが、属性が変更された場合に対応する。図9の例では、「カラーモード」について設定可能な属性が「カラー」と「白黒」の2つである。「画面1」では「カラー」が設定されていたが、「画面2」では「白黒」が設定されている。なお、「カラー」と「白黒」との間でユーザの設定が何度も変更された場合でも、登録する設定は、ユーザが最終的に選択した属性である。従って、パラメータ推定モジュール423は、パターン2の場合には、最終的な設定の内容を操作の記録として登録する。
登録の対象である操作についてのパラメータの推定が完了すると、パラメータ確認モジュール425(図5参照)は、端末装置30に対して推定の結果を送信する(ステップ8)。
端末装置30では、受信した推定の結果を表示する(ステップ9)。
その後、端末装置30は、推定の結果に対するユーザの承認又はユーザによる修正を受け付ける(ステップ10)。
本実施の形態の場合、推定の結果の承認は、パラメータ設定支援サーバ40にも通知される。このため、承認された推定の結果は端末装置30とパラメータ設定支援サーバ40の両方に保存される(ステップ11及び12)。
ここでは、操作の登録に伴い端末装置30に表示される画面の例を説明する。
図10は、操作の登録の指示を受け付ける画面からパラメータが推定されている時点までの画面の遷移を説明する図である。
時点T1に対応する画面は、操作の記録の指示が可能な初期画面である。図10に示す初期画面では、「画像形成装置の操作を記録する」、「他の画像形成装置を操作する」、「記録したデータを見る」の3つの選択が可能である。
時点T1では、「画像形成装置の操作を記録する」がユーザによって選択されている。
時点T3に対応する画面は、画像形成装置の特定が終了した後に表示される。図10の例では、記録したい操作の開始が促されている。なお、時点T3に対応する画面が表示されるまで又は表示に連動してカメラ305(図2参照)による撮像が開始される。
時点T4に対応する画面は、ユーザによる操作の様子が撮像されているかをユーザが確認できるように表示される。
時点T5に対応する画面は、撮像された操作がパラメータ設定支援サーバ40(図1参照)によって解析されていることを示す画面である。
パラメータ設定支援サーバ40による解析が終了すると、図11に示す画面が端末装置30に表示される。
図11の場合、登録の対象である操作には「いつものコピー」との名称が付されている。この名称は、推定されたパラメータを保存するまでの間に入力されればよい。また、図11の場合、推定されたパラメータとして、「カラーモード」についての「カラー」、「用紙サイズ」についての「A4」、「原稿の種類」についての「文字/写真」、…「パラメータn」についての「設定値」が列記されている。ここでの記号「/」は「又は」の意味である。
図中右上の保存のボタンが操作されると、推定されたパラメータの内容が確定する。なお、推定の結果が実際の操作と異なる場合には、図11に示す画面上での修正が可能である。修正には、一部の変更、追加、削除等がある。
時点T11に対応する画面は、図10の初期画面と同じである。時点T11では、「記録したデータを見る」がユーザによって選択されている。
時点T12に対応する画面は、記録済みの操作の履歴を表示する画面の一例である。図12では、登録されている操作の名称が一覧表示されている。
図12の例では、「いつものコピー」、「白黒コピー」、…「拡大コピー」が例示されている。例えば「いつものコピー」を選択すると、図11に示す画面が表示される。確認画面では、保存のボタンは表示されない。
図13は、移行確認に関する動作を説明するシーケンス図である。図13の場合も、記号のSはステップを意味している。
まず、移行確認を希望するユーザは、端末装置30を操作して、登録済み操作を指定する(ステップ21)。図13の場合、指定された登録済み操作の情報は、端末装置30からパラメータ設定支援サーバ40に通知される。パラメータ設定支援サーバ40は、指定された登録済み操作のパラメータを読み出す(ステップ22)。
通知を受けた端末装置30は、登録済み操作のパラメータ毎に移行の可否を表示する(ステップ26)。
パラメータ設定支援サーバ40による解析が終了すると、図11に示す画面が端末装置30に表示される。
時点T21に示す画面は、登録済み操作の確認画面において「移行確認」ボタンが操作される様子を表している。
時点T22に示す画面は、機種名の選択に用いられる一覧表を表している。時点T22では、機種名「58020056」が選択されている。
時点T23に示す画面には、登録済み操作を構成する個々のパラメータについての設定の可否が示されている。時点T23の場合、カラーモードの属性が反転表示されている。反転表示は、設定できないことを意味している。例えば指定された機種がモノクロ印刷機の場合、カラー印刷を設定することができない。
なお、反転表示以外に、設定できないパラメータについて説明文を表示してもよいし、フォントを変えて表示してもよいし、フォントの色を変えて表示してもよい。
図15は、設定の支援(アシスト)に関する動作を説明するシーケンス図である。図15の場合も、記号のSはステップを意味している。
まず、設定の支援を希望するユーザは、端末装置30を操作して、登録済み操作を指定する(ステップ31)。図15の場合、指定された登録済み操作の情報は、端末装置30からパラメータ設定支援サーバ40に通知される。パラメータ設定支援サーバ40は、指定された登録済み操作のパラメータを読み出す(ステップ32)。
設定する実機の情報が通知されると、パラメータ設定支援サーバ40は、登録済み操作のパラメータと実機で設定可能なパラメータの対応関係を取得する(ステップ34)。
この後、パラメータ設定支援サーバ40は、実機の操作画面毎に操作位置等を特定する(ステップ35)。特定された操作位置などは、パラメータ設定支援サーバ40から端末装置30に送信される。
端末装置30では、受信した操作位置等を順番に指示する(ステップ36)。
時点T31に対応する画面は、登録済み操作の確認画面において「アシスト」ボタンが操作される様子を表している。
時点T33に対応する画面は、画像形成装置20Bの情報の取得中であることをユーザに示す画面である。
時点T34に対応する画面では、操作画面が「画面1」の場合である。図16の例では、「○○をタップしてください」との文言により、ユーザが設定すべき項目が示されている。なお、画面1のうち操作すべき位置を、ユーザに明示的に示す画面を用意してもよい。
時点T35に対応する画面では、操作画面が「画面2」に切り替わっている。操作すべき位置をユーザに通知する方法は、「画面1」と同じである。
この支援用の画面の表示により、不慣れな画像形成装置20Bを操作する場合でも、ユーザは、使い慣れている画像形成装置20Aと同じ設定を容易に行える。
ここでの枠51は、操作の対象として端末装置30が認識している装置を、ユーザに知らせるために用いられる。また、文字列52は、ユーザに求める行動を記述した文である。図17の場合、「操作したい画像形成装置を見てください」との文が空中に浮かぶように表示されている。
このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実(=Augmented Reality:AR)又は複合現実(=Mixed Reality:MR)と呼ばれる。
時点T41に対応する画面は、枠51(図17参照)で囲まれた範囲に存在する画像形成装置20Bの情報を取得中であることを示している。時点T41の例では、実在する画像形成装置20Bに重ねるように、説明文53が表示されている。
時点T42に対応する画面は、ユーザが画像形成装置20Bの操作画面を見ている状態で提示される支援情報の例を示している。この例の場合、「[白黒]をタップしてください」との説明文54が「画面1」に重ねて表示されると共に、「画面1」のうちタップすべき位置に枠55が重ねて表示されている。この枠55も仮想の画像である。枠55が表示されることで、ユーザは、不慣れな「画面1」でも操作すべき位置を容易に見つけられる。
時点T43に対応する画面は、ユーザによる操作後の画面を示している。時点T43にも説明文54の表示が残っているが、[白黒]ボタンの操作が確認できたので枠55の表示は消えている。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態においては、第1の機器と第2の機器がいずれも画像形成装置であったが、第1の機器と第2の機器は画像形成装置に限らない。例えばコンピュータ等の情報処理装置、洗濯機、電子調理器等の白物家電でもよい。
Claims (10)
- 操作を記録する対象として特定された第1の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する推定手段と、
推定されたパラメータの内容を操作の記録として保存する保存手段と
を有する情報処理装置。 - 推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項1に記載の情報処理装置。
- 推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項2に記載の情報処理装置。
- コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と
を実現させるためのプログラム。 - コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
を実現させるためのプログラムであり、
前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、
プログラム。 - 差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項5に記載のプログラム。
- コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
保存されているパラメータの内容を、前記第1の機器とは異なる第2の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能と
を実現させるためのプログラム。 - 前記設定の可否は、パラメータの内容毎に提示される、請求項7に記載のプログラム。
- コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
前記第1の機器とは異なる第2の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能と
を実現させるためのプログラム。 - パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項9に記載のプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032825A JP7314528B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及びプログラム |
US16/529,026 US11616891B2 (en) | 2019-02-26 | 2019-08-01 | Information processing apparatus and non-transitory computer readable medium for analyzing an image capture in a time series with respect to content of parameter and making an assumption how user performed operation in an apparatus |
CN201910830623.4A CN111614853A (zh) | 2019-02-26 | 2019-09-04 | 信息处理装置、信息处理方法及计算机可读记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032825A JP7314528B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135823A JP2020135823A (ja) | 2020-08-31 |
JP7314528B2 true JP7314528B2 (ja) | 2023-07-26 |
Family
ID=72142829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032825A Active JP7314528B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11616891B2 (ja) |
JP (1) | JP7314528B2 (ja) |
CN (1) | CN111614853A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7255619B2 (ja) * | 2021-03-19 | 2023-04-11 | 横河電機株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008194953A (ja) | 2007-02-13 | 2008-08-28 | Fuji Xerox Co Ltd | 情報処理装置、情報処理システム及びプログラム |
WO2011142051A1 (ja) | 2010-05-10 | 2011-11-17 | 日本システムウエア株式会社 | マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体 |
JP2013145434A (ja) | 2012-01-13 | 2013-07-25 | Nippon Syst Wear Kk | ジェスチャー認識装置におけるスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2015084028A (ja) | 2013-10-25 | 2015-04-30 | シャープ株式会社 | 画像形成装置 |
JP2016126681A (ja) | 2015-01-08 | 2016-07-11 | ブラザー工業株式会社 | 画像処理装置、および制御プログラム |
JP2016162111A (ja) | 2015-02-27 | 2016-09-05 | 京セラドキュメントソリューションズ株式会社 | 可視像形成装置及び画像形成装置 |
JP2017016572A (ja) | 2015-07-06 | 2017-01-19 | デュプロ精工株式会社 | 処理装置、端末装置及び処理システム |
JP2017228872A (ja) | 2016-06-21 | 2017-12-28 | コニカミノルタ株式会社 | 画像形成装置の遠隔操作用の携帯端末、システム、およびプログラム |
US20180278769A1 (en) | 2017-03-23 | 2018-09-27 | Kyocera Document Solutions Inc. | Display device and display system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
JP4957279B2 (ja) * | 2007-02-14 | 2012-06-20 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
US9235819B2 (en) * | 2011-11-04 | 2016-01-12 | Canon Kabushiki Kaisha | Printing system, image forming apparatus, and method |
WO2013102079A2 (en) * | 2011-12-30 | 2013-07-04 | Zih Corp. | Enhanced printer functionality with dynamic identifier code |
JP2013254244A (ja) * | 2012-06-05 | 2013-12-19 | Canon Inc | 情報端末及びその制御方法、並びにプログラム |
JP2015135570A (ja) * | 2014-01-16 | 2015-07-27 | キヤノン株式会社 | 画像処理装置、システム、情報処理方法及びプログラム |
US10043236B2 (en) * | 2014-05-20 | 2018-08-07 | Olympus Corporation | Display device and display method |
KR20150144136A (ko) * | 2014-06-16 | 2015-12-24 | 삼성전자주식회사 | 모바일 장치, 화상형성장치 및 그의 매뉴얼 제공 방법 |
JP6129136B2 (ja) | 2014-10-02 | 2017-05-17 | キヤノン株式会社 | 機器操作装置及び機器操作方法 |
JP2016177577A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | 画像処理システム、携帯端末装置及びプログラム |
JP6663229B2 (ja) * | 2016-01-20 | 2020-03-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6994905B2 (ja) * | 2017-11-01 | 2022-01-14 | シャープ株式会社 | 画像形成装置および画像形成システム |
-
2019
- 2019-02-26 JP JP2019032825A patent/JP7314528B2/ja active Active
- 2019-08-01 US US16/529,026 patent/US11616891B2/en active Active
- 2019-09-04 CN CN201910830623.4A patent/CN111614853A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008194953A (ja) | 2007-02-13 | 2008-08-28 | Fuji Xerox Co Ltd | 情報処理装置、情報処理システム及びプログラム |
WO2011142051A1 (ja) | 2010-05-10 | 2011-11-17 | 日本システムウエア株式会社 | マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体 |
JP2013145434A (ja) | 2012-01-13 | 2013-07-25 | Nippon Syst Wear Kk | ジェスチャー認識装置におけるスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2015084028A (ja) | 2013-10-25 | 2015-04-30 | シャープ株式会社 | 画像形成装置 |
JP2016126681A (ja) | 2015-01-08 | 2016-07-11 | ブラザー工業株式会社 | 画像処理装置、および制御プログラム |
JP2016162111A (ja) | 2015-02-27 | 2016-09-05 | 京セラドキュメントソリューションズ株式会社 | 可視像形成装置及び画像形成装置 |
JP2017016572A (ja) | 2015-07-06 | 2017-01-19 | デュプロ精工株式会社 | 処理装置、端末装置及び処理システム |
JP2017228872A (ja) | 2016-06-21 | 2017-12-28 | コニカミノルタ株式会社 | 画像形成装置の遠隔操作用の携帯端末、システム、およびプログラム |
US20180278769A1 (en) | 2017-03-23 | 2018-09-27 | Kyocera Document Solutions Inc. | Display device and display system |
Also Published As
Publication number | Publication date |
---|---|
JP2020135823A (ja) | 2020-08-31 |
US20200274976A1 (en) | 2020-08-27 |
US11616891B2 (en) | 2023-03-28 |
CN111614853A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6024848B1 (ja) | 情報処理装置及びプログラム | |
US9639242B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
US20170374230A1 (en) | Content transmitting method and apparatus therefor | |
US20160306596A1 (en) | Terminal, information processing apparatus, image forming system, and non-transitory computer readable medium | |
US20170322759A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2007287090A (ja) | 表示制御システム、画像処理装置、表示制御方法 | |
CN102694940B (zh) | 信息处理装置及其控制方法 | |
CN109976681B (zh) | 信息处理装置、图像形成装置和计算机可读取的记录介质 | |
US9313347B2 (en) | Image processing apparatus, control method therefor and storage medium | |
JP2015069365A (ja) | 情報処理装置、および制御プログラム | |
US20200358913A1 (en) | Information processing apparatus, and non-transitory computer readable medium | |
JP4737215B2 (ja) | 情報処理装置、画像読取装置及びプログラム | |
JP7314528B2 (ja) | 情報処理装置及びプログラム | |
JP7263869B2 (ja) | 情報処理装置及びプログラム | |
CN106203545A (zh) | ***和方法 | |
JP6075501B1 (ja) | 情報処理装置及びプログラム | |
JP6075502B1 (ja) | 情報処理装置及びプログラム | |
JP2019133379A (ja) | 画像処理装置および画像処理プログラム | |
EP3166008A1 (en) | Information processing apparatus, display controlling method, and computer-readable recording medium | |
US12047354B2 (en) | Image processing apparatus for displaying destination information received from a terminal device | |
CN110245572A (zh) | 区域内容识别方法、装置、计算机设备和存储介质 | |
JP2016181120A (ja) | 情報処理装置および画像形成装置 | |
JP2009093312A (ja) | 操作装置および操作画面制御方法 | |
JP2008269196A (ja) | 表示装置及び表示方法 | |
US20210019100A1 (en) | Preset information displaying method and information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |