JP2018005636A - 送信制御プログラム、送信制御方法および情報処理装置 - Google Patents

送信制御プログラム、送信制御方法および情報処理装置 Download PDF

Info

Publication number
JP2018005636A
JP2018005636A JP2016132896A JP2016132896A JP2018005636A JP 2018005636 A JP2018005636 A JP 2018005636A JP 2016132896 A JP2016132896 A JP 2016132896A JP 2016132896 A JP2016132896 A JP 2016132896A JP 2018005636 A JP2018005636 A JP 2018005636A
Authority
JP
Japan
Prior art keywords
pointer
information
terminal device
control unit
transmission control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016132896A
Other languages
English (en)
Other versions
JP6668980B2 (ja
Inventor
博 桑原
Hiroshi Kuwabara
博 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016132896A priority Critical patent/JP6668980B2/ja
Priority to US15/616,030 priority patent/US10523827B2/en
Publication of JP2018005636A publication Critical patent/JP2018005636A/ja
Application granted granted Critical
Publication of JP6668980B2 publication Critical patent/JP6668980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】手書きモードと操作モードとの切り替えの操作負担を軽減することができる送信制御プログラム、送信制御方法および情報処理装置を提供する。
【解決手段】送信制御プログラムは、次の各処理をコンピュータに実行させる。送信制御プログラムは、入力デバイスに対する操作を受け付けると、画像上の操作に応じた位置にポインタを重畳させる。送信制御プログラムは、ポインタの位置が画像の操作エリアに含まれるか否かを判定させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれない場合、ポインタの位置情報と手書きモード情報とを端末装置に送信させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれる場合、ポインタの位置情報と操作モード情報とを端末装置に送信させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれている際に特定の操作を受け付けると、特定の操作を示す情報を端末装置に送信させる。
【選択図】図１

Description

本発明は、送信制御プログラム、送信制御方法および情報処理装置に関する。
近年、工場の設備点検等において、点検を行う作業者がヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）ともいう。）と端末装置とを装着し、作業指示やマニュアル等を参照しながら点検作業を行うことがある。また、作業者に対して支援を行う支援者が、作業者の端末装置とネットワークを介して接続された情報処理装置を用いて、端末装置の画面の画像を共有することで指示を出したり、端末装置を遠隔操作したりすることが提案されている。この場合、支援者は、共有する画面の画像上に手書きで指示を書き込む手書きモードと、端末装置を遠隔操作する操作モードとを切り替える。
特開２０１４−０５２６９０号公報 特開平６−０５１９２８号公報
しかしながら、例えば、支援者が指示の書き込みと遠隔操作とを繰り返す場合のように、手書きモードと操作モードとの切り替えの操作が煩雑になる場合がある。このため、支援者は、作業者に対する支援を実施する際に、手書きモードと操作モードとの切り替えの操作が負担になる場合がある。
一つの側面では、本発明は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる送信制御プログラム、送信制御方法および情報処理装置を提供することにある。
一つの態様では、送信制御プログラムは、入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する処理をコンピュータに実行させる。送信制御プログラムは、重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する処理をコンピュータに実行させる。
手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
図１は、実施例１の情報処理システムの構成の一例を示すブロック図である。 図２は、画像の共有および操作領域の設定の一例を示す図である。 図３は、実施例１の送信制御処理の一例を示すシーケンス図である。 図４は、実施例１の送信制御処理の一例を示すシーケンス図である。 図５は、実施例２の情報処理システムの構成の一例を示すブロック図である。 図６は、実施例２の送信制御処理の一例を示すシーケンス図である。 図７は、送信制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する送信制御プログラム、送信制御方法および情報処理装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図１は、実施例１の情報処理システムの構成の一例を示すブロック図である。図１に示す情報処理システム１は、端末装置１０と、情報処理装置１００とを有する。なお、図１には、システムが１つの端末装置１０および情報処理装置１００を有する場合を示したが、端末装置１０および情報処理装置１００の数は限定されず、情報処理システム１は、任意の数の端末装置１０および情報処理装置１００を有してもよい。
端末装置１０および情報処理装置１００の間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。
情報処理システム１は、作業者の端末装置１０と支援者の情報処理装置１００との間で、端末装置１０の画面の画像を共有することで指示を出したり、端末装置１０を遠隔操作したりする遠隔支援を行うシステムの一例である。端末装置１０は、例えば、点検を行う作業者がＨＭＤとともに装着し、作業指示やマニュアル等を参照しながら点検作業を行うための情報処理装置である。情報処理装置１００は、作業者に対して支援を行う支援者が用いる情報処理装置であり、作業者の端末装置１０との間で、端末装置１０の画面の画像を共有することで指示を出したり、端末装置１０を遠隔操作したりする情報処理装置である。
情報処理装置１００は、入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。情報処理装置１００は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。これにより、情報処理装置１００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
次に、端末装置１０の構成について説明する。図１に示すように、端末装置１０は、通信部１１と、制御部１２と、表示部１３と、操作部１４とを有する。なお、端末装置１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、ネットワークＮを介して情報処理装置１００と無線で接続され、情報処理装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１２から入力された画面の画像、および、操作領域情報を情報処理装置１００に送信する。また、通信部１１は、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。通信部１１は、受信したポインタの位置情報、モード情報およびイベント情報を制御部１２に出力する。
制御部１２は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。
制御部１２は、例えば、端末装置１０のユーザである作業者から、情報処理装置１００との間で画像の共有を開始する指示を、操作部１４を介して受け付ける。制御部１２は、当該指示を受け付けると、通信部１１およびネットワークＮを介して、情報処理装置１００に対して端末装置１０の表示部１３に表示される画面の画像の送信を開始する。すなわち、制御部１２は、情報処理装置１００との間で、画面の画像の共有を開始する。なお、制御部１２は、端末装置１０および情報処理装置１００の間で、画面の画像の共有に加えて、双方向の音声の通信を行うようにしてもよい。
また、制御部１２は、端末装置１０の画面の画像について手書き領域と操作領域とを設定する。制御部１２は、例えば、画面の画像のうち、ある領域を操作領域と設定し、他の領域を手書き領域と設定する。制御部１２は、設定した操作領域を操作領域情報として、通信部１１およびネットワークＮを介して情報処理装置１００に送信する。なお、制御部１２は、端末装置１０において画面の画像が変化して操作領域が変化した場合には、変化した操作領域情報を、通信部１１およびネットワークＮを介して情報処理装置１００に送信する。
制御部１２は、通信部１１およびネットワークＮを介して、情報処理装置１００からポインタの位置情報およびモード情報を受信する。制御部１２は、ポインタの位置情報およびモード情報に基づいて、画面の画像上のポインタの位置および形状のうち、１つ以上を変化させる。制御部１２は、例えば、手書きモードにおいて手書き領域内でポインタが移動した場合、手書きモードを示すポインタを手書き領域内で移動させる。また、制御部１２は、例えば、操作モードにおいて操作領域内でポインタが移動した場合、操作モードを示すポインタを操作領域内で移動させる。さらに、制御部１２は、例えば、操作領域内から手書き領域内にポインタが移動した場合、操作モードを示すポインタから手書きモードを示すポインタに変化させる。
制御部１２は、通信部１１およびネットワークＮを介して、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。制御部１２は、情報処理装置１００からイベント情報を受信したか否かを判定する。制御部１２は、イベント情報を受信していない場合には、引き続き、ポインタの移動を含む画面の画像を共有する。制御部１２は、イベント情報を受信した場合には、受信したモード情報が操作モードであるか否かを判定する。制御部１２は、モード情報が操作モードである場合には、受信したイベント情報を発行する。また、制御部１２は、受信したポインタの位置情報に基づいて、ポインタを移動する。すなわち、制御部１２は、例えば、ポインタを拡大操作のボタンに移動して押下するといったようなイベントを実行する。
制御部１２は、モード情報が操作モードでない場合、つまり手書きモードである場合には、イベント情報に基づいて手書き描画を実行する。すなわち、制御部１２は、例えば、ポインタの位置情報に基づいてポインタを移動しつつ、イベント情報、例えばマウスの左クリックが押下されている情報に基づいて、線を描画する。
制御部１２は、イベント情報の発行、または、手書き描画の実行を終了すると、情報処理装置１００との間で画像の共有を終了するか否かを判定する。制御部１２は、例えば、作業者から終了する旨の指示を、操作部１４を介して受け付ける。制御部１２は、画像の共有を終了する場合には、送信制御処理を終了する。制御部１２は、画像の共有を終了しない場合には、引き続き画面の画像を共有する。
表示部１３は、各種情報を表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤである。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤでもよい。また、表示部１３は、例えば、ＨＭＤとは別に液晶ディスプレイ等を備えるようにしてもよい。なお、端末装置１０と情報処理装置１００との間で共有される画面の画像は、表示部１３に表示される画像である。
操作部１４は、端末装置１０のユーザである作業者から各種操作を受け付ける入力デバイスである。操作部１４は、例えば、入力デバイスとして、タッチパネル等によって実現される。この場合、操作部１４の入力デバイスは、表示部１３の表示デバイスの一例である液晶ディスプレイと一体化されるようにしてもよい。操作部１４は、ユーザである作業者によって入力された操作を操作情報として制御部１２に出力する。なお、操作部１４は、タッチパッド、キーボードおよびマウス等によって実現されるようにしてもよい。
続いて、情報処理装置１００の構成について説明する。図１に示すように、情報処理装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０を有する。なお、情報処理装置１００は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、ネットワークＮを介して端末装置１０と無線で接続され、端末装置１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、端末装置１０から画面の画像、および、操作領域情報を受信する。通信部１１０は、受信した画面の画像、および、操作領域情報を制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力されたポインタの位置情報、モード情報およびイベント情報を端末装置１０に送信する。
表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。
操作部１１２は、情報処理装置１００のユーザである支援者から各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。また、操作部１１２は、例えば、入力デバイスとして、タッチパッド、ペンタブレットおよびデジタイザ等のポインティングデバイスを用いるようにしてもよい。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、操作領域記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
操作領域記憶部１２１は、端末装置１０から受信した操作領域情報に含まれる端末装置１０における画面の操作領域を記憶する。操作領域記憶部１２１は、例えば、操作領域を画面上の座標として記憶する。
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、表示制御部１３１と、判定部１３２と、第１送信制御部１３３と、第２送信制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
表示制御部１３１は、端末装置１０との間で画像の共有を開始すると、ネットワークＮおよび通信部１１０を介して、端末装置１０から受信した画面の画像を表示部１１１に表示させる。また、表示制御部１３１は、ネットワークＮおよび通信部１１０を介して、端末装置１０から操作領域情報を受信すると、受信した操作領域情報に含まれる操作領域を、操作領域記憶部１２１に記憶する。なお、表示制御部１３１は、操作領域が変化して新たに操作領域情報を受信した場合には、受信した操作領域情報に含まれる操作領域で、操作領域記憶部１２１を更新する。
表示制御部１３１は、判定部１３２から操作に応じた位置情報が入力されると、表示部１１１に表示された画像に対して、操作に応じた位置情報に対応する位置にポインタを重畳して表示させる。すなわち、表示制御部１３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かす操作が入力されると、入力された操作に応じてマウスのポインタを移動させて表示させる。言い換えると、表示制御部１３１は、端末装置１０から受信した画像を表示部１１１に表示し、該画像上の操作に応じた位置にポインタを重畳する。
判定部１３２は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。すなわち、判定部１３２は、入力デバイスに対する操作を受け付けると、受け付けた操作に応じた位置情報を表示制御部１３１に出力する。また、判定部１３２は、操作部１１２での入力操作、つまり、入力デバイスのイベントが発生したか否かを判定する。イベントは、例えば、基本イベントとして、マウスのボタンが押下される操作を示す「ＰＲＥＳＳ」とＸ，Ｙ座標との組合せ、および、マウスのボタンが離される操作を示す「ＲＥＬＥＡＳＥ」とＸ，Ｙ座標との組合せが挙げられる。また、イベントは、例えば、応用イベントとして、「ＰＲＥＳＳ」しながら移動する操作を示す「ＭＯＶＥ」とＸ，Ｙ座標との組合せ、および、「ＰＲＥＳＳ」と「ＲＥＬＥＡＳＥ」とが行われる操作を示す「ＣＬＩＣＫ」とＸ，Ｙ座標との組合せが挙げられる。
判定部１３２は、入力デバイスのイベントが発生していない場合には、操作領域記憶部１２１の操作領域に基づいて、ポインタが操作領域内か否かを判定する。すなわち、判定部１３２は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。判定部１３２は、ポインタが操作領域内である場合には、操作モードに設定する。判定部１３２は、ポインタが操作領域内でない場合には、手書きモードに設定する。判定部１３２は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報とを、第１送信制御部１３３に出力する。なお、判定部１３２は、イベントの発生とは関わらず、ポインタの位置情報とモード情報とを、定期的、例えば１秒ごとに第１送信制御部１３３に出力するようにしてもよい。
判定部１３２は、入力デバイスのイベントが発生した場合には、イベントが発生したポインタの位置と、操作領域記憶部１２１の操作領域とに基づいて、イベントが操作領域内であるか否かを判定する。すなわち、判定部１３２は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。判定部１３２は、イベントが操作領域内である場合には、操作モードに設定する。判定部１３２は、イベントが操作領域内でない場合には、手書きモードに設定する。判定部１３２は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報と、発生したイベントの内容を示すイベント情報とを、第１送信制御部１３３に出力する。
なお、判定部１３２は、手書きモードである際に、手書き入力中のポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、手書きモード情報とを端末装置１０に送信する。すなわち、判定部１３２は、手書きモードで手書き入力中のポインタの位置が手書き領域から操作領域に移動した場合に、手書きモードを継続することで、意図しない操作領域のボタン等の操作を防止することができる。
第１送信制御部１３３は、判定部１３２からポインタの位置情報およびモード情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。第１送信制御部１３３は、ポインタの位置情報およびモード情報を端末装置１０に送信すると、端末装置１０との間で画像の共有を終了するか否かを判定する。第１送信制御部１３３は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第１送信制御部１３３は、画像の共有を終了する場合には、送信制御処理を終了する。
また、第１送信制御部１３３は、判定部１３２からポインタの位置情報、モード情報およびイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。さらに、第１送信制御部１３３は、入力されたイベント情報を第２送信制御部１３４に出力する。
すなわち、第１送信制御部１３３は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。また、第１送信制御部１３３は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。
第２送信制御部１３４は、第１送信制御部１３３からイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたイベント情報を端末装置１０に送信する。すなわち、第２送信制御部１３４は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。第２送信制御部１３４は、イベント情報を端末装置１０に送信すると、端末装置１０との間で画像の共有を終了するか否かを判定する。第２送信制御部１３４は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第２送信制御部１３４は、画像の共有を終了する場合には、送信制御処理を終了する。
ここで、図２を用いて画像の共有および操作領域について説明する。図２は、画像の共有および操作領域の設定の一例を示す図である。図２に示すように、端末装置１０の表示部１３の画面の画像に対して、手書き領域２１と、操作領域２２とを設定する。操作領域２２には、例えば、クリックすることで対応付けられた操作を実行するボタンが配置される。端末装置１０の表示部１３の画面の画像は、情報処理装置１００と共有するために転送される。画面の画像が転送された情報処理装置１００では、表示部１１１に転送された画面の画像が表示される。
図２の例では、手書き領域２１に対応する手書き領域２３、および、操作領域２２に対応する操作領域２４が表示される。なお、表示部１１１には、その他の領域に共有しない画像が表示されていてもよい。また、情報処理装置１００で共有する画面の画像上には、操作部１１２から受け付けた操作に応じたポインタ２５，２６が表示される。ポインタ２５は、手書き領域２３内にポインタが位置する一例である。ポインタ２６は、操作領域２４内にポインタが位置する一例である。また、操作領域２４は、例えば、操作領域２４ａに示すように、操作ボタン２７ａ〜２７ｄの中心部分のみを、操作領域２８ａ〜２８ｄとしてもよい。この場合、情報処理装置１００において、より誤操作を防止できる。
次に、実施例１の情報処理システム１の動作について説明する。図３および図４は、実施例１の送信制御処理の一例を示すシーケンス図である。
情報処理システム１の端末装置１０は、例えばユーザである作業者から、情報処理装置１００との間で画像の共有を開始する指示を受け付ける。端末装置１０は、情報処理装置１００との間で、画面の画像の共有を開始する（ステップＳ１）。
また、端末装置１０の制御部１２は、端末装置１０の画面の画像について手書き領域と操作領域とを設定する。制御部１２は、設定した操作領域を操作領域情報として、画像の共有の開始時に情報処理装置１００に送信する。
情報処理装置１００の表示制御部１３１は、端末装置１０との間で画像の共有を開始すると、端末装置１０から受信した画面の画像を表示部１１１に表示させる。また、表示制御部１３１は、端末装置１０から操作領域情報を受信すると、受信した操作領域情報に含まれる操作領域を、操作領域記憶部１２１に記憶する（ステップＳ２）。
端末装置１０の制御部１２は、端末装置１０において画面の画像が変化して操作領域が変化したか否かを判定する（ステップＳ３）。制御部１２は、操作領域が変化した場合には（ステップＳ３：肯定）、変化した操作領域に対応する操作領域情報を情報処理装置１００に送信し（ステップＳ４）、ステップＳ１７に進む。制御部１２は、操作領域が変化していない場合には（ステップＳ３：否定）、操作領域情報を送信せずにステップＳ１７に進む。
情報処理装置１００の表示制御部１３１は、端末装置１０から操作領域情報を受信したか否かを判定する（ステップＳ５）。表示制御部１３１は、操作領域情報を受信した場合には（ステップＳ５：肯定）、受信した操作領域情報に含まれる操作領域で、操作領域記憶部１２１を更新し（ステップＳ６）、ステップＳ７に進む。表示制御部１３１は、操作領域情報を受信していない場合には（ステップＳ５：否定）、操作領域記憶部１２１を更新せずにステップＳ７に進む。
判定部１３２は、入力デバイスに対する操作を受け付けると、受け付けた操作に応じた位置情報を表示制御部１３１に出力する。表示制御部１３１は、判定部１３２から操作に応じた位置情報が入力されると、表示部１１１に表示された画像に対して、操作に応じた位置情報に対応する位置にポインタを重畳して表示させる。また、判定部１３２は、入力デバイスのイベントが発生したか否かを判定する（ステップＳ７）。判定部１３２は、入力デバイスのイベントが発生していない場合には（ステップＳ７：否定）、操作領域記憶部１２１の操作領域に基づいて、ポインタが操作領域内か否かを判定する（ステップＳ８）。
判定部１３２は、ポインタが操作領域内である場合には（ステップＳ８：肯定）、操作モードに設定する（ステップＳ９）。判定部１３２は、ポインタが操作領域内でない場合には（ステップＳ８：否定）、手書きモードに設定する（ステップＳ１０）。判定部１３２は、ポインタの位置情報および設定したモード情報を、第１送信制御部１３３に出力する。
第１送信制御部１３３は、判定部１３２からポインタの位置情報およびモード情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置１０に送信し（ステップＳ１１）、ステップＳ１６に進む。
ステップＳ７の説明に戻る。判定部１３２は、入力デバイスのイベントが発生した場合には（ステップＳ７：肯定）、イベントが発生したポインタの位置と、操作領域記憶部１２１の操作領域とに基づいて、イベントが操作領域内であるか否かを判定する（ステップＳ１２）。判定部１３２は、イベントが操作領域内である場合には（ステップＳ１２：肯定）、操作モードに設定する（ステップＳ１３）。判定部１３２は、イベントが操作領域内でない場合には（ステップＳ１２：否定）、手書きモードに設定する（ステップＳ１４）。判定部１３２は、ポインタの位置情報、設定したモード情報、および、イベント情報を、第１送信制御部１３３に出力する。
第１送信制御部１３３は、判定部１３２からポインタの位置情報、モード情報およびイベント情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。さらに、第１送信制御部１３３は、入力されたイベント情報を第２送信制御部１３４に出力する。第２送信制御部１３４は、第１送信制御部１３３からイベント情報が入力されると、入力されたイベント情報を端末装置１０に送信し（ステップＳ１５）、ステップＳ１６に進む。
第１送信制御部１３３または第２送信制御部１３４は、端末装置１０との間で画像の共有を終了するか否かを判定する（ステップＳ１６）。第１送信制御部１３３または第２送信制御部１３４は、画像の共有を終了しない場合には（ステップＳ１６：否定）、ステップＳ５に戻る。第１送信制御部１３３または第２送信制御部１３４は、画像の共有を終了する場合には（ステップＳ１６：肯定）、送信制御処理を終了する。
端末装置１０の制御部１２は、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。制御部１２は、情報処理装置１００からイベント情報を受信したか否かを判定する（ステップＳ１７）。制御部１２は、イベント情報を受信していない場合には（ステップＳ１７：否定）、ステップＳ３に戻る。すなわち、制御部１２は、情報処理装置１００からポインタの位置情報およびモード情報を受信した場合には、ポインタの位置情報およびモード情報を表示部１３に表示させる画面に反映させる。
制御部１２は、イベント情報を受信した場合には（ステップＳ１７：肯定）、受信したモード情報が操作モードであるか否かを判定する（ステップＳ１８）。制御部１２は、モード情報が操作モードである場合には（ステップＳ１８：肯定）、受信したイベント情報を発行し（ステップＳ１９）、ステップＳ２１に進む。
制御部１２は、モード情報が操作モードでない場合には（ステップＳ１８：否定）、イベント情報に基づいて手書き描画を実行し（ステップＳ２０）、ステップＳ２１に進む。
制御部１２は、イベント情報の発行、または、手書き描画の実行を終了すると、情報処理装置１００との間で画像の共有を終了するか否かを判定する（ステップＳ２１）。制御部１２は、画像の共有を終了しない場合には（ステップＳ２１：否定）、ステップＳ３に戻る。制御部１２は、画像の共有を終了する場合には（ステップＳ２１：肯定）、送信制御処理を終了する。これにより、情報処理装置１００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
このように、情報処理装置１００は、入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置１００は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。その結果、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
また、情報処理装置１００は、端末装置１０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。その結果、端末装置１０との間で画像の共有ができ、情報処理装置１００側で共有した画像上において操作を行うことができる。
また、情報処理装置１００は、手書きモードである際に、手書き入力中のポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、手書きモード情報とを端末装置１０に送信する。その結果、手書き入力中に意図しない操作を行うことが防止できる。
上記実施例１では、画面の領域によって手書きモードと操作モードとを切り替えたが、入力デバイスに応じて手書きモードと操作モードとを切り替えてもよく、この場合の実施の形態につき、実施例２として説明する。図５は、実施例２の情報処理システムの構成の一例を示すブロック図である。図５に示す情報処理システム２は、端末装置５０と、情報処理装置２００とを有する。なお、実施例１の情報処理システム１と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例２の端末装置５０は、実施例１の端末装置１０と比較して、制御部１２に代えて制御部５２を有する。
制御部５２は、制御部１２と比較して手書き領域および操作領域の設定、操作領域情報の送信を行わない。制御部５２は、その他の処理については、制御部１２と同様であるので、その説明を省略する。
実施例２の情報処理装置２００の操作部１１２は、例えば、手書き入力を受け付ける入力デバイスとしてタッチパッドを有し、他の入力デバイスとしてマウスを有する。また、情報処理装置２００の記憶部２２０は、実施例１の記憶部１２０と比較して、操作領域記憶部１２１を有さない。
実施例２の情報処理装置２００の制御部２３０は、実施例１の制御部１３０と比較して、表示制御部１３１に代えて表示制御部２３１を有し、判定部１３２を有さない。また、制御部２３０は、制御部１３０と比較して、第１送信制御部１３３および第２送信制御部１３４に代えて、第１送信制御部２３３および第２送信制御部２３４を有する。
表示制御部２３１は、端末装置５０との間で画像の共有を開始すると、ネットワークＮおよび通信部１１０を介して、端末装置５０から受信した画面の画像を表示部１１１に表示させる。
表示制御部２３１は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。また、表示制御部２３１は、操作部１１２での入力操作、つまり、入力デバイスのイベントが発生したか否かを判定する。表示制御部２３１は、入力デバイスのイベントが発生していない場合には、入力デバイスの種別を収集する。表示制御部２３１は、収集した入力デバイスの種別が、手書き入力を受け付ける入力デバイス、つまり、手書きデバイスか否かを判定する。
表示制御部２３１は、種別が手書きデバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、手書き入力のポインタを動かす操作が入力されると、入力された操作に応じて手書き入力のポインタを移動させて、例えば線を描画して表示させる。言い換えると、表示制御部２３１は、手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する。
表示制御部２３１は、種別が手書きデバイスでない、つまり、他の入力デバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かす操作が入力されると、入力された操作に応じてマウスのポインタを移動させて表示させる。言い換えると、表示制御部２３１は、他の入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する。なお、他の入力デバイスは、例えば、マウス、キーボード等が挙げられる。
表示制御部２３１は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報とを、第１送信制御部２３３に出力する。なお、表示制御部２３１は、イベントの発生とは関わらず、ポインタの位置情報とモード情報とを、定期的、例えば１秒ごとに第１送信制御部２３３に出力するようにしてもよい。
表示制御部２３１は、入力デバイスのイベントが発生した場合には、入力デバイスの種別を収集する。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する。表示制御部２３１は、種別が手書きデバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、手書き入力のポインタを動かした後に、例えば手書き入力に用いたペンが離される操作が入力されると、例えば、線の描画をペンが離された位置で終了して表示させる。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する。
表示制御部２３１は、種別が手書きデバイスでない、つまり、他の入力デバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かした後にクリックする操作が入力されると、ポインタを移動した位置にある操作ボタンを押下するイベント情報を生成する。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する。
表示制御部２３１は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報と、発生したイベントの内容を示すイベント情報とを、第１送信制御部２３３に出力する。
なお、ポインタの重畳表示について言い換えると、表示制御部２３１は、イベントの発生有無、および、入力デバイスの種別に関わらず、端末装置５０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、第１送信制御部２３３に統合してもよい。
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報およびモード情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。第１送信制御部２３３は、ポインタの位置情報およびモード情報を端末装置５０に送信すると、端末装置５０との間で画像の共有を終了するか否かを判定する。第１送信制御部２３３は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第１送信制御部２３３は、画像の共有を終了する場合には、送信制御処理を終了する。
また、第１送信制御部２３３は、表示制御部２３１からポインタの位置情報、モード情報およびイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。さらに、第１送信制御部２３３は、入力されたイベント情報を第２送信制御部２３４に出力する。
すなわち、第１送信制御部２３３は、手書き入力を受け付ける入力デバイスに対する操作を受け付けた場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置５０に送信する。また、第１送信制御部２３３は、他の入力デバイスに対する操作を受け付けた場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置５０に送信する。
第２送信制御部２３４は、第１送信制御部２３３からイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたイベント情報を端末装置５０に送信する。すなわち、第２送信制御部２３４は、他の入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置５０に送信する。第２送信制御部２３４は、イベント情報を端末装置５０に送信すると、端末装置５０との間で画像の共有を終了するか否かを判定する。第２送信制御部２３４は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第２送信制御部２３４は、画像の共有を終了する場合には、送信制御処理を終了する。
次に、実施例２の情報処理システム２の動作について説明する。図６は、実施例２の送信制御処理の一例を示すシーケンス図である。以下の説明では、ステップＳ１６〜Ｓ２１の処理は、実施例１と同様であるので、その説明を省略する。
情報処理システム２の端末装置５０は、例えばユーザである作業者から、情報処理装置２００との間で画像の共有を開始する指示を受け付ける。端末装置５０は、情報処理装置２００との間で、画面の画像の共有を開始する（ステップＳ５０）。情報処理装置２００の表示制御部２３１は、端末装置５０との間で画像の共有を開始すると、端末装置５０から受信した画面の画像を表示部１１１に表示させる。
表示制御部２３１は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。また、表示制御部２３１は、入力デバイスのイベントが発生したか否かを判定する（ステップＳ５１）。表示制御部２３１は、入力デバイスのイベントが発生していない場合には（ステップＳ５１：否定）、入力デバイスの種別を収集する（ステップＳ５２）。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する（ステップＳ５３）。
表示制御部２３１は、種別が手書きデバイスでない場合には（ステップＳ５３：否定）、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する（ステップＳ５４）。表示制御部２３１は、ポインタの位置情報およびモード情報を、第１送信制御部２３３に出力する。
表示制御部２３１は、種別が手書きデバイスである場合には（ステップＳ５３：肯定）、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する（ステップＳ５５）。表示制御部２３１は、ポインタの位置情報およびモード情報を、第１送信制御部２３３に出力する。
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報およびモード情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置５０に送信し（ステップＳ５６）、ステップＳ１６に進む。
ステップＳ５１の説明に戻って、表示制御部２３１は、入力デバイスのイベントが発生した場合には（ステップＳ５１：肯定）、入力デバイスの種別を収集する（ステップＳ５７）。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する（ステップＳ５８）。
表示制御部２３１は、種別が手書きデバイスでない場合には（ステップＳ５８：否定）、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。さらに、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する（ステップＳ５９）。表示制御部２３１は、ポインタの位置情報、モード情報およびイベント情報を、第１送信制御部２３３に出力する。
表示制御部２３１は、種別が手書きデバイスである場合には（ステップＳ５８：肯定）、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。さらに、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する（ステップＳ６０）。表示制御部２３１は、ポインタの位置情報、モード情報およびイベント情報を、第１送信制御部２３３に出力する。
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報、モード情報およびイベント情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。さらに、第１送信制御部２３３は、入力されたイベント情報を第２送信制御部２３４に出力する。第２送信制御部２３４は、第１送信制御部２３３からイベント情報が入力されると、入力されたイベント情報を端末装置５０に送信し（ステップＳ６１）、ステップＳ１６に進む。これにより、情報処理装置２００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
このように、情報処理装置２００は、手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置２００は、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置５０に送信する。また、情報処理装置２００は、他の入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置２００は、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置５０に送信する。また、情報処理装置２００は、他の入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置５０に送信する。その結果、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
また、情報処理装置２００は、端末装置５０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。その結果、端末装置５０との間で画像の共有ができ、情報処理装置２００側で共有した画像上において操作を行うことができる。
なお、上記各実施例では、一人の作業者の端末装置１０または５０と、一人の支援者の情報処理装置１００または２００との間で画像を共有したが、これに限定されない。例えば、一人の作業者の端末装置１０または５０と、複数の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。また、複数の作業者の端末装置１０または５０と、一人の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。さらに、複数の作業者の端末装置１０または５０と、複数の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１送信制御部１３３と第２送信制御部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図７は、送信制御プログラムを実行するコンピュータの一例を示す図である。
図７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
ハードディスク装置３０８には、図１に示した表示制御部１３１、判定部１３２、第１送信制御部１３３および第２送信制御部１３４の各処理部と同様の機能を有する送信制御プログラムが記憶される。また、ハードディスク装置３０８には、図５に示した表示制御部２３１、第１送信制御部２３３および第２送信制御部２３４の各処理部と同様の機能を有する送信制御プログラムが記憶されてもよい。また、ハードディスク装置３０８には、操作領域記憶部１２１、および、送信制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、図１または図５に示した操作部１１２と同様の機能を有し、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えば印刷装置等が接続される。通信装置３０６は、例えば、図１または図５に示した通信部１１０と同様の機能を有し端末装置１０または５０と接続され、端末装置１０または５０と各種情報をやりとりする。
ＣＰＵ３０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した表示制御部１３１、判定部１３２、第１送信制御部１３３および第２送信制御部１３４として機能させることができる。または、これらのプログラムは、コンピュータ３００を図５に示した表示制御部２３１、第１送信制御部２３３および第２送信制御部２３４として機能させることができる。
なお、上記の送信制御プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの送信制御プログラムを記憶させておき、コンピュータ３００がこれらから送信制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
（付記２）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１に記載の送信制御プログラム。
（付記３）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記１または２に記載の送信制御プログラム。
（付記４）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
（付記５）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記４に記載の送信制御プログラム。
（付記６）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
（付記７）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記６に記載の送信制御方法。
（付記８）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記６または７に記載の送信制御方法。
（付記９）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
（付記１０）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記９に記載の送信制御方法。
（付記１１）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する表示制御部と、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する判定部と、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
（付記１２）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１１に記載の情報処理装置。
（付記１３）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記１１または１２に記載の情報処理装置。
（付記１４）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
（付記１５）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１４に記載の情報処理装置。
１，２ 情報処理システム
１０，５０ 端末装置
１１ 通信部
１２，５２ 制御部
１３ 表示部
１４ 操作部
１００，２００ 情報処理装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０，２２０ 記憶部
１２１ 操作領域記憶部
１３０，２３０ 制御部
１３１，２３１ 表示制御部
１３２ 判定部
１３３，２３３ 第１送信制御部
１３４，２３４ 第２送信制御部
Ｎ ネットワーク

Claims (9)

  1. 入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
    重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
    前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
    前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
    処理をコンピュータに実行させることを特徴とする送信制御プログラム。
  2. 前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
    ことを特徴とする請求項１に記載の送信制御プログラム。
  3. 前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
    ことを特徴とする請求項１または２に記載の送信制御プログラム。
  4. 手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
    前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
    処理をコンピュータに実行させることを特徴とする送信制御プログラム。
  5. 前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
    ことを特徴とする請求項４に記載の送信制御プログラム。
  6. 入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
    重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
    前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
    前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
    処理をコンピュータが実行することを特徴とする送信制御方法。
  7. 手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
    前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
    処理をコンピュータが実行することを特徴とする送信制御方法。
  8. 入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する表示制御部と、
    重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する判定部と、
    前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
    前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
    を有することを特徴とする情報処理装置。
  9. 手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
    前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
    を有することを特徴とする情報処理装置。
JP2016132896A 2016-07-04 2016-07-04 送信制御プログラム、送信制御方法および情報処理装置 Active JP6668980B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016132896A JP6668980B2 (ja) 2016-07-04 2016-07-04 送信制御プログラム、送信制御方法および情報処理装置
US15/616,030 US10523827B2 (en) 2016-07-04 2017-06-07 Information processing device and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016132896A JP6668980B2 (ja) 2016-07-04 2016-07-04 送信制御プログラム、送信制御方法および情報処理装置

Publications (2)

Publication Number Publication Date
JP2018005636A true JP2018005636A (ja) 2018-01-11
JP6668980B2 JP6668980B2 (ja) 2020-03-18

Family

ID=60807252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016132896A Active JP6668980B2 (ja) 2016-07-04 2016-07-04 送信制御プログラム、送信制御方法および情報処理装置

Country Status (2)

Country Link
US (1) US10523827B2 (ja)
JP (1) JP6668980B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022539335A (ja) * 2019-10-09 2022-09-08 広州視源電子科技股▲分▼有限公司 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234039A (zh) * 2019-04-10 2019-09-13 苏州卓晋通信有限公司 用于在网络物理***中实现互联网内容远程获取的***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146629A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 画面共有システム及び情報処理装置
JP2006288611A (ja) * 2005-04-08 2006-10-26 Olympus Corp 医用画像表示装置
JP2006343856A (ja) * 2005-06-07 2006-12-21 Fujitsu Ltd 手書き情報入力装置。
JP2009157448A (ja) * 2007-12-25 2009-07-16 Konica Minolta Holdings Inc 手書き情報入力表示システム
JP2009218868A (ja) * 2008-03-11 2009-09-24 Hitachi Information Systems Ltd 手書き情報共有化システム及び手書き情報共有化方法
JP2009230579A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体
JP2012043251A (ja) * 2010-08-20 2012-03-01 Ricoh Co Ltd 電子情報ボード装置
JP2013114593A (ja) * 2011-11-30 2013-06-10 Ricoh Co Ltd 画像表示装置およびその制御方法並びにプログラム
US20140033056A1 (en) * 2012-07-24 2014-01-30 Samsung Electronics Co., Ltd. Method and system for providing a memo function based on a cloud service and an electronic device supporting the same
JP2015094970A (ja) * 2013-11-08 2015-05-18 シャープ株式会社 会議支援システム、サーバ、端末装置、会議支援方法、および会議支援プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517420B2 (ja) 1992-08-04 2004-04-12 株式会社日立製作所 テレポインタ表示方法
US5568603A (en) * 1994-08-11 1996-10-22 Apple Computer, Inc. Method and system for transparent mode switching between two different interfaces
JP2010218422A (ja) * 2009-03-18 2010-09-30 Toshiba Corp 情報処理装置および情報処理装置の制御方法
JP6035712B2 (ja) * 2010-10-26 2016-11-30 株式会社リコー 画面共有サービス提供システム、情報処理装置、画面共有サービス提供方法、画面共有サービス提供プログラム、及びプログラム
JP5811597B2 (ja) * 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
US8890808B2 (en) * 2012-01-06 2014-11-18 Microsoft Corporation Repositioning gestures for chromeless regions
US9141262B2 (en) * 2012-01-06 2015-09-22 Microsoft Technology Licensing, Llc Edge-based hooking gestures for invoking user interfaces
KR101899816B1 (ko) * 2012-07-26 2018-09-20 엘지전자 주식회사 단말 장치 및 이의 필기 공유 방법
JP5751228B2 (ja) 2012-09-05 2015-07-22 コニカミノルタ株式会社 会議支援システム及び制御装置並びに入力端末
JP2016014435A (ja) * 2014-07-02 2016-01-28 株式会社デンソー シフトレンジ切換制御装置
JP6465277B6 (ja) * 2014-10-23 2019-03-13 Ｄｙｎａｂｏｏｋ株式会社 電子機器、処理方法およびプログラム
KR20160053144A (ko) * 2014-10-31 2016-05-13 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
KR102252321B1 (ko) * 2014-12-24 2021-05-14 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
JP6543960B2 (ja) * 2015-02-27 2019-07-17 セイコーエプソン株式会社 表示装置、表示制御方法およびプログラム
JP6251214B2 (ja) * 2015-05-14 2017-12-20 株式会社東芝 電子機器、方法及びプログラム
US10511700B2 (en) * 2016-02-25 2019-12-17 Ricoh Company, Ltd. Communication terminal with first application displaying status of second application

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146629A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 画面共有システム及び情報処理装置
JP2006288611A (ja) * 2005-04-08 2006-10-26 Olympus Corp 医用画像表示装置
JP2006343856A (ja) * 2005-06-07 2006-12-21 Fujitsu Ltd 手書き情報入力装置。
JP2009157448A (ja) * 2007-12-25 2009-07-16 Konica Minolta Holdings Inc 手書き情報入力表示システム
JP2009218868A (ja) * 2008-03-11 2009-09-24 Hitachi Information Systems Ltd 手書き情報共有化システム及び手書き情報共有化方法
JP2009230579A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体
JP2012043251A (ja) * 2010-08-20 2012-03-01 Ricoh Co Ltd 電子情報ボード装置
JP2013114593A (ja) * 2011-11-30 2013-06-10 Ricoh Co Ltd 画像表示装置およびその制御方法並びにプログラム
US20140033056A1 (en) * 2012-07-24 2014-01-30 Samsung Electronics Co., Ltd. Method and system for providing a memo function based on a cloud service and an electronic device supporting the same
JP2015094970A (ja) * 2013-11-08 2015-05-18 シャープ株式会社 会議支援システム、サーバ、端末装置、会議支援方法、および会議支援プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022539335A (ja) * 2019-10-09 2022-09-08 広州視源電子科技股▲分▼有限公司 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体
JP7320634B2 (ja) 2019-10-09 2023-08-03 広州視源電子科技股▲分▼有限公司 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体

Also Published As

Publication number Publication date
JP6668980B2 (ja) 2020-03-18
US10523827B2 (en) 2019-12-31
US20180007216A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
EP3373130A1 (en) Method for running multiple screens of intelligent device, and system thereof
US11402992B2 (en) Control method, electronic device and non-transitory computer readable recording medium device
JP2004264769A (ja) 情報処理装置およびプログラム
JP6105822B1 (ja) タッチスクリーンの制御方法及び装置
JP7042622B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び、プログラム
JP5522381B2 (ja) 表示装置、端末装置、表示システム、プログラム、情報記憶媒体、表示方法および画像変更方法
JP3195742U (ja) グラフィック産業における機械及び機器を操作するための装置
TW201633237A (zh) 股票多模式詳細資訊裝置與方法
US20190179474A1 (en) Control method, electronic device, and non-transitory computer readable recording medium
WO2017022031A1 (ja) 情報端末装置
JP6668980B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
WO2014174630A1 (ja) マルチモニタ、マルチモニタの表示方法
WO2022209350A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6034709B2 (ja) 端末装置、外部表示装置及び端末装置と外部表示装置とからなる情報システム
JP6977710B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019185114A (ja) 情報処理装置、表示制御方法、及びプログラム
JP5087031B2 (ja) 表示制御装置、入力操作装置、表示システム、及び管制システム
JP2010128567A (ja) カーソル移動制御方法及び装置、プログラム
JP4765893B2 (ja) タッチパネル搭載装置、外部装置、及び外部装置の操作方法
JP2018085071A (ja) 表示システム
KR20210073911A (ko) 전자 장치 및 그 제어 방법
JP6716519B2 (ja) 表示装置及び表示方法
JP2016038619A (ja) 携帯端末装置及びその操作方法
JP2013187589A (ja) 映像表示装置、表示システム、携帯端末
JP5660379B2 (ja) シンクライアント用プロキシサーバおよび通信制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6668980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150