JP2021009619A - Information processing system and program - Google Patents
Information processing system and program Download PDFInfo
- Publication number
- JP2021009619A JP2021009619A JP2019123927A JP2019123927A JP2021009619A JP 2021009619 A JP2021009619 A JP 2021009619A JP 2019123927 A JP2019123927 A JP 2019123927A JP 2019123927 A JP2019123927 A JP 2019123927A JP 2021009619 A JP2021009619 A JP 2021009619A
- Authority
- JP
- Japan
- Prior art keywords
- address
- gesture
- user
- information
- image forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 65
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理システム及びプログラムに関する。 The present invention relates to information processing systems and programs.
携帯型の端末に格納されている文書データを、最寄りの印刷装置で印刷したい場合がある。現在、携帯型の端末を印刷装置に接続するための仕組みとして、ＮＦＣ（＝Near Field Communication）が用いられることがある。ＮＦＣは、機器同士を近づけることで通信が可能であるが、文書データの送信には適していない。このため、ＮＦＣは、印刷装置のＩＰ（＝Internet Protocol）アドレスを携帯型の端末への送信に使用されている。ＩＰアドレスを取得した携帯型の端末は、Ｗｉ−Ｆｉ（登録商標）等を使用して、文書データや印刷の設定を印刷装置に送信する。 You may want to print the document data stored in a portable terminal with the nearest printing device. Currently, NFC (= Near Field Communication) may be used as a mechanism for connecting a portable terminal to a printing device. NFC can communicate by bringing devices closer to each other, but it is not suitable for transmitting document data. Therefore, the NFC is used to transmit the IP (= Internet Protocol) address of the printing device to the portable terminal. The portable terminal that has acquired the IP address uses Wi-Fi (registered trademark) or the like to transmit document data and printing settings to the printing device.
セキュリティに関する関心の高まりに伴い、画像処理装置へのＮＦＣの搭載を望まない顧客や設けられているＮＦＣの機能を無効にする顧客も存在する。 With the growing concern about security, there are some customers who do not want to install NFC in the image processing device and some customers who disable the function of the provided NFC.
本発明は、相手先のネットワーク上のアドレスが未知の場合でも、ＮＦＣを用いずに端末との通信を確立することを目的とする。 An object of the present invention is to establish communication with a terminal without using NFC even when the address on the network of the other party is unknown.
請求項１に記載の発明は、ネットワーク経由で接続されている機器のネットワーク上のアドレスと、機器毎に定まる当該アドレスを提供する条件としてユーザに求める動作に関する情報とを対応付けて記憶する記憶手段と、ネットワーク経由で接続されている端末から受信される情報が前記記憶手段に記憶されている前記動作に関する情報に整合する場合、当該動作に関する情報に対応付けられている前記アドレスを当該端末に送信する送信手段とを有する情報処理システムである。
請求項２に記載の発明は、ユーザに求める前記動作は、前記機器が予め定めた操作を検知した場合に、当該機器の提示手段又は当該機器と連携する提示手段を通じてユーザに提示される、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記送信手段は、予め定めた前記操作の検知を通知した前記機器について記憶されている前記動作に関する情報と、前記端末から受信した動作に関する情報とが一致する場合に、当該機器に対応付けられている前記アドレスを送信する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、ユーザに求める前記動作は、提示された形状を描くように又は予め定めた経路をたどるように前記端末を空中で移動させることである、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、ユーザに求める前記動作は、提示された形状又は文字を前記端末のタッチパネルに入力することである、請求項２に記載の情報処理システムである。
請求項６に記載の発明は、ユーザに求める前記動作は、提示された頭部の動き、又は、顔の部位の動き、又は、手若しくは指若しくは腕の動き、又は、足の動きであり、前記端末により撮像される、請求項２に記載の情報処理システムである。
請求項７に記載の発明は、前記機器が予め定めた操作を検知するたびに、ユーザに求める前記動作を生成する生成手段を更に有する、請求項１に記載の情報処理システムである。
請求項８に記載の発明は、複数の前記機器が予め定めた操作を検知している場合、前記生成手段は、複数の当該機器の間で異なる動作をユーザに求める、請求項７に記載の情報処理システムである。
請求項９に記載の発明は、コンピュータに、ネットワーク経由で接続されている機器のネットワーク上のアドレスと、機器毎に定まる当該アドレスを提供する条件としてユーザに求める動作に関する情報とを対応付けた関係を記憶手段に記憶させる機能と、ネットワーク経由で接続されている端末から受信される情報が前記記憶手段に記憶されている前記動作に関する情報に整合する場合、当該動作に関する情報に対応付けられている前記アドレスを当該端末に送信させる機能とを実行させるプログラムである。
請求項１０に記載の発明は、コンピュータに、センサを通じて検知されたユーザの動作を、ネットワーク経由で接続されているサーバに送信させる機能と、前記ユーザの動作に対応付けられている機器のネットワーク上のアドレスを、前記サーバから受信させる機能と、受信した前記アドレスを用いて、ネットワーク経由で前記機器と通信させる機能とを実行させるプログラムである。
The invention according to claim 1 is a storage means for storing an address on a network of a device connected via a network and information related to an operation required of a user as a condition for providing the address determined for each device. When the information received from the terminal connected via the network matches the information about the operation stored in the storage means, the address associated with the information about the operation is transmitted to the terminal. It is an information processing system having a transmission means to perform.
The invention according to claim 2 claims that the operation required of the user is presented to the user through the presenting means of the device or the presenting means linked with the device when the device detects a predetermined operation. The information processing system according to item 1.
According to the third aspect of the present invention, when the transmitting means matches the information about the operation stored in the device that has notified the detection of the operation and the information about the operation received from the terminal. The information processing system according to claim 2, wherein the address associated with the device is transmitted to the device.
The invention according to claim 4, wherein the operation required of the user is to move the terminal in the air so as to draw a presented shape or follow a predetermined route. It is an information processing system.
The invention according to claim 5 is the information processing system according to claim 2, wherein the operation required of the user is to input the presented shape or character to the touch panel of the terminal.
According to the sixth aspect of the present invention, the movement required of the user is the presented movement of the head, the movement of a facial part, the movement of a hand, a finger or an arm, or the movement of a foot. The information processing system according to claim 2, which is imaged by the terminal.
The invention according to claim 7 is the information processing system according to claim 1, further comprising a generation means for generating the operation requested by the user each time the device detects a predetermined operation.
The invention according to claim 8, wherein when a plurality of the devices detect a predetermined operation, the generation means requires the user to perform different operations among the plurality of the devices. It is an information processing system.
The invention according to claim 9 is a relationship in which a computer is associated with an address on a network of devices connected via a network and information on an operation required of a user as a condition for providing the address determined for each device. Is associated with the information about the operation when the function of storing the above in the storage means and the information received from the terminal connected via the network match the information about the operation stored in the storage means. It is a program that executes a function of transmitting the address to the terminal.
The invention according to claim 10 has a function of causing a computer to transmit a user's operation detected through a sensor to a server connected via a network, and a device network associated with the user's operation. This is a program that executes a function of receiving the address from the server and a function of communicating with the device via the network using the received address.
請求項１記載の発明によれば、相手先のネットワーク上のアドレスが未知の場合でも、ＮＦＣを用いずに端末との通信を確立できる。
請求項２記載の発明によれば、通信の確立に必要な動作の確認が容易になる。
請求項３記載の発明によれば、ユーザが実際に操作した機器との通信を確立できる。
請求項４記載の発明によれば、ユーザの動作を端末の移動として検出できる。
請求項５記載の発明によれば、タッチパネルに対するユーザの指の動きをユーザの動作として検出できる。
請求項６記載の発明によれば、ユーザの動作を画像として検出できる。
請求項７記載の発明によれば、ユーザに求める動作は操作回毎に有効であるので、セキュリティを高めることができる。
請求項８記載の発明によれば、機器への接続の要求が重なる場合にも誤ったアドレスが送信されないようにできる。
請求項９記載の発明によれば、相手先のネットワーク上のアドレスが未知の場合でも、ＮＦＣを用いずに端末との通信を確立できる。
請求項１０記載の発明によれば、相手先のネットワーク上のアドレスが未知の場合でも、ＮＦＣを用いずに端末との通信を確立できる。
According to the invention of claim 1, even when the address on the network of the other party is unknown, communication with the terminal can be established without using NFC.
According to the invention of claim 2, it becomes easy to confirm the operation required for establishing communication.
According to the invention of claim 3, communication with a device actually operated by the user can be established.
According to the invention of claim 4, the user's operation can be detected as the movement of the terminal.
According to the invention of claim 5, the movement of the user's finger with respect to the touch panel can be detected as the movement of the user.
According to the invention of claim 6, the user's movement can be detected as an image.
According to the invention of claim 7, since the operation required of the user is effective for each operation, security can be enhanced.
According to the invention of claim 8, it is possible to prevent the wrong address from being transmitted even when the requests for connection to the device overlap.
According to the invention of claim 9, even when the address on the network of the other party is unknown, communication with the terminal can be established without using NFC.
According to the invention of claim 10, even when the address on the network of the other party is unknown, communication with the terminal can be established without using NFC.
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜印刷システムの全体構成＞
図１は、実施の形態１で使用する印刷システム１の全体構成の例を概略的に示す図である。
図１に示す印刷システム１は、ローカルエリアネットワーク１０に接続される画像形成装置２０と、サーバ３０と、アクセスポイント４０と、スマートフォン５０で構成されている。図１の場合、画像形成装置２０、サーバ３０、アクセスポイント４０及びスマートフォン５０は１台であるが、それぞれ複数台でもよい。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<Embodiment 1>
<Overall configuration of printing system>
FIG. 1 is a diagram schematically showing an example of the overall configuration of the printing system 1 used in the first embodiment.
The printing system 1 shown in FIG. 1 includes an image forming apparatus 20 connected to the local area network 10, a server 30, an access point 40, and a smartphone 50. In the case of FIG. 1, the image forming apparatus 20, the server 30, the access point 40, and the smartphone 50 are one, but a plurality of each may be used.
図１の場合、ローカルエリアネットワーク１０は、有線ＬＡＮ（＝Local Area Network）である。このため、ローカルエリアネットワーク１０と画像形成装置２０、ローカルエリアネットワーク１０とサーバ３０、ローカルエリアネットワーク１０とアクセスポイント４０は、いずれもＬＡＮケーブルで接続されている。なお、アクセスポイント４０とスマートフォン５０は、無線ＬＡＮで接続されている。本実施の形態の場合、無線ＬＡＮには、Ｗｉ−Ｆｉを使用する。
図１に示す印刷システム１を構成する画像形成装置２０、サーバ３０、アクセスポイント４０、スマートフォン５０のそれぞれには、ＬＡＮ上の位置を示すＩＰアドレスが付与されている。ＩＰアドレスは、ネットワーク上のアドレスの一例である。
In the case of FIG. 1, the local area network 10 is a wired LAN (= Local Area Network). Therefore, the local area network 10 and the image forming apparatus 20, the local area network 10 and the server 30, and the local area network 10 and the access point 40 are all connected by a LAN cable. The access point 40 and the smartphone 50 are connected by a wireless LAN. In the case of this embodiment, Wi-Fi is used for the wireless LAN.
An IP address indicating a location on the LAN is assigned to each of the image forming apparatus 20, the server 30, the access point 40, and the smartphone 50 constituting the printing system 1 shown in FIG. The IP address is an example of an address on the network.
図１に示す画像形成装置２０は、用紙に画像を形成する機能に加え、原稿等の画像イメージを読み取る機能やファクシミリ通信を制御する機能も備えている。なお、列記した機能は一例に過ぎず、他の機能を備えることを妨げない。
本実施の形態における画像形成装置２０は、ＮＦＣ通信用のデバイスが設けられていないか、ＮＦＣ通信用のデバイスの機能が無効に設定されている。このため、本実施の形態における画像形成装置２０は、ＮＦＣ通信により、自装置のＩＰアドレスをスマートフォン５０に引き渡せない。ここでの画像形成装置２０は、ネットワーク経由でサーバ３０に接続されている機器の一例である。
The image forming apparatus 20 shown in FIG. 1 has, in addition to the function of forming an image on paper, a function of reading an image of an original or the like and a function of controlling facsimile communication. The listed functions are merely examples, and do not prevent the provision of other functions.
The image forming apparatus 20 in the present embodiment is not provided with a device for NFC communication, or the function of the device for NFC communication is disabled. Therefore, the image forming apparatus 20 in the present embodiment cannot deliver the IP address of its own device to the smartphone 50 by NFC communication. The image forming apparatus 20 here is an example of a device connected to the server 30 via a network.
図１に示すサーバ３０は、ＮＦＣ通信を用いずに、画像形成装置２０のＩＰアドレスをスマートフォン５０に引き渡すサービスを提供するコンピュータである。サービスの提供は、プログラムの実行を通じて実現される。
本実施の形態の場合、サーバ３０は、前述したサービスの提供を主な目的とするが、他のサービスの提供に用いることも可能である。ここでのサーバ３０は、情報処理システムの一例である。
The server 30 shown in FIG. 1 is a computer that provides a service of passing the IP address of the image forming apparatus 20 to the smartphone 50 without using NFC communication. The provision of services is realized through the execution of programs.
In the case of the present embodiment, the server 30 has the main purpose of providing the above-mentioned service, but it can also be used for providing other services. The server 30 here is an example of an information processing system.
アクセスポイント４０は、スマートフォン５０等の無線端末を収容するとともに、ローカルエリアネットワーク１０との通信を中継する基地局である。
スマートフォン５０は、ユーザによる持ち運びが可能な携帯型のコンピュータである。本実施の形態におけるスマートフォン５０は、画像形成装置２０に対して印刷データと印刷の設定を送信するコンピュータとして使用される。本実施の形態におけるスマートフォン５０は、ネットワーク経由でサーバ３０に接続されている機器の一例である。
なお、本実施の形態では、携帯型のコンピュータの一例としてスマートフォン５０を用いるが、タブレット端末、ウェアラブル端末でもよい。
The access point 40 is a base station that accommodates a wireless terminal such as a smartphone 50 and relays communication with the local area network 10.
The smartphone 50 is a portable computer that can be carried by the user. The smartphone 50 in this embodiment is used as a computer that transmits print data and print settings to the image forming apparatus 20. The smartphone 50 in this embodiment is an example of a device connected to the server 30 via a network.
In the present embodiment, the smartphone 50 is used as an example of the portable computer, but a tablet terminal or a wearable terminal may also be used.
＜画像形成装置２０の構成＞
図２は、実施の形態１で使用する画像形成装置２０の構成例を説明する図である。
図２に示す画像形成装置２０は、システム全体の動作を制御するシステム制御部２０１と、原稿等の画像イメージを読み取る画像読取部２０２と、記録媒体の一例である用紙の表面に画像を形成する画像形成部２０３と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理部２０４と、画像データ等を記憶する記憶部２０５と、ユーザによる操作の受け付けや情報の表示に使用される操作及び表示部２０６と、ファクシミリ通信を制御するファクシミリ制御部２０７と、ネットワーク通信を制御するネットワーク制御部２０８と、これらを接続するバス２０９や不図示の信号線を有している。
<Structure of image forming apparatus 20>
FIG. 2 is a diagram illustrating a configuration example of the image forming apparatus 20 used in the first embodiment.
The image forming apparatus 20 shown in FIG. 2 forms an image on the surface of a paper, which is an example of a recording medium, and a system control unit 201 that controls the operation of the entire system, an image reading unit 202 that reads an image of an original or the like. The image forming unit 203, the image processing unit 204 that adds processing such as color correction and gradation correction to the image represented by the image data, the storage unit 205 that stores the image data, and the like, for accepting operations by the user and displaying information. It has an operation and display unit 206 used, a facsimile control unit 207 that controls facsimile communication, a network control unit 208 that controls network communication, a bus 209 connecting these, and a signal line (not shown).
システム制御部２０１は、ＣＰＵ（＝Central Processing Unit）と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）等を有している。システム制御部２０１は、いわゆるコンピュータであり、プログラムの実行を通じて各種の機能を提供する。 The system control unit 201 includes a CPU (= Central Processing Unit), a ROM (= Read Only Memory) in which firmware, a BIOS (= Basic Input Output System), etc. are stored, and a RAM (= Random Access Memory) used as a work area. ) Etc. The system control unit 201 is a so-called computer, and provides various functions through the execution of a program.
画像読取部２０２は、原稿のコピーやファクシミリ送信に使用する原稿の読み取りに使用されるデバイスであり、スキャナとも呼ばれる。本実施の形態における画像読取部２０２には、読み取り位置に原稿を１枚ずつ搬送する機構も取り付けられている。以下、画像読取部２０２を用いて原稿を読み取る機能をスキャン機能という。
画像形成部２０３は、電子写真方式やインクジェット方式等により用紙の表面に画像を形成するデバイスである。用紙は、記録媒体の一例である。画像形成部２０３には、用紙を１枚ずつ搬送する機構も含まれる。以下、用紙に画像を形成する機能を印刷機能という。
画像処理部２０４は、画像データを印刷に適したデータに処理するための専用のプロセッサや処理回路等で構成される。
The image reading unit 202 is a device used for reading a document used for copying a document or transmitting by facsimile, and is also called a scanner. The image reading unit 202 of the present embodiment is also equipped with a mechanism for transporting the originals one by one to the reading position. Hereinafter, the function of reading a document using the image reading unit 202 is referred to as a scanning function.
The image forming unit 203 is a device that forms an image on the surface of paper by an electrophotographic method, an inkjet method, or the like. Paper is an example of a recording medium. The image forming unit 203 also includes a mechanism for transporting the sheets one by one. Hereinafter, the function of forming an image on paper is referred to as a printing function.
The image processing unit 204 is composed of a dedicated processor, a processing circuit, or the like for processing the image data into data suitable for printing.
記憶部２０５は、書き換え可能な不揮発性の記憶装置であり、例えばハードディスク装置等で構成される。記憶部２０５には、画像読取部２０２で読み取られた原稿の画像イメージに対応する画像データ、通信により外部から与えられる画像データ、ファクシミリ通信を通じて送信又は受信された画像データ等が保存される。記憶部２０５には、ローカルエリアネットワーク１０上での自機の位置を示すＩＰアドレスも保存されている。 The storage unit 205 is a rewritable non-volatile storage device, and is composed of, for example, a hard disk device or the like. The storage unit 205 stores image data corresponding to the image of the original document read by the image reading unit 202, image data given from the outside by communication, image data transmitted or received through facsimile communication, and the like. The storage unit 205 also stores an IP address indicating the position of the own machine on the local area network 10.
操作及び表示部２０６は、操作パネル等に配置されるスイッチやボタン、情報の表示に用いられる液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイ、表示画面に対する作業者の操作を検知するタッチセンサ等で構成される。本実施の形態の場合、操作パネルには、画像形成装置２０のＩＰアドレスを問い合わせる場合に操作する専用のボタンが配置されている。このボタンは、物理的なボタンである。もっとも、同ボタンは、操作画面にソフトウェア的に表示されるキー又はボタンでもよい。
ファクシミリ制御部２０７は、電話網を経由して実行されるファクシミリ通信を制御するデバイスである。以下、ファクシミリ制御部２０７を通じてファクシミリ文書を送信又は受信する機能をファクシミリ機能という。
ネットワーク制御部２０８は、ローカルエリアネットワーク１０経由の通信を制御するデバイスである。
The operation and display unit 206 is a switch or button arranged on an operation panel or the like, a liquid crystal display or an organic EL (= Electro Luminescence) display used for displaying information, a touch sensor for detecting an operator's operation on the display screen, or the like. It is composed. In the case of the present embodiment, the operation panel is provided with a dedicated button to be operated when inquiring the IP address of the image forming apparatus 20. This button is a physical button. However, the button may be a key or a button displayed by software on the operation screen.
The facsimile control unit 207 is a device that controls facsimile communication executed via a telephone network. Hereinafter, the function of transmitting or receiving a facsimile document through the facsimile control unit 207 is referred to as a facsimile function.
The network control unit 208 is a device that controls communication via the local area network 10.
図３は、実施の形態１で使用する画像形成装置２０が有する機能のうちスマートフォン５０（図１参照）と画像形成装置２０の連携のために用意されている機能の一例を説明する図である。
図３に示す処理は、システム制御部２０１によるプログラムの実行を通じて実現される。以下では、プログラムの実行を通じて実現される機能を順番に説明する。
接続要求操作検知部２１１は、ユーザによるスマートフォン５０の接続を要求する操作を検知する機能部である。具体的には、接続要求操作検知部２１１は、操作パネルに配置されている専用のボタンや操作画面にソフトウェア的に表示されているキー又はボタンの操作を検知する。
FIG. 3 is a diagram illustrating an example of functions provided for cooperation between the smartphone 50 (see FIG. 1) and the image forming apparatus 20 among the functions of the image forming apparatus 20 used in the first embodiment. ..
The process shown in FIG. 3 is realized through the execution of the program by the system control unit 201. In the following, the functions realized through the execution of the program will be described in order.
The connection request operation detection unit 211 is a functional unit that detects an operation requesting the connection of the smartphone 50 by the user. Specifically, the connection request operation detection unit 211 detects the operation of a dedicated button arranged on the operation panel or a key or button displayed by software on the operation screen.
ジェスチャ生成部２１２は、自機のＩＰアドレスを要求するボタン操作が検知された場合に、自機のＩＰアドレスの提供を許可する条件としてユーザに求めるジェスチャを生成する機能部である。このジェスチャ生成部２１２は、生成手段の一例である。
本実施の形態の場合、ジェスチャは、スマートフォン５０（図１参照）を把持した手の動きとして規定される。ジェスチャには、例えば円、×印、四角形等の図形、数字、ローマ字、漢字、仮名等の文字を想定する。
ジェスチャには、手が移動する順路の情報を含めてもよいし、順路の情報を含めなくてもよい。前者の場合、スマートフォン５０を把持する手が移動する順路の違いを、異なるジェスチャとして区別することが可能になる。この場合、描画の対象となる形状の数が少なくても、生成されるジェスチャの数を増やすことが可能になる。一方、後者の場合、スマートフォン５０を把持する手が移動する順路の違いが無視されるので、ユーザの手の動きとジェスチャの照合が容易になる。
なお、ジェスチャは、ユーザに求める動作に関する情報の一例である。
The gesture generation unit 212 is a functional unit that generates a gesture requested by the user as a condition for permitting the provision of the IP address of the own machine when a button operation requesting the IP address of the own machine is detected. The gesture generation unit 212 is an example of the generation means.
In the case of this embodiment, the gesture is defined as the movement of the hand holding the smartphone 50 (see FIG. 1). For gestures, for example, figures such as circles, x marks, and quadrangles, and characters such as numbers, romaji, kanji, and kana are assumed.
The gesture may or may not include information on the route in which the hand moves. In the former case, it is possible to distinguish the difference in the route in which the hand holding the smartphone 50 moves as different gestures. In this case, it is possible to increase the number of gestures generated even if the number of shapes to be drawn is small. On the other hand, in the latter case, since the difference in the route in which the hand holding the smartphone 50 moves is ignored, the movement of the user's hand and the gesture can be easily collated.
The gesture is an example of information regarding the operation required of the user.
本実施の形態の場合、スマートフォン５０の空中での移動は、スマートフォン５０側に搭載されている加速度センサを用いて検知する。このため、ジェスチャは、単純な形状等であることが望ましい。本実施の形態は、スマートフォン５０をユーザの動作の検知手段として使用される。
本実施の形態の場合、ジェスチャの生成には、予め用意された複数の候補の中から選択する手法を採用する。選択は、予め用意した複数のジェスチャの中から順番に読み出す手法でもよいし、ランダムに読み出す手法でもよい。
また、本実施の形態の場合、ジェスチャに関する情報は、自機のＩＰアドレスの提供を許可する条件に用いるジェスチャの特定に必要な各種の情報をいう。例えばジェスチャが対象とする形状等や順路との組み合わせ、ジェスチャを特定する番号、加速度センサの時間変化等も、ユーザに求める動作に関する情報の一例である。
本実施の形態の場合、ジェスチャは、ユーザがＩＰアドレスを要求するボタンを操作するたびに生成される。このため、本実施の形態におけるジェスチャは、操作回限りのジェスチャとなる。
In the case of the present embodiment, the movement of the smartphone 50 in the air is detected by using the acceleration sensor mounted on the smartphone 50 side. Therefore, it is desirable that the gesture has a simple shape or the like. In this embodiment, the smartphone 50 is used as a means for detecting the user's movement.
In the case of the present embodiment, a method of selecting from a plurality of candidates prepared in advance is adopted for generating the gesture. The selection may be a method of sequentially reading from a plurality of gestures prepared in advance, or a method of randomly reading.
Further, in the case of the present embodiment, the information regarding the gesture refers to various information necessary for specifying the gesture used as a condition for permitting the provision of the IP address of the own machine. For example, the shape to be targeted by the gesture, the combination with the route, the number for identifying the gesture, the time change of the acceleration sensor, and the like are also examples of the information regarding the operation requested from the user.
In the present embodiment, the gesture is generated each time the user operates a button requesting an IP address. Therefore, the gesture in the present embodiment is a gesture limited to the number of operations.
ＩＰアドレス取得部２１３は、自機のＩＰアドレスを記憶部２０５から取得する機能部である。
ジェスチャ等登録管理部２１４は、生成されたジェスチャに関する情報と取得されたＩＰアドレスを、ローカルエリアネットワーク１０経由で接続されたサーバ３０（図１参照）に登録する機能部である。なお、本実施の形態におけるジェスチャ等登録管理部２１４は、他の端末との通信の確立後に、ジェスチャ等の削除をサーバ３０に要求する機能も有している。
The IP address acquisition unit 213 is a functional unit that acquires the IP address of the own machine from the storage unit 205.
The gesture registration management unit 214 is a functional unit that registers the generated gesture information and the acquired IP address in the server 30 (see FIG. 1) connected via the local area network 10. The gesture registration management unit 214 in the present embodiment also has a function of requesting the server 30 to delete the gesture or the like after establishing communication with another terminal.
表示制御部２１５は、生成されたジェスチャを表示画面に表示させる機能部である。この表示により、ユーザは、スマートフォン５０を画像形成装置２０に接続するために必要なジェスチャの内容を提示する。また、表示制御部２１５は、スマートフォン５０との通信が確立すると、表示画面を初期画面に切り替える機能も有している。
通信要求受信部２１６は、他の端末からの接続要求をローカルエリアネットワーク１０経由で受信する機能部である。ここでの他の端末として、本実施の形態では、スマートフォン５０を想定する。
通信部２１７は、接続要求の対象である他の端末との間で通信を確立し、通信の確立をジェスチャ等登録管理部２１４と、表示制御部２１５と、通信の相手先である他の端末に通知する機能部である。
The display control unit 215 is a functional unit that displays the generated gesture on the display screen. With this display, the user presents the content of the gesture necessary for connecting the smartphone 50 to the image forming apparatus 20. The display control unit 215 also has a function of switching the display screen to the initial screen when communication with the smartphone 50 is established.
The communication request receiving unit 216 is a functional unit that receives a connection request from another terminal via the local area network 10. As another terminal here, a smartphone 50 is assumed in the present embodiment.
The communication unit 217 establishes communication with another terminal that is the target of the connection request, and establishes the communication with the gesture registration management unit 214, the display control unit 215, and the other terminal that is the communication destination. It is a functional part that notifies to.
＜サーバ３０の構成＞
図４は、実施の形態１で使用するサーバ３０の構成例を説明する図である。
図４に示すサーバ３０は、装置全体の動作を制御する制御ユニット３０１と、画像形成装置２０から通知されたジェスチャ等を記憶する記憶部３０２と、ネットワーク通信を制御するネットワーク制御部３０３とを有している。なお、制御ユニット３０１と、記憶部３０２と、ネットワーク制御部３０３は、バス３０４や不図示の信号線を通じて接続されている。
制御ユニット３０１は、ＣＰＵ３１１と、基本ソフトウェアやＢＩＯＳ等が記憶されたＲＯＭ３１２と、ワークエリアとして用いられるＲＡＭ３１３とを有している。ＲＯＭ３１２は、書き換え可能な不揮発性の半導体メモリでもよい。制御ユニット３０１は、いわゆるコンピュータである。
<Configuration of server 30>
FIG. 4 is a diagram illustrating a configuration example of the server 30 used in the first embodiment.
The server 30 shown in FIG. 4 has a control unit 301 that controls the operation of the entire device, a storage unit 302 that stores gestures and the like notified from the image forming device 20, and a network control unit 303 that controls network communication. doing. The control unit 301, the storage unit 302, and the network control unit 303 are connected to each other through a bus 304 or a signal line (not shown).
The control unit 301 has a CPU 311 and a ROM 312 in which basic software, a BIOS, and the like are stored, and a RAM 313 used as a work area. The ROM 312 may be a rewritable non-volatile semiconductor memory. The control unit 301 is a so-called computer.
記憶部３０２は、例えば不揮発性の記憶媒体にデータを読み書きする装置である。記憶部３０２には、例えばハードディスクドライブや書き換え可能な不揮発性の半導体メモリを使用する。本実施の形態の場合、記憶部３０２には、ローカルエリアネットワーク１０（図１参照）経由で接続されている画像形成装置２０（図１参照）から通知されたＩＰアドレス等を管理するテーブル３０２Ａが記憶される。ここでのテーブル３０２Ａは、ＩＰアドレスとジェスチャを対応付けて記憶する記憶手段の一例である。
図５は、サーバ３０が画像形成装置２０のＩＰアドレス等の管理に使用するテーブル３０２Ａの例を説明する図である。
図５に示すテーブル３０２Ａは、管理ＩＤ（＝IDentifier）３２１と、ＩＰアドレス３２２と、ジェスチャ３２３で構成される。
The storage unit 302 is, for example, a device that reads and writes data to and from a non-volatile storage medium. For the storage unit 302, for example, a hard disk drive or a rewritable non-volatile semiconductor memory is used. In the case of the present embodiment, the storage unit 302 has a table 302A for managing the IP address and the like notified from the image forming apparatus 20 (see FIG. 1) connected via the local area network 10 (see FIG. 1). Be remembered. The table 302A here is an example of a storage means for storing the IP address and the gesture in association with each other.
FIG. 5 is a diagram illustrating an example of a table 302A used by the server 30 for managing the IP address and the like of the image forming apparatus 20.
The table 302A shown in FIG. 5 is composed of a management ID (= IDentifier) 321, an IP address 322, and a gesture 323.
図５の場合、テーブル３０２Ａには、２台の画像形成装置２０の情報が登録されている。管理ＩＤ「0001」のＩＰアドレス３２２には「192．168．1．1」が登録され、ジェスチャ３２３には「○」が登録されている。また、管理ＩＤ「0002」のＩＰアドレス３２２には「192．168．1．6」が登録され、ジェスチャ３２３には「Ｗ」が登録されている。図５の場合、管理ＩＤ「0001」には図形の一例である円形状が登録されている。また、管理ＩＤ「0002」には文字の一例であるローマ字のＷが登録されている。
本実施の形態の場合、テーブル３０２Ａに対するＩＰアドレス等の登録は、ユーザが画像形成装置２０（図１参照）に対して特定の操作を行ってから該当する画像形成装置２０との間で通信が確立するまでの期間である。このため、テーブル３０２Ａに記憶される情報の数は増減する。最小値は０個であり、最大値はサーバ３０で定められている管理上の上限値である。
この他、サーバ３０は、必要に応じ、キーボード、マウス等の入力デバイス、液晶ディスプレイ等の表示デバイスも備える。
In the case of FIG. 5, the information of the two image forming devices 20 is registered in the table 302A. "192.168.1.1" is registered in the IP address 322 of the management ID "0001", and "○" is registered in the gesture 323. Further, "192.168.1.6" is registered in the IP address 322 of the management ID "0002", and "W" is registered in the gesture 323. In the case of FIG. 5, a circular shape, which is an example of a figure, is registered in the management ID “0001”. Further, the Roman character W, which is an example of the character, is registered in the management ID "0002".
In the case of the present embodiment, the registration of the IP address or the like for the table 302A is performed by the user performing a specific operation on the image forming apparatus 20 (see FIG. 1) and then communicating with the corresponding image forming apparatus 20. It is the period until it is established. Therefore, the number of information stored in the table 302A increases or decreases. The minimum value is 0, and the maximum value is the management upper limit value defined by the server 30.
In addition, the server 30 also includes an input device such as a keyboard and a mouse, and a display device such as a liquid crystal display, if necessary.
図６は、実施の形態１で使用するサーバ３０が有する機能のうちスマートフォン５０（図１参照）と画像形成装置２０（図１参照）の連携のために用意されている機能の一例を説明する図である。図６に示す処理は、制御ユニット３０１によるプログラムの実行を通じて実現される。以下では、プログラムの実行を通じて実現される機能を順番に説明する。
ジェスチャ等登録要求受付部３３１は、画像形成装置２０からＩＰアドレス等の登録の要求を受け付ける機能部である。ＩＰアドレス等は、要求元である画像形成装置２０のＩＰアドレスとジェスチャに関する情報である。
ジェスチャ等削除要求受付部３３２は、画像形成装置２０からＩＰアドレス等の削除の要求を受け付ける機能部である。
FIG. 6 describes an example of the functions provided for the cooperation between the smartphone 50 (see FIG. 1) and the image forming apparatus 20 (see FIG. 1) among the functions of the server 30 used in the first embodiment. It is a figure. The process shown in FIG. 6 is realized through the execution of the program by the control unit 301. In the following, the functions realized through the execution of the program will be described in order.
The gesture registration request receiving unit 331 is a functional unit that receives a registration request for an IP address or the like from the image forming apparatus 20. The IP address and the like are information about the IP address and the gesture of the image forming apparatus 20 which is the request source.
The gesture or the like deletion request receiving unit 332 is a functional unit that receives a request for deleting an IP address or the like from the image forming apparatus 20.
ジェスチャ等登録管理部３３３は、ＩＰアドレス等の登録を管理する機能部である。画像形成装置２０からＩＰアドレス等の登録の要求を受け付けた場合、ジェスチャ等登録管理部３３３は、受け付けたＩＰアドレス等をテーブル３０２Ａに登録する。また、画像形成装置２０からＩＰアドレス等の削除の要求を受け付けた場合、ジェスチャ等登録管理部３３３は、テーブル３０２Ａから該当するＩＰアドレス等を削除する。なお、受け付けたジェスチャに関する情報が既にテーブル３０２Ａに登録されている場合には、別のジェスチャ等を生成するように該当する画像形成装置２０に通知する機能を設けてもよい。同じジェスチャについて複数のＩＰアドレスが登録されていると、スマートフォン５０に対してユーザの想定しない画像形成装置２０のＩＰアドレスが送信されてしまうためである。サーバ３０が管理する画像形成装置２０の台数が多いほど、ジェスチャが重複する可能性は高くなる。 Gesture registration management unit 333 is a functional unit that manages registration of IP addresses and the like. When a request for registration of an IP address or the like is received from the image forming apparatus 20, the gesture registration management unit 333 registers the received IP address or the like in the table 302A. When the image forming apparatus 20 receives a request for deleting an IP address or the like, the gesture registration management unit 333 deletes the corresponding IP address or the like from the table 302A. If the information regarding the received gesture is already registered in the table 302A, a function may be provided to notify the corresponding image forming apparatus 20 to generate another gesture or the like. This is because if a plurality of IP addresses are registered for the same gesture, the IP address of the image forming apparatus 20 that the user does not anticipate is transmitted to the smartphone 50. The greater the number of image forming devices 20 managed by the server 30, the higher the possibility of overlapping gestures.
ジェスチャ情報受信部３３４は、ローカルエリアネットワーク１０（図１参照）経由で、スマートフォン５０からジェスチャ情報を受け付ける機能部である。受信するジェスチャ情報の内容は、スマートフォン５０にインストールされているアプリケーションプログラムによって規定されている。本実施の形態におけるジェスチャ情報は、加速度センサから出力されるセンサ情報に基づいて生成される。
ジェスチャ照合部３３５は、受信したジェスチャ情報とテーブル３０２Ａに登録されているジェスチャとを照合する機能部である。本実施の形態の場合、受信したジェスチャ情報は、テーブル３０２Ａに登録されているジェスチャとの照合の前に、照合に適した情報に加工される。例えばノイズの除去、サイズの調整、軌跡の整形、パターンの認識等の処理が実行される。
The gesture information receiving unit 334 is a functional unit that receives gesture information from the smartphone 50 via the local area network 10 (see FIG. 1). The content of the gesture information to be received is defined by the application program installed on the smartphone 50. The gesture information in the present embodiment is generated based on the sensor information output from the acceleration sensor.
The gesture collation unit 335 is a functional unit that collates the received gesture information with the gesture registered in the table 302A. In the case of the present embodiment, the received gesture information is processed into information suitable for collation before collation with the gesture registered in the table 302A. For example, processing such as noise removal, size adjustment, trajectory shaping, and pattern recognition is executed.
ＩＰアドレス送信部３３６は、スマートフォン５０から受信したジェスチャ情報とテーブル３０２Ａに登録されているジェスチャとの照合が成功した場合、該当するジェスチャに紐付けられているＩＰアドレスをテーブル３０２Ａから読み出してスマートフォン５０に送信する機能部である。
送信先となるスマートフォン５０のＩＰアドレスは、ジェスチャ情報の受信の際に取得されている。ここでのＩＰアドレス送信部３３６は、送信手段の一例である。
When the gesture information received from the smartphone 50 and the gesture registered in the table 302A are successfully collated, the IP address transmission unit 336 reads the IP address associated with the corresponding gesture from the table 302A and reads the IP address associated with the gesture in the table 302A. It is a functional part to send to.
The IP address of the smartphone 50 as the transmission destination is acquired when the gesture information is received. The IP address transmission unit 336 here is an example of transmission means.
＜スマートフォン５０の構成＞
図７は、実施の形態１で使用するスマートフォン５０の構成例を説明する図である。
図７に示すスマートフォン５０は、装置全体の動作を制御する制御ユニット５０１と、各種のデータを記憶するメモリカード５０２と、アクセスポイント４０（図１参照）との接続に用いられるＷｉ−Ｆｉインターフェース５０３と、４Ｇ網等の移動通信網との接続に用いられる４Ｇインターフェース５０４と、タップ、ドラッグ、フリック等の操作を検知するタッチセンサ５０５と、表示画面を表示する表示デバイス５０６と、カメラ５０７と、本体に作用する加速度を検知する加速度センサ５０８と、これらを接続するバス５０９や不図示の信号線を有している。
<Configuration of smartphone 50>
FIG. 7 is a diagram illustrating a configuration example of the smartphone 50 used in the first embodiment.
The smartphone 50 shown in FIG. 7 is a Wi-Fi interface 503 used for connecting a control unit 501 that controls the operation of the entire device, a memory card 502 that stores various data, and an access point 40 (see FIG. 1). A 4G interface 504 used for connecting to a mobile communication network such as a 4G network, a touch sensor 505 that detects operations such as tapping, dragging, and flicking, a display device 506 that displays a display screen, a camera 507, and the like. It has an acceleration sensor 508 that detects the acceleration acting on the main body, a bus 509 that connects them, and a signal line (not shown).
制御ユニット５０１は、ＣＰＵ５１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ５１２と、ワークエリアとして用いられるＲＡＭ５１３とを有している。ＲＯＭ５１２は、書き換え可能な不揮発性の半導体メモリでもよい。
本実施の形態におけるメモリカード５０２は、例えば書き換え可能な不揮発性の半導体メモリであり、ＩＰアドレスをサーバ３０（図１参照）に問い合わせるためのアプリケーションプログラムも記憶する。
表示デバイス５０６は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイで構成される。表示デバイス５０６の表面にタッチセンサ５０５を配置したモジュールは、タッチパネルと呼ばれる。
The control unit 501 has a CPU 511, a ROM 512 in which firmware, a BIOS, and the like are stored, and a RAM 513 used as a work area. The ROM 512 may be a rewritable non-volatile semiconductor memory.
The memory card 502 in the present embodiment is, for example, a rewritable non-volatile semiconductor memory, and also stores an application program for querying the server 30 (see FIG. 1) for an IP address.
The display device 506 is composed of, for example, a liquid crystal display or an organic EL (= Electro Luminescence) display. A module in which the touch sensor 505 is arranged on the surface of the display device 506 is called a touch panel.
図８は、スマートフォン５０が有する機能のうち通信を望む画像形成装置２０（図１参照）のＩＰアドレスをサーバ３０（図１参照）に問い合わせるために使用される機能の一例を説明する図である。図８に示す処理は、制御ユニット５０１によるプログラムの実行を通じて実現される。以下では、プログラムの実行を通じて実現される機能を順番に説明する。
問い合わせアプリ起動検知部５２１は、ＩＰアドレスの問い合わせに使用するアプリケーションプログラムの起動を検知する機能部である。該当するアプリケーションプログラムの起動は、対応するアイコンのタップ操作の受け付け等により実行される。
FIG. 8 is a diagram illustrating an example of a function used for inquiring the IP address of the image forming apparatus 20 (see FIG. 1) that desires communication among the functions of the smartphone 50 to the server 30 (see FIG. 1). .. The process shown in FIG. 8 is realized through the execution of the program by the control unit 501. In the following, the functions realized through the execution of the program will be described in order.
The inquiry application start detection unit 521 is a functional unit that detects the start of an application program used for inquiring an IP address. The corresponding application program is started by accepting a tap operation of the corresponding icon.
センサ情報取得部５２２は、ユーザのジェスチャに伴い自機に作用する加速度をセンサ情報として取得する機能部である。加速度は、スマートフォン５０に内蔵されている加速度センサ５０８（図７参照）から出力される。
ジェスチャ情報変換部５２３は、取得したセンサ情報をジェスチャ情報に変換する機能部である。本実施の形態の場合、ジェスチャ情報は、予め定めた期間内に取得されたセンサ情報の集合である。換言すると、ジェスチャ情報は、加速度の時間変化を表す情報である。なお、アプリケーションプログラムに、加速度の時間変化よりスマートフォン５０が空中を移動した軌跡を推定し、推定された結果をジェスチャ情報として出力する機能を設けてもよい。
The sensor information acquisition unit 522 is a functional unit that acquires the acceleration acting on the own machine as sensor information according to the gesture of the user. The acceleration is output from the acceleration sensor 508 (see FIG. 7) built into the smartphone 50.
The gesture information conversion unit 523 is a functional unit that converts the acquired sensor information into gesture information. In the case of the present embodiment, the gesture information is a set of sensor information acquired within a predetermined period. In other words, gesture information is information that represents the time change of acceleration. The application program may be provided with a function of estimating the trajectory of the smartphone 50 moving in the air from the time change of acceleration and outputting the estimated result as gesture information.
ＩＰアドレス問合部５２４は、ジェスチャ情報に対応するＩＰアドレスをサーバ３０に問い合わせる機能部である。問い合わせ先のサーバ３０のＩＰアドレスは、予め登録されている。
ＩＰアドレス受信部５２５は、送信したジェスチャ情報がサーバ３０に登録されている場合に、操作パネルでジェスチャを確認した画像形成装置２０（図１参照）のＩＰアドレスを、サーバ３０から受信する機能部である。なお、画像形成装置２０の操作パネルに表示されているジェスチャとは異なる動作を行った場合には、ＩＰアドレスは受信されない。
通信要求部５２６は、受信したＩＰアドレスを宛先として自機との通信を要求する機能部である。本実施の形態の場合、この要求は、アクセスポイント４０（図１参照）及びローカルエリアネットワーク１０（図１参照）を経由して目的とする画像形成装置２０に送信される。通信要求部５２６は、要求に対する応答を画像形成装置２０から受信すると、通信が確立したと判定し、通信の確立を知らせる情報を該当する画像形成装置２０に送信する。
通信部５２７は、通信の相手先である他の端末との間でネットワーク通信を実行する機能部である。通信が確立した後の通信は、通信部５２７が引き継ぐ。
The IP address inquiry unit 524 is a functional unit that inquires the server 30 of the IP address corresponding to the gesture information. The IP address of the server 30 to be inquired about is registered in advance.
The IP address receiving unit 525 receives from the server 30 the IP address of the image forming apparatus 20 (see FIG. 1) whose gesture has been confirmed on the operation panel when the transmitted gesture information is registered in the server 30. Is. If the operation is different from the gesture displayed on the operation panel of the image forming apparatus 20, the IP address is not received.
The communication request unit 526 is a functional unit that requests communication with the own machine with the received IP address as the destination. In the case of the present embodiment, this request is transmitted to the target image forming apparatus 20 via the access point 40 (see FIG. 1) and the local area network 10 (see FIG. 1). When the communication request unit 526 receives the response to the request from the image forming apparatus 20, it determines that the communication has been established, and transmits the information notifying the establishment of the communication to the corresponding image forming apparatus 20.
The communication unit 527 is a functional unit that executes network communication with another terminal that is the communication destination. After the communication is established, the communication unit 527 takes over the communication.
＜スマートフォン５０と画像形成装置２０との通信が開始されるまでの処理動作＞
図９は、実施の形態１における処理動作の一例を説明する図である。なお、図中に示す記号のＳはステップを意味する。
まず、ユーザは、画像形成装置２０に用意されているＩＰアドレスの問い合わせ用のボタンを押下する。
ボタン操作を検知した画像形成装置２０は、ジェスチャを生成する（ステップ１）。
次に、画像形成装置２０は、生成されたジェスチャと自機のＩＰアドレスを紐付けてサーバ３０に登録する（ステップ２）。
続いて、画像形成装置２０は、生成されたジェスチャを操作画面に表示する（ステップ３）。
<Processing operation until communication between the smartphone 50 and the image forming device 20 is started>
FIG. 9 is a diagram illustrating an example of a processing operation according to the first embodiment. The symbol S shown in the figure means a step.
First, the user presses a button for inquiring about the IP address provided in the image forming apparatus 20.
The image forming apparatus 20 that has detected the button operation generates a gesture (step 1).
Next, the image forming apparatus 20 associates the generated gesture with the IP address of its own machine and registers it in the server 30 (step 2).
Subsequently, the image forming apparatus 20 displays the generated gesture on the operation screen (step 3).
図１０は、ＩＰアドレスの問い合わせ用のボタンの操作が検知された場合に画像形成装置２０（図１参照）の操作及び表示部２０６に表示される指示画面の一例を示す図である。
図１０に示す指示画面には、ユーザに求める動作の説明文２０６Ａと、ユーザに求めるジェスチャ２０６Ｂとが表示されている。ここでの操作及び表示部２０６は、提示手段の一例である。
図１０に示す説明文２０６Ａには、「スマートフォンを手に持ち、矢印で示すように順番に動かしてください」と記載されている。図１０の場合、ジェスチャは、四角形である。また、図１０の場合、ジェスチャには順路の情報も含まれている。具体的には、まず、右方向に動かし、次に下方向に動かし、次に左方向に動かし、最後に上方向に動かすことが示されている。
FIG. 10 is a diagram showing an example of an operation of the image forming apparatus 20 (see FIG. 1) and an instruction screen displayed on the display unit 206 when the operation of the button for inquiring the IP address is detected.
On the instruction screen shown in FIG. 10, a description 206A of the operation requested by the user and a gesture 206B requested by the user are displayed. The operation and display unit 206 here is an example of the presentation means.
In the explanation 206A shown in FIG. 10, it is described that "hold the smartphone in your hand and move it in order as shown by the arrow". In the case of FIG. 10, the gesture is a quadrangle. Further, in the case of FIG. 10, the gesture also includes information on the route. Specifically, it is shown to first move to the right, then to the bottom, then to the left, and finally to the top.
図１１は、ＩＰアドレスの問い合わせ用のボタンの操作が検知された場合に操作及び表示部２０６に表示される指示画面の他の例を示す図である。
図１１に示す指示画面には、ユーザに求める動作の説明文２０６Ｃと、ユーザに求めるジェスチャ２０６Ｄとが表示されている。
図１１に示す説明文２０６Ｃには、「スマートフォンを手に持ち、右の文字を描くように動かしてください」と記載されている。図１１の場合、ジェスチャは、ローマ字のＷである。図１１の場合、書き順についての指定はない。
FIG. 11 is a diagram showing another example of the instruction screen displayed on the operation and display unit 206 when the operation of the button for inquiring the IP address is detected.
On the instruction screen shown in FIG. 11, the description 206C of the operation requested from the user and the gesture 206D requested from the user are displayed.
In the explanatory text 206C shown in FIG. 11, it is described that "hold the smartphone in your hand and move it so as to draw the character on the right." In the case of FIG. 11, the gesture is the Roman letter W. In the case of FIG. 11, there is no designation regarding the stroke order.
図９の説明に戻る。
画像形成装置２０の指示画面上でジェスチャを確認したユーザは、スマートフォン５０を操作して、問い合わせ用のアプリケーションプログラムを起動する。アプリケーションプログラムが起動すると、ユーザは、指示されたジェスチャを実行する。
ユーザのジェスチャは、スマートフォン５０の加速度センサ５０８（図７参照）により検出され、センサ情報として出力される。
スマートフォン５０は、このセンサ情報をジェスチャ情報に変換する（ステップ４）。
ジェスチャ情報が得られると、スマートフォン５０は、サーバ３０に対し、ジェスチャ情報に対応するＩＰアドレスを問い合わせる（ステップ５）。
Returning to the description of FIG.
The user who confirms the gesture on the instruction screen of the image forming apparatus 20 operates the smartphone 50 to start the application program for inquiry. When the application program starts, the user executes the instructed gesture.
The user's gesture is detected by the acceleration sensor 508 (see FIG. 7) of the smartphone 50 and output as sensor information.
The smartphone 50 converts this sensor information into gesture information (step 4).
When the gesture information is obtained, the smartphone 50 inquires the server 30 of the IP address corresponding to the gesture information (step 5).
ジェスチャ情報を取得したサーバ３０は、登録されているジェスチャと受信したジェスチャ情報を照合する（ステップ６）。ここでの照合は、テーブル３０２Ａ（図５参照）に記憶されているジェスチャについて実行される。また、スマートフォン５０から受信されるジェスチャ情報には、ユーザの動作の揺らぎなどのノイズ成分が含まれる。このため、サーバ３０は、照合の前に丸め処理を実行する。
照合の結果、該当するジェスチャが無い場合、サーバ３０は、スマートフォン５０を通じてユーザにジェスチャの再実行を要求する（ステップ７）この場合、ユーザは、ジェスチャを再度実施する。
一方、該当するジェスチャが有る場合、サーバ３０は、該当する画像形成装置２０のＩＰアドレスを送信する（ステップ８）。
The server 30 that has acquired the gesture information collates the registered gesture with the received gesture information (step 6). The collation here is performed on the gestures stored in table 302A (see FIG. 5). In addition, the gesture information received from the smartphone 50 includes noise components such as fluctuations in the user's movements. Therefore, the server 30 executes the rounding process before the collation.
As a result of the collation, if there is no corresponding gesture, the server 30 requests the user to re-execute the gesture through the smartphone 50 (step 7). In this case, the user re-executes the gesture.
On the other hand, if there is a corresponding gesture, the server 30 transmits the IP address of the corresponding image forming apparatus 20 (step 8).
サーバ３０から画像形成装置２０のＩＰアドレスの通知があった場合、スマートフォン５０は、受信したＩＰアドレスを通信先として登録する（ステップ９）。
続いて、スマートフォン５０は、登録したＩＰアドレスを通信先として通信の要求を送信する（ステップ１０）。
通信先である画像形成装置２０から応答があると、スマートフォン５０は、通信の確立を確認する（ステップ１１）。
続いて、スマートフォン５０は、応答の発信元である画像形成装置２０に対し、通信が確立したことを知らせる情報を送信する（ステップ１２）。
When the server 30 notifies the IP address of the image forming apparatus 20, the smartphone 50 registers the received IP address as a communication destination (step 9).
Subsequently, the smartphone 50 transmits a communication request using the registered IP address as the communication destination (step 10).
When there is a response from the image forming apparatus 20 which is the communication destination, the smartphone 50 confirms the establishment of communication (step 11).
Subsequently, the smartphone 50 transmits information notifying that the communication has been established to the image forming apparatus 20 which is the source of the response (step 12).
一方、スマートフォン５０との通信の確立を確認した画像形成装置２０は、サーバ３０に対し、自機のジェスチャとＩＰアドレスの削除を指示する（ステップ１３）。
続いて、画像形成装置２０は、操作画面を初期画面に切り替える（ステップ１４）。
以後、スマートフォン５０と画像形成装置２０との連携が可能になる。具体的には、ユーザは、スマートフォン５０を通じて画像形成装置２０の制御が可能になる。換言すると、ユーザは、スマートフォン５０の操作を通じ、画像形成装置２０の印刷機能、ファクシミリ機能、スキャン機能の利用が可能な状態になる。
なお、画像形成装置２０から削除の指示を受け付けたサーバ３０は、該当するジェスチャとＩＰアドレスを削除する（ステップ１５）。
On the other hand, the image forming apparatus 20 that has confirmed the establishment of communication with the smartphone 50 instructs the server 30 to delete the gesture and the IP address of its own device (step 13).
Subsequently, the image forming apparatus 20 switches the operation screen to the initial screen (step 14).
After that, the smartphone 50 and the image forming apparatus 20 can be linked. Specifically, the user can control the image forming apparatus 20 through the smartphone 50. In other words, the user can use the printing function, the facsimile function, and the scanning function of the image forming apparatus 20 through the operation of the smartphone 50.
The server 30 that has received the deletion instruction from the image forming apparatus 20 deletes the corresponding gesture and IP address (step 15).
＜実施の形態２＞
前述の実施の形態の場合では、通信を要求されている画像形成装置２０（図１参照）が、ジェスチャを生成しているが、本実施の形態では、ジェスチャを生成する機能をサーバ３０（図１参照）に設ける場合について説明する。
なお、本実施の形態で使用する画像形成装置２０及びサーバ３０のハードウェア上の構成は実施の形態１と同様である。
<Embodiment 2>
In the case of the above-described embodiment, the image forming apparatus 20 (see FIG. 1) that is requested to communicate generates the gesture, but in the present embodiment, the function of generating the gesture is provided by the server 30 (FIG. 1). 1) will be described.
The hardware configuration of the image forming apparatus 20 and the server 30 used in the present embodiment is the same as that of the first embodiment.
図１２は、実施の形態２で使用する画像形成装置２０の機能構成の一例を説明する図である。なお、図１２には、図３との対応部分に対応する符号を付して示している。
図１２に示す画像形成装置２０は、ジェスチャ生成部２１２（図３参照）が設けられていない点とジェスチャ等登録管理部２１４Ａを用いる点で、実施の形態１で使用する画像形成装置２０と相違する。
FIG. 12 is a diagram illustrating an example of the functional configuration of the image forming apparatus 20 used in the second embodiment. It should be noted that FIG. 12 is shown with reference numerals corresponding to the portions corresponding to those in FIG.
The image forming apparatus 20 shown in FIG. 12 is different from the image forming apparatus 20 used in the first embodiment in that the gesture generation unit 212 (see FIG. 3) is not provided and the gesture registration management unit 214A is used. To do.
本実施の形態におけるジェスチャ等登録管理部２１４Ａには、ジェスチャの生成と、生成されたジェスチャと自機のＩＰアドレスの登録とを、サーバ３０（図１参照）に要求する機能が設けられている。
また、ジェスチャ等登録管理部２１４Ａには、サーバ３０から受信したジェスチャを表示制御部２１５に与えて表示させる機能も設けられている。
なお、ジェスチャ等登録管理部２１４Ａにも、他の端末との通信が確立した場合に、ジェスチャ等の削除をサーバ３０に要求する機能が設けられている。
The gesture registration management unit 214A in the present embodiment is provided with a function of requesting the server 30 (see FIG. 1) to generate a gesture and to register the generated gesture and the IP address of the own machine. ..
Further, the gesture registration management unit 214A is also provided with a function of giving the gesture received from the server 30 to the display control unit 215 and displaying the gesture.
The gesture registration management unit 214A is also provided with a function of requesting the server 30 to delete the gesture or the like when communication with another terminal is established.
図１３は、実施の形態２で使用するサーバ３０の機能構成の一例を説明する図である。なお、図１３には、図６との対応部分に対応する符号を付して示している。
図１３に示すサーバ３０は、ジェスチャ等登録要求受付部３３１Ａとジェスチャ生成部３３７を用いる点で、実施の形態１で使用するサーバ３０と相違する。
本実施の形態におけるジェスチャ等登録要求受付部３３１Ａは、ジェスチャの生成と、生成されたジェスチャと自機のＩＰアドレスの登録の要求とを画像形成装置２０から受け付ける機能部である。ジェスチャ等登録要求受付部３３１Ａは、この要求を受け付けると、ジェスチャ生成部３３７を起動すると共に、受信したＩＰアドレスをジェスチャ等登録管理部３３３に通知する。
ジェスチャ生成部３３７は、起動条件が異なる以外は、ジェスチャ生成部２１２（図３参照）と同等の機能を有している。なお、ジェスチャ生成部３３７は、生成されたジェスチャを画像形成装置２０（図１参照）に通知するとともに、ジェスチャ等登録管理部３３３にも与える。ジェスチャ生成部３３７は、生成手段の一例である。
FIG. 13 is a diagram illustrating an example of the functional configuration of the server 30 used in the second embodiment. It should be noted that FIG. 13 is shown with reference numerals corresponding to the portions corresponding to those in FIG.
The server 30 shown in FIG. 13 is different from the server 30 used in the first embodiment in that the gesture registration request receiving unit 331A and the gesture generating unit 337 are used.
The gesture registration request receiving unit 331A in the present embodiment is a functional unit that receives a gesture generation and a request for registration of the generated gesture and the IP address of the own machine from the image forming apparatus 20. Upon receiving this request, the gesture registration request receiving unit 331A activates the gesture generation unit 337 and notifies the gesture registration management unit 333 of the received IP address.
The gesture generation unit 337 has the same function as the gesture generation unit 212 (see FIG. 3) except that the activation conditions are different. The gesture generation unit 337 notifies the image forming apparatus 20 (see FIG. 1) of the generated gesture, and also gives the gesture and the like registration management unit 333. The gesture generation unit 337 is an example of the generation means.
図１４は、実施の形態２における処理動作の一例を説明する図である。図１４には、図９との対応部分に対応する符号を付して示している。
本実施の形態における画像形成装置２０は、ユーザによるＩＰアドレスの問い合わせ用のボタンの押下を検知すると、サーバ３０に対し、ジェスチャの生成と、生成されたジェスチャと自機のＩＰアドレスの登録を要求する（ステップ２１）。
この要求を受信したサーバ３０は、要求元の画像形成装置２０用にジェスチャを生成する（ステップ２２）。
次に、サーバ３０は、生成したジェスチャと受信したＩＰアドレスを紐付けて登録する（ステップ２３）。
また、サーバ３０は、要求元である画像形成装置２０に対し、生成したジェスチャを通知する（ステップ２４）。
画像形成装置２０は、受信したジェスチャを操作画面に表示する（ステップ２５）。
これ以降の動作は、実施の形態１と同じである。
FIG. 14 is a diagram illustrating an example of a processing operation according to the second embodiment. FIG. 14 is shown with reference numerals corresponding to the portions corresponding to those in FIG.
When the image forming apparatus 20 in the present embodiment detects that the user presses the button for inquiring about the IP address, the image forming apparatus 20 requests the server 30 to generate a gesture and register the generated gesture and the IP address of the own machine. (Step 21).
The server 30 that has received this request generates a gesture for the image forming apparatus 20 that is the request source (step 22).
Next, the server 30 associates the generated gesture with the received IP address and registers it (step 23).
Further, the server 30 notifies the image forming apparatus 20 which is the request source of the generated gesture (step 24).
The image forming apparatus 20 displays the received gesture on the operation screen (step 25).
Subsequent operations are the same as in the first embodiment.
＜実施の形態３＞
前述の実施の形態１及び２の場合には、画像形成装置２０に設けられているＩＰアドレスの問い合わせ用のボタンが操作されるたびにジェスチャが生成されていた。
しかし、本実施の形態では、ＩＰアドレスの問い合わせ用のボタンの生成のたびにジェスチャを生成してサーバ３０に登録するのではなく、初回に生成したジェスチャをサーバ３０に記憶して使用する。
すなわち、本実施の形態では、実施の形態１及び２で説明した動作は、初回のボタン操作時に限り実行され、２回目以降のボタン操作時には、サーバ３０に登録されているジェスチャを用いて照合が実行される。
<Embodiment 3>
In the case of the above-described first and second embodiments, the gesture is generated every time the button for inquiring the IP address provided in the image forming apparatus 20 is operated.
However, in the present embodiment, instead of generating a gesture and registering it in the server 30 each time a button for inquiring an IP address is generated, the gesture generated for the first time is stored in the server 30 and used.
That is, in the present embodiment, the operations described in the first and second embodiments are executed only at the first button operation, and at the second and subsequent button operations, the collation is performed using the gesture registered in the server 30. Will be executed.
図１５は、２回目以降のボタン操作時に実行される処理動作の一例を説明する図である。図１５には、図１４との対応部分に対応する符号を付して示している。
本実施の形態における画像形成装置２０は、ユーザによるＩＰアドレスの問い合わせ用のボタンの押下を検知すると、サーバ３０に対し、自機について登録されているジェスチャの読み出しを要求する（ステップ３１）。
この要求を受信したサーバ３０は、要求元の画像形成装置２０のＩＰアドレスに対応するジェスチャを読み出す（ステップ３２）。
次に、サーバ３０は、要求元である画像形成装置２０に対し、読み出したジェスチャを通知する（ステップ３３）。
通知を受信した画像形成装置２０は、受信したジェスチャを操作画面に表示する（ステップ２５）。
なお、本実施の形態の場合、通信が確立したことを知らせる情報を受信してもジェスチャとＩＰアドレスの削除は行われない。このため、ステップ１３（図１４参照）とステップ１５（図１４参照）は実行されない。
FIG. 15 is a diagram illustrating an example of a processing operation executed at the time of the second and subsequent button operations. FIG. 15 is shown with reference numerals corresponding to the portions corresponding to those in FIG.
When the image forming apparatus 20 in the present embodiment detects that the user presses the button for inquiring about the IP address, the image forming apparatus 20 requests the server 30 to read the gesture registered for the own machine (step 31).
Upon receiving this request, the server 30 reads out the gesture corresponding to the IP address of the image forming apparatus 20 of the request source (step 32).
Next, the server 30 notifies the image forming apparatus 20 which is the request source of the read gesture (step 33).
The image forming apparatus 20 that has received the notification displays the received gesture on the operation screen (step 25).
In the case of the present embodiment, the gesture and the IP address are not deleted even if the information notifying that the communication has been established is received. Therefore, step 13 (see FIG. 14) and step 15 (see FIG. 14) are not executed.
なお、初回のボタン操作の時点で、自機で使用するジェスチャは画像形成装置２０の記憶部２０５（図２参照）に記憶される。このため、ボタン操作のたびにサーバ３０へのジェスチャの問い合わせを不要にすることも可能である。
図１６は、２回目以降のボタン操作時に実行される処理動作の他の例を説明する図である。図１６には、図１５との対応部分に対応する符号を付して示している。
図１６の場合、画像形成装置２０は、ユーザによるＩＰアドレスの問い合わせ用のボタンの押下を検知すると、内部の記憶部２０５（図２参照）からジェスチャを読み出し（ステップ４１）、読み出したジェスチャを操作画面に表示する（ステップ４２）。
At the time of the first button operation, the gesture used by the own machine is stored in the storage unit 205 (see FIG. 2) of the image forming apparatus 20. Therefore, it is possible to eliminate the need to make a gesture inquiry to the server 30 each time a button is operated.
FIG. 16 is a diagram illustrating another example of the processing operation executed at the time of the second and subsequent button operations. In FIG. 16, reference numerals are given to correspond to the portions corresponding to those in FIG.
In the case of FIG. 16, when the image forming apparatus 20 detects that the user presses the button for inquiring about the IP address, the image forming apparatus 20 reads a gesture from the internal storage unit 205 (see FIG. 2) (step 41) and operates the read gesture. Display on the screen (step 42).
＜実施の形態４＞
前述の実施の形態３の場合には、１回目のボタンの操作時には、実施の形態１又は２の手法によりジェスチャが生成されているが、予めサーバ３０に、画像形成装置２０別にＩＰアドレスとジェスチャが登録されていてもよい。
この場合には、１回目のボタン操作の時点から、図１５に示したように、サーバ３０に記憶されているジェスチャを読み出して画像形成装置２０の操作及び表示部２０６（図２参照）に表示してもよい。
<Embodiment 4>
In the case of the above-described third embodiment, the gesture is generated by the method of the first or second embodiment at the time of the first button operation, but the IP address and the gesture for each image forming apparatus 20 are generated in advance on the server 30. May be registered.
In this case, from the time of the first button operation, as shown in FIG. 15, the gesture stored in the server 30 is read out and displayed on the operation and display unit 206 (see FIG. 2) of the image forming apparatus 20. You may.
＜実施の形態５＞
前述の実施の形態の場合には、画像形成装置２０（図１参照）のＩＰアドレスを取得したスマートフォン５０（図１参照）が、画像形成装置２０との間で通信を確立する場合について説明したが、画像形成装置２０との間で通信を確立する端末は、ＩＰアドレスの取得に使用するスマートフォン５０以外の機器でもよい。例えばＩＰアドレスの取得のために要求されるジェスチャを検知する機能を有しないＩｏＴ機器でもよい。
<Embodiment 5>
In the case of the above-described embodiment, the case where the smartphone 50 (see FIG. 1) that has acquired the IP address of the image forming apparatus 20 (see FIG. 1) establishes communication with the image forming apparatus 20 has been described. However, the terminal that establishes communication with the image forming apparatus 20 may be a device other than the smartphone 50 used for acquiring the IP address. For example, an IoT device that does not have a function of detecting a gesture required for acquiring an IP address may be used.
図１７は、実施の形態５で使用する印刷システム１Ａの全体構成の例を概略的に示す図である。図１７には、図１との対応部分に対応する符号を付して示している。
印刷システム１Ａには、アクセスポイント４０経由でローカルエリアネットワーク１０に接続が可能なＩｏＴ機器６０が追加されている。本実施の形態におけるＩｏＴ機器６０は、アクセスポイント４０と無線接続されている。もっとも、ＩｏＴ機器６０は、ローカルエリアネットワーク１０にＬＡＮケーブルを介して接続されていてもよい。
ここでのＩｏＴ機器６０には、スマートフォン５０を用いる手法により画像形成装置２０と接続できない機器を想定する。例えばテレビ、エアコン、冷蔵庫等の家電には、加速度センサが設けられていないか、設けられていてもユーザのジェスチャの検知には不向きである。
一方で、ＩｏＴ機器６０と画像形成装置２０との間で通信が確立すると、ＩｏＴ機器６０に記憶されている情報を画像形成装置２０で印刷させる等の使い方が可能になる。
FIG. 17 is a diagram schematically showing an example of the overall configuration of the printing system 1A used in the fifth embodiment. FIG. 17 is shown with reference numerals corresponding to the portions corresponding to those in FIG.
An IoT device 60 capable of connecting to the local area network 10 via the access point 40 is added to the printing system 1A. The IoT device 60 in this embodiment is wirelessly connected to the access point 40. However, the IoT device 60 may be connected to the local area network 10 via a LAN cable.
As the IoT device 60 here, it is assumed that the device cannot be connected to the image forming apparatus 20 by the method using the smartphone 50. For example, home appliances such as televisions, air conditioners, and refrigerators are not provided with an acceleration sensor, or even if an acceleration sensor is provided, it is not suitable for detecting a user's gesture.
On the other hand, when communication is established between the IoT device 60 and the image forming device 20, it becomes possible to use the image forming device 20 to print the information stored in the IoT device 60.
図１８は、実施の形態５における処理動作の一例を説明する図である。図１８には、図９との対応部分に対応する符号を付して示している。
図１８の場合、スマートフォン５０が画像形成装置２０のＩＰアドレスをサーバ３０から取得するまでの動作は同じである。すなわち、ステップ８までの動作は同じである。
本実施の形態の場合、スマートフォン５０は、サーバ３０から受信した画像形成装置２０のＩＰアドレスをＩｏＴ機器６０に転送する（ステップ５１）。
一方、ＩｏＴ機器６０は、受信したＩＰアドレスを通信先として登録する（ステップ５２）。
FIG. 18 is a diagram illustrating an example of a processing operation according to the fifth embodiment. In FIG. 18, a reference numeral corresponding to a portion corresponding to that in FIG. 9 is added.
In the case of FIG. 18, the operation until the smartphone 50 acquires the IP address of the image forming apparatus 20 from the server 30 is the same. That is, the operations up to step 8 are the same.
In the case of the present embodiment, the smartphone 50 transfers the IP address of the image forming apparatus 20 received from the server 30 to the IoT device 60 (step 51).
On the other hand, the IoT device 60 registers the received IP address as a communication destination (step 52).
続いて、ＩｏＴ機器６０は、登録したＩＰアドレスを通信先として通信の要求を送信する（ステップ５３）。
通信先である画像形成装置２０から応答があると、ＩｏＴ機器６０は、通信の確立を確認する（ステップ５４）。
続いて、ＩｏＴ機器６０は、応答の発信元である画像形成装置２０に対し、通信が確立したことを知らせる情報を送信する（ステップ５５）。
Subsequently, the IoT device 60 transmits a communication request using the registered IP address as the communication destination (step 53).
When there is a response from the image forming apparatus 20 which is the communication destination, the IoT device 60 confirms the establishment of communication (step 54).
Subsequently, the IoT device 60 transmits information notifying that communication has been established to the image forming apparatus 20 that is the source of the response (step 55).
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態の場合には、ローカルエリアネットワーク１０経由で画像形成装置２０（図１参照）と、そのＩＰアドレスを取得したスマートフォン５０（図１参照）又はＩｏＴ機器６０（図１７参照）とを接続しているが、Ｗｉ−Ｆｉダイレクトで接続してもよい。なお、Ｗｉ−Ｆｉダイレクトのアクセスポイントとしての機能が画像形成装置２０に設けられていることが前提である。Ｗｉ−Ｆｉダイレクトによる接続では、スマートフォン５０等と画像形成装置２０を直接接続できるので通信の安全性を高めることが可能である。
<Other embodiments>
Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above-described embodiments. It is clear from the description of the scope of claims that the above-described embodiment with various modifications or improvements is also included in the technical scope of the present invention.
For example, in the case of the above-described embodiment, the image forming apparatus 20 (see FIG. 1) and the smartphone 50 (see FIG. 1) or the IoT device 60 (see FIG. 17) having acquired the IP address thereof via the local area network 10. Although it is connected to, it may be connected by Wi-Fi direct. It is premised that the image forming apparatus 20 is provided with a function as an access point for Wi-Fi Direct. In the Wi-Fi direct connection, the smartphone 50 and the like can be directly connected to the image forming apparatus 20, so that the security of communication can be improved.
また、前述の実施の形態の場合には、ジェスチャの入力に、ユーザが把持しているスマートフォン５０（図１参照）を指示の通りに動かすことを求めているが、その他の手法を用いることも可能である
図１９は、ＩＰアドレスの問い合わせ用のボタンの操作が検知された場合に画像形成装置２０（図１参照）の操作及び表示部２０６に表示される指示画面の他の例を示す図である。図１９には、図１１との対応部分に対応する符号を付して示している。
図１９に示す例は、スマートフォン５０を動かすのではなく、そのタッチパネルに示された図形や文字を入力する場合を想定する。このため、説明文２０６Ｅには、「スマートフォンに、右の文字を描いてください」と記載されている。この例の場合、タッチパネルに対するユーザの指の動きが、ユーザの動作として検出される。
Further, in the case of the above-described embodiment, it is required to move the smartphone 50 (see FIG. 1) held by the user as instructed to input the gesture, but other methods may also be used. FIG. 19 is a diagram showing another example of the operation of the image forming apparatus 20 (see FIG. 1) and the instruction screen displayed on the display unit 206 when the operation of the button for inquiring the IP address is detected. Is. In FIG. 19, a reference numeral corresponding to a portion corresponding to FIG. 11 is attached.
In the example shown in FIG. 19, it is assumed that the smartphone 50 is not moved, but the figures and characters shown on the touch panel are input. For this reason, the explanation 206E states, "Please draw the character on the right on your smartphone." In the case of this example, the movement of the user's finger with respect to the touch panel is detected as the movement of the user.
図２０は、ＩＰアドレスの問い合わせ用のボタンの操作が検知された場合に画像形成装置２０（図１参照）の操作及び表示部２０６に表示される指示画面の他の例を示す図である。図２０には、図１１との対応部分に対応する符号を付して示している。
図２０に示す例も、スマートフォン５０を動かさない入力の方法である。ただし、図２０の場合には、ユーザのジェスチャをスマートフォン５０で撮像する場合を想定する。このため、説明文２０６Ｆには、「右に示すジェスチャを模倣してスマートフォンで撮像してください」と記載されている。図２０の場合、模倣するジェスチャ２０６Ｇとして右手の指を広げるジェスチャが示されている。もっとも、手を振るジェスチャのように動きを伴ってもよい。
また、ジェスチャは、手を用いた動作に限らない。例えば指の動き、腕の動き、足の動き、頭部の動き、顔の部位の動きでもよい。例えば視線の向き、舌を出す、首を傾ける等でもよい。
FIG. 20 is a diagram showing another example of the operation of the image forming apparatus 20 (see FIG. 1) and the instruction screen displayed on the display unit 206 when the operation of the button for inquiring the IP address is detected. In FIG. 20, a reference numeral corresponding to a portion corresponding to FIG. 11 is attached.
The example shown in FIG. 20 is also an input method that does not move the smartphone 50. However, in the case of FIG. 20, it is assumed that the user's gesture is imaged by the smartphone 50. For this reason, the explanation 206F states, "Please imitate the gesture shown on the right and take an image with a smartphone." In the case of FIG. 20, a gesture of spreading the fingers of the right hand is shown as a gesture of imitating 206G. However, it may be accompanied by movement like a waving gesture.
Gestures are not limited to hand movements. For example, finger movements, arm movements, foot movements, head movements, and facial movements may be used. For example, the direction of the line of sight, the tongue sticking out, the neck tilting, etc. may be used.
また、前述の実施の形態の場合には、生成するジェスチャは、ユーザとは無関係に指定されるが、ユーザ毎にジェスチャの内容を変更してもよい。例えば怪我などによりスマートフォン５０を持つことができなくても、スマートフォン５０のタッチパネルに文字等を入力することが可能なユーザに対しては、ユーザに応じたジェスチャが表示されるようにしてもよい。この場合、画像形成装置２０には、ユーザを認証する機能を用意し、認証の結果を使用する。 Further, in the case of the above-described embodiment, the gesture to be generated is specified regardless of the user, but the content of the gesture may be changed for each user. For example, even if the smartphone 50 cannot be held due to an injury or the like, a gesture corresponding to the user may be displayed for a user who can input characters or the like on the touch panel of the smartphone 50. In this case, the image forming apparatus 20 is provided with a function for authenticating the user, and the result of the authentication is used.
また、前述の実施の形態の場合には、サーバ３０を情報処理システムの一例として説明したが、画像形成装置２０とサーバ３０が連携して情報処理システムを構成してもよい。
また、前述の実施の形態の場合には、ＩＰアドレスを取得して接続を求める機器が画像形成装置２０である場合について説明したが、接続の対象は必ずしも画像形成装置２０に限らない。
接続の対象とする機器は、例えばテレビ、エアコン、冷蔵庫等の家電その他のＩｏＴ機器でもよいし、パソコン等の情報機器でもよい。なお、接続の対象とする機器は、表示部を有する機器に限らない。接続の対象とする機器が表示部を有しない場合、当該機器は既に連携している他の機器にユーザに要求するジェスチャを表示させてもよい。
また、ジェスチャの提示の方法は表示に限らず、音声でもよい。
Further, in the case of the above-described embodiment, the server 30 has been described as an example of the information processing system, but the image forming apparatus 20 and the server 30 may cooperate to form the information processing system.
Further, in the case of the above-described embodiment, the case where the device that acquires the IP address and requests the connection is the image forming apparatus 20, but the object of the connection is not necessarily limited to the image forming apparatus 20.
The device to be connected may be, for example, a home appliance such as a television, an air conditioner, or a refrigerator or other IoT device, or an information device such as a personal computer. The device to be connected is not limited to the device having a display unit. When the device to be connected does not have a display unit, the device may display a gesture requested by the user on another device that is already linked.
In addition, the method of presenting the gesture is not limited to the display, and may be voice.
１、１Ａ…印刷システム、１０…ローカルエリアネットワーク、２０…画像形成装置、３０…サーバ、４０…アクセスポイント、５０…スマートフォン、６０…ＩｏＴ機器、２１１…接続要求操作検知部、２１２…ジェスチャ生成部、２１３…ＩＰアドレス取得部、２１４、２１４Ａ、３３３…ジェスチャ等登録管理部、２１５…表示制御部、２１６…通信要求受信部、２１７…通信部、３０２Ａ…テーブル、３３１、３３１Ａジェスチャ等登録要求受付部、３３２…ジェスチャ等削除要求受付部、３３４…ジェスチャ情報受付部、３３５…ジェスチャ照合部、３３６…ＩＰアドレス送信部、３３７…ジェスチャ生成部、５２１…アプリ起動検知部、５２２…センサ情報取得部、５２３…ジェスチャ情報変換部、５２４…ＩＰアドレス問合部、５２５…ＩＰアドレス受信部、５２６…通信要求部、５２７…通信部 1, 1A ... printing system, 10 ... local area network, 20 ... image forming device, 30 ... server, 40 ... access point, 50 ... smartphone, 60 ... IoT device, 211 ... connection request operation detection unit, 212 ... gesture generation unit , 213 ... IP address acquisition unit, 214, 214A, 333 ... Gesture registration management unit, 215 ... Display control unit, 216 ... Communication request reception unit, 217 ... Communication unit, 302A ... Table, 331, 331A Gesture registration request reception 332 ... Gesture deletion request reception unit 334 ... Gesture information reception unit 335 ... Gesture collation unit 336 ... IP address transmission unit 337 ... Gesture generation unit 521 ... App activation detection unit 522 ... Sensor information acquisition unit 523 ... Gesture information conversion unit 524 ... IP address inquiry unit 525 ... IP address reception unit 526 ... Communication request unit 527 ... Communication unit
Claims (10)
ネットワーク経由で接続されている端末から受信される情報が前記記憶手段に記憶されている前記動作に関する情報に整合する場合、当該動作に関する情報に対応付けられている前記アドレスを当該端末に送信する送信手段と
を有する情報処理システム。 A storage means for associating and storing an address on the network of a device connected via a network and information on an operation required of a user as a condition for providing the address determined for each device.
When the information received from the terminal connected via the network matches the information related to the operation stored in the storage means, the address associated with the information related to the operation is transmitted to the terminal. An information processing system that has means.
ネットワーク経由で接続されている機器のネットワーク上のアドレスと、機器毎に定まる当該アドレスを提供する条件としてユーザに求める動作に関する情報とを対応付けた関係を記憶手段に記憶させる機能と、
ネットワーク経由で接続されている端末から受信される情報が前記記憶手段に記憶されている前記動作に関する情報に整合する場合、当該動作に関する情報に対応付けられている前記アドレスを当該端末に送信させる機能と
を実行させるプログラム。 On the computer
A function to store in the storage means the relationship between the network address of the device connected via the network and the information related to the operation required of the user as a condition for providing the address determined for each device.
When the information received from the terminal connected via the network matches the information related to the operation stored in the storage means, the function of causing the terminal to transmit the address associated with the information related to the operation. A program that executes and.
センサを通じて検知されたユーザの動作を、ネットワーク経由で接続されているサーバに送信させる機能と、
前記ユーザの動作に対応付けられている機器のネットワーク上のアドレスを、前記サーバから受信させる機能と、
受信した前記アドレスを用いて、ネットワーク経由で前記機器と通信させる機能と
を実行させるプログラム。 On the computer
A function to send the user's action detected through the sensor to a server connected via the network,
A function to receive an address on the network of a device associated with the user's operation from the server, and
A program that executes a function to communicate with the device via a network using the received address.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123927A JP2021009619A (en) | 2019-07-02 | 2019-07-02 | Information processing system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123927A JP2021009619A (en) | 2019-07-02 | 2019-07-02 | Information processing system and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021009619A true JP2021009619A (en) | 2021-01-28 |
Family
ID=74199556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019123927A Pending JP2021009619A (en) | 2019-07-02 | 2019-07-02 | Information processing system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021009619A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023157121A1 (en) * | 2022-02-16 | 2023-08-24 | マクセル株式会社 | Information processing device and information processing system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012099584A1 (en) * | 2011-01-19 | 2012-07-26 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
| JP2012150629A (en) * | 2011-01-19 | 2012-08-09 | Seiko Epson Corp | Server device, printing system and printing method |
| JP2013021675A (en) * | 2011-06-16 | 2013-01-31 | Konica Minolta Business Technologies Inc | Connection control device, information processing device, image formation device, portable mobile terminal, information processing system, method for controlling connection control device and control program for connection control device |
| JP2016009503A (en) * | 2014-06-25 | 2016-01-18 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Method and apparatus for pairing devices |
| JP2017033195A (en) * | 2015-07-30 | 2017-02-09 | 京セラドキュメントソリューションズ株式会社 | Transmission type wearable terminal, data processing unit, and data processing system |
| JP2017108359A (en) * | 2015-12-11 | 2017-06-15 | 富士ゼロックス株式会社 | Information processing apparatus, information processing system, and program |
-
2019
- 2019-07-02 JP JP2019123927A patent/JP2021009619A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012099584A1 (en) * | 2011-01-19 | 2012-07-26 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
| JP2012150629A (en) * | 2011-01-19 | 2012-08-09 | Seiko Epson Corp | Server device, printing system and printing method |
| JP2014507714A (en) * | 2011-01-19 | 2014-03-27 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Method and system for multimodal and gesture control |
| JP2013021675A (en) * | 2011-06-16 | 2013-01-31 | Konica Minolta Business Technologies Inc | Connection control device, information processing device, image formation device, portable mobile terminal, information processing system, method for controlling connection control device and control program for connection control device |
| JP2016009503A (en) * | 2014-06-25 | 2016-01-18 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Method and apparatus for pairing devices |
| JP2017033195A (en) * | 2015-07-30 | 2017-02-09 | 京セラドキュメントソリューションズ株式会社 | Transmission type wearable terminal, data processing unit, and data processing system |
| JP2017108359A (en) * | 2015-12-11 | 2017-06-15 | 富士ゼロックス株式会社 | Information processing apparatus, information processing system, and program |
Non-Patent Citations (1)
| Title |
|---|
| 伊藤 友隆 他: "Ｓｎａｐｐｙ：振る動作による異種ネットワーク間での機器連携の実現", 情報処理学会研究報告 ２００９−ＵＢＩ−２１ ユビキタスコンピューティングシステム, vol. 第2009巻,第17号, JPN6023009418, 25 February 2009 (2009-02-25), JP, pages 31 - 36, ISSN: 0005112967 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023157121A1 (en) * | 2022-02-16 | 2023-08-24 | マクセル株式会社 | Information processing device and information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6233218B2 (en) | Destination information transfer system, portable terminal device, and destination information transfer program | |
| JP6060776B2 (en) | Image processing apparatus, information terminal, program, and cooperative display system | |
| JP6098588B2 (en) | Printing system, portable terminal device and printing control program | |
| JP6035985B2 (en) | Image processing apparatus, control program for image processing apparatus, and image processing system | |
| JP6380689B2 (en) | Mobile terminal device and control method of mobile terminal device | |
| US20150201091A1 (en) | Information processing system that uses short-range wireless communication and method of controlling the same, mobile information terminal, and storage medium | |
| JP2016167679A (en) | Image processing device, information processing device, and image processing system | |
| JP6143100B2 (en) | Image processing apparatus and image processing system | |
| JP2013062654A (en) | Information terminal, processing flow control program and processing flow control system | |
| US10063730B2 (en) | Image forming system, image forming apparatus, remote control apparatus, and recording medium | |
| JP2021009619A (en) | Information processing system and program | |
| JP2015130661A (en) | Display device, mobile device, system including the same and connection control method thereof | |
| JP2015114795A (en) | Information processor, information processing method, and information processing program | |
| JP6257040B2 (en) | Karaoke system, portable information processing apparatus and program | |
| EP3304861B1 (en) | Interactive method and system for file transfer | |
| JP2015171134A (en) | Information display system and electronic apparatus | |
| US10917531B2 (en) | Operation apparatus, information processing system, and operation method for outputting a message by voice sound | |
| JP6314499B2 (en) | Operation support program and terminal device | |
| JP2017201515A (en) | Information processing device and program | |
| JP6398811B2 (en) | Communication system, information processing apparatus, and program | |
| JP6638780B2 (en) | Communication system, information processing device, and program | |
| JP6040970B2 (en) | Character input system, character input method, information processing device, portable terminal device, and character input program | |
| JP2016116127A (en) | Communication device, control method of communication device, and program | |
| JP2023018906A (en) | Information processing device, control method therefor, and program | |
| JP6089385B2 (en) | Information processing system, transmission program, request program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230725 |