JP6485121B2 - Information processing system, information processing apparatus, information processing method, and program - Google Patents
Information processing system, information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP6485121B2 JP6485121B2 JP2015042604A JP2015042604A JP6485121B2 JP 6485121 B2 JP6485121 B2 JP 6485121B2 JP 2015042604 A JP2015042604 A JP 2015042604A JP 2015042604 A JP2015042604 A JP 2015042604A JP 6485121 B2 JP6485121 B2 JP 6485121B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- imaging
- mobile terminal
- information processing
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
Description
本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing system, an information processing apparatus, an information processing method, and a program.
従来、複合機、PC、プロジェクタなどの複数の機器が接続されたネットワークを構築するための様々な技術が知られている。 Conventionally, various techniques for constructing a network in which a plurality of devices such as a multifunction peripheral, a PC, and a projector are connected are known.
例えば特許文献1には、携帯端末による撮像で得られた撮像画像を用いて、対応するネットワークを構築する技術が開示されている。 For example, Patent Literature 1 discloses a technique for constructing a corresponding network using a captured image obtained by imaging with a mobile terminal.
しかしながら、従来においては、携帯端末を所持するユーザの移動に伴って、該携帯端末のネットワークからの離脱や他のネットワークへの参加などが自動的に行われる仕組みは存在しなかった。 However, conventionally, there has been no mechanism for automatically leaving the mobile terminal from the network or joining another network as the user carrying the mobile terminal moves.
上述した課題を解決し、目的を達成するために、本発明は、撮像装置を備える携帯端末と、情報処理装置とを含む情報処理システムであって、前記携帯端末は、予め定められた間隔で撮像を行うように撮像装置を制御する撮像制御手段と、前記撮像装置による撮像が行われるたびに、該撮像で得られた撮像画像を前記情報処理装置へ送信する送信手段と、を有し、前記情報処理装置は、前記撮像画像を受信する撮像画像受信手段と、それぞれが、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、前記撮像画像と一致する前記画像が存在する場合は、前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証手段と、を有する。 In order to solve the above-described problems and achieve the object, the present invention is an information processing system including a mobile terminal including an imaging device and an information processing apparatus, wherein the mobile terminal is at predetermined intervals. Imaging control means for controlling the imaging device to perform imaging, and transmission means for transmitting a captured image obtained by the imaging to the information processing device each time imaging by the imaging device is performed, The information processing apparatus includes: a captured image receiving unit configured to receive the captured image; and correspondence information in which one or more images are associated with each of a plurality of networks to which a plurality of devices are connected. If there is an image that matches the captured image, the mobile terminal is allowed to use the network corresponding to the image that matches the captured image, while the captured information is received in the correspondence information. If the image that matches the captured image received by the means does not exist, it has an authentication means for performing control that does not allow use of the network to the mobile terminal.
本発明によれば、携帯端末の移動に伴うネットワークからの離脱や他のネットワークへの参加などを自動的に行うことができる。 According to the present invention, it is possible to automatically leave the network or join another network as the mobile terminal moves.
以下、添付図面を参照しながら、本発明に係る情報処理システム、情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。 Hereinafter, embodiments of an information processing system, an information processing apparatus, an information processing method, and a program according to the present invention will be described in detail with reference to the accompanying drawings.
(第1実施形態)
図1は、本実施形態の情報処理システム1の概略構成の一例を示す図である。情報処理システム1は、ユーザが所持する携帯端末10と、情報処理装置の一例であるサーバ20とを少なくとも含む。サーバ20は、複数の機器が接続される複数のネットワークの各々に対する携帯端末10の利用の可否(参加の可否)を決定する。サーバ20の具体的な内容については後述する。図1の例では、ネットワークの一例として、MFP30とプロジェクタ31とインタラクティブホワイトボード32とが属するネットワークA、および、MFP40とプロジェクタ41とインタラクティブホワイトボード42とが属するネットワークBの2つが例示されているが、これに限らず、ネットワークの数やネットワークに属する機器の数および種類は任意に変更可能である。また、情報処理システム1に含まれる携帯端末10やサーバ20の数についても任意に変更可能である(1台ずつに限られるものではない)。
(First embodiment)
FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system 1 according to the present embodiment. The information processing system 1 includes at least a mobile terminal 10 possessed by a user and a server 20 that is an example of an information processing apparatus. The server 20 determines whether or not the mobile terminal 10 can be used for each of a plurality of networks to which a plurality of devices are connected (whether or not to participate). Specific contents of the server 20 will be described later. In the example of FIG. 1, two examples of the network are the network A to which the MFP 30, the projector 31, and the interactive whiteboard 32 belong, and the network B to which the MFP 40, the projector 41, and the interactive whiteboard 42 belong. Not limited to this, the number of networks and the number and types of devices belonging to the network can be arbitrarily changed. Further, the number of portable terminals 10 and servers 20 included in the information processing system 1 can be arbitrarily changed (not limited to one each).
図2は、携帯端末10のハードウェア構成の一例を示す図である。図2に示すように、携帯端末10は、CPU11と、ROM12と、RAM13と、フラッシュメモリ14と、操作パネル15と、通信I/F16と、カメラ17と、加速度センサー18とを備え、これらはシステムバス19を介して接続される。 FIG. 2 is a diagram illustrating an example of a hardware configuration of the mobile terminal 10. As shown in FIG. 2, the mobile terminal 10 includes a CPU 11, a ROM 12, a RAM 13, a flash memory 14, an operation panel 15, a communication I / F 16, a camera 17, and an acceleration sensor 18. Connection is made via the system bus 19.
CPU11は、RAM13をワークエリアとしてROM12又はフラッシュメモリ14に記憶されたプログラムを選択的に実行することにより、携帯端末10の全体を制御し、サーバ20との通信制御を含む各種機能を実現する。したがって、このCPU11が、携帯端末において、後述する携帯端末10の各種の機能を実現するための処理を行う中央処理装置(マイクロプロセッサ)である。 The CPU 11 selectively executes a program stored in the ROM 12 or the flash memory 14 using the RAM 13 as a work area, thereby controlling the entire mobile terminal 10 and realizing various functions including communication control with the server 20. Therefore, the CPU 11 is a central processing unit (microprocessor) that performs processing for realizing various functions of the mobile terminal 10 described later in the mobile terminal.
ROM12は、CPU11が実行する各プログラムとその実行に必要な固定データ等を予め記した読み出し専用のメモリである。RAM13は、CPU11がプログラムを実行する際のワークエリアとして機能するとともに、一時的なデータを記憶する読み書き可能なメモリである。フラッシュメモリ14は、CPU11が実行する各プログラムとその実行に必要な固定データを記憶し、各種の設定値を変更設定可能に記憶すると共に、サーバ20や、データの送信先である宛先の登録等にも使用される不揮発性メモリである。なお、フラッシュメモリ14の代わりに、あるいはフラッシュメモリ14に加えて、不揮発性のRAMやHDD等の他の不揮発性記憶手段を設けてもよい。 The ROM 12 is a read-only memory in which each program executed by the CPU 11 and fixed data necessary for the execution are recorded in advance. The RAM 13 functions as a work area when the CPU 11 executes a program and is a readable / writable memory that stores temporary data. The flash memory 14 stores each program executed by the CPU 11 and fixed data necessary for the execution, stores various setting values in a changeable manner, and registers the server 20 and a destination as a data transmission destination. It is a non-volatile memory that is also used. Instead of the flash memory 14 or in addition to the flash memory 14, other nonvolatile storage means such as a nonvolatile RAM or HDD may be provided.
操作パネル15は、各種の情報を表示するとともに各種の操作を受け付けるデバイスであり、例えば、液晶ディスプレイ等による表示部と、表示部上に重ねて設けられたタッチパネルによる操作部とで構成されていてもよい。 The operation panel 15 is a device that displays various types of information and accepts various types of operations. For example, the operation panel 15 includes a display unit using a liquid crystal display or the like, and an operation unit using a touch panel provided on the display unit. Also good.
通信I/F16は、サーバ20などの外部装置と通信するためのインタフェースである。一般的に、携帯端末20は、通信機能として、電話や電子メール、インターネット通信等の通信機能も持っているが、本実施形態の特徴とは直接関係しないので、ここは説明を省略する。 The communication I / F 16 is an interface for communicating with an external device such as the server 20. In general, the mobile terminal 20 also has a communication function such as telephone, e-mail, and Internet communication as a communication function. However, the description is omitted here because it is not directly related to the feature of the present embodiment.
カメラ17は、撮像を行う撮像装置の一例であり、画像センサーによって撮像範囲内の被写体を撮像して得られた画像(撮像画像)を内部メモリに格納する。「撮像」とは、レンズなどの光学系により結像された被写体(撮像対象)の像を、電気信号に変換することを指す。 The camera 17 is an example of an imaging device that performs imaging, and stores an image (captured image) obtained by imaging a subject within an imaging range by an image sensor in an internal memory. “Imaging” refers to converting an image of a subject (imaging target) imaged by an optical system such as a lens into an electrical signal.
加速度センサー18は、携帯端末10の角度(向き)を検出する角度検出手段、または、携帯端末20を所持したユーザが移動することによって生じる加速度を検出する加速度検出手段の一例である。 The acceleration sensor 18 is an example of an angle detection unit that detects an angle (orientation) of the mobile terminal 10 or an acceleration detection unit that detects an acceleration generated when the user who has the mobile terminal 20 moves.
図3は、サーバ20のハードウェア構成の一例を示す図である。図3に示すように、サーバ20は、CPU21と、ROM22と、RAM23と、フラッシュメモリ24と、通信I/F25と、カメラ26とを備える。これらはシステムバス27によって、相互にデータ、アドレス、及び制御信号をやり取り可能に接続されている。 FIG. 3 is a diagram illustrating an example of a hardware configuration of the server 20. As shown in FIG. 3, the server 20 includes a CPU 21, a ROM 22, a RAM 23, a flash memory 24, a communication I / F 25, and a camera 26. These are connected by a system bus 27 so as to be able to exchange data, addresses, and control signals with each other.
CPU21は、RAM23をワークエリアとしてROM22又はフラッシュメモリ24に記憶されたプログラムを選択的に実行することにより、サーバ20の全体を制御し、各機器や携帯端末10との通信制御を含む各種機能を実現する。したがって、このCPU21が、後述するサーバ20の各種の機能を実現するための処理を行う中央処理装置(マイクロプロセッサ)である。 The CPU 21 controls the entire server 20 by selectively executing a program stored in the ROM 22 or the flash memory 24 using the RAM 23 as a work area, and performs various functions including communication control with each device and the portable terminal 10. Realize. Therefore, the CPU 21 is a central processing unit (microprocessor) that performs processing for realizing various functions of the server 20 described later.
ROM22は、CPU21が実行する各プログラムとその実行に必要な固定データ等を予め記憶した読み出し専用のメモリである。RAM23は、CPU21がプログラムを実行する際のワークエリアとして機能するとともに、一時的なデータを記憶する読み書き可能なメモリである。 The ROM 22 is a read-only memory that stores in advance each program executed by the CPU 21 and fixed data necessary for the execution. The RAM 23 functions as a work area when the CPU 21 executes a program and is a readable / writable memory for storing temporary data.
フラッシュメモリ24は、CPU21が実行する各プログラムとその実行に必要な固定データを記憶し、各種の設定値を変更設定可能に記憶すると共に、各機器や、データの送信先である宛先の登録等にも使用される不揮発性メモリである。なお、フラッシュメモリ24の代わりに、あるいはフラッシュメモリに加えて、不揮発性RAMやHDD等の他の不揮発性記憶手段を設けてもよい。 The flash memory 24 stores each program executed by the CPU 21 and fixed data necessary for the execution, stores various setting values in a changeable manner, and registers each device and a destination as a data transmission destination. It is a non-volatile memory that is also used. Instead of the flash memory 24 or in addition to the flash memory, other nonvolatile storage means such as a nonvolatile RAM or HDD may be provided.
通信I/F25は、携帯端末10などの外部装置と通信するためのインタフェースである。カメラ17は、画像センサーによって撮像範囲内の被写体を撮像して得られた画像(撮像画像)を内部メモリに格納する。カメラ17は、後述の対応情報を生成(登録)する際に用いられる。 The communication I / F 25 is an interface for communicating with an external device such as the mobile terminal 10. The camera 17 stores an image (captured image) obtained by imaging a subject within the imaging range by an image sensor in an internal memory. The camera 17 is used when generating (registering) correspondence information described later.
図4は、携帯端末10が有する機能の一例を示す図である。図4に示すように、携帯端末10は、無線通信手段101、撮像制御手段102、送信手段103、設定手段104、第1の記憶手段105、表示制御手段106を有する。 FIG. 4 is a diagram illustrating an example of functions that the mobile terminal 10 has. As shown in FIG. 4, the mobile terminal 10 includes a wireless communication unit 101, an imaging control unit 102, a transmission unit 103, a setting unit 104, a first storage unit 105, and a display control unit 106.
ここでは、携帯端末10には、何れかのネットワーク上の機器を利用するためのアプリケーション(以下、「ネットワーク連携アプリ」と称する)が搭載されている。そして、携帯端末10のCPU11がネットワーク連携アプリを実行することにより、無線通信手段101、撮像制御手段102、送信手段103、設定手段104および表示制御手段106の各々の機能が実現される。ただし、これに限らず、例えば無線通信手段101、撮像制御手段102、送信手段103、設定手段104および表示制御手段106の各々の機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第1の記憶手段105は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 Here, the mobile terminal 10 is loaded with an application (hereinafter referred to as “network cooperation application”) for using any device on the network. When the CPU 11 of the mobile terminal 10 executes the network cooperation application, the functions of the wireless communication unit 101, the imaging control unit 102, the transmission unit 103, the setting unit 104, and the display control unit 106 are realized. However, the present invention is not limited to this. For example, at least a part of the functions of the wireless communication unit 101, the imaging control unit 102, the transmission unit 103, the setting unit 104, and the display control unit 106 is a dedicated hardware circuit (semiconductor integrated circuit). Etc.). The first storage unit 105 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
なお、説明の便宜上、図4では、ネットワーク連携アプリに関する機能のみを例示しているが、携帯端末10が有する機能はこれらに限られるものではない。 For convenience of explanation, FIG. 4 illustrates only functions related to the network cooperation app, but the functions of the mobile terminal 10 are not limited to these.
無線通信手段101は、無線通信でサーバ20等の外部装置と通信を行う機能を提供する。 The wireless communication unit 101 provides a function of performing communication with an external device such as the server 20 by wireless communication.
撮像制御手段102は、予め定められた間隔で撮像を行うようにカメラ17を制御する。 The imaging control unit 102 controls the camera 17 so that imaging is performed at predetermined intervals.
送信手段103は、カメラ17による撮像が行われるたびに、該撮像で得られた撮像画像をサーバ20へ送信する。 The transmission unit 103 transmits the captured image obtained by the imaging to the server 20 every time imaging by the camera 17 is performed.
設定手段104は、上記間隔を設定する。例えば設定手段104は、ユーザからの指示(入力)に応じて、上記間隔を可変に設定することもできる。 The setting means 104 sets the interval. For example, the setting unit 104 can variably set the interval according to an instruction (input) from the user.
第1の記憶手段105は、設定手段104により設定された間隔を示す情報を記憶する。 The first storage unit 105 stores information indicating the interval set by the setting unit 104.
表示制御手段106は、ネットワーク連携アプリに関する各種の画面を表示する制御を行う。具体的な画面例については後述する。 The display control means 106 performs control to display various screens related to the network cooperation application. A specific screen example will be described later.
図5は、サーバ20が有する機能の一例を示す図である。図5に示すように、サーバ20は、無線通信手段201、撮像画像受信手段202、対応情報記憶手段203、認証手段204、更新手段205、画面送信手段206を有する。 FIG. 5 is a diagram illustrating an example of functions that the server 20 has. As illustrated in FIG. 5, the server 20 includes a wireless communication unit 201, a captured image reception unit 202, a correspondence information storage unit 203, an authentication unit 204, an update unit 205, and a screen transmission unit 206.
ここでは、サーバ20のCPU21がROM22等に格納されたプログラムを実行することにより、無線通信手段201、撮像画像受信手段202、認証手段204、更新手段205および画面送信手段206の各々の機能が実現されるが、これに限らず、例えば無線通信手段201、撮像画像受信手段202、認証手段204、更新手段205および画面送信手段206の各々の機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、対応情報記憶手段203は、例えばROM22、RAM23、フラッシュメモリ24等で実現される。 Here, the CPU 21 of the server 20 executes the program stored in the ROM 22 or the like, thereby realizing the functions of the wireless communication unit 201, the captured image reception unit 202, the authentication unit 204, the update unit 205, and the screen transmission unit 206. However, the present invention is not limited to this. For example, at least a part of the functions of the wireless communication unit 201, the captured image reception unit 202, the authentication unit 204, the update unit 205, and the screen transmission unit 206 is a dedicated hardware circuit ( It may be realized by a semiconductor integrated circuit or the like. The correspondence information storage unit 203 is realized by, for example, the ROM 22, the RAM 23, the flash memory 24, and the like.
なお、説明の便宜上、図5では、本実施形態に係る機能のみを例示しているが、サーバ20が有する機能はこれらに限られるものではない。 For convenience of explanation, FIG. 5 illustrates only the functions according to the present embodiment, but the functions of the server 20 are not limited to these.
無線通信手段201は、無線通信で携帯端末10等の外部装置と通信を行う機能を提供する。 The wireless communication unit 201 provides a function of communicating with an external device such as the mobile terminal 10 by wireless communication.
撮像画像受信手段202は、撮像画像を受信する。より具体的には、撮像画像受信手段202は、予め定められた間隔で、携帯端末10のカメラ17による撮像で得られた撮像画像を携帯端末10から受信する。 The captured image receiving unit 202 receives a captured image. More specifically, the captured image receiving unit 202 receives captured images obtained by capturing with the camera 17 of the mobile terminal 10 from the mobile terminal 10 at predetermined intervals.
対応情報記憶手段203は、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報を記憶する。図6は、対応情報の一例を示す図である。図6の例では、対応情報は、3つのネットワーク(ネットワーク1〜3)ごとに、該ネットワークが構築される場所に対応する1つの画像と、該ネットワークに属する機器とを対応付けた情報である。例えばネットワーク1が構築される場所が、天井、床面および床面の各々が赤色で内装された会議室であるような場合は、ネットワーク1に対応付けられる画像としては、赤色の画像が設定されてもよい。なお、各ネットワークに対応付けられる画像の種類や数は任意に変更可能であり、該ネットワークが構築される場所を特定可能な画像であればよい。 The correspondence information storage unit 203 stores correspondence information in which one or more images are associated for each of a plurality of networks to which a plurality of devices are connected. FIG. 6 is a diagram illustrating an example of correspondence information. In the example of FIG. 6, the correspondence information is information in which, for each of the three networks (networks 1 to 3), one image corresponding to a place where the network is constructed is associated with devices belonging to the network. . For example, when the place where the network 1 is constructed is a conference room in which each of the ceiling, the floor, and the floor is decorated in red, a red image is set as an image associated with the network 1. May be. Note that the type and number of images associated with each network can be arbitrarily changed as long as the image can identify the location where the network is constructed.
図5に戻って説明を続ける。認証手段204は、上記対応情報の中に、撮像画像受信手段202で受信した撮像画像と一致する画像が存在する場合は、その受信した撮像画像と一致する画像に対応するネットワークの利用を携帯端末10に対して許可する一方、上記対応情報の中に、撮像画像受信手段202で受信した撮像画像と一致する画像が存在しない場合は、ネットワークの利用を携帯端末10に対して許可しない制御を行う。 Returning to FIG. If there is an image that matches the captured image received by the captured image reception unit 202 in the correspondence information, the authentication unit 204 uses the network corresponding to the image that matches the received captured image. On the other hand, if there is no image that matches the captured image received by the captured image receiving unit 202 in the correspondence information, control is performed not to permit the mobile terminal 10 to use the network. .
例えば上記対応情報の中に、撮像画像受信手段202で受信した撮像画像と一致する画像が存在する場合は、認証手段204は、その受信した撮像画像と一致する画像に対応するネットワークに属する複数の機器を利用するための画面(機器利用画面)を、携帯端末10へ送信するよう、画面送信手段206を制御する。図7は、機器利用画面の一例を示す図である。携帯端末10の表示制御手段106は、サーバ20から受信した機器利用画面を、操作パネル15に表示する制御を行う。また、表示制御手段106は、機器利用画面を介して、複数の機器のうちの何れかを選択する操作を受け付けると、その選択された機器に対応する設定画面を操作パネル15に表示する制御を行う。例えば表示制御手段106は、図7に示す機器利用画面を介して、MFPを選択する操作を受け付けた場合、図8に示すような、MFPに対応する設定画面を操作パネル15に表示する制御を行うことができる。そして、ユーザは、設定画面に対して、各種の設定や処理の実行(例えば印刷の実行)を指示する操作を行うことができる。 For example, when the correspondence information includes an image that matches the captured image received by the captured image receiving unit 202, the authentication unit 204 includes a plurality of networks belonging to the network corresponding to the received image that matches the captured image. The screen transmission unit 206 is controlled to transmit a screen for using the device (device use screen) to the mobile terminal 10. FIG. 7 is a diagram illustrating an example of a device usage screen. The display control means 106 of the portable terminal 10 performs control to display the device usage screen received from the server 20 on the operation panel 15. Further, when receiving an operation for selecting any of a plurality of devices via the device usage screen, the display control unit 106 performs control to display a setting screen corresponding to the selected device on the operation panel 15. Do. For example, when the display control unit 106 receives an operation for selecting an MFP via the device usage screen shown in FIG. 7, the display control unit 106 performs control to display a setting screen corresponding to the MFP on the operation panel 15 as shown in FIG. It can be carried out. Then, the user can perform operations for instructing execution of various settings and processes (for example, execution of printing) on the setting screen.
一方、例えば上記対応情報の中に、撮像画像受信手段202で受信した撮像画像と一致する画像が存在しない場合は、認証手段204は、ネットワークの利用を携帯端末10に対して許可しないことを報知する画面(認証NG画面)を、携帯端末10へ送信するよう、画面送信手段206を制御する。図9は、認証NG画面の一例を示す図である。携帯端末10の表示制御手段106は、サーバ20から受信した認証NG画面を、操作パネル15に表示する制御を行う。この場合、携帯端末10は、何れのネットワークからも離脱している状態であり、何れのネットワーク上の機器も利用することができない。 On the other hand, for example, when there is no image in the correspondence information that matches the captured image received by the captured image receiving unit 202, the authentication unit 204 notifies the mobile terminal 10 that the use of the network is not permitted. The screen transmission unit 206 is controlled so as to transmit the screen (authentication NG screen) to be transmitted to the mobile terminal 10. FIG. 9 is a diagram illustrating an example of the authentication NG screen. The display control means 106 of the portable terminal 10 performs control to display the authentication NG screen received from the server 20 on the operation panel 15. In this case, the mobile terminal 10 is disconnected from any network, and devices on any network cannot be used.
図5の説明を続ける。更新手段205は、対応情報の中に、撮像画像受信手段202で受信した撮像画像と一致する画像が存在する場合は、その受信した撮像画像と一致する画像に対応するネットワークに対して、携帯端末10を関連付けて(該ネットワークに属する機器として対応付けて)対応情報を更新する。 The description of FIG. 5 is continued. When there is an image that matches the captured image received by the captured image receiving unit 202 in the correspondence information, the update unit 205 sends the mobile terminal to the network corresponding to the image that matches the received captured image. 10 is associated (corresponding as a device belonging to the network) and the correspondence information is updated.
画面送信手段206は、認証手段204の制御の下、各種の画面(機器利用画面や認証NG画面)を携帯端末10へ送信する。 The screen transmission unit 206 transmits various screens (device use screen and authentication NG screen) to the mobile terminal 10 under the control of the authentication unit 204.
図10は、携帯端末10が認証される(何れかのネットワークの利用が許可される)場合の流れの一例を示すシーケンス図である。まず、ユーザは、図11に示すような、携帯端末10の操作パネル15に表示されたホーム画面に表示されたアイコンのうち、ネットワーク連携アプリに対応するアイコンを押下することで、ネットワーク連携アプリの起動を指示する(ステップS1)。起動したネットワーク連携アプリは、予め定められた間隔で撮像を行うようにカメラ17を制御し、カメラ17による撮像が行われる(ステップS2)。 FIG. 10 is a sequence diagram illustrating an example of a flow when the mobile terminal 10 is authenticated (use of any network is permitted). First, the user presses the icon corresponding to the network cooperation app among the icons displayed on the home screen displayed on the operation panel 15 of the mobile terminal 10 as shown in FIG. The activation is instructed (step S1). The activated network cooperation application controls the camera 17 to take images at a predetermined interval, and the camera 17 takes an image (step S2).
次に、ネットワーク連携アプリ(送信手段103)は、カメラ17による撮像で得られた撮像画像をサーバ20へ送信する(ステップS3)。サーバ20(認証手段204)は上記対応情報の中に、携帯端末10から受信した撮像画像と一致する画像が存在するか否かを判断することで、携帯端末10に対するネットワークの利用の可否を決定する認証処理を行う(ステップS4)。なお、ネットワーク連携アプリ(表示制御手段106)は、カメラ17による撮像を開始させてから、認証処理の結果に応じた画面(機器利用画面または認証NG画面)をサーバ10から受信するまでの間、例えば図12に示すような、撮像を行って認証中である旨を示す画面を操作パネル15に表示する制御を行うこともできる。 Next, the network cooperation application (transmission means 103) transmits the captured image obtained by imaging with the camera 17 to the server 20 (step S3). The server 20 (authentication means 204) determines whether or not the network can be used for the mobile terminal 10 by determining whether or not an image that matches the captured image received from the mobile terminal 10 exists in the correspondence information. An authentication process is performed (step S4). Note that the network cooperation application (display control means 106) starts from imaging by the camera 17 until a screen (device use screen or authentication NG screen) corresponding to the result of the authentication processing is received from the server 10. For example, as shown in FIG. 12, it is possible to perform control for displaying on the operation panel 15 a screen indicating that authentication is being performed by imaging.
図10に戻って説明を続ける。この例では、携帯端末10は認証されるので、サーバ20(認証手段204、画面送信手段206)は、携帯端末10から受信した撮像画像と一致する画像に対応するネットワークに対して、携帯端末10を関連付けて対応情報を更新するとともに、該ネットワーク(携帯端末10に対して利用を許可するネットワーク)に属する複数の機器を利用するための機器利用画面を携帯端末10へ送信する(ステップS5)。ネットワーク連携アプリ(表示制御手段106)は、サーバ20から受信した機器利用画面を操作パネル15に表示する制御を行う(ステップS6)。そして、例えば携帯端末10のユーザが、機器利用画面からMFPを選択し、選択したMFPに対応する設定画面に対して、印刷の実行を指示する操作を行った場合(ステップS7)、ネットワーク連携アプリは、印刷の実行を指示する印刷ジョブを、サーバ20へ送信する(ステップS8)。この印刷ジョブを受信したサーバ20は、印刷ジョブの送信元の携帯端末10の認証状態を確認(例えば更新済みの対応情報を参照し、MFPが属するネットワークに対して、携帯端末10が対応付けられているか否かを確認)する(ステップS9)。そして、携帯端末10が認証済みであれば、その受信した印刷ジョブをMFPへ送信し(ステップS10)、MFPは受信した印刷ジョブに基づく印刷を実行する(ステップS11)。 Returning to FIG. In this example, since the mobile terminal 10 is authenticated, the server 20 (the authentication unit 204, the screen transmission unit 206) performs the mobile terminal 10 with respect to the network corresponding to the image that matches the captured image received from the mobile terminal 10. To update the correspondence information and transmit a device usage screen for using a plurality of devices belonging to the network (a network permitted to be used for the mobile terminal 10) to the mobile terminal 10 (step S5). The network cooperation application (display control means 106) performs control to display the device usage screen received from the server 20 on the operation panel 15 (step S6). For example, when the user of the mobile terminal 10 selects an MFP from the device usage screen and performs an operation to instruct execution of printing on the setting screen corresponding to the selected MFP (step S7), the network cooperation application Transmits a print job instructing execution of printing to the server 20 (step S8). The server 20 that has received this print job confirms the authentication status of the mobile terminal 10 that is the transmission source of the print job (for example, by referring to the updated correspondence information, the mobile terminal 10 is associated with the network to which the MFP belongs. (Step S9). If the portable terminal 10 has been authenticated, the received print job is transmitted to the MFP (step S10), and the MFP executes printing based on the received print job (step S11).
その後も、ネットワーク連携アプリ(送信手段103)は、カメラ17による撮像が行われるたびに(ステップS12)、該撮像で得られた撮像画像をサーバ20へ送信する(ステップS13)。そして、サーバ20(認証手段204)は上記対応情報の中に、携帯端末10から受信した撮像画像と一致する画像が存在するか否かを判断することで、携帯端末10に対するネットワークの利用の可否を決定する認証処理を行う(ステップS14)。この例では、携帯端末10は認証されるので、サーバ20は、携帯端末10に対して利用を許可するネットワークに属する複数の機器を利用するための機器利用画面を携帯端末10へ送信する(ステップS15)。 Thereafter, each time the camera 17 captures an image (step S12), the network cooperation app (transmission unit 103) transmits the captured image obtained by the imaging to the server 20 (step S13). Then, the server 20 (authentication means 204) determines whether or not the network can be used for the mobile terminal 10 by determining whether or not an image that matches the captured image received from the mobile terminal 10 exists in the correspondence information. An authentication process is performed to determine (step S14). In this example, since the mobile terminal 10 is authenticated, the server 20 transmits to the mobile terminal 10 a device usage screen for using a plurality of devices belonging to a network that allows the mobile terminal 10 to be used (step). S15).
図13は、携帯端末10が認証されない場合の流れの一例を示すシーケンス図である。図13のステップS21〜ステップS24の処理内容は、図10のステップS1〜ステップS4の処理内容と同様である。この例では、ステップS24の認証処理の結果、携帯端末10は認証されないので、サーバ20(認証手段204、画面送信手段206)は、ネットワークの利用を携帯端末10に対して許可しないことを報知する認証NG画面を携帯端末10へ送信する(ステップS25)。ネットワーク連携アプリ(表示制御手段106)は、サーバ20から受信した認証NG画面を操作パネル15に表示する制御を行う(ステップS26)。 FIG. 13 is a sequence diagram illustrating an example of a flow when the mobile terminal 10 is not authenticated. The processing contents in steps S21 to S24 in FIG. 13 are the same as the processing contents in steps S1 to S4 in FIG. In this example, as a result of the authentication processing in step S24, the mobile terminal 10 is not authenticated, so the server 20 (authentication means 204, screen transmission means 206) notifies the mobile terminal 10 that the use of the network is not permitted. An authentication NG screen is transmitted to the mobile terminal 10 (step S25). The network cooperation application (display control means 106) performs control to display the authentication NG screen received from the server 20 on the operation panel 15 (step S26).
図14は、起動後のネットワーク連携アプリの動作例を示すフローチャートである。図14に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップS30:Yes)、撮像制御手段102は、カメラ17に対して撮像を指示し、この指示を受けたカメラ17は撮像を行う(ステップS31)。次に、送信手段103は、ステップS31の撮像で得られた撮像画像をサーバ20へ送信する(ステップS32)。次に、タイマーの設定時刻が再設定される(ステップS33)。例えばタイマーの設定時刻は、現時点から上記間隔だけ後の時点になるように設定される。設定の主体は設定手段104であってもよいし、ネットワーク連携アプリの他の機能であってもよい。 FIG. 14 is a flowchart illustrating an operation example of the network cooperation app after activation. As shown in FIG. 14, every time the time measured by the timer reaches the set time (the time set according to the interval) (step S30: Yes), the imaging control unit 102 Imaging is instructed, and the camera 17 receiving this instruction performs imaging (step S31). Next, the transmission means 103 transmits the captured image obtained by the imaging in step S31 to the server 20 (step S32). Next, the set time of the timer is reset (step S33). For example, the set time of the timer is set to be a time point after the above-mentioned interval from the current time point. The setting subject may be the setting means 104 or another function of the network cooperation application.
図15は、サーバ20の動作例を示すフローチャートである。図15に示すように、撮像画像受信手段202が、携帯端末10からの撮像画像を受信すると(ステップS41)、認証手段204は、対応情報の中に、ステップS41で受信した撮像画像と一致する画像が存在するか否かを確認する(ステップS42)。 FIG. 15 is a flowchart illustrating an operation example of the server 20. As shown in FIG. 15, when the captured image receiving unit 202 receives a captured image from the mobile terminal 10 (step S41), the authentication unit 204 matches the captured image received in step S41 in the correspondence information. It is confirmed whether or not an image exists (step S42).
対応情報の中に、ステップS41で受信した撮像画像と一致する画像が存在する場合(ステップS42:Yes)、認証手段204は、ステップS41で受信した撮像画像と一致する画像に対応するネットワークに対して、携帯端末10を関連付けて対応情報を更新する(ステップS43)。そして、認証手段204は、ステップS41で受信した撮像画像と一致する画像に対応するネットワークに属する複数の機器を利用するための機器利用画面を、携帯端末10へ送信するよう、画面送信手段206を制御する(ステップS44)。 If there is an image that matches the captured image received in step S41 in the correspondence information (step S42: Yes), the authentication unit 204 determines that the network corresponding to the image that matches the captured image received in step S41. Then, the correspondence information is updated in association with the portable terminal 10 (step S43). Then, the authentication unit 204 sets the screen transmission unit 206 to transmit to the mobile terminal 10 a device usage screen for using a plurality of devices belonging to the network corresponding to the image that matches the captured image received in step S41. Control (step S44).
一方、対応情報の中に、ステップS41で受信した撮像画像と一致する画像が存在しない場合(ステップS42:No)、認証手段204は、ネットワークの利用を携帯端末10に対して許可しないことを報知する認証NG画面を、携帯端末10へ送信するよう、画面送信手段206を制御する(ステップS45)。 On the other hand, when there is no image in the correspondence information that matches the captured image received in step S41 (step S42: No), the authentication unit 204 notifies the mobile terminal 10 that the use of the network is not permitted. The screen transmission means 206 is controlled to transmit the authentication NG screen to be transmitted to the mobile terminal 10 (step S45).
以上に説明したように、本実施形態では、カメラ17を備えた携帯端末10は、予め定められた間隔で撮像を行うようにカメラ17を制御し、カメラ17による撮像が行われるたびに、該撮像で得られた撮像画像をサーバ20へ送信する。そして、サーバ20は、複数の機器が接続される複数のネットワークごとに、1以上の画像を対応付けた対応情報の中に、携帯端末から受信した撮像画像と一致する画像が存在する場合は、その受信した撮像画像と一致する画像に対応するネットワークの利用を携帯端末10に対して許可する制御を行う。一方、対応情報の中に、携帯端末10から受信した撮像画像と一致する画像が存在しない場合は、ネットワークの利用を携帯端末10に対して許可しない制御を行う。これにより、携帯端末10の移動に伴うネットワークからの離脱や他のネットワークへの参加などを自動的に行うことができる。 As described above, in the present embodiment, the mobile terminal 10 provided with the camera 17 controls the camera 17 so as to capture images at a predetermined interval. The captured image obtained by imaging is transmitted to the server 20. When the server 20 includes an image that matches the captured image received from the mobile terminal in the correspondence information in which one or more images are associated with each other for each of a plurality of networks to which a plurality of devices are connected, Control for permitting the portable terminal 10 to use the network corresponding to the image that matches the received captured image is performed. On the other hand, when the correspondence information does not include an image that matches the captured image received from the mobile terminal 10, control is performed not to permit the mobile terminal 10 to use the network. As a result, it is possible to automatically leave the network or join another network as the mobile terminal 10 moves.
(第2実施形態)
次に、第2実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Second Embodiment)
Next, a second embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
図16は、本実施形態の携帯端末10が有する機能の一例を示す図である。図16に示すように、携帯端末10は、判定手段111と、第2の記憶手段112とをさらに有する点で上述の第1実施形態と相違する。この例では、判定手段111は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第2の記憶手段112は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 FIG. 16 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 16, the mobile terminal 10 is different from the above-described first embodiment in that it further includes a determination unit 111 and a second storage unit 112. In this example, the determination unit 111 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation application of the present embodiment. However, the determination unit 111 is not limited to this, and is, for example, a dedicated hardware circuit (semiconductor integrated circuit or the like). It may be realized. The second storage unit 112 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
判定手段111は、カメラ17による撮像が行われるたびに、その撮像で得られた撮像画像に含まれる複数の画素のうち、輝度値が閾値(例えば0であってもよい)以下を示す画素の数が予め定められた数を超えているか否かを判定する。つまり、判定手段111は、カメラ17による撮像で得られた撮像画像が真っ黒な画像であるか否かを判定する機能を有する。上記予め定められた数は、撮像画像が真っ黒な画像であるか否かを判定可能な値であればよく、任意に変更可能である。 Each time the image is captured by the camera 17, the determination unit 111 is a pixel whose luminance value is equal to or less than a threshold value (for example, may be 0) among a plurality of pixels included in the captured image obtained by the imaging. It is determined whether or not the number exceeds a predetermined number. That is, the determination unit 111 has a function of determining whether or not a captured image obtained by imaging with the camera 17 is a black image. The predetermined number should just be a value which can determine whether a captured image is a black image, and can be changed arbitrarily.
第2の記憶手段112は、撮像画像を記憶する。本実施形態の送信手段103は、判定手段111により、撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えてないと判定された場合は、その判定対象の撮像画像を第2の記憶手段112に記憶するとともにサーバ20へ送信する。また、送信手段103は、判定手段111により、撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合は、その判定対象の撮像画像の代わりに、第2の記憶手段112に記憶された撮像画像(判定対象の撮像画像よりも前(典型的には直前)の撮像で得られた撮像画像)をサーバ20へ送信する。 The second storage unit 112 stores the captured image. When the determination unit 111 determines that the number of pixels whose luminance value is equal to or lower than the threshold value among the plurality of pixels included in the captured image is determined by the determination unit 111 according to the present embodiment. Stores the captured image to be determined in the second storage unit 112 and transmits it to the server 20. In addition, when the determination unit 111 determines that the number of pixels whose luminance value is equal to or lower than the threshold value among the plurality of pixels included in the captured image is determined by the determination unit 111, Instead of the captured image to be determined, the server 20 uses a captured image (captured image obtained by imaging before (typically immediately before) the determined target captured image) stored in the second storage unit 112. Send to.
図17は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図17のステップS51およびステップS52の処理内容は、図14のステップS30およびステップS31の処理内容と同様である。ステップS52の後、判定手段111は、ステップS52の撮像で得られた撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する(ステップS53)。輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合(ステップS53:No)、つまり、撮像画像は真っ黒な画像ではないと判定された場合、送信手段103は、ステップS52の撮像で得られた撮像画像を第2の記憶手段112に記憶する(ステップS54)。例えばステップS52の撮像で得られた撮像画像を、撮像時間などを示す時間情報とともに第2の記憶手段112に記憶することもできる。次に、送信手段103は、ステップS52の撮像で得られた撮像画像をサーバ20へ送信する(ステップS55)。 FIG. 17 is a flowchart illustrating an operation example of the network cooperation app of the present embodiment after activation. The processing content of step S51 and step S52 of FIG. 17 is the same as the processing content of step S30 and step S31 of FIG. After step S52, the determination unit 111 determines whether or not the number of pixels whose luminance value is equal to or less than a threshold value among a plurality of pixels included in the captured image obtained by the imaging in step S52 exceeds a predetermined number. Is determined (step S53). When it is determined that the number of pixels whose luminance value is less than or equal to the threshold does not exceed a predetermined number (step S53: No), that is, when it is determined that the captured image is not a black image, the transmission unit 103 memorize | stores the captured image obtained by imaging of step S52 in the 2nd memory | storage means 112 (step S54). For example, the captured image obtained by the imaging in step S52 can be stored in the second storage unit 112 together with time information indicating the imaging time. Next, the transmission means 103 transmits the captured image obtained by the imaging in step S52 to the server 20 (step S55).
一方、上述のステップS53において、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合(ステップS53:Yes)、つまり、撮像画像は真っ黒な画像であると判定された場合、送信手段103は、ステップS52の撮像で得られた撮像画像の代わりに、第2の記憶手段112に記憶された撮像画像をサーバ20へ送信する(ステップS56)。 On the other hand, if it is determined in step S53 described above that the number of pixels whose luminance value is equal to or less than the threshold value exceeds a predetermined number (step S53: Yes), that is, the captured image is a black image. If determined to be, the transmission unit 103 transmits the captured image stored in the second storage unit 112 to the server 20 instead of the captured image obtained by the imaging in step S52 (step S56).
上述のステップS55またはステップS56の後、タイマーの設定時刻が再設定される(ステップS57)。 After step S55 or step S56 described above, the timer setting time is reset (step S57).
以上の本実施形態によれば、例えばユーザの指が携帯端末10のカメラ17を塞いでしまい、真っ黒な画像をサーバ20に送ってしまうことで携帯端末10が認証されず、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 According to the present embodiment described above, for example, the user's finger blocks the camera 17 of the mobile terminal 10 and sends a black image to the server 20, whereby the mobile terminal 10 is not authenticated and the user intends. It is possible to prevent the user from leaving the network at an unscheduled timing.
(第3実施形態)
次に、第3実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。本実施形態では、カメラ17は、携帯端末10のうちの第1の位置に設けられる第1のカメラ17aと、携帯端末10のうちの第1の位置とは異なる第2の位置に設けられる第2のカメラ17bと、を含む。
(Third embodiment)
Next, a third embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate. In the present embodiment, the camera 17 is provided at a first camera 17 a provided at the first position of the mobile terminal 10 and at a second position different from the first position of the mobile terminal 10. 2 cameras 17b.
第1の位置および第2の位置は任意である。例えば携帯端末10の筐体の正面(前面)に第1のカメラ17aが設けられ、携帯端末10の筐体の背面(後面)に第2のカメラ17bが設けられてもよいし、その反対であってもよい。また、例えば携帯端末10の筐体の上面に第1のカメラ17aが設けられ、携帯端末10の筐体の下面に第2のカメラ17bが設けられてもよいし、その反対であってもよい。また、例えば携帯端末10の筐体の上面または下面に第1のカメラ17aが設けられ、携帯端末10の筐体の両側面のうちの何れか一方に第2のカメラ17bが設けられてもよいし、その反対であってもよい。また、例えば携帯端末10の筐体の正面または背面に第1のカメラ17aが設けられ、携帯端末10の筐体の両側面のうちの何れか一方に第2のカメラ17bが設けられてもよいし、その反対であってもよい。さらに、例えば携帯端末10の筐体の上面または下面に第1のカメラ17aが設けられ、携帯端末10の筐体の正面または背面に第2のカメラ17bが設けられてもよいし、その反対であってもよい。 The first position and the second position are arbitrary. For example, the 1st camera 17a may be provided in the front (front surface) of the housing | casing of the portable terminal 10, and the 2nd camera 17b may be provided in the back surface (rear surface) of the housing | casing of the portable terminal 10, and vice versa. There may be. Further, for example, the first camera 17a may be provided on the upper surface of the casing of the mobile terminal 10, and the second camera 17b may be provided on the lower surface of the casing of the mobile terminal 10, or vice versa. . Further, for example, the first camera 17 a may be provided on the upper surface or the lower surface of the casing of the mobile terminal 10, and the second camera 17 b may be provided on either one of both side surfaces of the casing of the mobile terminal 10. And vice versa. Further, for example, the first camera 17a may be provided on the front surface or the back surface of the casing of the mobile terminal 10, and the second camera 17b may be provided on either one of both side surfaces of the casing of the mobile terminal 10. And vice versa. Further, for example, the first camera 17a may be provided on the upper surface or the lower surface of the casing of the mobile terminal 10, and the second camera 17b may be provided on the front or rear surface of the casing of the mobile terminal 10, or vice versa. There may be.
図18は、本実施形態の携帯端末10が有する機能の一例を示す図である。図18に示すように、携帯端末10は、判定手段113をさらに有する点で上述の第1実施形態と相違する。この例では、判定手段113は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば専用のハードウェア回路(半導体集積回路等)で実現されてもよい。 FIG. 18 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 18, the mobile terminal 10 differs from the first embodiment described above in that it further includes a determination unit 113. In this example, the determination unit 113 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation application of the present embodiment. However, the determination unit 113 is not limited thereto, and is, for example, a dedicated hardware circuit (semiconductor integrated circuit or the like). It may be realized.
判定手段113は、第1のカメラ17aによる撮像が行われるたびに、その撮像で得られた第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する。つまり、判定手段113は、第1のカメラ17aによる撮像で得られた第1の撮像画像が真っ黒な画像であるか否かを判定する機能を有する。上記予め定められた数は、第1の撮像画像が真っ黒な画像であるか否かを判定可能な値であればよく、任意に変更可能である。 Each time the image is captured by the first camera 17a, the determination unit 113 determines in advance that the number of pixels whose luminance value is equal to or less than a threshold value from among the plurality of pixels included in the first captured image obtained by the image capturing. It is determined whether or not a predetermined number is exceeded. That is, the determination unit 113 has a function of determining whether or not the first captured image obtained by imaging with the first camera 17a is a black image. The predetermined number may be any value that can determine whether or not the first captured image is a black image, and can be arbitrarily changed.
本実施形態では、撮像制御手段102は、予め定められた間隔で撮像を行うように第1のカメラ17aを制御し、判定手段113により、第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合は、第2のカメラ17bに撮像を行わせる制御を行う。 In the present embodiment, the imaging control unit 102 controls the first camera 17a so as to perform imaging at a predetermined interval, and among the plurality of pixels included in the first captured image by the determination unit 113, When it is determined that the number of pixels whose luminance value is less than or equal to the threshold value exceeds a predetermined number, control is performed to cause the second camera 17b to perform imaging.
また、本実施形態では、送信手段103は、判定手段113により、第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合は、第1の撮像画像をサーバ20へ送信する。一方、判定手段113により、第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合は、第2のカメラ17bによる撮像で得られる第2の撮像画像をサーバ20へ送信する。 In the present embodiment, the transmission unit 103 causes the determination unit 113 to exceed the predetermined number of pixels whose luminance value is equal to or less than the threshold among the plurality of pixels included in the first captured image. If it is determined that there is not, the first captured image is transmitted to the server 20. On the other hand, when the determination unit 113 determines that the number of pixels whose luminance value is equal to or lower than the threshold value among the plurality of pixels included in the first captured image exceeds the predetermined number, The second captured image obtained by imaging by the camera 17b is transmitted to the server 20.
図19は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図19に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップS61:Yes)、撮像制御手段102は、第1のカメラ17aに対して撮像を指示し、この指示を受けた第1のカメラ17aは撮像を行う(ステップS62)。次に、判定手段113は、ステップS62の撮像で得られた第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する(ステップS63)。輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合(ステップS63:No)、つまり、第1の撮像画像は真っ黒な画像ではないと判定された場合、送信手段103は、ステップS62の撮像で得られた第1の撮像画像をサーバ20へ送信する(ステップS64)。 FIG. 19 is a flowchart illustrating an operation example of the network cooperation app of the present embodiment after activation. As shown in FIG. 19, every time the time measured by the timer reaches the set time (the time set according to the interval) (step S61: Yes), the imaging control means 102 uses the first camera 17a. The first camera 17a that has received this instruction performs imaging (step S62). Next, the determination unit 113 determines whether the number of pixels whose luminance value is equal to or less than a threshold value exceeds a predetermined number among a plurality of pixels included in the first captured image obtained by imaging in step S62. It is determined whether or not (step S63). When it is determined that the number of pixels whose luminance value is equal to or less than the threshold does not exceed a predetermined number (step S63: No), that is, when it is determined that the first captured image is not a black image The transmitting unit 103 transmits the first captured image obtained by the imaging in step S62 to the server 20 (step S64).
一方、上述のステップS63において、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合(ステップS63:Yes)、つまり、第1の撮像画像は真っ黒な画像であると判定された場合、撮像制御手段102は第2のカメラ17aに対して撮像を指示する。この指示を受けた第2のカメラ17bは撮像を行う(ステップS65)。次に、送信手段103は、ステップS65の撮像で得られた第2の撮像画像をサーバ20へ送信する(ステップS66)。 On the other hand, when it is determined in step S63 described above that the number of pixels whose luminance value is equal to or lower than the threshold value exceeds a predetermined number (step S63: Yes), that is, the first captured image is black. When it is determined that the image is an image, the imaging control unit 102 instructs the second camera 17a to perform imaging. Receiving this instruction, the second camera 17b performs imaging (step S65). Next, the transmission means 103 transmits the 2nd captured image obtained by imaging of step S65 to the server 20 (step S66).
上述のステップS64またはステップS66の後、タイマーの設定時刻が再設定される(ステップS67)。 After step S64 or step S66 described above, the set time of the timer is reset (step S67).
例えば携帯端末10の筐体の正面に第1のカメラ17aが設けられ、筐体の背面に第2のカメラ17bが設けられる形態において、ユーザが、携帯端末10の筐体の正面側をデスクの上面に向けて置いた場合、第1のカメラ17aによる撮像で得られる第1の撮像画像は真っ黒な画像となるが、この真っ黒な画像はサーバ20に送信されず、携帯端末10の背面側に設けられた第2のカメラ17bによる撮像で得られた第2の撮像画像がサーバ20へ送信されて認証処理が行われる。したがって、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 For example, in a form in which the first camera 17a is provided on the front of the casing of the mobile terminal 10 and the second camera 17b is provided on the back of the casing, the user places the front side of the casing of the mobile terminal 10 on the desk. When placed on the top surface, the first captured image obtained by imaging with the first camera 17a is a black image, but this black image is not transmitted to the server 20 and is placed on the back side of the mobile terminal 10. A second captured image obtained by imaging with the provided second camera 17b is transmitted to the server 20, and authentication processing is performed. Accordingly, it is possible to prevent the user from leaving the network at an unintended timing.
(第4実施形態)
次に、第4実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Fourth embodiment)
Next, a fourth embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
図20は、本実施形態の携帯端末10が有する機能の一例を示す図である。図20に示すように、携帯端末10は、第1の判定手段114と、第2の判定手段115と、第2の記憶手段116とをさらに有する点で上述の第1実施形態と相違する。この例では、第1の判定手段114および第2の判定手段115の各々の機能は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば第1の判定手段114および第2の判定手段115の各々の機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第2の記憶手段116は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 FIG. 20 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 20, the mobile terminal 10 differs from the first embodiment described above in that it further includes a first determination unit 114, a second determination unit 115, and a second storage unit 116. In this example, each function of the first determination unit 114 and the second determination unit 115 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation app of the present embodiment, but is not limited thereto. For example, at least a part of the functions of the first determination unit 114 and the second determination unit 115 may be realized by a dedicated hardware circuit (semiconductor integrated circuit or the like). The second storage unit 116 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
第1の判定手段114は、携帯端末10の角度に基づいて携帯端末10が水平な状態であるか否かを判定する。本実施形態では、第1の判定手段114は、予め定められた間隔で、加速度センサー18によって検出された携帯端末10の角度を取得し、その取得した角度に基づいて、携帯端末10が水平な状態であるか否かを判定する。例えば携帯端末10の長手方向と上下方向(重力が作用する方向)とが平行であるときに携帯端末10の角度が0度であるとみなされる形態においては、加速度センサー18によって携帯端末10の角度が90度であることが検出された場合、第1の判定手段114は、携帯端末10が水平な状態であると判定することができる。なお、これに限らず、携帯端末10が水平状態であるか否かを判定する方法としては公知の様々な方法を用いることができる。 The first determination unit 114 determines whether or not the mobile terminal 10 is in a horizontal state based on the angle of the mobile terminal 10. In the present embodiment, the first determination unit 114 acquires the angle of the mobile terminal 10 detected by the acceleration sensor 18 at predetermined intervals, and the mobile terminal 10 is leveled based on the acquired angle. It is determined whether or not it is in a state. For example, in the form in which the angle of the mobile terminal 10 is considered to be 0 degrees when the longitudinal direction of the mobile terminal 10 and the vertical direction (direction in which gravity acts) are parallel, the angle of the mobile terminal 10 is measured by the acceleration sensor 18. Is detected to be 90 degrees, the first determination means 114 can determine that the mobile terminal 10 is in a horizontal state. In addition, not only this but various well-known methods can be used as a method of determining whether the portable terminal 10 is a horizontal state.
第2の判定手段115は、第1の判定手段114により、携帯端末10が水平な状態であると判定された場合に、撮像画像(その場合におけるカメラ17の撮像で得られた撮像画像)に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する。つまり、撮像画像が真っ黒な画像であるか否かを判定する。上記予め定められた数は、撮像画像が真っ黒な画像であるか否かを判定可能な値であればよく、任意に変更可能である。 When the first determination unit 114 determines that the mobile terminal 10 is in a horizontal state, the second determination unit 115 generates a captured image (a captured image obtained by imaging of the camera 17 in that case). It is determined whether or not the number of pixels whose luminance value is equal to or lower than a threshold value among a plurality of included pixels exceeds a predetermined number. That is, it is determined whether or not the captured image is a black image. The predetermined number should just be a value which can determine whether a captured image is a black image, and can be changed arbitrarily.
第2の記憶手段116は、撮像画像を記憶する。本実施形態では、送信手段103は、第1の判定手段114により、携帯端末10が水平な状態であると判定された場合、または、第2の判定手段115により、撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段116に記憶するとともにサーバ20へ送信する。一方、送信手段103は、第1の判定手段114により、携帯端末10が水平な状態ではないと判定された場合、または、第2の判定手段115により、撮像画像に含まれる複数の画素のうち、輝度値が閾値以下の画素の数が予め定められた数を超えていると判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段116に記憶された撮像画像をサーバ20へ送信する。 The second storage unit 116 stores the captured image. In the present embodiment, when the first determination unit 114 determines that the mobile terminal 10 is in a horizontal state, or in the present embodiment, the transmission unit 103 includes a plurality of images included in the captured image. If it is determined that the number of pixels whose luminance value is equal to or less than the threshold value among the pixels does not exceed a predetermined number, the captured image obtained by imaging of the camera 17 in that case is stored in the second storage unit. The information is stored in 116 and transmitted to the server 20. On the other hand, when the first determination unit 114 determines that the mobile terminal 10 is not in a horizontal state, or the second determination unit 115 determines that the transmission unit 103 includes a plurality of pixels included in the captured image. When it is determined that the number of pixels whose luminance value is equal to or less than the threshold value exceeds a predetermined number, the second storage unit 116 is used instead of the captured image obtained by the imaging of the camera 17 in that case. The captured image stored in is transmitted to the server 20.
図21は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図21に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップS71:Yes)、第1の判定手段114は、加速度センサー18によって検出された携帯端末10の角度に基づいて携帯端末10が水平な状態であるか否かを判定する(ステップS72)。また、上述の第1実施形態と同様に、タイマーにより計時される時刻が設定時刻に到達するたびに、撮像制御手段102は、カメラ17に対して撮像を指示し、この指示を受けたカメラ17は撮像を行う。 FIG. 21 is a flowchart illustrating an operation example of the network cooperation app of the present embodiment after activation. As shown in FIG. 21, every time the time measured by the timer reaches the set time (the time set according to the interval) (step S71: Yes), the first determination unit 114 includes the acceleration sensor 18. Whether or not the mobile terminal 10 is in a horizontal state is determined based on the angle of the mobile terminal 10 detected by (Step S72). Similarly to the first embodiment described above, every time the time measured by the timer reaches the set time, the imaging control unit 102 instructs the camera 17 to perform imaging, and receives the instruction from the camera 17. Performs imaging.
上述のステップS72において、携帯端末10は水平な状態であると判定された場合(ステップS72:Yes)、第2の判定手段115は、ステップS71において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する(ステップS73)。輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合(ステップS73:No)、または、上述のステップS72において、携帯端末10は水平な状態ではないと判定された場合(ステップS72:No)、送信手段103は、ステップS71において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段116に記憶する(ステップS74)。そして、送信手段103は、ステップS71において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像をサーバ20へ送信する(ステップS75)。 In step S72 described above, when it is determined that the mobile terminal 10 is in a horizontal state (step S72: Yes), the second determination unit 115 performs imaging by the camera 17 when the set time is reached in step S71. It is determined whether or not the number of pixels whose luminance value is equal to or lower than the threshold value among a plurality of pixels included in the obtained captured image exceeds a predetermined number (step S73). When it is determined that the number of pixels whose luminance value is equal to or lower than the threshold value does not exceed a predetermined number (step S73: No), or in step S72 described above, the mobile terminal 10 is not in a horizontal state. When it is determined (step S72: No), the transmission unit 103 stores the captured image obtained by the imaging of the camera 17 when the set time is reached in step S71 in the second storage unit 116 (step S74). . And the transmission means 103 transmits the captured image obtained by the imaging of the camera 17 when the set time is reached in step S71 to the server 20 (step S75).
一方、上述のステップS73において、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合(ステップS73:Yes)、送信手段103は、ステップS71において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段116に記憶された撮像画像をサーバ20へ送信する(ステップS76)。 On the other hand, when it is determined in step S73 described above that the number of pixels whose luminance value is equal to or less than the threshold value exceeds a predetermined number (step S73: Yes), the transmission unit 103 sets the set time in step S71. The captured image stored in the second storage means 116 is transmitted to the server 20 instead of the captured image obtained by the imaging of the camera 17 at the time of reaching (step S76).
上述のステップS75またはステップS76の後、タイマーの設定時刻が再設定される(ステップS77)。 After step S75 or step S76 described above, the set time of the timer is reset (step S77).
以上の本実施形態によれば、例えばユーザが携帯端末10を水平な場所(デスク等)に置くことでカメラ17が塞がれてしまい、真っ黒な画像をサーバ20に送ってしまうことで携帯端末10が認証されず、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 According to the present embodiment described above, for example, when the user places the mobile terminal 10 on a horizontal place (desk or the like), the camera 17 is blocked and a black image is sent to the server 20 so that the mobile terminal 10 10 is not authenticated, and it is possible to prevent the user from leaving the network at a timing not intended by the user.
(第5実施形態)
次に、第5実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Fifth embodiment)
Next, a fifth embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
図22は、本実施形態の携帯端末10が有する機能の一例を示す図である。図22に示すように、携帯端末10は、判定手段117と、第2の記憶手段118とをさらに有する点で上述の第1実施形態と相違する。この例では、判定手段117は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第2の記憶手段118は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 FIG. 22 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 22, the mobile terminal 10 is different from the above-described first embodiment in that it further includes a determination unit 117 and a second storage unit 118. In this example, the determination unit 117 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation application of the present embodiment. However, the determination unit 117 is not limited to this, and is, for example, a dedicated hardware circuit (semiconductor integrated circuit or the like). It may be realized. The second storage unit 118 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
判定手段117は、携帯端末10の加速度が閾値以上であるか否かを判定する。本実施形態では、判定手段117は、予め定められた間隔で、加速度センサー18によって検出された携帯端末10の加速度を取得し、その取得した加速度が閾値以上であるか否かを判定する。この閾値としては、撮像画像のボケが許容値を超えるような撮像条件となる加速度の値を設定することが望ましく、カメラ17の性能等に応じて様々な値を設定することができる。 The determination unit 117 determines whether the acceleration of the mobile terminal 10 is equal to or greater than a threshold value. In the present embodiment, the determination unit 117 acquires the acceleration of the mobile terminal 10 detected by the acceleration sensor 18 at a predetermined interval, and determines whether the acquired acceleration is equal to or greater than a threshold value. As this threshold value, it is desirable to set an acceleration value as an imaging condition such that the blur of the captured image exceeds an allowable value, and various values can be set according to the performance of the camera 17 and the like.
第2の記憶手段118は、判定手段117により、携帯端末10の加速度が閾値以上ではないと判定された場合の撮像画像を記憶する。 The second storage unit 118 stores a captured image when the determination unit 117 determines that the acceleration of the mobile terminal 10 is not greater than or equal to the threshold value.
本実施形態では、送信手段103は、判定手段117により、携帯端末10の加速度が閾値以上ではないと判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段118に記憶するとともにサーバ20へ送信する。一方、判定手段117により、携帯端末10の加速度が閾値以上であると判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段118に記憶された撮像画像をサーバ20へ送信する。 In the present embodiment, when the determination unit 117 determines that the acceleration of the mobile terminal 10 is not equal to or greater than the threshold value, the transmission unit 103 stores the captured image obtained by imaging of the camera 17 in that case in the second storage. The information is stored in the means 118 and transmitted to the server 20. On the other hand, if the determination unit 117 determines that the acceleration of the mobile terminal 10 is equal to or greater than the threshold value, it is stored in the second storage unit 118 instead of the captured image obtained by the imaging of the camera 17 in that case. The captured image is transmitted to the server 20.
図23は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図23に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップ81:Yes)、判定手段114は、加速度センサー18によって検出された携帯端末10の加速度が閾値以上であるか否かを判定する(ステップS82)。また、上述の第1実施形態と同様に、タイマーにより計時される時刻が設定時刻に到達するたびに、撮像制御手段102は、カメラ17に対して撮像を指示し、この指示を受けたカメラ17は撮像を行う。 FIG. 23 is a flowchart illustrating an operation example of the network cooperation app of the present embodiment after activation. As shown in FIG. 23, whenever the time measured by the timer reaches the set time (the time set according to the interval) (step 81: Yes), the determination unit 114 is detected by the acceleration sensor 18. It is determined whether the acceleration of the mobile terminal 10 is equal to or greater than a threshold value (step S82). Similarly to the first embodiment described above, every time the time measured by the timer reaches the set time, the imaging control unit 102 instructs the camera 17 to perform imaging, and receives the instruction from the camera 17. Performs imaging.
上述のステップS82において、携帯端末10の加速度は閾値以上であると判定された場合(ステップS82:Yes)、送信手段103は、ステップS81において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段118に記憶する(ステップS83)。そして、送信手段103は、ステップS81において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像をサーバ20へ送信する(ステップS84)。 In step S82 described above, when it is determined that the acceleration of the mobile terminal 10 is equal to or greater than the threshold (step S82: Yes), the transmission unit 103 is obtained by imaging of the camera 17 when the set time is reached in step S81. The captured image is stored in the second storage means 118 (step S83). And the transmission means 103 transmits the captured image obtained by the imaging of the camera 17 when the set time is reached in step S81 to the server 20 (step S84).
一方、上述のステップS82において、携帯端末10の加速度は閾値未満であると判定された場合(ステップS82:No)、送信手段103は、ステップS81において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段118に記憶された撮像画像をサーバ20へ送信する(ステップS85)。 On the other hand, when it is determined in step S82 described above that the acceleration of the mobile terminal 10 is less than the threshold value (step S82: No), the transmission unit 103 captures the image of the camera 17 when the set time is reached in step S81. Instead of the obtained captured image, the captured image stored in the second storage unit 118 is transmitted to the server 20 (step S85).
上述のステップS84またはステップS85の後、タイマーの設定時刻が再設定される(ステップS86)。 After step S84 or step S85 described above, the timer setting time is reset (step S86).
以上の本実施形態によれば、携帯端末10の急峻な移動時における撮像で得られた、ボケなどの画像劣化が大きい撮像画像をサーバ20へ送ってしまうことで携帯端末10が認証されず、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 According to the above embodiment, the mobile terminal 10 is not authenticated by sending to the server 20 a captured image with large image degradation such as blur, obtained by imaging when the mobile terminal 10 moves sharply, It is possible to prevent the user from leaving the network at an unintended timing.
(第6実施形態)
次に、第6実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Sixth embodiment)
Next, a sixth embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
図24は、本実施形態の携帯端末10が有する機能の一例を示す図である。図24に示すように、携帯端末10は、顔検出手段120と、第2の記憶手段121とをさらに有する点で上述の第1実施形態と相違する。この例では、顔検出手段120は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第2の記憶手段121は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 FIG. 24 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 24, the mobile terminal 10 is different from the first embodiment described above in that it further includes a face detection unit 120 and a second storage unit 121. In this example, the face detection unit 120 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation application of the present embodiment, but is not limited thereto, for example, a dedicated hardware circuit (semiconductor integrated circuit or the like). It may be realized with. The second storage unit 121 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
顔検出手段120は、撮像画像の中に人の顔が含まれているか否かを検出する。本実施形態では、顔検出手段120は、カメラ17による撮像が行われるたびに、該撮像で得られた撮像画像の中に人の顔が含まれているか否かを検出する。なお、顔検出の方法としては、公知の様々な技術を利用することもできる。 The face detection unit 120 detects whether or not a human face is included in the captured image. In the present embodiment, the face detection unit 120 detects whether or not a human face is included in the captured image obtained by the image capture every time the image is captured by the camera 17. Note that various known techniques can be used as the face detection method.
第2の記憶手段121は、撮像画像を記憶する。本実施形態では、送信手段103は、顔検出手段120により人の顔が含まれていないことが検出された撮像画像を第2の記憶手段121に記憶するとともにサーバ20へ送信する。一方、送信手段103は、顔検出手段120により人の顔が含まれていることが検出された撮像画像の代わりに、第2の記憶手段121に記憶された撮像画像をサーバ20へ送信する。 The second storage unit 121 stores the captured image. In the present embodiment, the transmission unit 103 stores the captured image detected by the face detection unit 120 as not including a human face in the second storage unit 121 and transmits it to the server 20. On the other hand, the transmission unit 103 transmits the captured image stored in the second storage unit 121 to the server 20 instead of the captured image in which the human face is detected by the face detection unit 120.
図25は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図25に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップ91:Yes)、顔検出手段120は、設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像の中に人の顔が含まれているか否かを検出する(ステップS92)。上述の第1実施形態と同様に、タイマーにより計時される時刻が設定時刻に到達するたびに、撮像制御手段102は、カメラ17に対して撮像を指示し、この指示を受けたカメラ17は撮像を行う。 FIG. 25 is a flowchart illustrating an operation example of the network cooperation app of the present embodiment after activation. As shown in FIG. 25, every time the time measured by the timer reaches the set time (the time set according to the interval) (step 91: Yes), the face detection unit 120 has reached the set time. It is detected whether or not a human face is included in the captured image obtained by the imaging of the camera 17 at the time (step S92). As in the first embodiment described above, every time the time measured by the timer reaches the set time, the imaging control unit 102 instructs the camera 17 to perform imaging, and the camera 17 that receives this instruction captures the image. I do.
上述のステップS92において、撮像画像の中に人の顔が含まれていないことが検出された場合(ステップS92:No)、送信手段103は、ステップS91において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段118に記憶する(ステップS93)。そして、送信手段103は、ステップS91において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像をサーバ20へ送信する(ステップS94)。 In the above-described step S92, when it is detected that the human face is not included in the captured image (step S92: No), the transmission unit 103 determines that the camera 17 at the time when the set time is reached in step S91. The captured image obtained by imaging is stored in the second storage unit 118 (step S93). And the transmission means 103 transmits the captured image obtained by imaging of the camera 17 when the set time is reached in step S91 to the server 20 (step S94).
一方、上述のステップS92において、撮像画像の中に人の顔が含まれていることが検出された場合(ステップS92:Yes)、送信手段103は、ステップS91において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像(ステップS92の顔検出の対象となる撮像画像)の代わりに、第2の記憶手段118に記憶された撮像画像をサーバ20へ送信する(ステップS95)。 On the other hand, when it is detected in step S92 described above that a human face is included in the captured image (step S92: Yes), the transmission unit 103 determines that the camera at the time when the set time is reached in step S91. Instead of the picked-up image obtained by picking up the image 17 (the picked-up image targeted for face detection in step S92), the picked-up image stored in the second storage means 118 is transmitted to the server 20 (step S95).
上述のステップS94またはステップS95の後、タイマーの設定時刻が再設定される(ステップS96)。 After step S94 or step S95 described above, the timer setting time is reset (step S96).
以上の本実施形態によれば、人の顔のような、認証とは無関係な被写体が映り込んだ撮像画像をサーバ20へ送ってしまうことで携帯端末10が認証されず、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 According to the present embodiment described above, the mobile terminal 10 is not authenticated by sending a captured image in which a subject unrelated to authentication, such as a human face, is reflected to the server 20, and the user intends. It is possible to prevent the user from leaving the network at an unscheduled timing.
(第7実施形態)
次に、第7実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Seventh embodiment)
Next, a seventh embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
図26は、本実施形態の携帯端末10が有する機能の一例を示す図である。図26に示すように、携帯端末10は、判定手段122と、第2の記憶手段123とをさらに有する点で上述の第1実施形態と相違する。この例では、判定手段122は、携帯端末10のCPU11が本実施形態のネットワーク連携アプリを実行することにより実現されるが、これに限らず、例えば専用のハードウェア回路(半導体集積回路等)で実現されてもよい。また、第2の記憶手段123は、例えばROM12、RAM13、フラッシュメモリ14等で実現される。 FIG. 26 is a diagram illustrating an example of functions of the mobile terminal 10 according to the present embodiment. As shown in FIG. 26, the mobile terminal 10 is different from the first embodiment described above in that it further includes a determination unit 122 and a second storage unit 123. In this example, the determination unit 122 is realized by the CPU 11 of the mobile terminal 10 executing the network cooperation application of the present embodiment. However, the determination unit 122 is not limited to this, and is, for example, a dedicated hardware circuit (semiconductor integrated circuit or the like). It may be realized. The second storage unit 123 is realized by, for example, the ROM 12, the RAM 13, the flash memory 14, and the like.
判定手段122は、携帯端末10の角度が撮像条件に合致するか否かを判定する。本実施形態では、判定手段122は、予め定められた間隔で、加速度センサー18によって検出された携帯端末10の角度を取得し、その取得した角度が撮像条件に合致しているか否かを判定する。例えば認証用の画像(ネットワークに対応付けられる画像)として、天井、床、壁面などが映り込んだ画像を使用する場合、携帯端末10のカメラ17が、天井、床、壁面などを向く角度条件が、撮像条件として設定される。 The determination unit 122 determines whether or not the angle of the mobile terminal 10 matches the imaging condition. In the present embodiment, the determination unit 122 acquires the angle of the mobile terminal 10 detected by the acceleration sensor 18 at predetermined intervals, and determines whether or not the acquired angle matches the imaging condition. . For example, when an image in which a ceiling, a floor, a wall surface, or the like is used as an authentication image (an image associated with a network), an angle condition in which the camera 17 of the mobile terminal 10 faces the ceiling, the floor, the wall surface, or the like is set. Are set as imaging conditions.
第2の記憶手段123は、撮像画像を記憶する。本実施形態では、送信手段103は、判定手段122により、携帯端末10の角度が撮像条件に合致していると判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段123に記憶するとともにサーバ20へ送信する。一方、送信手段103は、判定手段122により、携帯端末10の角度が撮像条件に合致していないと判定された場合は、その場合におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段123に記憶された撮像画像をサーバ20へ送信する。 The second storage unit 123 stores the captured image. In the present embodiment, when the determination unit 122 determines that the angle of the mobile terminal 10 matches the imaging condition, the transmission unit 103 displays the captured image obtained by imaging with the camera 17 in that case. 2 in the storage unit 123 and transmitted to the server 20. On the other hand, when the determination unit 122 determines that the angle of the mobile terminal 10 does not match the imaging condition, the transmission unit 103 replaces the captured image obtained by imaging with the camera 17 in that case. The captured image stored in the second storage unit 123 is transmitted to the server 20.
図27は、起動後の本実施形態のネットワーク連携アプリの動作例を示すフローチャートである。図27に示すように、タイマーにより計時される時刻が設定時刻(上記間隔に応じて設定される時刻)に到達するたびに(ステップ101:Yes)、判定手段122は、携帯端末10の角度が撮像条件に合致するか否かを判定する(ステップS102)。上述の第1実施形態と同様に、タイマーにより計時される時刻が設定時刻に到達するたびに、撮像制御手段102は、カメラ17に対して撮像を指示し、この指示を受けたカメラ17は撮像を行う。 FIG. 27 is a flowchart showing an operation example of the network cooperation app of the present embodiment after activation. As shown in FIG. 27, every time the time measured by the timer reaches the set time (the time set according to the interval) (step 101: Yes), the determination unit 122 determines that the angle of the mobile terminal 10 is It is determined whether or not the imaging conditions are met (step S102). As in the first embodiment described above, every time the time measured by the timer reaches the set time, the imaging control unit 102 instructs the camera 17 to perform imaging, and the camera 17 that receives this instruction captures the image. I do.
上述のステップS102において、携帯端末10の角度が撮像条件に合致していると判定された場合(ステップS102:Yes)、送信手段103は、ステップS101において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像を第2の記憶手段123に記憶する(ステップS103)。そして、送信手段103は、ステップS101において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像をサーバ20へ送信する(ステップS104)。 When it is determined in step S102 described above that the angle of the mobile terminal 10 matches the imaging condition (step S102: Yes), the transmission unit 103 captures the image of the camera 17 when the set time is reached in step S101. The captured image obtained in the above is stored in the second storage unit 123 (step S103). And the transmission means 103 transmits the captured image obtained by the imaging of the camera 17 when the set time is reached in step S101 to the server 20 (step S104).
一方、上述のステップS102において、携帯端末10の角度が撮像条件に合致していないと判定された場合(ステップS102:No)、送信手段103は、ステップS101において設定時刻に到達した時点におけるカメラ17の撮像で得られた撮像画像の代わりに、第2の記憶手段123に記憶された撮像画像をサーバ20へ送信する(ステップS105)。 On the other hand, when it is determined in step S102 described above that the angle of the mobile terminal 10 does not match the imaging conditions (step S102: No), the transmission unit 103 causes the camera 17 when the set time is reached in step S101. The captured image stored in the second storage unit 123 is transmitted to the server 20 instead of the captured image obtained by the imaging (step S105).
上述のステップS104またはステップS105の後、タイマーの設定時刻が再設定される(ステップS106)。 After step S104 or step S105 described above, the timer setting time is reset (step S106).
以上の本実施形態によれば、認証とは無関係な被写体が映り込んだ撮像画像をサーバ20へ送ってしまうことで携帯端末10が認証されず、ユーザが意図していないタイミングでネットワークから離脱してしまうことを防止できる。 According to the above-described embodiment, the mobile terminal 10 is not authenticated by sending a captured image in which a subject unrelated to authentication is reflected to the server 20, and leaves the network at a timing not intended by the user. Can be prevented.
(第8実施形態)
次に、第8実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。
(Eighth embodiment)
Next, an eighth embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate.
サーバ20が有する認証手段204は、上記対応情報に含まれる何れかの画像において、撮像画像受信手段202で受信した撮像画像と一致する割合が閾値以上の場合は、該何れかの画像と撮像画像とは一致すると判断する。例えば認証手段204は、上記対応情報に含まれる何れかの画像において、撮像画像受信手段202で受信した撮像画像と一致する割合(以下、「画像一致割合」と称する場合がある)が80%以上の場合は、該何れかの画像と撮像画像とは一致すると判断することができる。その他の構成は、上述の各実施形態と同様である。なお、本実施形態は、上述した何れの実施形態に対しても適用可能である。 The authentication unit 204 included in the server 20 determines whether any of the images included in the correspondence information matches the captured image received by the captured image receiving unit 202 when the ratio of the captured image is greater than or equal to a threshold value. Is determined to match. For example, the authentication unit 204 has a ratio that matches the captured image received by the captured image reception unit 202 in any of the images included in the correspondence information (hereinafter, may be referred to as “image matching ratio”) of 80% or more. In this case, it can be determined that any one of the images matches the captured image. Other configurations are the same as those of the above-described embodiments. This embodiment is applicable to any of the above-described embodiments.
図28は、図15のステップS42の詳細な処理(本実施形態における処理)を示すフローチャートである。図28に示すように、認証手段204は、対応情報に含まれる何れかの画像(以下、「対象画像」と称する場合がある)において、撮像画像受信手段202で受信した撮像画像と一致する割合を示す画像一致割合を算出し(ステップS111)、算出した画像一致割合が閾値以上であるか否かを判断する(ステップS112)。算出した画像一致割合が閾値以上である場合(ステップS112:Yes)、対象画像と、撮像画像受信手段202で受信した画像とは一致すると判断する(ステップS113)。一方、算出した画像一致割合が閾値未満の場合(ステップS112:No)、対象画像と、撮像画像受信手段202で受信した画像とは一致しない(不一致である)と判断する(ステップS114)。 FIG. 28 is a flowchart showing detailed processing (processing in the present embodiment) in step S42 of FIG. As shown in FIG. 28, the authentication unit 204 matches the captured image received by the captured image receiving unit 202 in any of the images included in the correspondence information (hereinafter sometimes referred to as “target image”). Is calculated (step S111), and it is determined whether or not the calculated image matching ratio is equal to or greater than a threshold value (step S112). When the calculated image matching ratio is equal to or greater than the threshold (step S112: Yes), it is determined that the target image matches the image received by the captured image receiving unit 202 (step S113). On the other hand, when the calculated image matching ratio is less than the threshold value (step S112: No), it is determined that the target image and the image received by the captured image receiving unit 202 do not match (does not match) (step S114).
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Although the embodiments according to the present invention have been described above, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
また、上述した実施形態の情報処理システム1で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ROM等に予め組み込んで提供するように構成してもよい。 The program executed in the information processing system 1 of the above-described embodiment is a file in an installable format or an executable format, and is a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). It may be configured to be recorded and provided on a computer-readable recording medium such as USB (Universal Serial Bus), or may be configured to be provided or distributed via a network such as the Internet. Various programs may be provided by being incorporated in advance in a ROM or the like.
1 情報処理システム
10 携帯端末
20 サーバ
101 無線通信手段
102 撮像制御手段
103 送信手段
104 設定手段
105 第1の記憶手段
106 表示制御手段
111 判定手段
112 第2の記憶手段
113 判定手段
114 第1の判定手段
115 第2の判定手段
116 第2の記憶手段
117 判定手段
118 第2の記憶手段
120 顔検出手段
121 第2の記憶手段
122 判定手段
123 第2の記憶手段
201 無線通信手段
202 撮像画像受信手段
203 対応情報記憶手段
204 認証手段
205 更新手段
206 画面送信手段
DESCRIPTION OF SYMBOLS 1 Information processing system 10 Mobile terminal 20 Server 101 Wireless communication means 102 Imaging control means 103 Transmission means 104 Setting means 105 First storage means 106 Display control means 111 Determination means 112 Second storage means 113 Determination means 114 First determination Means 115 Second determination means 116 Second storage means 117 Determination means 118 Second storage means 120 Face detection means 121 Second storage means 122 Determination means 123 Second storage means 201 Wireless communication means 202 Captured image reception means 203 Corresponding information storage means 204 Authentication means 205 Update means 206 Screen transmission means
Claims (15)
前記携帯端末は、
予め定められた間隔で撮像を行うように撮像装置を制御する撮像制御手段と、
前記撮像装置による撮像が行われるたびに、該撮像で得られた撮像画像を前記情報処理装置へ送信する送信手段と、を有し、
前記情報処理装置は、
前記撮像画像を受信する撮像画像受信手段と、
複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証手段と、を有する、
情報処理システム。 An information processing system including a mobile terminal including an imaging device and an information processing device,
The portable terminal is
Imaging control means for controlling the imaging device to perform imaging at a predetermined interval;
Transmission means for transmitting a captured image obtained by the imaging to the information processing device each time imaging by the imaging device is performed,
The information processing apparatus includes:
Captured image receiving means for receiving the captured image;
If there is the image that matches the captured image received by the captured image receiving means in the correspondence information in which one or more images are associated with each other for each of a plurality of networks to which a plurality of devices are connected, the reception thereof While allowing the portable terminal to use the network corresponding to the image that matches the captured image, the image corresponding to the captured image received by the captured image receiving means in the correspondence information If there is no, there is an authentication means for performing control that does not allow the mobile terminal to use the network,
Information processing system.
前記対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークに対して、前記携帯端末を関連付けて前記対応情報を更新する更新手段をさらに有する、
請求項1の情報処理システム。 The information processing apparatus includes:
When the image matching the captured image received by the captured image receiving means exists in the correspondence information, the network corresponding to the image corresponding to the received captured image is Update means for associating a mobile terminal with the corresponding information and updating the correspondence information;
The information processing system according to claim 1.
請求項1または2の情報処理システム。 The information processing apparatus further includes correspondence information storage means for storing the correspondence information.
The information processing system according to claim 1 or 2.
前記間隔を設定する設定手段と、
前記設定手段により設定された前記間隔を示す情報を記憶する第1の記憶手段と、をさらに有する、
請求項1乃至3のうちの何れか1項の情報処理システム。 The portable terminal is
Setting means for setting the interval;
First storage means for storing information indicating the interval set by the setting means;
The information processing system according to any one of claims 1 to 3.
前記撮像装置による撮像が行われるたびに、その撮像で得られた前記撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する判定手段と、
前記撮像画像を記憶する第2の記憶手段と、をさらに有し、
前記送信手段は、
前記判定手段により、前記撮像画像に含まれる複数の画素のうち、輝度値が前記閾値以下を示す画素の数が前記予め定められた数を超えてないと判定された場合は、その判定対象の前記撮像画像を前記第2の記憶手段に記憶するとともに前記情報処理装置へ送信し、
前記判定手段により、前記撮像画像に含まれる複数の画素のうち、輝度値が前記閾値以下を示す画素の数が前記予め定められた数を超えていると判定された場合は、その判定対象の前記撮像画像の代わりに、前記第2の記憶手段に記憶された前記撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The portable terminal is
Whether the number of pixels whose luminance value is equal to or lower than a threshold value exceeds a predetermined number among a plurality of pixels included in the captured image obtained by the imaging each time imaging is performed by the imaging device Determination means for determining whether or not
Second storage means for storing the captured image;
The transmission means includes
When it is determined by the determination means that the number of pixels whose luminance value is less than or equal to the threshold value among the plurality of pixels included in the captured image does not exceed the predetermined number, the determination target Storing the captured image in the second storage unit and transmitting it to the information processing apparatus;
When it is determined by the determination means that the number of pixels whose luminance value is less than or equal to the threshold value among the plurality of pixels included in the captured image exceeds the predetermined number, the determination target Instead of the captured image, the captured image stored in the second storage unit is transmitted to the information processing apparatus.
The information processing system according to any one of claims 1 to 4.
前記携帯端末のうちの第1の位置に設けられる第1の撮像装置と、
前記携帯端末のうちの前記第1の位置とは異なる第2の位置に設けられる第2の撮像装置と、を含み、
前記携帯端末は、
前記第1の撮像装置による撮像が行われるたびに、その撮像で得られた第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する判定手段を有し、
前記撮像制御手段は、前記間隔で撮像を行うように前記第1の撮像装置を制御し、前記判定手段により、前記第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合は、前記第2の撮像装置に撮像を行わせる制御を行い、
前記送信手段は、
前記判定手段により、前記第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合は、前記第1の撮像画像を前記情報処理装置へ送信し、
前記判定手段により、前記第1の撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていると判定された場合は、前記第2の撮像装置による撮像で得られる第2の撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The imaging device
A first imaging device provided at a first position of the portable terminal;
A second imaging device provided at a second position different from the first position of the portable terminal,
The portable terminal is
Each time imaging is performed by the first imaging device, a predetermined number of pixels whose luminance value is equal to or less than a threshold value among a plurality of pixels included in the first captured image obtained by the imaging. Determination means for determining whether or not
The imaging control unit controls the first imaging device to perform imaging at the interval, and the determination unit determines that a luminance value is equal to or less than a threshold value among a plurality of pixels included in the first captured image. If it is determined that the number of pixels to be shown exceeds a predetermined number, control is performed to cause the second imaging device to perform imaging,
The transmission means includes
When it is determined by the determination means that the number of pixels whose luminance value is equal to or less than a threshold value among a plurality of pixels included in the first captured image does not exceed a predetermined number, the first Is transmitted to the information processing apparatus,
When it is determined by the determination means that the number of pixels having a luminance value equal to or lower than a threshold value among a plurality of pixels included in the first captured image exceeds the predetermined number, the second Transmitting a second captured image obtained by imaging by the imaging apparatus to the information processing apparatus,
The information processing system according to any one of claims 1 to 4.
前記携帯端末の角度に基づいて前記携帯端末が水平な状態であるか否かを判定する第1の判定手段と、
前記第1の判定手段により、前記携帯端末が水平な状態であると判定された場合に、前記撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えているか否かを判定する第2の判定手段と、
前記撮像画像を記憶する第2の記憶手段と、を有し、
前記送信手段は、
前記第1の判定手段により、前記携帯端末が水平な状態であると判定された場合、または、前記第2の判定手段により、前記撮像画像に含まれる複数の画素のうち、輝度値が閾値以下を示す画素の数が予め定められた数を超えていないと判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像を前記第2の記憶手段に記憶するとともに前記情報処理装置へ送信し、
前記第1の判定手段により、前記携帯端末が水平な状態ではないと判定された場合、または、前記第2の判定手段により、前記撮像画像に含まれる複数の画素のうち、輝度値が閾値以下の画素の数が予め定められた数を超えていると判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像の代わりに、前記第2の記憶手段に記憶された前記撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The portable terminal is
First determination means for determining whether or not the mobile terminal is in a horizontal state based on an angle of the mobile terminal;
When the first determination unit determines that the mobile terminal is in a horizontal state, among the plurality of pixels included in the captured image, the number of pixels whose luminance value is equal to or less than a threshold is determined in advance. Second judging means for judging whether or not the number exceeds the number,
Second storage means for storing the captured image,
The transmission means includes
When the first determination unit determines that the mobile terminal is in a horizontal state, or the second determination unit determines that the luminance value is equal to or less than a threshold value among a plurality of pixels included in the captured image. When it is determined that the number of pixels indicating the number does not exceed a predetermined number, the captured image obtained by imaging of the imaging device in that case is stored in the second storage unit and the information Sent to the processing unit,
When the first determination unit determines that the mobile terminal is not in a horizontal state, or the second determination unit determines that the luminance value is equal to or less than a threshold value among a plurality of pixels included in the captured image. If it is determined that the number of pixels exceeds the predetermined number, the second storage means stores the captured image obtained by the imaging of the imaging device in that case. Transmitting the captured image to the information processing apparatus;
The information processing system according to any one of claims 1 to 4.
前記携帯端末の加速度が閾値以上であるか否かを判定する判定手段と、
前記撮像画像を記憶する第2の記憶手段と、を有し、
前記送信手段は、
前記判定手段により、前記携帯端末の加速度が閾値以上ではないと判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像を前記第2の記憶手段に記憶するとともに前記情報処理装置へ送信し、
前記判定手段により、前記携帯端末の加速度が閾値以上であると判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像の代わりに、前記第2の記憶手段に記憶された前記撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The portable terminal is
Determination means for determining whether or not the acceleration of the mobile terminal is equal to or greater than a threshold;
Second storage means for storing the captured image,
The transmission means includes
When the determination means determines that the acceleration of the portable terminal is not equal to or greater than a threshold value, the captured image obtained by the imaging of the imaging device in that case is stored in the second storage means and the information Sent to the processing unit,
If the determination means determines that the acceleration of the mobile terminal is equal to or greater than a threshold value, the determination is stored in the second storage means instead of the captured image obtained by the imaging device in that case. Transmitting the captured image to the information processing apparatus,
The information processing system according to any one of claims 1 to 4.
前記撮像画像の中に人の顔が含まれているか否かを検出する顔検出手段と、
前記撮像画像を記憶する第2の記憶手段と、を有し、
前記送信手段は、
前記顔検出手段により人の顔が含まれていないことが検出された前記撮像画像を前記第2の記憶手段に記憶するとともに前記情報処理装置へ送信し、
前記顔検出手段により人の顔が含まれていることが検出された前記撮像画像の代わりに、前記第2の記憶手段に記憶された前記撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The portable terminal is
Face detection means for detecting whether or not a human face is included in the captured image;
Second storage means for storing the captured image,
The transmission means includes
Storing the captured image detected by the face detection means not including a human face in the second storage means and transmitting it to the information processing apparatus;
Transmitting the captured image stored in the second storage unit to the information processing device instead of the captured image in which it is detected by the face detection unit that a human face is included;
The information processing system according to any one of claims 1 to 4.
前記携帯端末の角度が撮像条件に合致するか否かを判定する判定手段と、
前記撮像画像を記憶する第2の記憶手段と、を有し、
前記送信手段は、
前記判定手段により、前記携帯端末の角度が撮像条件に合致していると判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像を前記第2の記憶手段に記憶するとともに前記情報処理装置へ送信し、
前記判定手段により、前記携帯端末の角度が撮像条件に合致していないと判定された場合は、その場合における前記撮像装置の撮像で得られた前記撮像画像の代わりに、前記第2の記憶手段に記憶された前記撮像画像を前記情報処理装置へ送信する、
請求項1乃至4のうちの何れか1項の情報処理システム。 The portable terminal is
Determining means for determining whether or not the angle of the mobile terminal matches an imaging condition;
Second storage means for storing the captured image,
The transmission means includes
When the determination unit determines that the angle of the mobile terminal matches the imaging condition, the captured image obtained by imaging of the imaging device in that case is stored in the second storage unit. Together with the information processing device,
If the determination means determines that the angle of the mobile terminal does not match the imaging condition, the second storage means instead of the captured image obtained by imaging of the imaging device in that case Transmitting the captured image stored in the information processing apparatus,
The information processing system according to any one of claims 1 to 4.
請求項1乃至10のうちの何れか1項の情報処理システム。 The authentication unit determines that any of the images and the captured image match if the ratio of the captured image that is included in the correspondence information is equal to or greater than a threshold value.
The information processing system according to any one of claims 1 to 10.
予め定められた間隔で、前記撮像装置による撮像で得られた撮像画像を前記携帯端末から受信する撮像画像受信手段と、
それぞれが、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証手段と、を備える、
情報処理装置。 An information processing apparatus that communicates with a mobile terminal including an imaging device,
Captured image receiving means for receiving a captured image obtained by imaging by the imaging device from the portable terminal at a predetermined interval;
When each of the correspondence information in which one or more images are associated with each of a plurality of networks to which a plurality of devices are connected, the image that matches the captured image received by the captured image receiving unit exists The mobile terminal is allowed to use the network corresponding to the image that matches the received captured image, while the correspondence information matches the captured image received by the captured image receiving means. An authentication unit that performs control not to permit the mobile terminal to use the network when the image does not exist,
Information processing device.
予め定められた間隔で、前記撮像装置による撮像で得られた撮像画像を前記携帯端末から受信する撮像画像受信ステップと、
それぞれが、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、撮像画像受信ステップで受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信ステップで受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証ステップと、を含む、
情報処理方法。 An information processing method by an information processing device that communicates with a mobile terminal including an imaging device,
A captured image receiving step of receiving a captured image obtained by imaging by the imaging device from the mobile terminal at a predetermined interval;
When there is the image that matches the captured image received in the captured image receiving step in the correspondence information in which one or more images are associated with each other for each of a plurality of networks to which a plurality of devices are connected, While permitting the portable terminal to use the network corresponding to the received image that matches the captured image, the correspondence information matches the captured image received in the captured image reception step. When the image does not exist, an authentication step of performing control not to permit the mobile terminal to use the network, and
Information processing method.
予め定められた間隔で、前記撮像装置による撮像で得られた撮像画像を前記携帯端末から受信する撮像画像受信ステップと、
それぞれが、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、撮像画像受信ステップで受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信ステップで受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証ステップと、を実行させるためのプログラム。 In an information processing apparatus that communicates with a mobile terminal equipped with an imaging device,
A captured image receiving step of receiving a captured image obtained by imaging by the imaging device from the mobile terminal at a predetermined interval;
When there is the image that matches the captured image received in the captured image receiving step in the correspondence information in which one or more images are associated with each other for each of a plurality of networks to which a plurality of devices are connected, While permitting the portable terminal to use the network corresponding to the received image that matches the captured image, the correspondence information matches the captured image received in the captured image reception step. A program for executing an authentication step of performing control not permitting the mobile terminal to use the network when the image does not exist.
予め定められた間隔で撮像を行うように前記撮像装置を制御する撮像制御ステップと、
前記撮像装置による撮像が行われるたびに、該撮像で得られた撮像画像を情報処理装置へ送信する送信ステップと、を実行させるためのプログラムと、
前記情報処理装置と、を含み、
前記情報処理装置は、
前記撮像画像を受信する撮像画像受信手段と、
それぞれが、複数の機器が接続される複数のネットワークごとに1以上の画像を対応付けた対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在する場合は、その受信した前記撮像画像と一致する前記画像に対応する前記ネットワークの利用を前記携帯端末に対して許可する一方、前記対応情報の中に、前記撮像画像受信手段で受信した前記撮像画像と一致する前記画像が存在しない場合は、前記ネットワークの利用を前記携帯端末に対して許可しない制御を行う認証手段と、を有する、
情報処理システム。 In a portable terminal equipped with an imaging device,
An imaging control step of controlling the imaging device to perform imaging at predetermined intervals;
A program for executing a transmission step of transmitting a captured image obtained by the imaging to the information processing device every time imaging by the imaging device is performed;
Including the information processing device,
The information processing apparatus includes:
Captured image receiving means for receiving the captured image;
When each of the correspondence information in which one or more images are associated with each of a plurality of networks to which a plurality of devices are connected, the image that matches the captured image received by the captured image receiving unit exists The mobile terminal is allowed to use the network corresponding to the image that matches the received captured image, while the correspondence information matches the captured image received by the captured image receiving means. Authentication means for performing control that does not allow the mobile terminal to use the network if the image does not exist,
Information processing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042604A JP6485121B2 (en) | 2015-03-04 | 2015-03-04 | Information processing system, information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042604A JP6485121B2 (en) | 2015-03-04 | 2015-03-04 | Information processing system, information processing apparatus, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016162359A JP2016162359A (en) | 2016-09-05 |
JP6485121B2 true JP6485121B2 (en) | 2019-03-20 |
Family
ID=56845273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015042604A Expired - Fee Related JP6485121B2 (en) | 2015-03-04 | 2015-03-04 | Information processing system, information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6485121B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240071911A (en) * | 2022-11-16 | 2024-05-23 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003281099A (en) * | 2002-03-20 | 2003-10-03 | Toshiba Corp | System and method for authenticating biological information image |
WO2009034696A1 (en) * | 2007-09-10 | 2009-03-19 | Nec Corporation | Terminal device authentication method, terminal device, and program |
JP2009175887A (en) * | 2008-01-22 | 2009-08-06 | Nippon Telegr & Teleph Corp <Ntt> | System, method, and program for issuing authentication information, and its storage medium |
JP5724867B2 (en) * | 2011-12-22 | 2015-05-27 | キヤノンマーケティングジャパン株式会社 | Content management system, content management apparatus, control method, and program |
JP2013140440A (en) * | 2011-12-28 | 2013-07-18 | Sharp Corp | Information processing device and driving method for the same, control program and readable storage medium |
JP5954067B2 (en) * | 2012-09-11 | 2016-07-20 | 富士通株式会社 | Communication control method, information processing system, and program |
-
2015
- 2015-03-04 JP JP2015042604A patent/JP6485121B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016162359A (en) | 2016-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6205067B2 (en) | Pan / tilt operating device, camera system, pan / tilt operating program, and pan / tilt operating method | |
JP6798288B2 (en) | Communication terminals, communication systems, video output methods, and programs | |
US9584713B2 (en) | Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor | |
US9377848B2 (en) | Image processing apparatus, control method thereof, and recording medium for performing data transmission | |
US9635235B2 (en) | Communication apparatus and control method thereof | |
WO2016038971A1 (en) | Imaging control device, imaging control method, camera, camera system and program | |
JP6266799B2 (en) | Imaging control apparatus, imaging apparatus, imaging control method, and program | |
JP2016111569A (en) | Imaging device, control method thereof, and program | |
JP6414223B2 (en) | Operation system, communication terminal, communication system, operation method, and program | |
JP6724431B2 (en) | Communication system, information transmission method, and program | |
JP2017518544A (en) | Dirt detection method and apparatus | |
CA2941555A1 (en) | Data transmission system, terminal device, program, and method | |
US20140118598A1 (en) | Photographing apparatus and method of controlling the same | |
JP6485121B2 (en) | Information processing system, information processing apparatus, information processing method, and program | |
JP6157714B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGING SYSTEM | |
JP2019176404A (en) | Transmission equipment, remote conference system, information processing method and program | |
JP2008199460A (en) | Remote photography system, portable terminal, and computer program | |
US10785405B2 (en) | Electronic device, control method, and storage medium | |
JP6998785B2 (en) | Electronic devices and their control methods | |
JP2010026964A (en) | Information processor, information processing system, information processing method, and program | |
US20160234263A1 (en) | Management system, communication system, management method, and recording medium | |
US20160173645A1 (en) | Image processing apparatus and control method thereof, and system | |
JP6776905B2 (en) | Communication terminals, communication systems, display control methods, and programs | |
WO2014162505A1 (en) | Portable relay apparatus, control method, program, and remote operation system | |
JP6730915B2 (en) | Remote controller, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6485121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |