JP2015014907A - Communication control device, communication control program, and recording medium - Google Patents
Communication control device, communication control program, and recording medium Download PDFInfo
- Publication number
- JP2015014907A JP2015014907A JP2013141270A JP2013141270A JP2015014907A JP 2015014907 A JP2015014907 A JP 2015014907A JP 2013141270 A JP2013141270 A JP 2013141270A JP 2013141270 A JP2013141270 A JP 2013141270A JP 2015014907 A JP2015014907 A JP 2015014907A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- communication control
- user
- image
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、インターネットを利用したセキュリティの高い通信制御装置と通信制御プログラムと記録媒体に関する。 The present invention relates to a communication control apparatus, a communication control program, and a recording medium with high security using the Internet.
閉域通信網を使用した固定電話やパケット通信では、高頻度の使用や長時間の使用に対して高額な通信料が課せられる。そこで、インターネットを利用して安価に通話やチャットを楽しめるように、SKYPE(登録商標)とかLINEといったアプリケーションが広く利用されるようになった。 In fixed telephone and packet communication using a closed communication network, a high communication charge is imposed for high frequency use or long time use. Therefore, applications such as SKYPE (registered trademark) and LINE have been widely used so that calls and chats can be enjoyed at low cost using the Internet.
既知の従来の技術には、次のような解決すべき課題があった。
企業の本支店間では、専用の通信機器と通信回線を使用したテレビ会議が行われている。テレビ会議は、通信路を占有する時間が長く、通信データ量も多いので、専用のハードウエアが高額で、通信料も高額になるという問題があった。インターネットのような安価な通信ネットワークを利用すれば、パーソナルコンピュータやスマートフォン等の各種の機器を使用した低コストのテレビ会議が可能になる(特許文献1)(特許文献2)。しかしながら、インターネットを利用した文字や画像通信は、サーバを経由して行われる。即ち、サーバに通信データが書き込まれて、端末装置に転送される。通信が終了した後も、通信データがサーバ上にそのまま残る場合がある。従って、この方法は、機密性の高い情報の通信に利用できないという問題があった。
The known prior art has the following problems to be solved.
A teleconference using a dedicated communication device and a communication line is held between the head offices of companies. Video conferencing has a problem that it takes a long time to occupy a communication path and a large amount of communication data, so that dedicated hardware is expensive and communication charges are expensive. If an inexpensive communication network such as the Internet is used, a low-cost video conference using various devices such as a personal computer and a smartphone becomes possible (Patent Document 1) (Patent Document 2). However, text and image communication using the Internet is performed via a server. That is, communication data is written in the server and transferred to the terminal device. Communication data may remain on the server even after communication is completed. Therefore, this method has a problem that it cannot be used for communication of highly confidential information.
サーバを経由しない通信をすることができれば、上記の問題が解決する。特許文献3では、、管理サーバか、登録をした端末装置に対して、所定の接続データを渡す。この接続データを使用して、端末装置間でP2P(Peer to Peer)−VPN(Virtual Private Network)接続をすることができる。これにより、インターネットを利用して、セキュリティの高いVPN通信ができる。この方法では、サーバが各端末装置を認証して、通信を許可する。端末装置の利用者が認証されたのではない。悪意の第三者のなりすましによる端末装置の操作や通信データの盗み見を防止しなければならない。本発明は、これらの問題を解決するためになされたものである。 If communication can be performed without going through the server, the above problem can be solved. In Patent Document 3, predetermined connection data is transferred to a management server or a registered terminal device. Using this connection data, P2P (Peer to Peer) -VPN (Virtual Private Network) connection can be established between the terminal devices. Thereby, VPN communication with high security can be performed using the Internet. In this method, the server authenticates each terminal device and permits communication. The user of the terminal device has not been authenticated. It is necessary to prevent manipulation of the terminal device and snooping of communication data by spoofing of a malicious third party. The present invention has been made to solve these problems.
以下の構成はそれぞれ上記の課題を解決するための手段である。 The following configurations are means for solving the above-described problems.
<構成1>
端末装置が相互にVPN接続をするための接続データを管理サーバから取得し、上記端末装置間を直接P2P−VPN接続する通信制御を実行し、
いずれかの端末装置の通信バッファに通信データを記憶させて、P2P−VPN双方向通信を制御し、
上記P2P−VPN双方向通信を開始した後、その通信を終了するまでに発生した特定のイベントを検出したとき、少なくともその通信の終了後一定時間を経過する前に、上記端末装置の通信バッファに記憶された通信データを消去する処理を実行することを特徴とする通信制御装置。
<Configuration 1>
The terminal device acquires connection data for mutual VPN connection from the management server, executes communication control for direct P2P-VPN connection between the terminal devices,
Store communication data in the communication buffer of any terminal device to control P2P-VPN bidirectional communication,
When a specific event that has occurred after the P2P-VPN bi-directional communication is started until the end of the communication is detected, at least before a predetermined time elapses after the end of the communication, it is stored in the communication buffer of the terminal device. A communication control apparatus that executes a process of erasing stored communication data.
<構成2>
構成1に記載の通信制御装置において、
上記端末装置の利用者の顔を撮影するカメラから顔画像を取得し、
上記顔画像もしくは上記利用者を特定できる画像を、通信相手先端末装置の通信画面に表示する表示制御装置を備えたことを特徴とする通信制御装置。
<
In the communication control device according to Configuration 1,
Obtain a face image from the camera that captures the face of the user of the terminal device,
A communication control device comprising a display control device for displaying the face image or the image for identifying the user on a communication screen of a communication partner terminal device.
<構成3>
構成2に記載の通信制御装置において、
上記利用者を特定できる画像は、上記利用者の顔画像をはめ込むスペースを設けた図案であることを特徴とする通信制御装置。
<Configuration 3>
In the communication control device according to
The communication control apparatus according to claim 1, wherein the user-identifiable image is a design provided with a space for fitting the user's face image.
<構成4>
構成3に記載の通信制御装置において、
上記利用者を特定できる画像は、上記利用者の顔画像を、地図画像上の各利用者の居場所に相当する位置にはめ込んだ図案であることを特徴とする通信制御装置。
<Configuration 4>
In the communication control device according to Configuration 3,
The communication control apparatus according to claim 1, wherein the image that can identify the user is a design in which the face image of the user is inserted into a position corresponding to the location of each user on the map image.
<構成5>
構成1に記載の通信制御装置において、
利用者の複数種類の表情を撮影した表情画像または、表情画像の特徴点を示すデータを記憶装置に記憶させておき、
カメラを制御して、端末装置の利用者の表情を予め設定したタイミングで撮影させて、利用者の顔画像を取得し、この顔画像の特徴点を抽出する特徴点抽出装置と、
上記顔画像の特徴点と、上記表情画像の特徴点を比較する比較装置と、
上記の比較により特徴点が一致したとき、該当する表情画像もしくはその表情を表した図案を通信相手先端末装置の通信画面に表示する表示制御装置を備えたことを特徴とする通信制御装置。
<Configuration 5>
In the communication control device according to Configuration 1,
A facial expression image obtained by photographing a plurality of types of facial expressions of a user or data indicating feature points of the facial expression image is stored in a storage device,
A feature point extracting device that controls the camera to capture the facial expression of the user of the terminal device at a preset timing, obtains the user's face image, and extracts the feature points of the face image;
A comparison device for comparing the feature points of the face image and the feature points of the facial expression image;
A communication control device, comprising: a display control device that displays a corresponding facial expression image or a design representing the facial expression on a communication screen of a communication partner terminal device when the feature points match in the comparison.
<構成6>
構成2に記載の通信制御装置において、
上記表示制御装置は、
上記表情画像とともに、その表情と対応する形状の吹き出し画像を並べて表示し、この吹き出し画像中に、上記利用者が通信のために入力した文字を重ねて、通信相手先端末装置の通信画面に表示することを特徴とする通信制御装置。
<Configuration 6>
In the communication control device according to
The display control device
Along with the facial expression image, a balloon image having a shape corresponding to the facial expression is displayed side by side, and the characters input by the user for communication are superimposed on the balloon image and displayed on the communication screen of the communication partner terminal device. A communication control device.
<構成7>
構成1に記載の通信制御装置において、
上記通信制御装置は、上記通信データを消去するためのイベントを、通信相手全ての端末装置で発生させる処理を実行することを特徴とする通信制御装置。
<Configuration 7>
In the communication control device according to Configuration 1,
The communication control apparatus executes a process of generating an event for erasing the communication data in all terminal apparatuses of the communication counterpart.
<構成8>
構成2に記載の通信制御装置において、
P2P−VPN通信の開始前に1回もしくは、開始後一定時間おきに複数回、
カメラから取得した顔画像の特徴点を抽出する特徴点抽出装置と、
上記特徴点を、記憶装置に記憶された特定の利用者の顔画像の特徴点と比較する比較装置と、
上記比較装置による比較の結果、上記の特徴点が一致したときに、他の端末装置との通信を許可する認証管理装置を備えたことを特徴とする通信制御装置。
<Configuration 8>
In the communication control device according to
Once before the start of P2P-VPN communication or multiple times at regular intervals after the start,
A feature point extraction device for extracting feature points of a face image acquired from a camera;
A comparison device that compares the feature points with the feature points of a face image of a specific user stored in a storage device;
A communication control device comprising: an authentication management device that permits communication with another terminal device when the above feature points match as a result of comparison by the comparison device.
<構成9>
構成1または8に記載の通信制御装置において、
上記認証管理装置は、P2P−VPN双方向通信を実行している相手方端末装置に対して、予め指定されたデータファイルまたはデータフォルダの参照もしくはウェブサイトの閲覧のための認証処理の、省略要求を送信することを特徴とする通信制御装置。
<Configuration 9>
In the communication control device according to Configuration 1 or 8,
The authentication management apparatus transmits a request for omitting an authentication process for referring to a data file or data folder designated in advance or browsing a website to a counterpart terminal apparatus that is executing P2P-VPN bidirectional communication. A communication control device.
<構成10>
コンピュータを、構成2乃至8のいずれかに記載の通信システムとして機能させる通信制御プログラム。
<Configuration 10>
A communication control program for causing a computer to function as the communication system according to any one of
<構成11>
構成10に記載の通信制御プログラムを記録したコンピュータで読み取り可能な記録媒体。
<Configuration 11>
A computer-readable recording medium on which the communication control program according to Configuration 10 is recorded.
<構成1の効果>
任意のタイミングで通信データを消去するコマンドが検出されたとき、通信終了コマンドが検出されたとき、通信終了後タイマーが一定時間を計測してタイムアップしたとき等に、通信データを消去する。これにより、確実に通信の秘密保持を図ることができる。
<構成2の効果>
P2P−VPN双方向通信を開始するときには、既に端末装置の認証が完了している。しかし、その端末装置を権限ある者が操作しているかどうかわからないことがある。通信相手先端末装置に利用者の顔画像を表示すれば、端末装置の利用者も確認できる。
<構成3の効果>
利用者の顔画像を特徴のある図案と合成すれば、利用者をさらに確認し易くなる場合がある。
<構成4の効果>
利用者の位置情報と顔画像とを使用して、地図画像上に利用者の位置を表示して、利用者をより確実に認識することができる。
<構成5の効果>
静止画を利用して、通信負荷を軽くして、利用者の表情を通信相手に伝えることができる。
<構成6の効果>
表情画像に吹き出し等の装飾を施して、利用者の表情を明確に伝えることができる。
<構成7の効果>
特定の端末装置が、1台または2台以上の通信相手先の端末装置にコマンドを送信して、任意のタイミングで確実に一斉に通信データを消去できる。
<構成8の効果>
端末装置に、その端末装置を使用する権限のある者を登録しておく。顔認証により登録済みの利用者かどうかを判断できる。
<構成9の効果>
P2P−VPN双方向通信が開始されたときには、既に端末装置間で認証処理が完了している。従って、それらの端末装置は互いに信頼できる。従って、各種の認証処理の省略を要求して、操作性を向上することができる。これにより、例えば、その端末装置の管理者は、その端末装置を使用した決済を、家族や信頼のおける者に任せることもできる。
<Effect of Configuration 1>
When a command for erasing communication data is detected at an arbitrary timing, when a communication end command is detected, or when a timer measures a predetermined time after the communication ends, the communication data is deleted. Thereby, the confidentiality of communication can be reliably achieved.
<Effect of
When the P2P-VPN two-way communication is started, the authentication of the terminal device has already been completed. However, it may not be known whether an authorized person is operating the terminal device. If the face image of the user is displayed on the communication partner terminal device, the user of the terminal device can also be confirmed.
<Effect of Configuration 3>
If the user's face image is combined with a characteristic design, it may be easier to identify the user.
<Effect of Configuration 4>
By using the position information of the user and the face image, the position of the user can be displayed on the map image, and the user can be recognized more reliably.
<Effect of Configuration 5>
Using still images, the communication load can be reduced and the user's facial expression can be transmitted to the communication partner.
<Effect of Configuration 6>
It is possible to clearly convey the user's facial expression by decorating the facial expression image with a balloon or the like.
<Effect of Configuration 7>
A specific terminal device can transmit a command to one or two or more communication partner terminal devices, and can securely delete communication data simultaneously at an arbitrary timing.
<Effect of Configuration 8>
A person who has authority to use the terminal device is registered in the terminal device. It can be determined whether or not the user is registered by face authentication.
<Effect of Configuration 9>
When the P2P-VPN two-way communication is started, the authentication process has already been completed between the terminal devices. Therefore, these terminal devices can be trusted with each other. Accordingly, it is possible to improve the operability by requesting the omission of various authentication processes. Thereby, for example, the administrator of the terminal device can leave payment using the terminal device to a family member or a reliable person.
以下、本発明の実施の形態を実施例毎に詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail for each example.
図1は、P2P−VPN接続をする端末装置群を示す説明図である。図2は、各端末装置に組み込まれた通信制御装置のブロック図である。
この発明では、任意の複数の端末装置14〜20が、セキュリティの高い通信をするために、相互にP2P−VPN接続をする。このための通信制御技術は、例えば、特許文献3に記載されている。各端末装置に設けられた通信制御装置22のVPN通信制御モジュール36がこの通信制御を行う。
FIG. 1 is an explanatory diagram illustrating a terminal device group that performs P2P-VPN connection. FIG. 2 is a block diagram of a communication control device incorporated in each terminal device.
In the present invention, a plurality of arbitrary
特許文献3によれば、図1に示した管理サーバ12が、複数の端末装置14〜20の通信を管理する。各端末装置のVPN通信制御モジュール36は、管理サーバ12からVPN接続をするための接続データ25を取得する。接続データ25は、利用者IDリスト26、利用者ID28、パスワード30、仮想IPアドレス32、認証データ34等を含んでいる。なお、通信制御装置22は、各端末装置にインストールされたコンピュータプログラムにより実現することができる。
According to Patent Literature 3, the
通信制御装置22は、上記端末装置間を直接接続して、管理サーバ12を介することなく、P2P−VPN通信を実行する。いずれかの端末装置の通信バッファ38に通信データ40を記憶させて、双方向通信が実行される。全ての端末装置の通信バッファ38に同じ通信データ40が記憶されるようにしても構わない。文字や画像情報による通信も音声情報による通信も可能である。
The
十分な通信速度が得られない環境では、文字情報の通信が適する。以下の実施例では、画像情報(静止画)も送信する。静止画は、音声情報や動画情報に比べて通信負荷が小さい。P2P−VPN通信は、管理サーバに登録された端末装置にのみ許可される。即ち、認証済みの端末装置のみが相互に通信することができる。しかしながら、端末装置の利用者が権限ある者かどうかはわからない。 In an environment where a sufficient communication speed cannot be obtained, communication of character information is suitable. In the following embodiment, image information (still image) is also transmitted. Still images have a smaller communication load than audio information and moving image information. P2P-VPN communication is permitted only to terminal devices registered in the management server. That is, only authenticated terminal devices can communicate with each other. However, it is not known whether the user of the terminal device is an authorized person.
音声や動画を使用して通信をしていれば、端末装置の利用者を目で確認できる。しかしながら、文字や静止画のみを送信する通信では、本人確認が必要になる。また、不鮮明な画像の場合も同様の問題がある。以下の例では、こうした場合でも、確実に参加者の確認ができる通信制御装置を提供する。 If communication is performed using voice or video, the user of the terminal device can be visually confirmed. However, in communication that transmits only text and still images, identity verification is required. The same problem occurs in the case of an unclear image. In the following example, a communication control device capable of surely confirming a participant even in such a case is provided.
図3は2台の端末装置間で通信を行う状態を示す説明図である。
利用者42は端末装置14を操作して通信をしている。利用者44は端末装置16を操作して通信をしている。端末装置14と端末装置16とは、図1で説明した手順でP2P−VPN接続されている。端末装置14にも端末装置16にも、同じ通信画面46が表示される。通信画面46には、利用者42の顔画像48と利用者44の顔画像50と、通信に使用した文字情報52等が表示されている。
FIG. 3 is an explanatory diagram illustrating a state in which communication is performed between two terminal devices.
A
通信開始前に、端末装置16のカメラ59が利用者44の顔を撮影して、撮影画像47を取得する。そして、端末装置16の記憶装置(図示しない)に予め記憶されている顔画像50と比較する。両者が同一人物のものと判断されれば、図3Fig3Aに示すように、通信画面46に顔画像50を表示して通信を開始する。利用者42の顔画像48も、全く同様の手順で撮影されて、通信画面46に表示されている。なお、撮影画像47と予め記憶された顔画像50とが同一人物のものでないと判断されると、通信が開始されない。これにより、部外者の通信への参加を排除することができる。
Before the start of communication, the
例えば、通信画面46に含まれた「会議参加者」という表示のアイコン53をクリックすると、図3Fig3Bに示す画面が表示さる。例えば、この例では、上記の利用者42と44のほかに、2名の利用者が会議に参加しているものとする。各利用者はそれぞれ別々の端末装置を使用してもよいし、一部の端末装置を共用してもよい。
For example, when the
この画面には、利用者全員の明瞭な顔画像48、50、54、56と、利用者情報58とが示される。顔画像48〜56は静止画像だから参加者を確実に確認できる。データ量が大きいときは、任意のタイミングでゆっくりデータ転送をすればよい。各通信装置の通信速度や通信容量がまちまちでも問題がない。これにより、利用者全員を相互に確認して会議をすすめることができる。また、利用者情報58に、例えば、氏名や所属や担当業務等の情報を含めれば、会議参加者の立場を相互に理解して会議を進めることができる。
On this screen,
カメラで撮影された撮影画像47と記憶装置に記憶させておいた顔画像50とは、特徴点を抽出して比較する。既知の顔認識技術を利用すればよい。記憶装置には、顔画像そのもののデータでなく、特徴点を抽出したデータを記憶しておいてもよい。
A feature point is extracted and compared between the photographed
P2P−VPN通信の開始後に、例えば、利用者が中座することがある。そのときに部外者が端末装置を操作するおそれもある。そこで、例えば、5分毎のタイミングでカメラ59が自動的に利用者の顔を撮影し、顔画像50を更新する。そして、記憶している顔画像50と一致しないと判断されると、いつでも、その端末装置による通信を終了する。このように、通信の開始時のみならず、通信を開始した後も本人を確認できる処理が実行されることが好ましい。
After the start of P2P-VPN communication, for example, a user may be present. At that time, an outsider may operate the terminal device. Therefore, for example, the
なお、1台の端末装置を複数人の利用者で共用する場合がある。複数人の利用者が同時に会議に参加する場合も得れば、それぞれ別々に独自の会議に参加する場合もある。記憶装置には複数の利用者の顔画像50を記憶させておくことができる。複数人が会議に参加する場合、顔画像を一挙に取得することもできる。例えば、カメラ59で参加者全員の顔を同時に撮影する。撮影画像中から、それぞれの参加者の顔画像を切り出す。そして、記憶された顔画像と比較するとよい。
One terminal device may be shared by a plurality of users. There may be cases where a plurality of users participate in the conference at the same time, or they may participate in their own conference separately. The storage device can store a plurality of user face
暗号化通信であっても、端末装置の通信バッファ38(図2)には、通信画面46に表示するための暗号化されていない通信データ40が記憶される。しかし、通信終了後、端末装置にそれらの通信データ40が残っていると、部外者の目に触れるおそれがある。また、その端末装置をインターネットに接続したまま放置すると、通信データ40をインターネットを経由して盗み見られるおそれもある。
Even in encrypted communication,
そこで、少なくとも通信終了後一定時間を経過する前に、通信バッファ38から全ての通信データ40が消去されるようにする。後で、図9で説明するように、タイマーで消去タイミングを決定してもよいし、利用者が特定のコマンドを入力して、全ての端末装置に処理イベントを発生させてもよい。各端末装置の通信制御装置は、処理イベントを検出すると、一斉に通信データを消去するように動作する。各端末装置が個別に処理するよりも、全ての端末装置に対して一括してイベントを発生させて、自動的に通信データを消去することが好ましい。
Therefore, all
図4は、実施例4の通信制御装置の動作説明図である。
利用者42の使用する端末装置14には、カメラ59と記憶装置60とが設けられている。通信制御装置22は、特徴点抽出装置72と比較装置74と表示制御装置76とを備えている。いずれも、通信制御装置22に付属のコンピュータプログラムにより実現する。記憶装置60は、利用者42の複数の表情の顔写真から作成した表情画像62〜表情画像70を記憶している。
FIG. 4 is an operation explanatory diagram of the communication control apparatus according to the fourth embodiment.
The
カメラ59は、端末装置14の利用者42の顔を撮影するためのものである。特徴点抽出装置72は、カメラ59で撮影された撮影画像47の特徴点を抽出する機能を持つ。比較装置74は、撮影画像47の特徴点を、記憶された顔画像の特徴点と比較する機能を持つ。表示制御装置76は、通信画面46に利用者42の顔画像と文字情報52を表示する機能を持つ。
The
上記の実施例の通信制御装置は、各端末装置をP2P−VPN接続で接続するので、サーバを経由する通信に比べて通信の秘密を確保できる。端末装置のカメラ59が利用者の顔を撮影し、記憶している顔画像と一致したときに通信を開始し、通信画面46にその顔画像を表示するものであった。
Since the communication control device of the above-described embodiment connects each terminal device by P2P-VPN connection, it is possible to secure a communication secret as compared with communication via a server. The
複数の端末装置を相互に接続して、会議参加者全員を撮影した鮮明な動画転送を相互に送信できることが好ましい。しかし、インターネットの通信環境が、各端末装置でそれぞれ異なっている。会議を円滑に運営するには、各参加者の表情を正確にとらえることが好ましいが、これはさらに困難である。実施例4では、これを次のようして実現する。 It is preferable that a plurality of terminal devices are connected to each other so that a clear moving image transfer in which all conference participants are photographed can be transmitted to each other. However, the communication environment of the Internet is different for each terminal device. In order to manage the conference smoothly, it is preferable to accurately capture the facial expressions of each participant, but this is even more difficult. In the fourth embodiment, this is realized as follows.
例えば、チャットによる会議では、文字や会議資料の画像データ伝送を優先させる。従って、参加者の表情を映すスペースが限定される。企業の会議に、一般のインターネットメールで使用される顔文字等は適さない。そこで、予め、会議参加者の複数の表情の顔写真62〜70を記憶装置60に保存しておく。そして、会議が開始されると、例えば、一定時間ごとに、あるいは会議参加者のキー操作によって、カメラ59がその表情を撮影する。
For example, in a chat conference, priority is given to image data transmission of characters and conference materials. Therefore, the space for reflecting the participants' facial expressions is limited. Emoticons used in general Internet mail are not suitable for corporate meetings. Therefore, face
特徴点抽出装置72が撮影画像47の特徴点を抽出する。比較装置74は、撮影画像47の特徴点と上記記憶された表情画像の特徴点を比較する。撮影画像47の特徴点といずれかの表情画像の特徴点が一致したとき、該当する表情画像を通信画面46に表示する。なお、特徴点が一致するというのは、画像中の特定の箇所のデータが全てあるいは一定の割合以上に近似していることをいい、必ずしも完全一致する必要はない。既存の顔認識処理と同様に処理して構わない。
A feature
会議参加者の通信画面には、例えば、参加者全員の表情が表示される。これが一定時間おきに切り替えられる。それらの表情を見るだけで、会議参加者の状態が確認できて、会議を円滑にすすめることができる。ビジネスユースのみならず、この手法は、1対1よりむしろ複数の参加者によるチャットの場合に利用できる。この手法は、参加者全員の表情を随時認識できる点で有効である。表情の認識をした後に、各表情の顔画像の代わりに、その顔の表情に応じた吹き出しや漫画化した顔を通信相手に転送するようにしてもよい。 For example, facial expressions of all participants are displayed on the communication screen of the conference participants. This is switched at regular intervals. By just looking at these facial expressions, the status of the conference participants can be confirmed, and the conference can proceed smoothly. In addition to business use, this approach can be used in the case of a chat with multiple participants rather than one-to-one. This method is effective in that it can recognize the facial expressions of all participants at any time. After recognizing the facial expression, instead of the facial image of each facial expression, a balloon or a cartoonized face corresponding to the facial expression may be transferred to the communication partner.
一定時間ごとに利用者の顔を撮影し、表情の顔画像を更新する。静止画を適当なタイミングでゆっくり送信できる。従って、鮮明で表情が分かりやすい顔画像を使用できる。また、利用者が中座しても、部外者が入り込む余地がない。 The user's face is photographed at regular intervals, and the facial expression image is updated. A still image can be transmitted slowly at an appropriate timing. Therefore, it is possible to use a face image that is clear and easy to understand. Moreover, even if the user is in the middle, there is no room for outsiders to enter.
図5は、P2P−VPN接続開始と終了動作を示すフローチャートである。図6は、利用者確認処理の動作を示すフローチャートである。図7は、利用者の表情を送信する処理動作を示すフローチャートである。
端末装置間で通信を開始するには、まず、図5のステップS11で、相手端末装置を決定する。VPN通信制御モジュール36が相手端末装置のID(識別情報)等を取得する。次に、ステップS12で、VPN通信制御モジュール36は、管理サーバ12に対して、相手端末装置と接続をするための接続データ25を要求する。接続データ25は、図2で説明したとおりの内容のものである。ステップS13で、接続データ25の取得をする。
FIG. 5 is a flowchart showing the P2P-VPN connection start and end operations. FIG. 6 is a flowchart showing the operation of the user confirmation process. FIG. 7 is a flowchart showing a processing operation for transmitting a user's facial expression.
In order to start communication between terminal devices, first, a partner terminal device is determined in step S11 of FIG. The VPN
ステップS14では、VPN通信制御モジュール36が、相手端末にアクセスをする。そして、ステップS15で、接続データ25を使用して、P2P−VPN接続を完了する。ステップS16で通信を開始する。利用者の承認処理は図6で説明する。ここでは、正常に通信が開始されたものと仮定する。
In step S14, the VPN
ステップS17では、通信が完了したかどうかという判断をする。この判断の結果がイエスのときはステップS18の処理に移行し、ノーのときは待機する。ステップS18では、P2P−VPN接続の切断をする。そして、図示しないタイマをスタートさせる。ステップS19でタイムアップかどうかという判断をする。この判断の結果がイエスのときはステップS20の処理に移行し、ノーのときは待機する。 In step S17, it is determined whether communication is completed. If the result of this determination is yes, the process proceeds to step S18, and if no, the process waits. In step S18, the P2P-VPN connection is disconnected. Then, a timer (not shown) is started. In step S19, it is determined whether the time is up. If the result of this determination is yes, the process proceeds to step S20, and if no, the process waits.
ステップS20では、通信バッファ38(図2)をクリアする。こうして通信の秘密保護を図る。以上で通信を終了する。 In step S20, the communication buffer 38 (FIG. 2) is cleared. In this way, communication secret protection is achieved. The communication is thus completed.
ここで、顔認識処理の説明に移る。P2P−VPN接続が完了すると、図6に示すように、ステップS21で、利用者をカメラ59で撮影する。ステップS22では、特徴点抽出装置72(図4)が撮影画像47から特徴点を抽出する。ステップS23では、比較装置74が、記憶装置60から利用者の顔画像を読み出す。ステップS24で、比較装置74は特徴点の比較をする。ステップS25で、特徴点のデータが一致するかどうかという判断をする。この判断の結果がイエスのときはステップS26の処理に移行する。判断の結果がノーのときは処理を終了して、P2P−VPN接続を切断する。
Here, the explanation of the face recognition process is started. When the P2P-VPN connection is completed, the user is photographed by the
ステップS26では、表示制御装置76が利用者の顔画像を通信画面46中に表示する。さらに、ステップS27で、図3Fig3Bに示したように顔画像の下に利用者情報58の表示をする。ステップS28では、チャット用の画面の表示をする。そして、ステップS29で、接続した端末装置間の通信を開始する。
In step S <b> 26, the
次に、表情画像の表示制御を説明する。最初の顔画像の表示をした後、タイマを用いて、例えば、5分毎に表情画像の切り替え表示をする。まずステップS31で、タイマカウントをする。そして、ステップS32で、タイムアップ、即ち、更新開始かどうかという判断をする。この判断の結果がイエスのときはステップS33の処理に移行し、ノーのときはステップS31の処理に戻る。 Next, display control of a facial expression image will be described. After the first face image is displayed, the expression image is switched and displayed, for example, every 5 minutes using a timer. First, in step S31, a timer is counted. In step S32, it is determined whether the time is up, that is, whether the update is started. If the result of this determination is yes, the process proceeds to step S33, and if no, the process returns to step S31.
ステップS33では、利用者をカメラ59で撮影する。ステップS34では、撮影画像47から特徴点の抽出をする。ステップS35で、利用者の表情画像を読み出し、ステップS36で特徴点の比較をする。ステップS37で一致したかどうかという判断をする。この判断の結果がイエスのときはステップS38の処理に移行し、ノーのときはステップS35の処理に移行する。一致したものが全く無い場合には、このフローから抜けて、端末装置のVPN接続を終了する。ステップS38では、特徴点の一致した利用者の表情画像を表示して、通信画面を更新する。
In step S33, the user is photographed by the
以上の一連の制御を、コンピュータや携帯端末装置の通信制御プログラムによって実行するようにすれば、図1に示したように、任意の端末装置を利用して、セキュリティの高い通信会議を、随時簡便に行うことができる。 If the above series of control is executed by a communication control program of a computer or a portable terminal device, as shown in FIG. 1, a highly secure communication conference can be easily performed at any time using any terminal device. Can be done.
図8は、顔画像の表示方法を示す説明図である。
上記の実施例で説明したように、利用者の顔画像を通信画面に表示すると、相互に通信の相手を確認することができる。これでなりすましを防止できる。これは、特に、音声を伴わない文字情報のみを使用した通信の場合に、有効な方法である。なお、写真撮影した顔画像を表示させる以外の方法がある。利用者を特定できる画像であれば、似顔絵やシンボルマークのようなものでもよい。Fig8Aに示す図案78は、シンボルマークの例である。また、Fig8Cは、利用者が予め用意した図案を利用する例を示す。例えば、動物等の図案84に顔画像48をはめ込むスペースを設ける。このようにして、顔画像48を装飾すると、顔画像48が不鮮明でも、一見して利用者が誰かを認識できる。
FIG. 8 is an explanatory diagram showing a method for displaying a face image.
As described in the above embodiment, when the user's face image is displayed on the communication screen, the communication partner can be mutually confirmed. This can prevent spoofing. This is an effective method particularly in the case of communication using only character information not accompanied by voice. There are methods other than displaying a photographed face image. As long as the image can identify the user, it may be a caricature or a symbol mark. The
表情を顔画像で示す場合に、その表情を表した図案を使用してもよい。表情画像や図案は、利用者の表情をリアルタイムに正確に伝えることができるものが好ましい。Fig8Aの図案78は利用者が笑顔の場合、Fig8Bの図案80は利用者が驚いた場合の表情画像の例である。また、表情画像とともに、その表情に適した形状の吹き出し82を表示してもよい。表情画像だけでなく、吹き出しやその他の装飾画像により、利用者の表情をより正確にデフォルメして、通信相手に伝えることができる。この吹き出し82に、上記利用者が通信のために入力した文字を含めて、画像を合成するとよい。なお、利用者が、任意のタイミングで、手動で特定の表情画像や図案を送信できるようにしてもよい。
When the facial expression is represented by a facial image, a design representing the facial expression may be used. The facial expression image or design is preferably one that can accurately convey the user's facial expression in real time. The FIG.
Fig8Dは、利用者の顔画像48を、地図画像86上の各利用者の居場所に相当する箇所にはめ込んだ図案である。この図の例は、例えば、国際的なネットワークを利用したP2P−VPN接続の例である。例えば、家族や友人が待ち合わせをするときに、各利用者の位置情報を取得して、全ての利用者の位置を含む街の地図を表示するとよい。その地図には、各利用者の位置情報に相当する箇所に、顔画像をはめこむとよい。
FIG. 8D is a design in which the user's
図9は端末装置に設けた通信制御装置の変形例である。
この通信制御装置には、タイマー96と認証管理装置92とが新たに設けられている。上記の実施例で説明したシステムによれば、P2P接続により、個人情報が管理サーバを通じて漏れることがない。複数人との同時会話もできる。通信バッファ38に記憶された通信データは、速やかに消去して、通信の秘密を保持できる。例えば、通信中に、利用者がコマンドを入力すると、通信バッファ中の通信データが全て消去される。あるいは、VPN接続の終了処理の直前または直後に、タイマー96が起動して、タイムアップしたときに通信バッファ38中の通信データ40が全て自動的に消去される。重要度が高い通信データ40は、こうして自動的に消去することができる。もちろん、VPNによる暗号化処理をして、セキュリティをさらに高めることができる。
FIG. 9 is a modification of the communication control device provided in the terminal device.
In this communication control device, a
図10は、P2P−VPN接続を制御する管理サーバの例を示す説明図である。
P2P接続完了後は、管理サーバは通信に関与値しないから、管理サーバの負荷が少ない。サーバ管理の設備管理コストを低く抑えることができる。管理サーバは、利用者のグループ毎に、そのグループ内のP2P−VPN接続を制御する。従って、グループに含まれた利用者のみが、その利用者間でP2P−VPN接続による通信をすることができる。例えば、通信サービス機関が、それぞれ自由に管理サーバ12を設置することができる。各管理サーバは、それぞれ自由にグループの構成員を登録して管理することができる。
FIG. 10 is an explanatory diagram illustrating an example of a management server that controls the P2P-VPN connection.
After the P2P connection is completed, the management server does not participate in communication, so the load on the management server is small. Equipment management costs for server management can be kept low. The management server controls the P2P-VPN connection in each group of users. Therefore, only the users included in the group can communicate with each other by P2P-VPN connection. For example, each communication service organization can freely install the
ここで、例えば、複数の金融機関やネット通販サイト等が所属するグループが管理サーバに登録されたとする。この場合に、そのグループに所属する利用者は、いずれかのサイトとP2P−VPN接続をすることができる。サーバとの認証処理が完了しているから、例えば、そのサイトでの商品購入のために新たにパスワードを入力するといった認証処理を省略することができる。さらに、金融機関と接続をして、新たな認証処理を省略して決済が可能になる。 Here, for example, it is assumed that a group to which a plurality of financial institutions and online mail order sites belong is registered in the management server. In this case, a user belonging to the group can make a P2P-VPN connection with any site. Since the authentication process with the server has been completed, for example, it is possible to omit the authentication process of newly inputting a password for purchasing a product at the site. Furthermore, it is possible to make a payment by connecting to a financial institution and omitting a new authentication process.
この制御のために、例えば、各端末装置に図9に示した認証管理装置92を設ける。口座番号やクレジットカード情報やポイントカード情報を通信制御装置専用の記憶装置94に記憶させておく。金融機関の管理サーバを介して、P2P−VPN接続をすれば、認証管理装置92が、自動的にカード情報や口座番号を通知して、ただちに決済処理ができる画面を端末装置に表示することもできる。即ち、例えば、認証管理装置92が、該当するサイトに対して、認証処理の省略要求をすればよい。このシステムにより、予め指定されたデータファイルまたはデータフォルダの参照もしくはウェブサイトの閲覧のための様々な認証処理を省略させることができる。
For this control, for example, the
以上の構成により、既存の決済サービスで必要だった認証処理や、クレジットカード上の入力処理等、利用者による煩雑な処理を省略することかできる。従って、様々なサイトに接続して望みの商品を選択し、簡単に決済をするという買い物が可能になる。さらに、特定の端末装置が認証処理によってP2P−VPN接続されているから、その端末装置を家族や関係者に預けて決済をすることも可能になる。顔認証により利用者を特定すれば、不正利用も防止できる。 With the above configuration, complicated processing by the user, such as authentication processing required for existing settlement services and input processing on a credit card, can be omitted. Therefore, it is possible to shop by connecting to various sites, selecting a desired product, and easily making a payment. Furthermore, since the specific terminal device is P2P-VPN connected by the authentication process, it is possible to make a payment by depositing the terminal device with a family member or a related party. If a user is specified by face authentication, unauthorized use can be prevented.
図11は、インターネットバンキングの場合の操作例説明図である。
例えば、通信制御装置は、を開始するときに、端末装置の画面にグループ選択画面94を表示する。ここには、VPN接続をして通信できるグループ名が表示されている。例えば、グループPを選択すると、端末装置リスト95が表示される。グループPにとろされている端末装置のリストである。
FIG. 11 is an explanatory diagram of an operation example in the case of Internet banking.
For example, when starting the communication control device, the communication control device displays a
ここで、決済をしたい銀行名をクリックする。通信制御装置は、既に説明した手順で、該当する銀行のサイトとP2P−VPN接続をする。このとき、新たな認証処理の省略要求をすると、口座番号の入力を要求する決済画面98が表指示されて、ただちに決済をすることが可能になる。他の金融機関や通販サイトについても全く同様の手順で、認証処理を省略できる。
Here, click on the name of the bank you want to settle. The communication control device establishes a P2P-VPN connection with the corresponding bank site according to the procedure already described. At this time, when a request for omitting a new authentication process is made, a
12 管理サーバ
14 端末装置
16 端末装置
18 端末装置
20 端末装置
22 通信制御装置
25 接続データ
26 利用者IDリスト
28 利用者ID
30 パスワード
32 仮想IPアドレス
34 認証データ
36 VPN通信制御モジュール
38 通信バッファ
40 通信データ
42 利用者
44 利用者
46 通信画面
47 撮影画像
48 顔画像
50 顔画像
52 文字情報
53 アイコン
54 顔画像
56 顔画像
58 利用者情報
59 カメラ
60 記憶装置
62 表情画像
64 表情画像
66 表情画像
68 表情画像
70 表情画像
72 特徴点抽出装置
74 比較装置
76 表示制御装置
78 図案
80 図案
82 吹き出し
84 図案
86 地図画像
88 サーバ
90 サーバ
92 認証管理装置
94 グループ選択画面
95 端末装置リスト
96 タイマー
97 メッセージ
98 決済画面
12
30
Claims (11)
いずれかの端末装置の通信バッファに通信データを記憶させて、P2P−VPN双方向通信を制御し、
上記P2P−VPN双方向通信を開始した後、その通信を終了するまでに発生した特定のイベントを検出したとき、少なくともその通信の終了後一定時間を経過する前に、上記端末装置の通信バッファに記憶された通信データを消去する処理を実行することを特徴とする通信制御装置。 The terminal device acquires connection data for mutual VPN connection from the management server, executes communication control for direct P2P-VPN connection between the terminal devices,
Store communication data in the communication buffer of any terminal device to control P2P-VPN bidirectional communication,
When a specific event that has occurred after the P2P-VPN bi-directional communication is started until the end of the communication is detected, at least before a predetermined time elapses after the end of the communication, it is stored in the communication buffer of the terminal device. A communication control apparatus that executes a process of erasing stored communication data.
上記端末装置の利用者の顔を撮影するカメラから顔画像を取得し、
上記顔画像もしくは上記利用者を特定できる画像を、通信相手先端末装置の通信画面に表示する表示制御装置を備えたことを特徴とする通信制御装置。 The communication control device according to claim 1,
Obtain a face image from the camera that captures the face of the user of the terminal device,
A communication control device comprising a display control device for displaying the face image or the image for identifying the user on a communication screen of a communication partner terminal device.
上記利用者を特定できる画像は、上記利用者の顔画像をはめ込むスペースを設けた図案であることを特徴とする通信制御装置。 The communication control device according to claim 2,
The communication control apparatus according to claim 1, wherein the user-identifiable image is a design provided with a space for fitting the user's face image.
上記利用者を特定できる画像は、上記利用者の顔画像を、地図画像上の各利用者の居場所に相当する位置にはめ込んだ図案であることを特徴とする通信制御装置。 The communication control device according to claim 3.
The communication control apparatus according to claim 1, wherein the image that can identify the user is a design in which the face image of the user is inserted into a position corresponding to the location of each user on the map image.
利用者の複数種類の表情を撮影した表情画像または、表情画像の特徴点を示すデータを記憶装置に記憶させておき、
カメラを制御して、端末装置の利用者の表情を予め設定したタイミングで撮影させて、利用者の顔画像を取得し、この顔画像の特徴点を抽出する特徴点抽出装置と、
上記顔画像の特徴点と、上記表情画像の特徴点を比較する比較装置と、
上記の比較により特徴点が一致したとき、該当する表情画像もしくはその表情を表した図案を通信相手先端末装置の通信画面に表示する表示制御装置を備えたことを特徴とする通信制御装置。 The communication control device according to claim 1,
A facial expression image obtained by photographing a plurality of types of facial expressions of a user or data indicating feature points of the facial expression image is stored in a storage device,
A feature point extracting device that controls the camera to capture the facial expression of the user of the terminal device at a preset timing, obtains the user's face image, and extracts the feature points of the face image;
A comparison device for comparing the feature points of the face image and the feature points of the facial expression image;
A communication control device, comprising: a display control device that displays a corresponding facial expression image or a design representing the facial expression on a communication screen of a communication partner terminal device when the feature points match in the comparison.
上記表示制御装置は、
上記表情画像とともに、その表情と対応する形状の吹き出し画像を並べて表示し、この吹き出し画像中に、上記利用者が通信のために入力した文字を重ねて、通信相手先端末装置の通信画面に表示することを特徴とする通信制御装置。 The communication control device according to claim 2,
The display control device
Along with the facial expression image, a balloon image having a shape corresponding to the facial expression is displayed side by side, and the characters input by the user for communication are superimposed on the balloon image and displayed on the communication screen of the communication partner terminal device. A communication control device.
上記通信制御装置は、上記通信データを消去するためのイベントを、通信相手全ての端末装置で発生させる処理を実行することを特徴とする通信制御装置。 The communication control device according to claim 1,
The communication control apparatus executes a process of generating an event for erasing the communication data in all terminal apparatuses of the communication counterpart.
P2P−VPN通信の開始前に1回もしくは、開始後一定時間おきに複数回、
カメラから取得した顔画像の特徴点を抽出する特徴点抽出装置と、
上記特徴点を、記憶装置に記憶された特定の利用者の顔画像の特徴点と比較する比較装置と、
上記比較装置による比較の結果、上記の特徴点が一致したときに、他の端末装置との通信を許可する認証管理装置を備えたことを特徴とする通信制御装置。 The communication control device according to claim 2,
Once before the start of P2P-VPN communication or multiple times at regular intervals after the start,
A feature point extraction device for extracting feature points of a face image acquired from a camera;
A comparison device that compares the feature points with the feature points of a face image of a specific user stored in a storage device;
A communication control device comprising: an authentication management device that permits communication with another terminal device when the above feature points match as a result of comparison by the comparison device.
上記認証管理装置は、P2P−VPN双方向通信を実行している相手方端末装置に対して、予め指定されたデータファイルまたはデータフォルダの参照もしくはウェブサイトの閲覧のための認証処理の、省略要求を送信することを特徴とする通信制御装置。 In the communication control device according to claim 1 or 8,
The authentication management apparatus transmits a request for omitting an authentication process for referring to a data file or data folder designated in advance or browsing a website to a counterpart terminal apparatus that is executing P2P-VPN bidirectional communication. A communication control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013141270A JP2015014907A (en) | 2013-07-05 | 2013-07-05 | Communication control device, communication control program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013141270A JP2015014907A (en) | 2013-07-05 | 2013-07-05 | Communication control device, communication control program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015014907A true JP2015014907A (en) | 2015-01-22 |
Family
ID=52436602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013141270A Pending JP2015014907A (en) | 2013-07-05 | 2013-07-05 | Communication control device, communication control program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015014907A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160073327A1 (en) * | 2014-09-05 | 2016-03-10 | Alcatel-Lucent Usa, Inc. | Collaborative software-defined networking (sdn) based virtual private network (vpn) |
JP2021027587A (en) * | 2019-07-30 | 2021-02-22 | ウォルトン アドバンスト エンジニアリング インクWalton Advanced Engineering Inc. | P2P device connection method |
JP7512780B2 (en) | 2020-09-07 | 2024-07-09 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
-
2013
- 2013-07-05 JP JP2013141270A patent/JP2015014907A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160073327A1 (en) * | 2014-09-05 | 2016-03-10 | Alcatel-Lucent Usa, Inc. | Collaborative software-defined networking (sdn) based virtual private network (vpn) |
US9985799B2 (en) * | 2014-09-05 | 2018-05-29 | Alcatel-Lucent Usa Inc. | Collaborative software-defined networking (SDN) based virtual private network (VPN) |
JP2021027587A (en) * | 2019-07-30 | 2021-02-22 | ウォルトン アドバンスト エンジニアリング インクWalton Advanced Engineering Inc. | P2P device connection method |
JP7512780B2 (en) | 2020-09-07 | 2024-07-09 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11362811B2 (en) | Secure telecommunications | |
US10931676B2 (en) | Conditional delivery of content over a communication network including social sharing and video conference applications using facial recognition | |
CN104008348B (en) | application control method, device and terminal | |
US9967245B2 (en) | User authentication using unique hidden identifiers | |
US9698992B2 (en) | Method for signing electronic documents with an analog-digital signature with additional verification | |
CN105207900B (en) | A kind of private information transmission method based on immediate communication platform | |
KR101719933B1 (en) | Method for producing dynamic data structures for authentication and/or password identification | |
CN106233294B (en) | Mobile terminal privacy protection method and device and mobile terminal | |
US20150007351A1 (en) | Mobile Messaging Enhanced with Concealable and Selectively Revealable Text, Image, and Video Messages | |
CN104753675B (en) | Information Authentication method, electric paying method, terminal, server and system | |
CN104883367A (en) | Method for auxiliary verification login, system, and application client | |
US9906506B1 (en) | In-band identity verification and man-in-the-middle defense | |
JP2003162506A (en) | Network information processing system, information- providing management apparatus, information-processing apparatus and information-processing method | |
CN102891749A (en) | Method and communication terminal for data encryption | |
CN110771092A (en) | System and method for synchronizing conference interactions between multiple software clients | |
US20160099919A1 (en) | System and method for providing a secure one-time use capsule based personalized and encrypted on-demand communication platform | |
WO2016052959A1 (en) | Online secret data management system and method therefor | |
JP2015014907A (en) | Communication control device, communication control program, and recording medium | |
JP7369244B2 (en) | Information processing device and information processing method | |
CN107786566A (en) | Method for protecting privacy, system, server and receiving terminal | |
US20150156173A1 (en) | Communication system utilizing fingerprint information and use thereof | |
JP2002041461A (en) | Method and system for sharing conference material in electronic conference system | |
JP2020004424A (en) | Method and device for protecting privacy of mobile terminal and mobile terminal | |
JP6708815B2 (en) | Communication control system, communication control device, communication control method, and communication control program | |
CN104967687B (en) | The information on services acquisition methods and device of business registration are handled based on party |