JP2012129701A - Portable device, information display device, privacy protection method and privacy protection program - Google Patents
Portable device, information display device, privacy protection method and privacy protection program Download PDFInfo
- Publication number
- JP2012129701A JP2012129701A JP2010277995A JP2010277995A JP2012129701A JP 2012129701 A JP2012129701 A JP 2012129701A JP 2010277995 A JP2010277995 A JP 2010277995A JP 2010277995 A JP2010277995 A JP 2010277995A JP 2012129701 A JP2012129701 A JP 2012129701A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- information
- display
- sight
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、携帯機器、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムに関し、特に、カメラを利用して他人の視線を監視することにより画面表示した表示情報のプライバシー制御を行う携帯装置、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムに関する。 The present invention relates to a mobile device, an information display device, a privacy protection method, and a privacy protection program, and in particular, a mobile device that performs privacy control of display information displayed on a screen by monitoring a gaze of another person using a camera, and information display The present invention relates to a device, a privacy protection method, and a privacy protection program.
ここで、本発明は、カメラと画面表示部とを有する携帯機器のみならず、ＰＣ（Personal Computer）やＡＴＭ（Automated Teller Machine:現金自動預け払い機）等の画面表示部を有する情報表示装置にもカメラを搭載することにより好適に適用することができる。 Here, the present invention is not only a portable device having a camera and a screen display unit, but also an information display device having a screen display unit such as a PC (Personal Computer) or an ATM (Automated Teller Machine). Can also be suitably applied by mounting a camera.
携帯電話等の携帯機器の普及によって、いつでも、どこでも、インターネットのＷｅｂページの情報や電子メールの内容を画面表示して確認することができるようになった。しかし、一方では、携帯電話等の携帯機器に画面表示した表示情報に関して、他人には見られたくない情報を他人に覗き見されるというリスクも抱えている。 With the spread of mobile devices such as mobile phones, it has become possible to check the information of web pages on the Internet and the contents of e-mails on the screen anytime and anywhere. However, on the other hand, with respect to display information displayed on a mobile device such as a mobile phone, there is also a risk that information that the other person does not want to see can be seen by another person.
そのため、他人に情報を覗き見されることを防ぎ、プライバシーを守るために、特許文献１の特開２００４−２６４７９６号公報「覗き見防止具」等に記載されているように、表示画面上にフィルムシート（プライバシーシート）を貼付することや、特許文献２の特開２００１−１３４４１３号公報「情報表示装置」や特開２００７−１２１９６９号公報「情報処理装置およびその制御方法」等に記載されているように、画面表示内容を見え難くする機能が提案されている。 Therefore, in order to prevent others from peeping at information and to protect privacy, as described in Japanese Patent Application Laid-Open No. 2004-26496 “Peeping Prevention Tool” etc. Attaching a film sheet (privacy sheet), described in Japanese Patent Application Laid-Open No. 2001-134413 “Information Display Device”, Japanese Patent Application Laid-Open No. 2007-121969, “Information Processing Device and Control Method Therefor”, etc. As described above, a function that makes it difficult to see the screen display content has been proposed.
前述したように、従来の携帯電話等の携帯機器においては、画面表示した情報を他人に覗き見されないようにするために、視野角を狭くするフィルムシートを表示画面上に貼付したり、あるいは、ユーザの操作により、画面表示内容を見え難くしたりする機能が提案されている。 As described above, in a portable device such as a conventional mobile phone, a film sheet that narrows the viewing angle is pasted on the display screen in order to prevent others from peeping at information displayed on the screen, or A function has been proposed that makes it difficult to see the screen display contents by a user operation.
しかし、フィルムシートは、他人からの覗き見を防止するだけではなく、携帯電話等の携帯機器のユーザ本人にも、視野角の制約が伴い、不利益が生じてしまうという問題がある。また、画面表示内容を見え難くするというユーザ操作についても、ユーザが周囲の状況を把握して、見え難くする設定を人為的に行うことが必要であり、設定し忘れが発生し易く、他人から覗き見をされるリスクが高いという問題がある。 However, the film sheet not only prevents peeping from others, but also has a problem that the user himself / herself of a portable device such as a mobile phone is disadvantageous due to restrictions on the viewing angle. Also, for user operations that make it difficult to see the screen display contents, it is necessary for the user to know the surrounding situation and make settings that make it difficult to see, and it is easy to forget to set, and it is easy for others to There is a problem that the risk of peeping is high.
（本発明の目的）
本発明は、かかる事情に鑑みてなされたものであり、画面表示部を有する携帯機器や情報表示装置において、周囲に居る他人の視線を監視して、他人から覗き見されるリスクがあると判断した場合、他人から覗き見されないような設定を自動的に行う携帯機器、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムを提供することを、その目的としている。
(Object of the present invention)
The present invention has been made in view of such circumstances, and in mobile devices and information display devices having a screen display unit, it is determined that there is a risk of being peeped by others by monitoring the gaze of others around it. It is an object of the present invention to provide a portable device, an information display device, a privacy protection method, and a privacy protection program that automatically perform settings that prevent others from peeping.
前述の課題を解決するため、本発明による携帯機器、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムは、主に、次のような特徴的な構成を採用している。 In order to solve the above-described problems, the portable device, the information display device, the privacy protection method, and the privacy protection program according to the present invention mainly adopt the following characteristic configuration.
（１）本発明による携帯機器は、周辺の状況を撮影する撮像部と各種情報を画面表示する画面表示部とを少なくとも備えた携帯機器であって、前記撮像部によって撮影された撮影映像を解析し、当該携帯機器の前記画面表示部の画面に視線を向けている１ないし複数の他人が当該携帯機器のユーザ本人の周辺に存在していることを検知した場合に、前記他人の視線の個数およびそれぞれの視線方向の角度を抽出する視線監視処理部と、該視線監視処理部が抽出した前記他人の視線の個数や視線方向の角度に関する情報に基づいて、前記画面表示部の画面に表示する表示情報に対して前記他人からは該表示情報を読み取ることが不可能となるフィルタ処理を施すフィルタ制御処理部とを少なくとも備えてなることを特徴とする。 (1) A mobile device according to the present invention is a mobile device including at least an imaging unit that captures a surrounding situation and a screen display unit that displays various information on a screen, and analyzes a captured image captured by the imaging unit. When it is detected that one or more other persons who are looking at the screen of the screen display unit of the portable device are present around the user of the portable device, the number of the other person's lines of sight And a line-of-sight monitoring processing unit for extracting the angle of each line-of-sight direction, and displaying on the screen of the screen display unit based on information on the number of other people's lines of sight and the angle of the line-of-sight direction extracted by the line-of-sight monitoring processing unit It is characterized by comprising at least a filter control processing unit that performs a filter process that makes it impossible for the other person to read the display information with respect to the display information.
（２）本発明による情報表示装置は、周辺の状況を撮影する撮像部と各種情報を画面表示する画面表示部とを少なくとも備えた情報表示装置であって、前記撮像部によって撮影された撮影映像を解析し、当該携帯機器の前記画面表示部の画面に視線を向けている１ないし複数の他人が当該携帯機器のユーザ本人の周辺に存在していることを検知した場合に、前記他人の視線の個数およびそれぞれの視線方向の角度を抽出する視線監視処理部と、該視線監視処理部が抽出した前記他人の視線の個数や視線方向の角度に関する情報に基づいて、前記画面表示部の画面に表示する表示情報に対して前記他人からは該表示情報を読み取ることが不可能となるフィルタ処理を施すフィルタ制御処理部とを少なくとも備えてなることを特徴とする。 (2) An information display device according to the present invention is an information display device including at least an imaging unit that captures a surrounding situation and a screen display unit that displays various types of information on a screen, and is a captured image captured by the imaging unit. And the line of sight of the other person is detected when it is detected that one or more other persons who are looking at the screen of the screen display unit of the portable device exist around the user of the portable device. A line-of-sight monitoring processing unit that extracts the number of each and the angle of each line-of-sight direction, and a screen of the screen display unit based on information on the number of eyes of the other person and the angle of the line-of-sight direction extracted by the line-of-sight monitoring processing unit It is characterized by comprising at least a filter control processing unit that performs a filtering process that makes it impossible for the other person to read the display information with respect to the display information to be displayed.
（３）本発明によるプライバシー保護方法は、周辺の状況を撮影する撮像部と各種情報を画面表示する画面表示部とを少なくとも備えた携帯機器または情報表示装置におけるプライバシー保護方法であって、前記撮像部によって撮影された撮影映像を解析し、当該携帯機器の前記画面表示部の画面に視線を向けている１ないし複数の他人が当該携帯機器のユーザ本人の周辺に存在していることを検知した場合に、前記他人の視線の個数およびそれぞれの視線方向の角度を抽出する視線監視処理ステップと、該視線監視処理ステップにて抽出した前記他人の視線の個数や視線方向の角度に関する情報に基づいて、前記画面表示部の画面に表示する表示情報に対して前記他人からは該表示情報を読み取ることが不可能となるフィルタ処理を施すフィルタ制御処理ステップとを少なくとも有してなることを特徴とする。 (3) A privacy protection method according to the present invention is a privacy protection method in a portable device or an information display device including at least an imaging unit that captures a surrounding situation and a screen display unit that displays various types of information on a screen. Analyzing the captured video imaged by the unit, it is detected that one or more other people who are looking at the screen of the screen display unit of the portable device are present around the user of the portable device A line-of-sight monitoring process step for extracting the number of eyes of the other person and the angle of each line-of-sight direction, and information on the number of eyes of the other person and the angle of the line-of-sight direction extracted in the line-of-sight monitoring process step The display information displayed on the screen of the screen display unit is subjected to a filtering process that makes it impossible for the other person to read the display information. And a filter control process step characterized by comprising at least a.
（４）本発明によるプライバシー保護プログラムは、少なくとも前記（３）に記載のプライバシー保護方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする。 (4) The privacy protection program according to the present invention is characterized in that at least the privacy protection method described in (3) is implemented as a program executable by a computer.
本発明の携帯機器、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムによれば、以下のような効果を奏することができる。 According to the portable device, the information display device, the privacy protection method, and the privacy protection program of the present invention, the following effects can be obtained.
第１に、携帯電話等の携帯機器やＰＣ等の情報表示装置の画面を他人に覗き見される状況が発生した場合、当該携帯機器や当該情報表示装置を操作するユーザ本人が意識することなく、該画面の表示情報に対するフィルタ処理を自動的に施すので、該画面に画面表示される表示情報を他人に覗き見されて読み取られることがなく、表示情報のプライバシーを保護することができる。 First, when a situation occurs in which the screen of an information display device such as a mobile device such as a mobile phone or a PC is seen by another person, the user who operates the mobile device or the information display device is not aware of it. Since the filtering process is automatically performed on the display information on the screen, the display information displayed on the screen is not read by someone else and read, and the privacy of the display information can be protected.
第２に、携帯電話等の携帯機器やＰＣ等の情報表示装置の画面を他人に覗き見される状況が発生した場合に、該画面の表示情報にフィルタ処理を自動的に施すので、当該携帯機器や当該情報表示装置を操作するユーザ本人に対して、他人が覗き見していることを直ちに通知することができる。 Second, when a situation occurs in which the screen of an information display device such as a mobile device such as a mobile phone or a PC is seen by another person, the display information on the screen is automatically filtered, so that the mobile It is possible to immediately notify the user who operates the device or the information display device that another person is peeping.
以下、本発明による携帯機器、情報表示装置、プライバシー保護方法およびプライバシー保護プログラムの好適な実施形態について添付図を参照して説明する。なお、以下の説明においては、本発明による携帯機器の一例である携帯電話およびそのプライバシー保護方法について説明するが、携帯機器ではなく、ＰＣ（Personal Computer）やＡＴＭ（Automated Teller Machine：現金自動預け払い機）等の画面表示部を有する情報表示装置についても、広く適用することが可能である。 Preferred embodiments of a mobile device, an information display device, a privacy protection method, and a privacy protection program according to the present invention will be described below with reference to the accompanying drawings. In the following description, a mobile phone which is an example of a mobile device according to the present invention and a privacy protection method thereof will be described. However, not a mobile device, but a PC (Personal Computer) or ATM (Automated Teller Machine) The present invention can also be widely applied to information display devices having a screen display unit such as a machine.
また、かかるプライバシー保護方法をコンピュータにより実行可能なプライバシー保護プログラムとして実施するようにしても良いし、あるいは、プライバシー保護プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。なお、携帯機器としては、携帯電話のみならず、ＰＨＳ（Personal Handy-Phone System）端末、ＰＤＡ（Personal Digital Assistants）端末、ノートＰＣ等、画面表示部を有する携帯機器であれば如何なる端末であっても適用することができる。 Further, it goes without saying that this privacy protection method may be implemented as a privacy protection program that can be executed by a computer, or the privacy protection program may be recorded on a computer-readable recording medium. . Note that the mobile device is not limited to a mobile phone, but any terminal that has a screen display unit, such as a PHS (Personal Handy-Phone System) terminal, a PDA (Personal Digital Assistants) terminal, and a notebook PC. Can also be applied.
（本発明の特徴）
本発明の実施形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、携帯電話等の携帯機器やＰＣ等の情報表示装置に搭載したカメラを利用して、当該携帯機器や当該情報表示装置の周辺の状況を撮影することにより、周辺に存在する他人の視線を検知し、検知した結果に応じて、当該携帯機器や当該情報表示装置の画面に表示している表示情報を、当該携帯機器や当該情報表示装置のユーザ本人以外の他人には見え難くして、表示情報のプライバシー保護を行うことを可能とすることを主要な特徴としている。
(Features of the present invention)
Prior to the description of the embodiments of the present invention, an outline of the features of the present invention will be described first. The present invention uses a camera mounted on a mobile device such as a mobile phone or an information display device such as a PC to capture the situation of the surroundings of the mobile device or the information display device, so The line of sight is detected, and the display information displayed on the screen of the portable device or the information display device is made difficult to be seen by anyone other than the user of the portable device or the information display device according to the detected result. The main feature is that it is possible to protect the privacy of displayed information.
例えば、携帯電話の場合、携帯電話に搭載のカメラを用いて、当該携帯電話を操作しているユーザ本人の周辺の状況（特に、ユーザ本人の背後の状況）を常に撮影し、撮影した映像について、顔認識処理を行うことによって、当該携帯電話を操作しているユーザ本人の周辺にどれくらいの他人が居て、その中に、当該携帯電話の画面に視線を向けている人が存在しているか否かを判別する。ここで、当該携帯電話の画面に視線を向けている他人が存在していると判別した場合（すなわち、当該携帯電話の画面に視線を向けている他人を検知した場合）には、検知した他人の視線の個数およびその視線方向の角度に応じた適切なフィルタ処理方法を選択して、画面表示しようとする表示情報に対してフィルタ制御処理を自動的に実施することにより、これらの他人に覗き見されないような適切な表示効果を表示情報に施すことを、主要な特徴としている。 For example, in the case of a mobile phone, a camera mounted on the mobile phone is used to constantly shoot the situation around the user who is operating the mobile phone (especially, the situation behind the user), and the captured video How many others are around the user who is operating the mobile phone by performing face recognition processing, and there are people who are looking at the screen of the mobile phone Determine whether or not. Here, when it is determined that there is another person who is looking at the screen of the mobile phone (that is, when another person who is looking at the screen of the mobile phone is detected), the detected other person By selecting the appropriate filter processing method according to the number of eyes and the angle of the eye direction, the filter control process is automatically performed on the display information to be displayed on the screen, so that other people can look into them. The main feature is to give the display information an appropriate display effect that cannot be seen.
而して、周辺に存在する他人に当該携帯電話の画面の表示内容を覗き見されることを自動的に防止することができ、当該携帯電話のユーザ本人は、自身で周辺に気を配る必要がなく、表示内容のプライバシーを確実に保護することが可能である。 Thus, it is possible to automatically prevent the other person in the vicinity from peeping at the display content of the mobile phone screen, and the mobile phone user himself / herself needs to pay attention to the surrounding area. It is possible to securely protect the privacy of the displayed content.
また、場合によっては、当該携帯電話の画面に表する情報がプライバシーの保護を必要とする情報であるか否かに応じて、他人に覗き見されないような適切な表示効果を画面の表示情報に自動的に施す処理を実施するか否かを決定するようにしても良い。かかる場合には、当該携帯電話において、画面に表示する情報の属性を自動的に判別する機能を備えるようにしても良いし、あるいは、当該携帯電話のユーザ本人からのボタン操作によって、プライバシーの保護を必要とする情報を表示しようとしているか否かを識別するようにしても良い。 In some cases, depending on whether or not the information displayed on the screen of the mobile phone is information that requires privacy protection, the display information on the screen has an appropriate display effect that cannot be seen by others. You may make it determine whether the process performed automatically is implemented. In such a case, the mobile phone may be provided with a function of automatically determining attributes of information displayed on the screen, or privacy protection is provided by a button operation from the user of the mobile phone. It may be possible to identify whether or not information that needs to be displayed is displayed.
（本発明の実施形態）
本実施形態においては、前述したように、本発明に係る携帯機器、情報表示装置の一例として、携帯電話を例にとって、図面を用いて詳細に説明する。まず、図１を用いて、携帯電話の構成を説明する。図１は、本発明に係る携帯機器の一例である携帯電話の外観を説明する構成図である。
(Embodiment of the present invention)
In the present embodiment, as described above, a mobile phone will be described as an example of the mobile device and the information display device according to the present invention, and will be described in detail with reference to the drawings. First, the configuration of a mobile phone will be described with reference to FIG. FIG. 1 is a configuration diagram illustrating the appearance of a mobile phone which is an example of a mobile device according to the present invention.
図１に示す携帯電話１は、携帯電話１の表面に、当該携帯電話１の操作を行うユーザ本人の周辺の状況（特にユーザ本人の背後を含む状況）を撮影することが可能な撮像部となるカメラ２と、ユーザの操作に応じた各種の情報を画面表示する画面表示部となる表示装置３とを少なくとも備えている。なお、カメラ２は、表示装置３の画面と同じ方向の周辺の状況を撮影するように、表示装置３の画面と同じ表面に配置されている。また、携帯電話１内のＣＰＵ（Central Processing Unit）の処理機能として、視線監視処理部４とフィルタ制御処理部５とが少なくとも内蔵されている。
The mobile phone 1 shown in FIG. 1 has an imaging unit capable of shooting on the surface of the mobile phone 1 the situation around the user who operates the mobile phone 1 (especially the situation including the back of the user). And at least a
視線監視処理部４は、携帯電話１に搭載されているカメラ２によって常時撮影されている撮影映像の顔認識処理を行うことによって、撮影映像に含まれている人物を認識し、認識した人物それぞれについて、当該携帯電話１のユーザ本人以外の他人の眼球の位置を確認することにより、当該携帯電話１の表示装置３の画面に視線を向けているか否かを判別して、表示装置３の画面に視線を向けていると判別した他人の視線の個数および視線方向の角度を抽出する処理を行う。
The line-of-sight
また、フィルタ制御処理部５は、視線監視処理部４の抽出結果に基づいて、表示装置３の画面に表示した表示情報を他人からは見え難くするためのフィルタ処理を施すことによって、表示情報のプライバシー保護を実現するための処理を行う。かかるフィルタ処理としては、例えば、表示装置３に画面表示しようとする情報に対して画像処理を行うことによって、表示情報のコントラストや彩度等を制御したり、あるいは、画面表示しようとする情報に対して他の画像を重ね合わせて、表示情報の背景との濃淡差となるコントラスト比を制御したり、あるいは、表示装置３の表示視野角を狭くするように制御した状態で表示情報を画面表示したりする。
Further, the filter
図１において、携帯電話１のユーザ本人が当該携帯電話１の操作を行っている間は、カメラ２は、ユーザ本人の周辺の状況（ユーザ本人の背後の状況を含めて）を常時撮影している。そして、撮影した映像を当該携帯電話１内の視線監視処理部４において常時解析処理し、ユーザ本人の周辺に居る他人を検出するとともに、検出した他人それぞれの眼球位置の認識を行うことによって、当該携帯電話１の表示装置３に視線を向けている他人が周辺に存在しているか否かを判別している。
In FIG. 1, while the user of the mobile phone 1 is operating the mobile phone 1, the
カメラ２の撮影映像の画像解析結果から、当該携帯電話１の表示装置３の画面に視線を向けている他人が存在していることが判別された場合、携帯電話１のフィルタ制御処理部５において、表示装置３に表示情報を画面表示する際に、表示装置３の画面に向かっている他人の視線の個数や視線方向の角度に基づいて、例えば、表示情報自体に画像処理を施したり、表示情報の背景に網掛けや模様等の画像を付加したり、表示装置３の視野角が狭くなるように制御したりする等の表示効果を自動的に施して、表示情報を画面表示する。
When it is determined from the image analysis result of the video captured by the
而して、ユーザ本人が何ら意識することなく、画面に正対して近い位置に居る当該携帯電話１のユーザ本人にのみ表示情報を視認することができるようにし、画面から少し離れていたり、画面に正対していない場所に居たりする他人からは表示情報を見え難い状態に自動的に設定する。 Thus, the display information can be seen only by the user of the mobile phone 1 who is in a position close to the screen without being conscious of the user himself, The display information is automatically set in such a way that it is difficult for others who are not in front of the camera to see the display information.
かくのごとき処理の概要について、図２を用いてさらに説明する。図２は、図１に示す携帯電話１における処理概要について説明するための説明図であり、携帯電話１のカメラ２によって撮影した撮影映像と表示装置３に画面表示される表示情報について、具体例を示している。
The outline of the process will be further described with reference to FIG. FIG. 2 is an explanatory diagram for explaining an outline of processing in the mobile phone 1 shown in FIG. 1, and a specific example of a captured image taken by the
図２に示す具体例においては、カメラ２によって撮影した撮影映像２１には、当該携帯電話１のユーザ本人の他に、人物Ａ、人物Ｂ、人物Ｃの３人が撮影されており、かつ、ユーザ本人以外に、人物Ａ、人物Ｂ、人物Ｃの３人のいずれも、当該携帯電話１の表示装置３の画面に視線を向けている場合を示している。一方、表示装置３に画面表示されている表示情報３１は、例えばプライバシーを必要とする属性を有する情報「ＡＢＣ ×××…× ×××…×」であった場合を示している。
In the specific example shown in FIG. 2, in the captured
カメラ２の撮影結果を常時解析している携帯電話１内の視線監視処理部４において、撮影映像２１に示すように、顔認識処理の結果、ユーザ本人の周辺に存在している他人として、人物Ａ、人物Ｂ、人物Ｃの３人が存在しており、それぞれの人物の眼球位置の認識処理の結果として、人物Ａ、人物Ｂ、人物Ｃの３人のいずれもが、当該携帯電話１の表示装置３の画面方向に視線を向けて、表示装置３の画面の表示情報３１を覗き見している可能性があると判別する。さらに、かかる場合には、表示装置３の画面方向に視線を向けている視線の個数（この場合、６個）と、それぞれの視線方向の画面に対する角度とに関する情報を出力する。
In the line-of-sight
視線監視処理部４においてかくのごとき監視結果が出力された場合、フィルタ制御処理部５においては、表示情報３１を画面表示する際に、視線監視処理部４における監視結果に基づいて、表示装置３の画面に視線を向けている人物Ａ、人物Ｂ、人物Ｃの３人のいずれからも、表示情報３１が見え難くなるような表示効果３２を選択して、選択した表示効果３２を自動的に施した状態で、表示情報３１を画面表示する。而して、当該携帯電話１のユーザ本人が何ら操作を行うことなく、当該携帯電話１のユーザ本人以外の他人からは表示情報３１を覗き見することができない状態に自動的に設定されることになり、表示情報３１に関するプライバシーを保護することが可能になる。
When such a monitoring result is output in the line-of-sight
次に、図１に示す携帯電話１の動作について、図３に示すフローチャートを用いてさらに詳細に説明する。図３は、本発明に係る携帯機器の一例である携帯電話１の動作の一例を説明するためのフローチャートであり、本発明に係るプライバシー保護方法の一例を説明している。なお、図３（Ａ）は、携帯電話１のカメラ２によって撮影した撮影映像から周辺に居る人物の視線を検出する視線監視処理部４の動作の一例を示し、図３（Ｂ）は、図３（Ａ）における視線監視処理部４の処理結果に基づいて、携帯電話１の表示装置３に画面表示する際の表示効果を施すフィルタ制御処理部５の動作の一例を示している。
Next, the operation of the mobile phone 1 shown in FIG. 1 will be described in more detail with reference to the flowchart shown in FIG. FIG. 3 is a flowchart for explaining an example of the operation of the mobile phone 1 which is an example of the mobile device according to the present invention, and illustrates an example of the privacy protection method according to the present invention. FIG. 3A shows an example of the operation of the line-of-sight
まず、図３（Ａ）の視線監視処理部４のフローチャートにおいては、携帯電話１のカメラ２によって、当該携帯電話１を操作するユーザ本人の周辺の状況を常時撮影し、撮影映像として取得する（ステップＳ１）。図３（Ａ）のステップＳ１に示す撮影映像の例においては、当該携帯電話１の周辺の状況として、周辺に存在する人物について、当該携帯電話１のユーザ本人の映像を除いた映像情報を示しており、ユーザ本人以外に３人の人物が写っており、３人のいずれも、当該携帯電話１の表示装置３の画面に向かって視線を向けている場合を例示している。
First, in the flowchart of the line-of-sight
次に、ステップＳ１において取得した撮影映像から顔認識処理によって、３人の人物の顔を認識するとともに、それぞれの人物の眼球の位置を認識して、３人の人物それぞれの視線の抽出処理を行う（ステップＳ２）。図３（Ａ）のステップＳ２に示す撮影映像の例においては、３人のいずれも、両方の目が当該携帯電話１の表示装置３の画面に向かって視線を向けていることを検出する。つまり、当該携帯電話１の表示装置３の画面には、合計６個の視線が向いていることを抽出する。さらに、表示装置３の画面に向いているそれぞれの視線の角度を算出する。
Next, the faces of the three persons are recognized by the face recognition process from the captured image acquired in step S1, and the eyeball positions of the three persons are recognized, and the line of sight of each of the three persons is extracted. Perform (step S2). In the example of the captured image shown in step S2 of FIG. 3A, all three people detect that both eyes are looking toward the screen of the
なお、視線の検出方法については、例えば、特開２００５−１４１３１８号公報「輪郭判断装置および輪郭表示装置」や特開２００７−２１３３７６号公報「顔部位判定方法及びその装置」等に記載されている従来の顔認識処理や視線認識処理の技術を適用すれば良い。 The line-of-sight detection method is described in, for example, Japanese Patent Application Laid-Open No. 2005-141318 “Contour Determination Device and Contour Display Device” and Japanese Patent Application Laid-Open No. 2007-213376 “Face Region Determination Method and Device”. Conventional techniques of face recognition processing and line-of-sight recognition processing may be applied.
しかる後、視線監視処理部４の処理結果として、抽出した視線の個数およびそれぞれの視線方向の表示装置３への角度に関する情報を、図３（Ｂ）に動作の一例を示すフィルタ制御処理部５に対して通知する（ステップＳ３）。
Thereafter, as a processing result of the line-of-sight
図３（Ａ）に示す動作を行った視線監視処理部４の処理結果を受け取ると、図３（Ｂ）のフィルタ制御処理部５のフローチャートにおいては、まず、表示装置３の画面に向いている他人の視線（ユーザ本人以外の他人の視線）があるか否かを判別する（ステップＳ１１）。表示装置３の画面に向いている他人の視線が存在していない場合には（ステップＳ１１のＮＯ）、表示装置３の表示情報を他人に覗き見されることはないので、画面に表示する表示情報に対してフィルタ処理を一切施すことなく、そのまま、視認し易い適切なコントラストを有する表示情報を表示装置３に画面表示して、ユーザ本人に通知する（ステップＳ１２）。
When the processing result of the line-of-sight
一方、表示装置３の画面に向いている他人の視線が存在している場合には（ステップＳ１１のＹＥＳ）、他人の視線の個数およびそれぞれの視線の角度に基づいて、他人それぞれからは見え難くなるようなフィルタ処理を選択して、選択したフィルタ処理を表示情報に設定した状態にして、表示情報を表示装置３に画面表示する（ステップＳ１３）。これにより、ユーザ本人のみが表示情報を視認することができるものの、たとえ、他人が表示装置３の画面を覗き見していたとしても、他人からは画面表示されている表示情報を読み取ることが不可能な状態になり、表示情報のプライバシーを保護することができる。
On the other hand, when there is a line of sight of another person facing the screen of the display device 3 (YES in step S11), it is difficult for each other to see based on the number of lines of sight of the other person and the angle of each line of sight. Such a filter process is selected, the selected filter process is set in the display information, and the display information is displayed on the screen of the display device 3 (step S13). As a result, only the user himself / herself can view the display information, but even if another person is peeping at the screen of the
次に、覗き見しようとする他人からは表示情報が見え難くなるフィルタ処理の一例について、図４を用いて説明する。図４は、本発明に係る携帯機器の一例である携帯電話１の表示装置３に表示情報を表示する際のフィルタ処理の一例を説明するための説明図であり、画面に正対し、かつ、近い位置に居るユーザ本人に対しては、表示情報の視認性は良いものの、覗き見しようとする周辺の他人には見え難くなるフィルタ処理の一例を示している。
Next, an example of a filtering process that makes it difficult for others who are looking into the display information to see the display information will be described with reference to FIG. FIG. 4 is an explanatory diagram for explaining an example of the filtering process when displaying the display information on the
図４において、図４（Ａ）は、フィルタ制御処理を実施する前の通常の表示情報を画面表示している一例として、カレンダ情報を画面表示している場合を示しており、コントラストが強く、画面から少し離れてもカレンダ情報を明確に視認することが可能な状態で表示されている。図４（Ｂ）は、図４（Ａ）のような通常の表示情報に対するフィルタ制御処理として、覗き見している視線の個数や視線角度に応じて該当する適切なフィルタ処理を選択して、選択したフィルタ処理を表示情報に掛けることによって、表示情報の濃淡すなわちコントラストを制御する画像変換処理を施して、表示情報を覗き見しようとする周辺の他人からは、表示情報を見え難くする例を示している。 In FIG. 4, FIG. 4A shows a case where calendar information is displayed on the screen as an example of normal display information before performing the filter control process, and the contrast is strong. The calendar information is displayed in a state where it can be clearly visually recognized even if it is slightly away from the screen. In FIG. 4B, as a filter control process for the normal display information as shown in FIG. 4A, an appropriate filter process corresponding to the number of lines of sight and the line-of-sight angle is selected. An example of making display information difficult to see from other people who want to peek at display information by applying image conversion processing that controls the contrast of display information, that is, contrast, by applying the selected filtering process to the display information Show.
また、図４（Ｂ）は、図４（Ａ）のような通常の表示情報に対するフィルタ制御処理として、覗き見している視線の個数や視線角度に応じて該当する適切な色彩や模様の画像を選択して、選択した画像を表示情報と重ね合わせることによって、背景と表示情報との濃淡差すなわちコントラスト比を制御して、表示情報を覗き見しようとする周辺の他人からは、表示情報を見え難くする例を示している。また、図４（Ｃ）は、図４（Ａ）のような通常の表示情報に対するフィルタ制御処理として、覗き見している視線の個数や視線角度に応じて、表示情報を視認することができる視野角を制御することによって、表示情報を覗き見しようとする周辺の他人からは、表示情報を見え難くする例を示している。 FIG. 4B shows an image of appropriate colors and patterns corresponding to the number of lines of sight and the line-of-sight angle as filter control processing for normal display information as shown in FIG. By selecting and overlaying the selected image with the display information, the contrast difference between the background and the display information, that is, the contrast ratio, is controlled, and other people in the vicinity who want to peek at the display information receive the display information. An example of making it difficult to see. In FIG. 4C, as the filter control processing for the normal display information as shown in FIG. 4A, the display information can be visually recognized according to the number of lines of sight and the line-of-sight angle. An example is shown in which the display information is difficult to be seen by other people in the vicinity who are looking into the display information by controlling the viewing angle.
ここで、図４（Ｃ）の視野角の制御については、携帯電話１の表示装置３に備えられている視野角制御用ハードウェアに対して制御指令を出力することによって実施される。また、図４（Ｂ）の画像と表示情報との重ね合わせ処理についても、ソフトウェア処理のみに限るものではなく、携帯電話１の表示装置３に備えられている重ね合わせ制御用ハードウェアに対して制御指令を出力することによって実施されるようにしても良い。
Here, the viewing angle control in FIG. 4C is performed by outputting a control command to the viewing angle control hardware provided in the
なお、図４には図示していないが、表示情報に対するフィルタ処理の異なる例として、例えば、画面表示しようとする表示情報の表示装置３における表示位置や表示サイズを、覗き見している視線の個数や視線角度に応じて、変更するように制御するようにしても良い。
Although not shown in FIG. 4, as a different example of the filtering process for the display information, for example, the display position and the display size of the display information to be displayed on the
以上のようなプライバシー保護方法を実施することによって、たとえ、第三者が携帯電話１の表示装置３の表示情報を覗き見しているような状況が発生しても、表示装置３に画面表示する表示情報に他人からは見え難くなるようなフィルタ処理を自動的に施すことが可能であり、携帯電話１のユーザ本人が意識することなく、表示情報のプライバシーを確実に保護することができる。
By implementing the privacy protection method as described above, even if a situation occurs in which a third party is peeping at the display information on the
なお、前述したように、他人から覗き見される恐れがない状況で使用している場合には、フィルタ処理を施すことなく、通常の画面表示方法によって表示情報を良好なコントラスト状態で画面表示するので、ユーザ本人にとって、より見易い状態で表示情報を視認することができる。 In addition, as described above, when used in a situation where there is no fear of being peeped by others, display information is displayed on the screen in a good contrast state by a normal screen display method without performing a filtering process. Therefore, it is possible to visually recognize the display information in a state that is easier to see for the user himself / herself.
また、前述のようなフィルタ処理を施す場合は、プライバシーを保護する必要がある情報を画面表示する場合に限るようにしても良い。つまり、表示情報を画面表示しようとする際に、画面表示しようとする情報の属性を自動的に確認することによって、プライバシー保護の対象となる情報か否かを判別し、プライバシー保護の対象であると判定した場合に、表示装置３に対する他人の視線を確認して、他人の視線の個数や視線角度に応じて、フィルタ処理を適宜実施するようにしても良い。あるいは、場合によっては、プライバシーの保護を必要とする情報を画面表示しようとしていることをユーザ本人が指示するためのプライバシー保護ボタンを携帯電話１の操作部に備えるようにし、携帯電話１のユーザ本人によって、該プライバシー保護ボタンの操作がなされていることを検知した際に、表示情報を確認することなく、強制的に、他人の視線の個数や視線方向の角度に応じたフィルタ処理を施すようにしても良い。
Further, when the filtering process as described above is performed, it may be limited to displaying information that needs to protect privacy on the screen. In other words, when trying to display the display information on the screen, the attribute of the information to be displayed on the screen is automatically checked to determine whether the information is subject to privacy protection. If it is determined, the other person's line of sight with respect to the
（実施形態の効果の説明）
以上に詳細に説明したように、本実施形態においては、次のような効果を得ることができる。
(Explanation of effect of embodiment)
As described in detail above, the following effects can be obtained in the present embodiment.
第１に、携帯電話１の表示装置３の画面を他人に覗き見される状況が発生した場合、携帯電話１を操作するユーザ本人が意識することなく、表示装置３に画面表示する表示情報に対するフィルタ処理を自動的に施すので、携帯電話１の表示装置３の画面に画面表示される表示情報を他人に覗き見されて読み取られることがなく、表示情報のプライバシーを保護することができる。
First, when a situation occurs in which the screen of the
第２に、携帯電話１の表示装置３を他人に覗き見される状況が発生した場合に、表示装置３の画面に画面表示される表示情報にフィルタ処理を自動的に施すので、携帯電話１を操作するユーザ本人に対して、他人が覗き見していることを直ちに通知することができる。
Secondly, when a situation occurs in which the
以上、本発明の好適な実施形態の構成を説明した。しかし、かかる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。 The configuration of the preferred embodiment of the present invention has been described above. However, it should be noted that such embodiments are merely examples of the present invention and do not limit the present invention in any way. Those skilled in the art will readily understand that various modifications and changes can be made according to a specific application without departing from the gist of the present invention.
１ 携帯電話
２ カメラ
３ 表示装置
４ 視線監視処理部
５ フィルタ制御処理部
２１ 撮影映像
３１ 表示情報
３２ 表示効果
DESCRIPTION OF SYMBOLS 1
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010277995A JP2012129701A (en) | 2010-12-14 | 2010-12-14 | Portable device, information display device, privacy protection method and privacy protection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010277995A JP2012129701A (en) | 2010-12-14 | 2010-12-14 | Portable device, information display device, privacy protection method and privacy protection program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012129701A true JP2012129701A (en) | 2012-07-05 |
Family
ID=46646295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010277995A Withdrawn JP2012129701A (en) | 2010-12-14 | 2010-12-14 | Portable device, information display device, privacy protection method and privacy protection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012129701A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015036925A (en) * | 2013-08-15 | 2015-02-23 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
| WO2016016997A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Mobile information terminal, method for controlling mobile information terminal, and communication system |
| JP2016031650A (en) * | 2014-07-29 | 2016-03-07 | みこらった株式会社 | Electronic device, method of controlling display of display screen in electronic device, and program |
| JP2016053623A (en) * | 2014-09-03 | 2016-04-14 | 日本電気株式会社 | Screen anti-peeping device, screen anti-peeping method, and screen anti-peeping program |
| US9871664B2 (en) | 2014-10-20 | 2018-01-16 | Samsung Electronics Co., Ltd. | Display securing method and apparatus |
| JP2018084835A (en) * | 2018-01-09 | 2018-05-31 | みこらった株式会社 | Electronic apparatus, and display control method and program of display screen of electronic apparatus |
| JP2019109521A (en) * | 2019-01-29 | 2019-07-04 | みこらった株式会社 | Electronic apparatus, display control method for display screen of electronic apparatus, and program |
| JP2019159923A (en) * | 2018-03-14 | 2019-09-19 | 株式会社東芝 | Display apparatus |
| CN113348457A (en) * | 2019-01-22 | 2021-09-03 | 摩根大通国家银行 | Method for protecting privacy on mobile communication device |
| CN114640813A (en) * | 2022-03-31 | 2022-06-17 | 维沃移动通信有限公司 | Peep-proof method, device, equipment and storage medium |
| WO2023032274A1 (en) * | 2021-08-31 | 2023-03-09 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and program |
-
2010
- 2010-12-14 JP JP2010277995A patent/JP2012129701A/en not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191730A (en) * | 2013-08-15 | 2019-01-11 | 富士施乐株式会社 | Information processing unit |
| JP2015036925A (en) * | 2013-08-15 | 2015-02-23 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
| JP2016031650A (en) * | 2014-07-29 | 2016-03-07 | みこらった株式会社 | Electronic device, method of controlling display of display screen in electronic device, and program |
| WO2016016997A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Mobile information terminal, method for controlling mobile information terminal, and communication system |
| JP2016053623A (en) * | 2014-09-03 | 2016-04-14 | 日本電気株式会社 | Screen anti-peeping device, screen anti-peeping method, and screen anti-peeping program |
| US9871664B2 (en) | 2014-10-20 | 2018-01-16 | Samsung Electronics Co., Ltd. | Display securing method and apparatus |
| JP2018084835A (en) * | 2018-01-09 | 2018-05-31 | みこらった株式会社 | Electronic apparatus, and display control method and program of display screen of electronic apparatus |
| JP2019159923A (en) * | 2018-03-14 | 2019-09-19 | 株式会社東芝 | Display apparatus |
| JP7102175B2 (en) | 2018-03-14 | 2022-07-19 | 株式会社東芝 | Display device |
| CN113348457A (en) * | 2019-01-22 | 2021-09-03 | 摩根大通国家银行 | Method for protecting privacy on mobile communication device |
| JP2019109521A (en) * | 2019-01-29 | 2019-07-04 | みこらった株式会社 | Electronic apparatus, display control method for display screen of electronic apparatus, and program |
| WO2023032274A1 (en) * | 2021-08-31 | 2023-03-09 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and program |
| CN114640813A (en) * | 2022-03-31 | 2022-06-17 | 维沃移动通信有限公司 | Peep-proof method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012129701A (en) | Portable device, information display device, privacy protection method and privacy protection program | |
| JP5433935B2 (en) | Screen display control method, screen display control method, electronic device, and program | |
| US10469830B2 (en) | Unauthorized viewer detection system and method | |
| KR101992306B1 (en) | Method for operating for camera an electronic device thereof | |
| JP2010128778A (en) | Information display device, peep prevention method for the information display device and peep prevention program | |
| US11410342B2 (en) | Method for adding special effect to video, electronic device and storage medium | |
| WO2014043620A1 (en) | Unauthorized viewer detection system and method | |
| EP1914991A2 (en) | Device having imaging function | |
| EP3617851A1 (en) | Information processing device, information processing method, and recording medium | |
| CN106874787B (en) | Image viewing method and mobile terminal | |
| US9197851B2 (en) | Apparatus and method for modulating images for videotelephony | |
| CN104238983B (en) | Control method and electronic equipment | |
| EP3040893B1 (en) | Display of private content | |
| US10438377B2 (en) | Method and device for processing a page | |
| JP2016144049A (en) | Image processing apparatus, image processing method, and program | |
| JP2009156948A (en) | Display control device, display control method, and display control program | |
| CN115344885B (en) | Display method, device and terminal | |
| CN112492103A (en) | Terminal peep-proof method and device and storage medium | |
| JP2008293191A (en) | Information terminal equipment, information display method, and its program | |
| WO2019058641A1 (en) | Electronic apparatus, program, control device, and control method | |
| CN115914721A (en) | Live broadcast picture processing method and device, electronic equipment and storage medium | |
| CN113891002B (en) | Shooting method and device | |
| JP2020123280A (en) | Image processor, method for processing image, and program | |
| US20230008255A1 (en) | Privacy protection for electronic devices in public settings | |
| JP5796052B2 (en) | Screen display control method, screen display control method, electronic device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131212 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20140415 |