JP7428390B2 - Display position movement instruction system within the display screen - Google Patents
Display position movement instruction system within the display screen Download PDFInfo
- Publication number
- JP7428390B2 JP7428390B2 JP2021082052A JP2021082052A JP7428390B2 JP 7428390 B2 JP7428390 B2 JP 7428390B2 JP 2021082052 A JP2021082052 A JP 2021082052A JP 2021082052 A JP2021082052 A JP 2021082052A JP 7428390 B2 JP7428390 B2 JP 7428390B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- display
- user
- screen
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000547 structure data Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 4
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示面内の表示位置移動指示システムに関するものである。 The present invention relates to a display position movement instruction system within a display surface.
表示に関する先願として、以下記述する。
特許文献１は、表示面内に複数のウィンドウ（画面）があり、重なっているときにおいて、下にあるウィンドウを一時上にもってきて処理し、再度、上にあったもので一時的に上でなくなったウィンドウを上に戻すなどのウィンドウの上下操作を容易にするとき、操作者の頭部の位置と表示面の位置範囲とウィンドウを対応させる定義を行うことで、座標範囲▲１▼では、ウィンドウ１が注目物体に、座標範囲▲２▼では、ウィンドウ２が注目物体に、座標範囲▲３▼では、ウィンドウ３が注目物体に、座標範囲▲４▼では、ウィンドウ４が注目物体に、して、表示面の一番前に出す指示を行うものである。頭部動作検出装置で検出した頭部の位置に対応した座標範囲が▲２▼では、ウィンドウ２が前面に出される処理が行われる。頭部動作検出装置は、頭部に付けた、磁気センサ、超音波センサ、ジャイロセンサ、光学センサで構成されるが、カメラで頭部の撮影でもよく、頭部の位置や角度を検出できればよい主旨が記述されている。頭部動作検出装置によって、頭部がどの座標範囲に向いているかを検出して、注目のウィンドウを特定し、前面にだす技術である。目的と技術内容が本願とは違うので当然であるが、本願の意図は、頭部の位置や角度を検出しても達成されない。また、これでは、不用意に見ている場合でもウィンドウが選出されてしまう欠点がある。
The prior application regarding labeling is described below.
特許文献２、特許文献３は、利用者の頭部に付けて使用するＨＭＤ（ヘッドマウントディスプレー）の画面の切り替え操作と画面のスクロール操作を行わせるものであるが、頭部の動きと頭部に付けなければならないＨＭＤの動きは当然一体になることを利用しているので、ＨＭＤに角速度センサ、加速度センサを設備して頭部の動作の角速度を検出する。検出される角速度の大きさに複数の閾値を定める。例えば、Ｔｈ １ ＝７０～８０°／ｓ 、Ｔｈ ２ ＝２５～３５°／ｓ、Ｔｈ３、Ｔｈ ４ ＝０°／ｓの近傍か、あるいは０°／ｓとするというようにし、閾値Ｔｈ １ は、利用者が画面の切り替え操作を指示し、閾値Ｔｈ ２ は、利用者 が画面のスクロール操作を指示する場合に利用する。
Ｔｈ １ と、Ｔｈ ２ とは、上下左右、それぞれの方向について、それぞれ所定の値が定められている。 Ｔｈ １ と、Ｔｈ ２ とは、上下左右のうち、頭部動作の容易な方向（ここでは、下方向と 右方向）には、それぞれの逆方向よりも大きな値が定められている。
閾値Ｔｈ ３ は、画面のスクロール処理を、閾値Ｔｈ ４ は画面の切り替え処理を終了させるために設けられる所定の値である。
ＨＭＤという特殊な装置に対応した手段であるが、ＨＭＤでない装置以外を対象にすると、角速度センサの設置は余分であり、更に、以下の大きな欠点がある。即ち、利用者は、頭部の動きを各閾値ＴＨを意識（複数の角速度の覚える必要がある）して曖昧な動きを回避しなければならず余分な注意をする必要があり、そうでないと、誤り動作をしてしまう。又、１回の動きから角速度で判断するため、１回の意図しない頭部の動きにより誤り判断になりやすい。特に、動作が速いゲーム画面をみるＨＭＤでは、居眠りも起こりにくいが、ＨＭＤでない場合での文章表示面を見ている場合を想定すると、一瞬の居眠りも起こりやすく、当然、その瞬間に意図しない頭部の動きがあり、それによる誤り動作を起こすことは明らかで、特許文献２、３の手段は、ＨＭＤ以外の装置では難しい、ＨＭＤならではの手段といえる。
Patent Document 2 and
Predetermined values are determined for
The
Although this method is compatible with a special device called an HMD, installing an angular velocity sensor is redundant when targeting devices other than an HMD, and furthermore, it has the following major drawbacks. In other words, the user must be aware of each threshold TH for head movement (need to memorize multiple angular velocities) to avoid ambiguous movements, and must be extra careful. , resulting in incorrect operation. Furthermore, since a judgment is made based on the angular velocity based on a single movement, a single unintended movement of the head can easily lead to an incorrect judgment. In particular, it is difficult to fall asleep on an HMD when viewing a fast-moving game screen, but if you assume that you are looking at a text display screen on a non-HMD, you are more likely to doze off for a moment, and of course, at that moment, you may fall asleep unintentionally. It is clear that there is movement of the parts, which causes erroneous operation, and the means of
利用者の身体と別体に利用者の前にある表示装置では、表示装置内の複数の表示ウィンドウの間で、手前に表示するウィンドウの切り替えや、ウィンドウ内の記述の上下左右の移動（スクロール）は、パーソナルコンピュータでは、マウスなどで指示し、パーソナルディジタルアシスタント（ＰＤＡ）では、タッチセンサを有する表示面を指で触れて操作して動作を指示していて極めて便利である。更に、声で指示することもでき、これも便利である。しかしながら、いつものは、この便利なやり方で良いが、この便利な装置も使用していると、時として、つい、「触らずに、指も使わずに、声も出さずに（静かに）」同じ指示をしたい場合がある。例えば、横臥状態、特に寝具の中で、スマートフォン等のＰＤＡを見ていると、指示のためにわざわざ腕を出したくない、机上に腕を載せ乍ら、机上のパーソナルコンピュータの表示面の文面を見ている場合に、腕を動かさないで、上記指示と動作ぐらいできないかと、横着にも思ってしまうことが多い。又、声でも指示も便利だが、傍に他人がいる場合は、声での指示はしたくない。このような要求には、特許文献の例を含め、先の例では、対応が出来ていないのが実情と思われる。 On a display device that is separate from the user's body and in front of the user, it is possible to switch between multiple display windows in the display device, or to move the description in the window up, down, left, or right (scroll). ) is extremely convenient because it is instructed by a mouse or the like on a personal computer, and by touching the display surface with a touch sensor with a finger on a personal digital assistant (PDA). Furthermore, you can give instructions by voice, which is also convenient. However, while this convenient method is usually fine, when using this convenient device, sometimes I find myself saying, ``without touching, without using fingers, without making a sound (quietly)'' ” Sometimes you may want to give the same instructions. For example, if you are looking at a PDA such as a smartphone while lying down, especially in bed, you may not want to stick your arm out to give instructions. When I watch it, I often find myself thinking that I can do the above instructions and actions without moving my arms. Also, it is convenient to give instructions by voice, but if there are other people nearby, you do not want to give instructions by voice. The reality is that the previous examples, including those in patent documents, do not seem to be able to meet such demands.
本願の課題は、利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面のスクロール操作を手指を使わず、容易な動作で、指示動作の誤りを排除して、カメラ以外の特別な手段を使わずに行うことのできる表示面内の表示位置移動指示システムを提供することである。 The problem of this application is to easily switch the screen and scroll the screen of a display device that is placed in front of the user separately from the user's body, without using hands or fingers, and to eliminate errors in instruction movements. An object of the present invention is to provide a display position movement instruction system within a display surface that can be performed without using any special means other than a camera.
以下請求項に沿い記述する。
請求項１記載の発明は、表示面内の表示位置移動指示システムであって、
利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面内のスクロール操作を手指を使わないで行うシステムであって、
前記表示装置は、表示内容を表示する表示手段と、表示内容構造データ格納手段１４０と、前記利用者の動きを検出する動き検出手段であるカメラと、前記カメラで常時取り込んだ画面内の前記利用者の顔面から特徴点を抽出する特徴点抽出手段と、
前記抽出した前記特徴点をもとに前記利用者の動きを判定する動き判定手段と、前記判定の結果により、前記表示内容構造データ格納手段の表示内容構造データを参照して、前記表示手段に表示された前記表示内容を移動し、又は、表示内容を表示するウィンドウを移動することを行う表示移動手段と、これら全ての動作を制御する制御手段と、を備え、
前記動き判定手段は、前記利用者の顔面の動きが、上下又は左右の動きの１回半又は２回の連続繰り返し、且つ、２秒以内、且つ、前記利用者の顔面の動きに対応する前記画面上での前記利用者が見ている視点間の距離が動き方向の画面幅の１／８以上である動きを単位にした判定の条件として、前記表示移動手段を駆動していることを特徴とする。
The following will be described in accordance with the claims.
The invention according to
A system that performs screen switching operations and scroll operations within a screen on a display device that is placed in front of a user separately from the user's body, without using hands or fingers,
The display device includes a display means for displaying display content, a display content structure data storage means 140, a camera serving as a motion detection means for detecting the movement of the user, and the use of the screen that is constantly captured by the camera. Feature point extraction means for extracting feature points from a person's face;
a motion determination means for determining the movement of the user based on the extracted feature points; and a motion determination means for determining the movement of the user based on the extracted feature points; comprising a display moving means for moving the displayed display content or moving a window displaying the display content, and a control means for controlling all these operations,
The movement determination means is configured to determine whether the movement of the user's face is one and a half or two consecutive repetitions of vertical or horizontal movement, within 2 seconds, and which corresponds to the movement of the user's face. The display moving means is driven as a condition for determination in units of movement in which the distance between the viewpoints viewed by the user on the screen is 1/8 or more of the screen width in the movement direction. shall be.
請求項２記載の発明は、請求項１記載の表示面内の表示位置移動指示システムにおいて、
前記判定の条件は、連続しない１回の顔面の動きは、前記駆動をしないで前記顔面の動きが無かったものとし、又は、前記単位の顔面の動きに最後に１回の顔面の動きが加わった場合、最後の１回の顔面の動きでは前記駆動をしないで顔面の動きは無かったものとすることを特徴とする。
The invention according to claim 2 is the display position movement instruction system within the display surface according to
The condition for the above judgment is that one non-consecutive facial movement is assumed to be the case where there is no facial movement without the driving, or one facial movement is added to the unit of facial movement at the end. In this case, in the last facial movement, the driving is not performed and it is assumed that there was no facial movement.
請求項３記載の発明は、請求項１又は請求項２に記載の表示面内の表示位置移動指示システムにおいて、前記判定条件の顔面の動き以外の意図的動きの付加の有無により、前記画面の切り替え操作と前記画面内の前記スクロール操作を区別したことを特徴とする。
The invention according to
以上の様に構成されているので、本発明による表示位置移動指示システムでは、手指や音声の指示に寄らずに容易に表示装置の画面の切り替え操作と画面のスクロール操作が行える。 As configured as described above, in the display position movement instruction system according to the present invention, it is possible to easily switch the screen of the display device and scroll the screen without relying on manual or voice instructions.
図１は、本発明にかかる表示位置移動指示システムの一実施態様を示す図である。
課題に示したように、利用者の身体と別体に利用者の前にある表示装置の画面の切り替え操作と画面のスクロール操作を手指を使わないで行うシステムであり、利用者は何も身に着けることはなく、利用（見る）する表示装置側は、利用者の動きを検出する動き検出手段１１０(ここではカメラ）と、動き検出手段１１０で常時取り込んだ画面内の利用者の顔面から特徴点（例えば、目、鼻、口、眉毛、あご、額、耳、顔面輪郭など）を抽出する特徴点抽出手段１２０と、抽出した特徴点をもとに利用者の動きを判定する動き判定手段１３０と、表示内容構造データ格納手段１４０と、これに格納された表示内容の構造データを参照し、動き判定の結果を受けて、表示内容を移動し、又は、表示内容を表示するウィンドウを特定し移動することを行う表示移動手段１５０と、表示内容を表示する表示手段１６０と、これら全ての動作を制御する制御手段１７０と、を備えている。ここで、特徴点抽出手段１２０は、顔認証のように個人を区別する必要はなく、顔の目、鼻、口、眉毛、あご、額、耳、顔面輪郭などの部分を検出するためなので、部分の輪郭形状の動きによる差異だけを見ればよく難しくはない。例えば、プログラミング言語PythonのOpenCV（オープンソースライブラリ）のHaar-cascade（顔検出）やAppleが提供しているフレームワークCore MLとVisionなど多くの先行技術が利用できる。表示内容構造データ格納手段１４０内のデータは、画面内の表示ウィンドウの区別、各ウィンドウ内の表示内容の縦横など文字列並び、文字数、列数、表、画像などの構造データであり、これを参照して表示移動手段１５０の移動が適正に行われる。
FIG. 1 is a diagram showing one embodiment of a display position movement instruction system according to the present invention.
As shown in the problem, this is a system that performs screen switching and screen scrolling on a display device that is placed in front of the user separately from the user's body, without using their hands or fingers. The display device that is used (viewed) has a motion detection means 110 (in this case, a camera) that detects the user's movements, and a motion detection means 110 that constantly captures images from the user's face on the screen. Feature point extraction means 120 that extracts feature points (for example, eyes, nose, mouth, eyebrows, chin, forehead, ears, facial contour, etc.), and a motion determination unit that determines the user's movement based on the extracted feature points. The
動き判定手段１３０は、特徴点抽出手段１２０から利用者の顔面（首を含んでもよい）の特徴点である部分データの動きを、動きに関連付けて予め定められた判定条件により判定して、表示移動手段１５０を動作させる。ここで、動き判定手段１３０の判定条件は、利用者が表示移動手段１５０を動作させる目的で意図的に行った顔面の動きであり、意図的でない顔面の動きは排除することが必要であり、そのために、意図的な顔面の動きの判定条件として、次の特徴付を行ったものである。
１）２回連続し繰り返した顔面の動きとする。１回の動きは、動作に反映しない。従って、１回の上下、又は左右間の顔面の動きは、対象にならない。連続の定義は、２秒以内（通常１秒）で２回上下動又は左右動がなされること。尚、後で述べるように、１回半の動きも２回の動きに含むものとする。
２）時間的に間が開いた顔面移動は、動作に反映しない。そのために、２回連続の顔面移動の時間に２秒以内の制限を設ける。
３）動きも一定以上の速度と動き距離を備えるものを対象にする。例えば、顔面の動き、従って目の動きによる画面上での視点の動き距離は、画面の１／８以上の動きとする。
４）表示面の上と下、右と左の各位置を正面に見るように向いた顔面の状態により、各位置を特定し、例えば、表示面の下を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、次のページが来るように上に移動することに定める。逆に、表示面の上を見た状態で、顔面を２回、上下動すれば、表示面の表示内容が、前のページに戻るように下に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０内のデータは、上から下にページが構成されていることに対応している。又、表示面の右を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、次のページが来るように左に移動することに定める。逆に、表示面の左を見た状態で、顔面を２回、上下動（左右動でもよい）すれば、表示面の表示内容が、前のページに戻るように右に移動することに定める。勿論、この場合は、表示内容構造データ格納手段１４０のデータは、左から右にページが構成されていることに対応している。
The motion determining means 130 determines the motion of the partial data, which is a feature point of the user's face (which may include the neck), from the feature
1) A facial movement repeated twice in a row. One movement does not reflect the action. Therefore, a single vertical or horizontal facial movement is not a target. Continuous is defined as two vertical or horizontal movements within 2 seconds (usually 1 second). Note that, as described later, one and a half movements are also included in two movements.
2) Facial movements that are separated in time are not reflected in movements. For this purpose, a limit is set on the time for two consecutive facial movements to be within 2 seconds.
3) Target objects that move at a speed and movement distance above a certain level. For example, the movement distance of the viewpoint on the screen due to the movement of the face, and therefore the movement of the eyes, is set to be 1/8 or more of the screen.
4) Identify each position by looking at the top and bottom, right and left positions of the display surface, and the state of the face facing forward. For example, while looking at the bottom of the display surface, identify each position by turning the face twice, up and down, while looking at the bottom of the display surface. If you move the page, the contents displayed on the display screen will move up to display the next page. Conversely, if the user moves his/her face up and down twice while looking at the top of the display screen, the content displayed on the display screen will move downward to return to the previous page. Of course, in this case, the data in the display content structure data storage means 140 corresponds to the page being configured from top to bottom. Furthermore, it is determined that if the user moves his or her face up and down twice (or left and right) while looking to the right of the display screen, the display content on the display screen will move to the left so that the next page will appear. Conversely, if you move your face up and down (or left and right) twice while looking to the left of the display screen, the content displayed on the display screen will move to the right to return to the previous page. . Of course, in this case, the data in the display content structure data storage means 140 corresponds to the page being configured from left to right.
図４は、本発明にかかる表示位置移動指示システムの顔面の動き判定の条件を説明する図である。本発明の表示位置移動指示システムで必須のことは、顔面の動きを居眠りによるものと意図しないもの（このシステムの信号にしない無意識による、他人に呼ばれて振り向く動作や、回りを向いた動作など）と区別して顔面動作を信号にできることである。
図４に示すように、ほとんどの無意識動作では、２回繰り返しの連続性がないこと、居眠り動作では、２回連続がある場合もあるが、無移動の間があるために時間が長いということに注目でき、この観点に基づいた判定条件は、両者との差別が容易である。所定の短い時間内で２回連続することが重要な判定手段となっている。ところで、３回以上繰り返した場合どう扱うかを次に述べると、３回目の１回分は無視される。次に４回目があった場合、その間には時間間隔があるので、無視され、画面の移動はない。画面移動があるのは、新たな４回目に連続した５回目で２回連続の繰り返しを形成した場合である。
このことは、重要なことであって、所定の時間内で２回の連続繰り返しの場合のみ対象にしないと、３回目の１回が残っていると、これに１回意図しない動作があった場合に画面移動になってしまい不都合である。
２回連続繰り返しの顔面移動を連続して複数回行った場合は、いろいろの扱いが可能である。２回単位で、その回数分の画面移動をすることも可能だが、使用者側でも顔面を移動した回数を数えている場合も少ない（面倒な理由で）とすれば、２回ごとに画面を移動して、移動が済んだ後の２回について、追加移動をすることも可能である。
FIG. 4 is a diagram illustrating conditions for facial movement determination in the display position movement instruction system according to the present invention. What is essential for the display position movement instruction system of the present invention is that facial movements caused by falling asleep and unintentional movements (such as unconscious movements that are not used as signals for this system, such as turning around when called by another person, or turning around) ), facial movements can be used as a signal.
As shown in Figure 4, in most unconscious movements, there is no continuous sequence of two repetitions, and in dozing movements, there may be two consecutive repetitions, but it takes a long time because there is a period of no movement. can be noted, and judgment conditions based on this viewpoint can easily differentiate between the two. An important determination means is that the test occurs twice in a row within a predetermined short period of time. By the way, how to handle the case where it is repeated three or more times will be described below.The third one will be ignored. If there is a fourth time, it will be ignored and the screen will not move because there is a time interval in between. Screen movement occurs when a new fourth consecutive fifth time forms two consecutive repetitions.
This is important; if you do not target only two consecutive repetitions within a predetermined time, if there is a third repetition remaining, there will be one unintended movement. This is inconvenient because the screen moves in some cases.
When the facial movement that is repeated twice in succession is performed multiple times in succession, various treatments are possible. It is possible to move the screen for that number of times in units of two, but if the user rarely counts the number of times the face has moved (for tedious reasons), it is possible to move the screen every two times. It is also possible to move and make additional moves two times after the movement is completed.
上記の意図的な顔面の動きの条件は、意図的でない動きの特徴を考慮して定めたものである。例えば、１回の動きでは、例えば、他人に呼ばれて顔を向けた、居眠りして顔面が「ガクン」と下がったなど偶々動かしてしまうことがあり、２回の連続にするとそれを回避できるからである。居眠りを考慮すると、２回の連続の条件により、時間的に間が開いた動作は対象としないことになる。対象にするのは意図的な顔面の動きであるから、ゆっくりする必要がないので、不必要なゆっくりの速度の動作も対象にしない。居眠りは、ゆっくりか、動きが小さいか、偶に大きく速く動いても１回の場合が多い。
上記の１）から４）の意図的な顔面の動きの条件を動き判定手段１３０は有していて、これを基準に特徴点抽出手段１２０からの利用者の顔面（首を含んでもよい）の特徴点データの動きを判断して、対応する出力を表示移動手段１５０に送付する。
上記の４）では、ウィンドウ内の表示内容の移動（スクロール）について記述したが、ウィンドウ自体の移動の例として、以下のようにすることが可能である。例えば、上記の２回の連続した顔面移動において、目(両目又は片目）を閉じている（又は目を開閉している）か、口を開いている（又は口パクしている、又は口を尖らせている）など、２回の連続した顔面移動以外の意図的動きの特徴（以下、付加条件と呼称）が加わった場合は、ウィンドウ自体の移動とし、２回の連続した顔面移動だけの場合は、表示内容の移動（スクロール）とする定めとする。尚、複数のウィンドウが表示面に横並びしている場合の選択は、個別のウィンドウの中心位置を正面視した状態で２回連続の顔面移動動作をすることで選択することも可能である。２回連続の顔面移動動作に代わりに、顔面の動きを円を描くことも可能であるが、疲れにより首を回す動作との区別が必要であり、回す動作は、複数回回すのが多いので、区別が速度だけになり、２回連続の顔面移動動作より判定が難しい。
大きく開いたウィンドウの裏面にある、又は小さなアイコンや表示になっている別のウィンドウを表面の大きな表示に切り替える場合は、他の手段を使うことになる。
The above-mentioned conditions for intentional facial movement are determined in consideration of the characteristics of unintentional movement. For example, if you make one movement, you may accidentally make the movement, for example, if you turn your head when someone calls you, or if you fall asleep and your face drops, you can avoid this by doing it twice in succession. It is from. Taking into consideration dozing off, the two consecutive conditions mean that actions that are separated in time will not be targeted. Since the target is intentional facial movements, there is no need to slow them down, so unnecessary slow movements are also not targeted. Dozing off is often done slowly, with small movements, or even only once, even if the movements are large and fast.
The motion determination means 130 has the above-mentioned intentional facial movement conditions 1) to 4), and based on this, the feature point extraction means 120 detects the user's face (which may include the neck). The movement of the feature point data is determined and the corresponding output is sent to the
In 4) above, the movement (scrolling) of the display contents within the window was described, but as an example of movement of the window itself, it is possible to do the following. For example, in the above two consecutive facial movements, the eyes (both eyes or one eye) are closed (or the eyes are opened and closed), the mouth is open (or the mouth is lip-synced, or the mouth is closed). If features of intentional movement other than two consecutive facial movements (hereinafter referred to as additional conditions) are added, such as sharpening), the movement of the window itself is considered as a movement of the window itself, and only two consecutive facial movements are considered as movements of the window itself. In such cases, the displayed content shall be moved (scrolled). Note that when a plurality of windows are arranged side by side on the display screen, selection can also be made by performing two consecutive facial movement movements while looking straight at the center position of each window. Instead of moving the face twice in a row, it is possible to move the face in a circular motion, but it is necessary to distinguish this from the motion of turning the neck due to fatigue, and since the motion of turning the head is often repeated multiple times. , the only difference is speed, making it more difficult to judge than two consecutive facial movements.
If you want to switch another window that is behind a large open window or has small icons or displays to a larger display on the front, you will use other means.
図２は、本発明にかかる表示位置移動指示システムの動作フローの一実施態様を示す図である。表示位置移動指示システムは、以下の順に行われる。
（１）表示装置のカメラで利用者の顔面の動きを常時取り込む
（２）特徴点抽出
（３）動き判定（意図的な顔面の動きの条件により判定）
・条件に合致しない場合は、(１）に戻り、条件に合致すれば、（４）へ
（４）上下左右の位置判断、付加条件の有無判断
（５）文、表、画像を含む表示の移動（スクロール）、又は、ウィンドウの移動、をして１）へ戻る。
FIG. 2 is a diagram showing an embodiment of the operation flow of the display position movement instruction system according to the present invention. The display position movement instruction system is performed in the following order.
(1) Constantly capturing the user's facial movements using the display device's camera (2) Extracting feature points (3) Movement determination (determined based on conditions of intentional facial movement)
- If the conditions are not met, return to (1); if the conditions are met, go to (4). Move (scroll) or move the window and return to 1).
図３は、本発明にかかる表示位置移動指示システムの動作のための量的関連を説明する図である。意図的な顔面の動きの条件により判定する記述を行ったが、その量的な動きはどのようなものであるかを以下に記述する。２回の連続した動きの場合に、
イ、連続したとはどのような条件か（時間間隔）
ロ、動きの速さは
ハ、動きの移動量は
二、表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置は、
について言及する。
FIG. 3 is a diagram illustrating quantitative relationships for the operation of the display position movement instruction system according to the present invention. Although we have described the determination based on the condition of intentional facial movement, we will describe below what kind of quantitative movement it is. In the case of two consecutive movements,
B. What is the condition of continuous (time interval)?
B. The speed of movement is C. The amount of movement is 2. The position of the feature point as seen from the camera when looking at the top, bottom, left and right of the display screen (here we use the eyes as an example) is:
mention.
先ず、ハの「動きの移動量」について、図３には、目の位置から標準的に３５ｃｍ離れた表示面（高さ１６ｃｍ、横幅２０ｃｍ）を見ている例である。３－Ａにおいて、ａ）は、表示面の上部を見ている場合、ｂ）は、中央を見ている場合、ｃ）は下部を見ている場合を表示している。３つの場合を一緒に要点を示したのが３－Ｂであり、顔面は示さず目のみ〇で示している。
３－Ｃには、拡大して寸法を入れてある。首と頭部の境を回転中心にして頭部を上下に（又は左右に）曲げると、目の位置も移動する。これが、表示面側にあるカメラの映像に現れる。この図では、目と回転中心の距離は５ｃｍなので、比例計算から、顔面上での目の上下移動量は、２ｃｍとなる。これは、カメラ側（ここでは、表示面の上端についている例）から見込む上下の目の位置の移動量２ｃｍに対して、見込む角度θは３度になる。従って、ハの移動量は、画面の上下の１／４を目安にすると、０．５ｃｍ、３／４度の移動量で、２度連続の繰り返しをさせればよい。３－Ｄには、３－Ｃに基づき数値関係を纏めてある。
カメラからは十分、解像できる精度である。左右の横については、これより幅が大きいので、解像精度は問題にならないが、同様な認識でよい。尚、この説明で、上記の二の「表示面の上下左右を見ている場合のカメラから見た特徴点(ここでは目を例にして）の位置」に関しての言及は、以上の説明と同じなので、ニの説明は省略する。
First, regarding the "movement amount" in C, FIG. 3 shows an example in which the user is looking at a display surface (height: 16 cm, width: 20 cm) that is typically 35 cm away from the eye position. In 3-A, a) shows the case where the user is looking at the top of the display screen, b) shows the case when the user is looking at the center, and c) shows the case where the user is looking at the bottom. 3-B shows the main points of the three cases together, and only the eyes are shown with circles, without showing the face.
3-C shows enlarged dimensions. When the head is bent up and down (or left and right) around the boundary between the neck and head as the center of rotation, the position of the eyes also moves. This appears in the image from the camera on the display side. In this figure, since the distance between the eyes and the center of rotation is 5 cm, the amount of vertical movement of the eyes on the face is 2 cm from proportional calculation. This means that for a 2 cm movement of the upper and lower eye positions seen from the camera side (in this case, the upper end of the display screen), the viewing angle θ is 3 degrees. Therefore, the amount of movement of C should be 0.5 cm, 3/4 degree, if the upper and lower 1/4 of the screen is used as a guide, and it should be repeated twice in a row. 3-D summarizes numerical relationships based on 3-C.
The accuracy is sufficient for resolution from the camera. Regarding the left and right sides, the width is larger than this, so resolution accuracy is not a problem, but similar recognition may be sufficient. In addition, in this explanation, the reference to ``the position of the feature point (here, using the eyes as an example) as seen from the camera when looking at the top, bottom, left, and right of the display screen'' in item 2 above is the same as in the above explanation. Therefore, the explanation of d will be omitted.
次に、ロの「動きの速さは」について言及する。判定の条件として、顔面の動きも一定以上の速度と動き距離を備えるものを対象にする。前述のように、画面上での動き距離は、通常１／４位であるが、最低でも画面の１／８(１６ｃｍの画面では、２ｃｍ）以上の動きが好ましい。
ここで画面の１／４の値を用いると１６ｃｍの画面位置では、４ｃｍ程度の動きになり、目の位置では、１／８にして、０．５ｃｍの動きである。
更に、これらの２回分の動きが、１）の２秒以内（通常１秒）で２回上下動がなされることを考慮すると、２回の往復になるので、４倍の距離を動くので、画面位置では、１６ｃｍ、目の位置では、２ｃｍの移動になり、これを通常の１秒で行うと、画面位置では、１６ｃｍ／秒、目の位置では、２ｃｍ/秒の速度になる。
Next, let's talk about Ro's ``speed of movement.'' As a condition for determination, facial movements must be at a speed and movement distance above a certain level. As mentioned above, the movement distance on the screen is usually about 1/4, but preferably it is at least 1/8 of the screen (2 cm for a 16 cm screen) or more.
Here, if the value of 1/4 of the screen is used, at the screen position of 16 cm, the movement will be about 4 cm, and at the eye position, the movement will be 1/8, which is 0.5 cm.
Furthermore, considering that these two movements are made up and down twice within 2 seconds (usually 1 second) of 1), it will be two round trips, so it will move four times the distance. The screen position moves 16 cm, and the eye position moves 2 cm. If this is done in the normal 1 second, the screen position moves 16 cm/second, and the eye position moves 2 cm/second.
尚、今迄、２回の連続の顔面移動動作とだけ述べてきたが、１回半（即ち、上（下）から下（上）へ、上（下）に戻って、下（上へ）、下（上）で止まって戻りがない）の場合も、完全に戻る２回と同じ作用ができるので、２回の連続の顔面移動動作の範疇に含むものとする。上下以外に左右も同様である。 Up until now, I have only described two consecutive facial movement movements, but one and a half movements (i.e., from up (down) to down (up), back up (down), and down (up)). , stops at the bottom (top) and does not return), the same effect can be achieved as two times when the face moves completely back, so it is included in the category of two consecutive facial movement movements. The same applies not only to the top and bottom but also to the left and right.
以上のように本発明にかかる表示面内の表示位置移動指示システムは、手や音声などの手段を用いずに、表示面の移動やスクロールが可能となるので、使用者の利便性がよく、産業上利用して極めて好都合である。 As described above, the display position movement instruction system within the display screen according to the present invention allows the display screen to be moved and scrolled without using means such as hands or voice, so it is convenient for the user. It is extremely convenient for industrial use.
１１０ 動き検出手段
１２０ 特徴点抽出手段
１３０ 動き判断手段
１４０ 表示内容構造データ格納手段
１５０ 表示移動手段
１６０ 表示手段
１７０ 制御手段
110 Motion detection means 120 Feature point extraction means 130 Motion determination means 140 Display content structure data storage means 150 Display movement means 160 Display means 170 Control means
Claims (3)
前記表示装置は、表示内容を表示する表示手段と、表示内容構造データ格納手段と、前記利用者の動きを検出する動き検出手段であるカメラと、前記カメラで常時取り込んだ画面内の前記利用者の顔面から特徴点を抽出する特徴点抽出手段と、
前記抽出した前記特徴点をもとに前記利用者の動きを判定する動き判定手段と、前記判定の結果により、前記表示内容構造データ格納手段の表示内容構造データを参照して、前記表示手段に表示された前記表示内容を移動し、又は、表示内容を表示するウィンドウを移動することを行う表示移動手段と、これら全ての動作を制御する制御手段と、を備え、
前記動き判定手段は、前記利用者の顔面の動きが、上下又は左右の動きの１回半又は２回の連続繰り返し、且つ、２秒以内、且つ、前記利用者の顔面の動きに対応する前記画面上での前記利用者が見ている視点間の距離が動き方向の画面幅の１／８以上である動きを単位にした判定の条件として、前記表示移動手段を駆動していることを特徴とする表示面内の表示位置移動指示システム。 A system that performs screen switching operations and scroll operations within a screen on a display device that is placed in front of a user separately from the user's body, without using hands or fingers,
The display device includes a display means for displaying display content, a display content structure data storage means, a camera serving as a motion detection means for detecting the movement of the user, and a display device for displaying the user's information on the screen that is constantly captured by the camera. feature point extraction means for extracting feature points from the face of the person;
a motion determination means for determining the movement of the user based on the extracted feature points; and a motion determination means for determining the movement of the user based on the extracted feature points; comprising a display moving means for moving the displayed display content or moving a window displaying the display content, and a control means for controlling all these operations,
The movement determination means is configured to determine whether the movement of the user's face is one and a half or two consecutive repetitions of vertical or horizontal movement, within 2 seconds, and which corresponds to the movement of the user's face. The display moving means is driven as a condition for determination in units of movement in which the distance between the viewpoints viewed by the user on the screen is 1/8 or more of the screen width in the movement direction. A display position movement instruction system within a display surface.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021082052A JP7428390B2 (en) | 2021-05-14 | 2021-05-14 | Display position movement instruction system within the display screen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021082052A JP7428390B2 (en) | 2021-05-14 | 2021-05-14 | Display position movement instruction system within the display screen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022175546A JP2022175546A (en) | 2022-11-25 |
| JP7428390B2 true JP7428390B2 (en) | 2024-02-06 |
Family
ID=84145102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021082052A Active JP7428390B2 (en) | 2021-05-14 | 2021-05-14 | Display position movement instruction system within the display screen |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7428390B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008015942A (en) | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | User interface program, device and method, and information processing system |
| JP2009031368A (en) | 2007-07-24 | 2009-02-12 | Nec Corp | Screen display-control method, screen display-control system, electronic equipment, and program |
| JP2016099959A (en) | 2014-11-26 | 2016-05-30 | 公立大学法人広島市立大学 | Direction indication device and direction indication method |
| JP2021036304A (en) | 2019-08-30 | 2021-03-04 | シャープＮｅｃディスプレイソリューションズ株式会社 | Display control device, display device, and display control method |
-
2021
- 2021-05-14 JP JP2021082052A patent/JP7428390B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008015942A (en) | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | User interface program, device and method, and information processing system |
| JP2009031368A (en) | 2007-07-24 | 2009-02-12 | Nec Corp | Screen display-control method, screen display-control system, electronic equipment, and program |
| JP2016099959A (en) | 2014-11-26 | 2016-05-30 | 公立大学法人広島市立大学 | Direction indication device and direction indication method |
| JP2021036304A (en) | 2019-08-30 | 2021-03-04 | シャープＮｅｃディスプレイソリューションズ株式会社 | Display control device, display device, and display control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022175546A (en) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11494000B2 (en) | Touch free interface for augmented reality systems | |
| US10082940B2 (en) | Text functions in augmented reality | |
| US11262840B2 (en) | Gaze detection in a 3D mapping environment | |
| JP5528476B2 (en) | Electronic data input system | |
| US10268339B2 (en) | Enhanced camera-based input | |
| KR101809636B1 (en) | Remote control of computer devices | |
| EP2699993B1 (en) | Gaze-assisted computer interface | |
| EP2676178B1 (en) | Breath-sensitive digital interface | |
| US20120078614A1 (en) | Virtual keyboard for a non-tactile three dimensional user interface | |
| KR20140059109A (en) | System and method for human computer interaction | |
| US20170124762A1 (en) | Virtual reality method and system for text manipulation | |
| US20170228120A1 (en) | Scroll mode for touch/pointing control | |
| WO2015153673A1 (en) | Providing onscreen visualizations of gesture movements | |
| JP6841232B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP6834197B2 (en) | Information processing equipment, display system, program | |
| US10222866B2 (en) | Information processing method and electronic device | |
| JP7428390B2 (en) | Display position movement instruction system within the display screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210517 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7428390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |