JP3027521B2 - Unattended terminal device - Google Patents
Unattended terminal deviceInfo
- Publication number
- JP3027521B2 JP3027521B2 JP7155623A JP15562395A JP3027521B2 JP 3027521 B2 JP3027521 B2 JP 3027521B2 JP 7155623 A JP7155623 A JP 7155623A JP 15562395 A JP15562395 A JP 15562395A JP 3027521 B2 JP3027521 B2 JP 3027521B2
- Authority
- JP
- Japan
- Prior art keywords
- help
- user
- unit
- input
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、キャッシュディスペン
サーや対話型情報案内装置など、不特定多数の利用者が
操作を行なう無人端末装置に関し、特に、利用者へのヘ
ルプ情報の提示を適切なタイミングで実施できるように
構成したものである。The present invention relates to a cash dispenser and interactive information guidance device, a unmanned terminal device unspecified user performs an operation, in particular, the right time the presentation of help information to the user It is constituted so that it can be implemented by.
【0002】[0002]
【従来の技術】この明細書では、利用者が専門の操作者
の助けを借りずに自ら操作する端末装置を無人端末装置
と言い、また、端末装置が利用者に対して操作方法や選
択内容などについて出す指示をヘルプと言う。2. Description of the Related Art In this specification, a terminal device operated by a user without the help of a specialized operator is referred to as an unmanned terminal device. Instructions that give instructions are called help.
【0003】従来の端末装置では、操作手順が分からな
くなった利用者のためにヘルプ画面を表示して、操作手
順を教える機能を備えたものが作られている。[0003] Conventional terminal devices have been provided with a function of displaying a help screen for a user who does not understand the operation procedure and teaching the operation procedure.
【0004】例えば特開平3−144819に開示され
た装置は、図15に示すように、利用者が入力操作を行
なう入力部3001と、入力指令を実行する処理部3002と、
処理結果を出力する出力部3003と、ヘルプ情報を出力す
るヘルプ出力部3004とを備えており、利用者が入力部30
01より誤操作を行なうと、処理部3002からヘルプ出力部
3004に、処理部3002の状態を通知するヘルプ出力命令が
出力され、これを受けてヘルプ出力部3004が、処理部30
02の状態に対応したヘルプ情報を出力部3003に出力す
る。For example, as shown in FIG. 15, the apparatus disclosed in Japanese Patent Laid-Open No. 3-144819 has an input unit 3001 for a user to perform an input operation, a processing unit 3002 for executing an input command, and
An output unit 3003 that outputs a processing result and a help output unit 3004 that outputs help information are provided.
If an erroneous operation is performed from 01, the help output unit is sent from the processing unit 3002
A help output instruction for notifying the state of the processing unit 3002 is output to 3004, and in response, the help output unit 3004
The help information corresponding to the state of 02 is output to the output unit 3003.
【0005】また、特開平4−160527の装置は、
図16に示すように、さらに、入力の有無を監視する入
力監視部3105と、入力操作が行なわれていない時間を計
測するタイマー部3106とを具備している。この装置で
は、入力部3101からの入力が、タイマー部3106に予め設
定した時間、行なわれない場合に、入力監視部3105は、
利用者が操作方法が解らず操作を行なえない状態と判断
し、ヘルプ出力部3104に対してヘルプ出力命令を出力す
る。ヘルプ出力部3104は、ヘルプ出力命令を受け取る
と、処理部3102に対して現在の状態を問い合わせ、その
状態に対応したヘルプ情報を出力部3103に出力する。The device disclosed in Japanese Patent Laid-Open No. 4-160527 is
As shown in FIG. 16, further provided is an input monitoring unit 3105 for monitoring the presence or absence of an input, and a timer unit 3106 for measuring a time during which no input operation is performed. In this device, when the input from the input unit 3101 is not performed for a time set in the timer unit 3106 in advance, the input monitoring unit 3105
It is determined that the user cannot understand the operation method and cannot perform the operation, and outputs a help output command to the help output unit 3104. Upon receiving the help output command, help output unit 3104 inquires of processing unit 3102 about the current state, and outputs help information corresponding to the state to output unit 3103.
【0006】また、特開平1−244520には、ヘル
プ情報として、処理部の状態に対応したヘルプデータを
選択して出力することが示されている。Japanese Patent Application Laid-Open No. 1-244520 discloses that help data corresponding to the state of a processing section is selected and output as help information.
【0007】また、図17に示すように、利用者が入力
部3201からの操作を中断した場合に、入力の有無を監視
する入力監視部3203がタイマー部3204を使って時間を計
測し、予め設定した時間が経過しても入力がない場合
に、処理部3202の処理を初期化する装置が知られてい
る。As shown in FIG. 17, when the user interrupts the operation from the input unit 3201, an input monitoring unit 3203 for monitoring the presence or absence of an input measures time using a timer unit 3204, and A device that initializes processing of the processing unit 3202 when there is no input even after a set time has elapsed is known.
【0008】[0008]
【発明が解決しようとする課題】しかし、これらの従来
の構成を無人端末装置に適用しようとすると、次のよう
な問題がある。However, when these conventional configurations are applied to an unmanned terminal device, there are the following problems.
【0009】第1に、利用者が誤操作を行なった後にヘ
ルプ情報を表示する方式では、誤操作を未然に防ぐこと
ができず、利用者は誤操作後に再度正しい操作をやり直
す必要が有るため操作効率が悪い。First, in the method of displaying the help information after the user has performed an erroneous operation, the erroneous operation cannot be prevented beforehand, and the user must perform the correct operation again after the erroneous operation, so that the operation efficiency is reduced. bad.
【0010】第2に、入力を監視し予め設定した時間内
に入力がない場合に自動的にヘルプ情報を出力する方式
では、無人端末装置の利用者が、装置に表示された情報
を継続して見ていてヘルプを必要としないときにも、ヘ
ルプ情報が出力される虞れがある。Secondly, in the method of monitoring the input and automatically outputting the help information when there is no input within a preset time, the user of the unattended terminal device continues to display the information displayed on the device. There is a possibility that help information may be output even when help is not needed and help is needed.
【0011】第3に、従来の方式では、平均的なユーザ
を想定した表現方法でヘルプ情報を表示しているため、
無人端末装置の幅広い利用者の全てを満足させる、分か
り易い表現とはなっていない。例えば、ある人にとって
は表示される字が小さかったり、また、言葉の表現が難
しかったりする。Third, in the conventional method, the help information is displayed in an expression method assuming an average user.
It is not an easy-to-understand expression that satisfies all wide-ranging users of the unattended terminal device. For example, for a certain person, displayed characters are small, and words are difficult to express.
【0012】第4に、設定時間内に入力がない場合に自
動的に処理部の処理を初期化する方式では、利用者が出
力された情報を見ている状態にも拘わらず、処理部の初
期化が行なわれる場合がある。Fourthly, in the method of automatically initializing the processing of the processing section when there is no input within the set time, the processing section of the processing section is operated regardless of the state in which the user is viewing the output information. Initialization may be performed.
【0013】本発明は、こうした従来の問題点を解決す
るものであり、利用者に適したヘルプ情報を適切なタイ
ミングで与えることができる無人端末装置を提供するこ
とを目的としている。[0013] The present invention is intended to solve such conventional problems, and its object is to provide an unattended terminal that can be given help information appropriate to the user at the right time.
【0014】[0014]
【課題を解決するための手段】そこで、本発明では、利
用者が入力操作を行なう入力手段と、入力操作に応じた
処理を行なう処理手段と、処理の結果を利用者に出力す
る出力手段とを具備する無人端末装置において、利用者
の顔を映した画像データから顔の表情を構成する要素を
抽出して表情パターンデータを検出する利用者状況検出
手段と、検出した表情パターンデータを基に利用者がヘ
ルプを必要としているかどうかを判断するヘルプ必要性
判断手段と、ヘルプ必要性判断手段がヘルプを必要と判
断したときに処理手段の処理状況に応じたヘルプを出力
するヘルプ出力手段とを設けている。Therefore, according to the present invention, there are provided input means for performing an input operation by a user, processing means for performing a process in accordance with the input operation, and output means for outputting a processing result to the user. User in an unattended terminal device equipped with
The elements that make up the facial expression from image data showing the face of
A user situation detecting means for extracting and detecting facial expression pattern data, a help necessity determining means for determining whether a user needs help based on the detected facial expression pattern data, and a help required Help output means for outputting help according to the processing status of the processing means when the gender determination means determines that help is required.
【0015】[0015]
【0016】また、利用者の身体的ハンディキャップ情
報を入力する個人情報入力手段と、入力された身体的ハ
ンディキャップ情報に適合するヘルプの表現方法を指示
する個人情報解析手段と、この個人情報解析手段から指
示されたヘルプの表示方法でヘルプを出力するヘルプ出
力手段とを設けている。[0016] In addition, the personal information input means for inputting a physical handicap information <br/> report of the user, the input physical Ha
Personal information analysis means for instructing a method of expressing help conforming to the handicap information; and help output means for outputting help using the help display method instructed by the personal information analysis means.
【0017】[0017]
【0018】[0018]
【0019】[0019]
【作用】そのため、利用者が入力操作に迷っている状況
を、利用者の視線や表情から的確に判断し、その段階で
ヘルプ情報を提供することができる。従って、利用者は
誤操作を冒す前に正しい操作手順を知ることができるの
で操作効率が向上する。また、利用者の個人情報を入力
する装置では、例えば、高齢者の利用者に対して表示フ
ォントを大きくしたり、出力音声レベルを高めるなど、
利用者に適する表現形態でヘルプ情報を出力することが
できる。Therefore, it is possible to accurately determine the situation where the user is lost in the input operation from the user's eyes and facial expressions, and to provide help information at that stage. Therefore, the user can know the correct operation procedure before taking an erroneous operation, so that the operation efficiency is improved. In addition, in a device for inputting personal information of a user, for example, a display font is increased for an elderly user, an output sound level is increased, and the like.
Help information can be output in an expression suitable for the user.
【0020】[0020]
【0021】[0021]
(第1実施例)本発明の第1実施例における無人端末装
置は、図1に示すように、利用者が操作情報を入力する
入力部101と、入力された操作情報に応じて予め決めら
れた処理を行なう処理部102と、処理部102の処理結果を
利用者に出力する出力部103と、ヘルプ情報を出力する
ヘルプ出力部と、利用者の視線を検出する利用者状況検
出部と、利用者の視線からヘルプを必要としているかど
うかを判断するヘルプ必要性判断部とから成り、ヘルプ
出力部は、処理部102の処理状態に対応したヘルプ処理
を行なうヘルプ処理部104と、ヘルプのデータを格納す
るヘルプデータベース部105とを具備し、利用者状況検
出部は、利用者の状態を画像として取り込む画像入力部
106と、画像入力部106の出力する画像データから利用者
の視線を検出する視線検出部107と、視線検出部107の出
力する視線データから視線の動きを検出する視線動作検
出部108とを具備し、また、ヘルプ必要性判断部は、視
線の動きのパターンデータに対応する利用者の状態のデ
ータを格納した視線動作パターンデータベース109と、
検出された視線動作パターンデータと視線動作パターン
データベース109とを照合して利用者がヘルプを必要と
しているかどうかを判断し、ヘルプが必要と判断したと
きにヘルプ処理部104に対してヘルプ出力命令を出す判
断部110とを具備している。(First Embodiment) As shown in FIG. 1, an unmanned terminal device according to a first embodiment of the present invention has an input unit 101 for a user to input operation information, and is determined in advance according to the input operation information. A processing unit 102 that performs the above processing, an output unit 103 that outputs a processing result of the processing unit 102 to a user, a help output unit that outputs help information, a user situation detection unit that detects a line of sight of the user, A help necessity determining unit that determines whether help is needed from the user's eyes; a help output unit; a help processing unit 104 that performs help processing corresponding to the processing state of the processing unit 102; And a help database unit 105 that stores the user status. The user status detection unit includes an image input unit that captures the status of the user as an image.
106, a gaze detection unit 107 that detects a user's gaze from image data output by the image input unit 106, and a gaze movement detection unit 108 that detects gaze movement from gaze data output by the gaze detection unit 107. In addition, the help necessity determination unit includes a gaze movement pattern database 109 storing data of a user state corresponding to gaze movement pattern data,
By comparing the detected gaze movement pattern data with the gaze movement pattern database 109, it is determined whether the user needs help, and when it is determined that help is needed, a help output command is sent to the help processing unit 104. Output unit 110.
【0022】この無人端末装置では、画像入力部106が
利用者の状態を画像として取込み、視線検出部107に対
して画像データを出力する。視線検出部107は、画像入
力部106から受取った画像データの画像処理を行ない、
利用者の視線を検出して視線動作検出部108に視線デー
タを出力する。視線データとは、利用者がどこを見てい
るかという情報を指す。視線動作検出部108は、視線検
出部107より受取った視線データから視線動作パターン
を検出し、判断部110に対して視線動作パターンデータ
を出力する。視線動作パターンとは、視線データを予め
決められた時間追跡し、その間、視線がどのように動い
たかを示すデータを指す。判断部110は、視線動作検出
部108から出力された視線動作パターンデータと、視線
動作パターンデータベース部109に蓄積された視線動作
パターンデータと、処理部102から出力された処理部の
状態とを照合し、ヘルプを必要とするかどうかを判断す
る。この視線動作パターンデータベースの内容、及び判
断部110における処理の流れについては後述する。In this unmanned terminal device, the image input unit 106 captures the state of the user as an image, and outputs image data to the visual line detection unit 107. The line-of-sight detection unit 107 performs image processing on the image data received from the image input unit 106,
It detects the user's line of sight and outputs line-of-sight data to the line-of-sight motion detection unit 108. Eye gaze data refers to information on where the user is looking. The gaze movement detection unit 108 detects a gaze movement pattern from the gaze data received from the gaze detection unit 107, and outputs the gaze movement pattern data to the determination unit 110. The line-of-sight motion pattern refers to data indicating how the line of sight has moved during a predetermined period of time tracking the line-of-sight data. The determination unit 110 compares the gaze movement pattern data output from the gaze movement detection unit 108, the gaze movement pattern data stored in the gaze movement pattern database unit 109, and the state of the processing unit output from the processing unit 102. And determine if you need help. The details of the eye movement pattern database and the flow of processing in the determination unit 110 will be described later.
【0023】判断部110は、照合の結果、ヘルプを必要
とすると判断したとき、ヘルプ処理部104にヘルプ出力
命令を出力する。ヘルプ出力命令を受取ったヘルプ処理
部104は、処理部102から受取った処理部102の状態に応
じたヘルプデータをヘルプデータベース部105より選択
し、出力部103に対して出力する。利用者は、出力され
たヘルプ情報を見て、その後の入力操作を進めることが
できる。When the determination section 110 determines that help is required as a result of the collation, it outputs a help output command to the help processing section 104. The help processing unit 104 that has received the help output command selects the help data corresponding to the state of the processing unit 102 received from the processing unit 102 from the help database unit 105, and outputs the help data to the output unit 103. The user can proceed with the subsequent input operation by viewing the output help information.
【0024】視線動作パターンデータベース部109に
は、視線の動きのパターンと利用者の状態とを対応付け
た視線動作パターンデータベースが格納されている。こ
の視線動作パターンデータベースのテーブルの一例を図
2に示している。例えば、利用者の視線が一定時間以上
定まらずさまよっていて且つ処理部102の状態が入力画
面の場合には、利用者の状態は端末の利用方法が解らず
にいると判断しヘルプが必要であると関連づける。The line-of-sight movement pattern database unit 109 stores a line-of-sight movement pattern database in which a line-of-sight movement pattern is associated with a user state. FIG. 2 shows an example of the table of the eye movement pattern database. For example, if the user's line of sight is unsteady for more than a certain period of time and the state of the processing unit 102 is an input screen, it is determined that the user's state does not know how to use the terminal, and help is needed. Relate to being.
【0025】判断部110は、この視線動作パターンデー
タベースを用いて、図3の手順によりヘルプの必要性を
判断する。The determining unit 110 determines the necessity of the help according to the procedure shown in FIG. 3 using the eye movement pattern database.
【0026】ステップ1:判断部110は、視線動作検出
部108から視線動作パターンデータが入力すると、処理
部102から処理部の状態のデータを取得し、 ステップ2:これらのデータを検索キーとして視線動作
パターンデータベースの検索を行ない、 ステップ3:利用者の状態が、視線動作パターンデータ
ベースで規定するヘルプを必要とする状態に該当してい
るかどうかを判定する。ヘルプを必要とする状態に該当
するときは、 ステップ4:ヘルプ処理部104に対してヘルプ出力命令
を出力して、判断部110の処理を終了する。また、ステ
ップ3において、ヘルプを必要としてない状態であると
きは、そのまま判断部110の処理を終了する。Step 1: When the gaze movement pattern data is input from the gaze movement detection unit 108, the judgment unit 110 acquires data on the state of the processing unit from the processing unit 102. Step 2: Using these data as a search key, The operation pattern database is searched. Step 3: It is determined whether or not the state of the user corresponds to a state that requires help specified in the gaze operation pattern database. If the state corresponds to a state requiring help, step 4: a help output instruction is output to the help processing unit 104, and the processing of the determination unit 110 ends. If it is determined in step 3 that no help is required, the process of the determining unit 110 ends.
【0027】このように、第1実施例の無人端末装置で
は、利用者の視線の動きに基づいて利用者の状態を無人
端末側で検知し、利用者がヘルプを必要としているとき
に、適切なタイミングでヘルプ情報を出力する。従っ
て、利用者の利用効率を向上させることができる。As described above, in the unmanned terminal device of the first embodiment, the state of the user is detected on the unmanned terminal side based on the movement of the user's line of sight, and when the user needs help, Output help information at the right time. Therefore, the utilization efficiency of the user can be improved.
【0028】(第2実施例)第2実施例の無人端末装置
は、利用者の表情から利用者がヘルプを必要としている
かどうかを判断する。この装置は、図4に示すように、
利用者状態検出部には、画像データから利用者の表情を
検出する表情検出部407を具備し、また、ヘルプ必要性
判断部には、表情のパターンに対応させて利用者の状態
のデータを格納した表情パターンデータベース408を具
備している。その他の構成は第1実施例の装置(図1)
と変わりがない。(Second Embodiment) The unmanned terminal device according to the second embodiment determines whether the user needs help from the expression of the user. This device, as shown in FIG.
The user status detection unit includes a facial expression detection unit 407 that detects the user's facial expression from the image data, and the help necessity determination unit outputs the user status data in accordance with the facial expression pattern. A stored expression pattern database 408 is provided. Other configurations are as in the first embodiment (FIG. 1).
There is no change.
【0029】この装置では、表情検出部407が、画像入
力部406から受取った画像データの画像処理を行ない、
利用者の表情を検出して、判断部409に表情パターンデ
ータを出力する。この表情を検出するために、表情検出
部407は、入力された利用者の顔の画像データをワイヤ
ーフレーム化し、顔の表情を構成する要素を抽出して表
情検出部407の持つ表情のサンプルと照合し、最も近い
表情パターンを表すサンプルのデータを表情パターンデ
ータとして出力する。In this apparatus, the expression detecting section 407 performs image processing of the image data received from the image input section 406,
The facial expression of the user is detected, and facial expression pattern data is output to the determination unit 409. In order to detect this facial expression, the facial expression detection unit 407 converts the input image data of the user's face into a wire frame, extracts the elements constituting the facial expression, and samples the facial expression of the facial expression detection unit 407 and The data is collated, and sample data representing the closest expression pattern is output as expression pattern data.
【0030】判断部409は、表情検出部408から出力され
た表情パターンデータと表情パターンデータベース部40
8に蓄積された表情パターンデータと処理部402から出力
された処理部402の状態とを照合して、利用者がヘルプ
を必要としていると判断したときは、ヘルプ処理部404
にヘルプ出力命令を出力する。The determination unit 409 includes the expression pattern data output from the expression detection unit 408 and the expression pattern database unit 40.
8 is compared with the state of the processing unit 402 output from the processing unit 402, and when it is determined that the user needs help, the help processing unit 404
Output help output instruction to
【0031】表情パターンデータベースには、図5に示
すように、表情のパターンに対応した利用者の状態が格
納されている。例えば、利用者が困惑した表情をしてお
り、且つ、処理部402の状態が入力画面の場合には、利
用者は端末の利用方法が解らない状態にいると判断し、
ヘルプが必要であると関連づける。図6には、判断部40
9におけるヘルプの出力判断の手順を示しているが、こ
の手順は、図3の手順と実質的に同じである。As shown in FIG. 5, the user's state corresponding to the facial expression pattern is stored in the facial expression pattern database. For example, if the user has a confused expression, and if the state of the processing unit 402 is an input screen, the user is determined to be in a state in which he does not understand how to use the terminal,
Relate to need help. FIG.
9 shows a procedure for determining output of help, which is substantially the same as the procedure in FIG.
【0032】(第3実施例)第3実施例の無人端末装置
は、利用者個々人に適する形態でヘルプ情報を表示する
ことができる。この装置は、図7に示すように、入力部
701、処理部702、出力部703、並びに、ヘルプ出力部を
構成するヘルプ処理部704及びヘルプデータベース部705
の他に、利用者の個人情報を入力する個人情報入力部70
6と、入力された個人情報を解析する個人情報解析部707
とを備えている。(Third Embodiment) The unmanned terminal device of the third embodiment can display help information in a form suitable for each user. This device has an input unit as shown in FIG.
701, a processing unit 702, an output unit 703, and a help processing unit 704 and a help database unit 705 that constitute a help output unit
In addition to the above, a personal information input unit 70 for inputting user's personal information
6 and a personal information analysis unit 707 that analyzes the input personal information.
And
【0033】この装置では、利用者が利用を始めるとき
に自分の個人情報を記憶したICカードなどを個人情報
入力部706に接続する。個人情報入力部706は、この個人
情報を読み出し、個人情報解析部707に出力する。個人
情報とは、年齢、性別、利用頻度、前回どこまで利用し
たのか、あるいは、視力が衰えている、見えない、耳が
遠いなどの個人制限事項を指す。In this device, when the user starts using the device, an IC card or the like in which his / her personal information is stored is connected to the personal information input unit 706. The personal information input unit 706 reads this personal information and outputs it to the personal information analysis unit 707. Personal information refers to age, gender, frequency of use, how far the user has used last time, or personal restrictions such as poor eyesight, inability to see, and distant ears.
【0034】個人情報解析部707は、図8に示すよう
に、個人情報とヘルプ表現方法との対応テーブルを備え
ており、個人情報入力部706から入力した個人情報を解
析し、その個人情報に対応するヘルプ表現方法情報をテ
ーブルから求めてヘルプ処理部704に出力する。As shown in FIG. 8, the personal information analysis unit 707 has a correspondence table between personal information and a help expression method, analyzes the personal information input from the personal information input unit 706, and converts the personal information into the personal information. The corresponding help expression method information is obtained from the table and output to the help processing unit 704.
【0035】利用者が入力部701から入力操作を行なう
と、処理部702は入力された操作情報に対応する処理を
実行する。利用者が入力操作の過程で入力部701からヘ
ルプを要求すると、この要求は、ヘルプ処理部704と処
理部702とに入力し、処理部702は、ヘルプ処理部704に
対して処理部702の処理状態を出力する。When the user performs an input operation from the input unit 701, the processing unit 702 executes a process corresponding to the input operation information. When the user requests help from the input unit 701 during the input operation, the request is input to the help processing unit 704 and the processing unit 702, and the processing unit 702 sends the help processing unit 704 Output the processing status.
【0036】これを受けて、ヘルプ処理部704は、処理
部702の処理状態に対応する内容を持ち、且つ、個人情
報解析部707より出力されたヘルプ表現方法情報に対応
するヘルプデータをヘルプデータベース部705より検索
し、出力部703に対して、前記ヘルプ表現方法情報に対
応する表現で出力する。In response, the help processing unit 704 converts the help data having contents corresponding to the processing state of the processing unit 702 and corresponding to the help expression method information output from the personal information analysis unit 707 into the help database. The helper 705 retrieves the information and outputs it to the output unit 703 in an expression corresponding to the help expression method information.
【0037】例えば、利用者が高齢者の場合、個人情報
解析部707は、図8のテーブルに基づいて、「フォント
を大きくして見やすくする」「音声を大きくして聞き取
りやすくする」「難しい語句を減らして分かり易くす
る」ことを意味するヘルプ表現方法情報をヘルプ処理部
704に出力し、ヘルプ処理部704は、処理部702の処理状
態に対応する内容のヘルプデータであって、難しい語句
を減らして分かり易く表現されたデータをヘルプデータ
ベース部705から検索する。そして、検出したヘルプデ
ータを、見やすいように表示フォントを大きくして、ま
た、聞き取り易いように音声帯域のボリュームを上げて
出力されるように出力部703に送る。For example, when the user is an elderly person, the personal information analysis unit 707 uses the table shown in FIG. Help expression part information that means "reduce
The help data is output to the help database unit 704. The help processing unit 704 searches the help database unit 705 for help data having contents corresponding to the processing state of the processing unit 702, which data is expressed in an easy-to-understand manner by reducing difficult phrases. Then, the detected help data is sent to the output unit 703 such that the display font is enlarged for easy viewing and the volume of the voice band is increased for easy listening.
【0038】このように、第3実施例の無人端末装置で
は、利用者個々人に適した表示方法でヘルプ情報を出力
することができるので、利用者の利用効率、理解率を向
上させることができる。As described above, in the unmanned terminal device according to the third embodiment, the help information can be output in a display method suitable for each user, so that the use efficiency and the understanding rate of the user can be improved. .
【0039】(第4実施例)第4実施例の無人端末装置
は、利用者が入力操作を中断したときに、適切なタイミ
ングで処理の初期化を実行する。この装置は、図9に示
すように、利用者が操作情報を入力する入力部1001と、
入力された操作情報に応じて処理を行なう処理部1002
と、処理部1002の処理結果を出力する出力部1003と、利
用者の状況を監視する画像入力部1004と、画像入力部10
04からの情報を基に端末の前に人が存在するかどうかを
検出する人検出部1005と、端末の前を利用者が離れてか
らの時間を計測し、一定時間経過後に処理部1002に対し
て処理の初期化を指令するタイマー部1006とを備えてい
る。(Fourth Embodiment) The unmanned terminal device according to the fourth embodiment executes processing initialization at an appropriate timing when a user interrupts an input operation. As shown in FIG. 9, the apparatus includes an input unit 1001 for inputting operation information by a user,
Processing unit 1002 that performs processing according to input operation information
An output unit 1003 that outputs the processing result of the processing unit 1002, an image input unit 1004 that monitors the status of the user, and an image input unit 10
Based on the information from 04, a person detection unit 1005 that detects whether a person is present in front of the terminal, and a time that has elapsed since the user left the terminal, and a processing unit 1002 after a certain time has elapsed A timer unit 1006 for instructing initialization of the processing.
【0040】この装置では、画像入力部1004が利用者の
状態を画像として取り込み、人検出部1005にその画像デ
ータを出力する。人検出部1005は、画像データの処理を
行ない、端末の前に利用者が存在するかしないかを検出
し、その利用者有無データをタイマー部1006に出力す
る。タイマー部1006は、入力する利用者有無データが利
用者の不存在を示している場合に、タイマーをスタート
し、予め決められた時間、利用者が存在するというデー
タが入力しなかったとき、つまり利用者が端末の前に戻
ってこなかった場合に、その旨を処理部1002に伝え、処
理部1002は、これを受けて、それまでの処理を初期化す
る。In this device, the image input unit 1004 captures the state of the user as an image, and outputs the image data to the human detection unit 1005. The person detection unit 1005 processes the image data, detects whether a user exists in front of the terminal, and outputs the user presence / absence data to the timer unit 1006. The timer unit 1006 starts the timer when the input user presence data indicates the absence of the user, and when the data indicating that the user exists is not input for a predetermined time, that is, If the user has not returned to the terminal, the fact is notified to the processing unit 1002, and the processing unit 1002 receives this and initializes the processing up to that point.
【0041】こうすることにより、利用者が操作を一時
中断している途中で、利用者の意志に反して、処理部10
02の処理が初期化される誤動作を防ぐことができる。Thus, while the user is temporarily interrupting the operation, the processing unit 10
A malfunction in which the process of 02 is initialized can be prevented.
【0042】この装置における動作手順を図10に示し
ている。FIG. 10 shows the operation procedure in this device.
【0043】ステップ1:タイマー部1006は、人検出部
1005より利用者有無データが入力すると、 ステップ2:そのデータが利用者の存在を示しているか
どうかを調べ、利用者が存在しているときは、 ステップ3:タイマーを初期化して、次の利用者有無デ
ータの入力を待つ。Step 1: Timer section 1006 is a human detection section
When the user presence data is input from 1005, step 2: check whether the data indicates the existence of the user, and if there is a user, step 3: initialize the timer, and perform the next use. Wait for input of user presence data.
【0044】ステップ2において、利用者有無データが
利用者のいないことを表している場合は、 ステップ4:タイマーが作動していないときは、 ステップ5:タイマーをスタートさせる。In step 2, if the user presence / absence data indicates that there is no user, step 4: if the timer is not operating, step 5: start the timer.
【0045】ステップ6:タイマーの作動が続き、予め
決められた時間を超えたときは、 ステップ7:タイマー部1006から処理部1002に初期化命
令を出力する。Step 6: When the operation of the timer continues and the predetermined time is exceeded, Step 7: The timer unit 1006 outputs an initialization command to the processing unit 1002.
【0046】このように、第4実施例の無人端末装置で
は、入力操作が中断したままであっても、利用者が端末
の前から離れなければ、処理の初期化を行なわない。様
々な人が利用する無人端末装置では、操作に不慣れな利
用者が入力操作の手を休めて表示された情報を見入って
いる場合があるが、こうしたときにも、誤動作でそれま
での処理を初期化してしまう事態を防ぐことができる。As described above, in the unmanned terminal device of the fourth embodiment, even if the input operation is interrupted, the process is not initialized unless the user leaves the terminal. In an unattended terminal device used by various people, a user who is unfamiliar with the operation may pause the input operation and look at the displayed information. Initialization can be prevented.
【0047】(第5実施例)第5実施例の無人端末装置
は、図11に示すように、装置の前に利用者が居るか居
ないかを加圧センサー部1204で検知している。その他の
構成は、第4実施例の装置(図9)と変わりがない。加
圧センサーは、例えば端末装置の前に敷かれ、入力操作
を行なう利用者がそこに乗ると、それを検知して、利用
者の存在を知らせる利用者有無データをタイマー部1205
に出力し、また、利用者が端末装置の前から離れると、
利用者の不存在を知らせる利用者有無データをタイマー
部1205に出力する。その他の動作は第4実施例の装置と
同じである。(Fifth Embodiment) In the unmanned terminal device of the fifth embodiment, as shown in FIG. 11, a pressure sensor unit 1204 detects whether or not a user is in front of the device. Other configurations are the same as those of the device of the fourth embodiment (FIG. 9). The pressure sensor is placed, for example, in front of the terminal device, and when a user performing an input operation gets on the terminal, the press sensor is detected, and user presence / absence data indicating the presence of the user is detected by the timer unit 1205.
And when the user moves away from the terminal,
The user presence / absence data indicating the absence of the user is output to the timer unit 1205. Other operations are the same as those of the device of the fourth embodiment.
【0048】この装置の動作手順を図12に示している
が、この手順は、第4実施例の場合(図10)と実質的
に同じである。FIG. 12 shows the operation procedure of this apparatus. This procedure is substantially the same as that of the fourth embodiment (FIG. 10).
【0049】(第6実施例)第6実施例の無人端末装置
は、図13に示すように、装置の前に居る利用者を赤外
線センサー部1404で検知している。その他の構成は第4
実施例の装置(図9)と変わりがない。赤外線センサー
は、端末装置の前に利用者が立つと、利用者から発せら
れる赤外線を検知して、入力操作を行なう利用者の存在
を検出し、それを知らせる利用者有無データをタイマー
部1405に出力する。また、利用者が端末装置の前から離
れると、利用者の不存在を知らせる利用者有無データを
タイマー部1405に出力する。その他の動作は第4実施例
の装置と同じである。(Sixth Embodiment) In the unmanned terminal device according to the sixth embodiment, as shown in FIG. 13, a user in front of the device is detected by an infrared sensor unit 1404. Other configurations are 4th
There is no difference from the apparatus of the embodiment (FIG. 9). When the user stands in front of the terminal device, the infrared sensor detects infrared rays emitted from the user, detects the presence of the user performing the input operation, and sends the user presence / absence data to inform the timer unit 1405 of the presence / absence data. Output. When the user moves away from the terminal device, the timer unit 1405 outputs user presence / absence data indicating the absence of the user. Other operations are the same as those of the device of the fourth embodiment.
【0050】この装置の動作手順を図14に示している
が、この手順は、第4実施例の場合(図10)と実質的
に同じである。FIG. 14 shows the operation procedure of this apparatus. This procedure is substantially the same as that of the fourth embodiment (FIG. 10).
【0051】[0051]
【発明の効果】以上の実施例の説明から明らかなよう
に、本発明の無人端末装置は、利用者がヘルプ情報を必
要としているかどうかを利用者の表情から的確に判断
し、必要としている場合に自動的にヘルプ情報を出力す
ることができる。As is apparent from the above description of the embodiment, the unmanned terminal device of the present invention accurately determines whether or not the user needs help information from the user 's facial expression. Help information can be automatically output.
【0052】また、利用者の個人情報の入力が可能な装
置では、利用者に適する表示形態でヘルプ情報を表示す
ることができる。In a device that allows the user to input personal information, the help information can be displayed in a display form suitable for the user.
【0053】[0053]
【図1】本発明の第1実施例における無人端末装置の構
成を示すブロック図、FIG. 1 is a block diagram showing a configuration of an unmanned terminal device according to a first embodiment of the present invention;
【図2】第1実施例の無人端末装置における視線動作パ
ターンデータベースの例、FIG. 2 is an example of a gaze movement pattern database in the unmanned terminal device according to the first embodiment;
【図3】第1実施例の無人端末装置の動作手順を示すフ
ローチャート、FIG. 3 is a flowchart illustrating an operation procedure of the unattended terminal device according to the first embodiment;
【図4】本発明の第2実施例における無人端末装置の構
成を示すブロック図、FIG. 4 is a block diagram showing a configuration of an unmanned terminal device according to a second embodiment of the present invention;
【図5】第2実施例の無人端末装置における表情パター
ンデータベースの例、FIG. 5 shows an example of an expression pattern database in the unattended terminal device according to the second embodiment;
【図6】第2実施例の無人端末装置の動作手順を示すフ
ローチャート、FIG. 6 is a flowchart illustrating an operation procedure of the unattended terminal device according to the second embodiment;
【図7】本発明の第3実施例における無人端末装置の構
成を示すブロック図、FIG. 7 is a block diagram showing a configuration of an unmanned terminal device according to a third embodiment of the present invention;
【図8】第3実施例の無人端末装置における個人情報と
ヘルプ表現方法情報との対応テーブル例、FIG. 8 is an example of a correspondence table between personal information and help expression method information in the unattended terminal device according to the third embodiment;
【図9】本発明の第4実施例における無人端末装置の構
成を示すブロック図、FIG. 9 is a block diagram showing a configuration of an unmanned terminal device according to a fourth embodiment of the present invention;
【図10】第4実施例の無人端末装置の動作手順を示す
フローチャート、FIG. 10 is a flowchart illustrating an operation procedure of the unmanned terminal device according to the fourth embodiment;
【図11】本発明の第5実施例における無人端末装置の
構成を示すブロック図、FIG. 11 is a block diagram showing a configuration of an unmanned terminal device according to a fifth embodiment of the present invention;
【図12】第5実施例の無人端末装置の動作手順を示す
フローチャート、FIG. 12 is a flowchart illustrating an operation procedure of the unmanned terminal device according to the fifth embodiment;
【図13】本発明の第6実施例における無人端末装置の
構成を示すブロック図、FIG. 13 is a block diagram showing a configuration of an unmanned terminal device according to a sixth embodiment of the present invention;
【図14】第6実施例の無人端末装置の動作手順を示す
フローチャート、FIG. 14 is a flowchart illustrating an operation procedure of the unmanned terminal device according to the sixth embodiment;
【図15】従来の無人端末装置の構成を示すブロック
図、FIG. 15 is a block diagram showing a configuration of a conventional unmanned terminal device;
【図16】従来の他の無人端末装置の構成を示すブロッ
ク図、FIG. 16 is a block diagram showing the configuration of another conventional unmanned terminal device;
【図17】従来の第3の無人端末装置の構成を示すブロ
ック図である。FIG. 17 is a block diagram showing a configuration of a third conventional unmanned terminal device.
101、401、701、1001、1201、1401、3001、3101、3201
入力部 102、402、702、1002、1202、1402、3002、3102、3202
処理部 103、403、703、1003、1203、1403、3003、3103 出力
部 104、404、704 ヘルプ処理部 105、404、705 ヘルプデータベース部 106、406、1004 画像入力部 107 視線検出部 108 視線動作検出部 109 視線動作パターンデータベース部 110、409 判断部 407 表情検出部 408 表情パターンデータベース 706 個人情報入力部 707 個人情報解析部 1005 人検出部 1204 加圧センサー部 1404 赤外線センサー部 1006、1205、1405、3106、3204 タイマー部 3004、3104 ヘルプ出力部 3203、3105 入力監視部101, 401, 701, 1001, 1201, 1401, 3001, 3101, 3201
Input unit 102, 402, 702, 1002, 1202, 1402, 3002, 3102, 3202
Processing unit 103, 403, 703, 1003, 1203, 1403, 3003, 3103 Output unit 104, 404, 704 Help processing unit 105, 404, 705 Help database unit 106, 406, 1004 Image input unit 107 Eye gaze detection unit 108 Eye movement Detection unit 109 Eye movement pattern database unit 110, 409 Judgment unit 407 Expression detection unit 408 Expression pattern database 706 Personal information input unit 707 Personal information analysis unit 1005 Person detection unit 1204 Pressure sensor unit 1404 Infrared sensor unit 1006, 1205, 1405, 3106, 3204 Timer section 3004, 3104 Help output section 3203, 3105 Input monitoring section
Claims (2)
入力操作に応じた処理を行なう処理手段と、処理の結果
を利用者に出力する出力手段とを具備する無人端末装置
において、 利用者の顔を映した画像データから顔の表情を構成する
要素を抽出して表情パターンデータを検出する利用者状
況検出手段と、 検出した表情パターンデータを基に利用者がヘルプを必
要としているかどうかを判断するヘルプ必要性判断手段
と、 前記ヘルプ必要性判断手段がヘルプを必要と判断したと
きに前記処理手段の処理状況に応じたヘルプを出力する
ヘルプ出力手段とを備えることを特徴とする無人端末装
置。1. An input means for a user to perform an input operation;
In an unmanned terminal device including processing means for performing a process according to an input operation and output means for outputting a processing result to a user, a facial expression is formed from image data showing the user 's face.
A user situation detecting means for extracting facial expression pattern data by extracting an element; a help necessity determining means for determining whether the user needs help based on the detected facial expression pattern data; and the help necessity determination. An unattended terminal device comprising: help output means for outputting help according to the processing status of the processing means when the means determines that help is required.
入力操作に応じた処理を行なう処理手段と、処理の結果
を利用者に出力する出力手段とを具備する無人端末装置
において、 利用者の身体的ハンディキャップ情報を入力する個人情
報入力手段と、 入力された身体的ハンディキャップ情報に適合するヘル
プの表現方法を指示する個人情報解析手段と、 前記個人情報解析手段から指示されたヘルプの表示方法
でヘルプを出力するヘルプ出力手段とを備えることを特
徴とする 無人端末装置。2. An input means by which a user performs an input operation;
Processing means for performing processing according to the input operation, and the processing result
Terminal device comprising output means for outputting a message to a user
In, personal information to enter a physical handicap information of the user
Information input means and a helper adapted to the input physical handicap information.
Personal information analyzing means for instructing a method of expressing a help, and a help display method instructed by the personal information analyzing means
And a help output means for outputting help
Unattended terminal device and butterflies.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7155623A JP3027521B2 (en) | 1995-05-31 | 1995-05-31 | Unattended terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7155623A JP3027521B2 (en) | 1995-05-31 | 1995-05-31 | Unattended terminal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08328715A JPH08328715A (en) | 1996-12-13 |
JP3027521B2 true JP3027521B2 (en) | 2000-04-04 |
Family
ID=15610056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7155623A Expired - Fee Related JP3027521B2 (en) | 1995-05-31 | 1995-05-31 | Unattended terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3027521B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3632687B2 (en) * | 2002-09-12 | 2005-03-23 | 富士ゼロックス株式会社 | Usability evaluation device |
JP2008003816A (en) * | 2006-06-21 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Operation guide apparatus and operation guide method |
JP2008257363A (en) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | Operation support device |
JP5154374B2 (en) * | 2008-11-14 | 2013-02-27 | 株式会社豊田中央研究所 | Confusion level estimation device and program |
JP5057177B2 (en) * | 2009-07-03 | 2012-10-24 | 日本電気株式会社 | Equipment operation support system |
JP5293570B2 (en) * | 2009-11-16 | 2013-09-18 | 富士通株式会社 | Display device, display program, and display method |
JP2012133382A (en) * | 2012-02-07 | 2012-07-12 | Kyocera Corp | Liquid crystal display device |
JP5813562B2 (en) * | 2012-04-16 | 2015-11-17 | 株式会社豊田中央研究所 | Operation support apparatus, operation system, operation support method, and program |
JP6007758B2 (en) * | 2012-12-03 | 2016-10-12 | 富士通株式会社 | User operation terminal device, user operation terminal program |
JP6326901B2 (en) * | 2014-03-26 | 2018-05-23 | 富士ゼロックス株式会社 | Image processing apparatus and program |
JP6370718B2 (en) * | 2015-01-20 | 2018-08-08 | シャープ株式会社 | Operation support apparatus and image forming apparatus |
JP6584855B2 (en) * | 2015-08-10 | 2019-10-02 | 株式会社日本総合研究所 | Input support apparatus, input support method, and program |
JP6743569B2 (en) * | 2016-08-09 | 2020-08-19 | 沖電気工業株式会社 | Operation support device, operation support method, and program |
JP2018128829A (en) * | 2017-02-08 | 2018-08-16 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
JP7314806B2 (en) * | 2020-01-16 | 2023-07-26 | コニカミノルタ株式会社 | Image forming apparatus, image processing system, and program |
-
1995
- 1995-05-31 JP JP7155623A patent/JP3027521B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08328715A (en) | 1996-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3027521B2 (en) | Unattended terminal device | |
US9489574B2 (en) | Apparatus and method for enhancing user recognition | |
EP1246146A2 (en) | Self-service terminal | |
US20070097234A1 (en) | Apparatus, method and program for providing information | |
JP2006023953A (en) | Information display system | |
JP2008269588A (en) | Recognition device, recognition method, and recognition program | |
KR101671837B1 (en) | Input device using eye-tracking | |
US10353475B2 (en) | Automated E-tran application | |
KR20190112962A (en) | Cognitive rehabilitation training system | |
US6033072A (en) | Line-of-sight-information input apparatus and method | |
JPH10207615A (en) | Network system | |
JP7000759B2 (en) | Guidance device, guidance system, guidance method and program | |
JP2000187553A (en) | Input device and head mount display for input device | |
JPH10320109A (en) | Display device, enlarged display supporting method and voicing supporting method | |
JP6743569B2 (en) | Operation support device, operation support method, and program | |
US20220327952A1 (en) | Interaction monitoring system, parenting assistance system using the same and interaction monitoring method using the same | |
US11301615B2 (en) | Information processing device using recognition difficulty score and information processing method | |
CN113016031A (en) | Information processing apparatus, information processing method, and program | |
JPH09161102A (en) | Action recognizing type automatic ticket issuing device | |
JP6790856B2 (en) | Electronic information processing system and computer program | |
KR102083372B1 (en) | System for alternative computer access using eye-tracking and voice recognition and operating method having the same | |
KR101671839B1 (en) | Input device using eye-tracking | |
KR102191337B1 (en) | Video data construction method and system for emotion recognition | |
JP2021092883A (en) | Information processing device, information processing method, and program | |
WO2020075290A1 (en) | Customer service system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |