JP4201644B2

JP4201644B2 - Terminal device and control program for terminal device

Info

Publication number: JP4201644B2
Application number: JP2003144653A
Authority: JP
Inventors: 篤曾我; 昭一小森; 太一杉山
Original assignee: 日立情報通信エンジニアリング株式会社
Priority date: 2003-05-22
Filing date: 2003-05-22
Publication date: 2008-12-24
Anticipated expiration: 2023-05-22
Also published as: JP2004348429A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力手段及び表示手段を備える端末装置及び端末装置の制御プログラムに係り、特にオペレータの操作性を向上することができる端末装置及び端末装置の制御プログラムに関する。
【０００２】
【従来の技術】
一般に端末装置、例えばパーソナルコンピュータ／携帯情報端末機器／金融機関におけるＡＴＭ等の入力部及び表示部を備える端末装置は、使用者又はオペレータによって表示画面を任意に変更することができる。例えばパーソナルコンピュータは、オペレータの好みによって画面の解像度／文字サイズ／背景画等を任意に設定することができる。
【０００３】
他方、近年のコンピュータシステムは、ユーザインタフェースを向上させるために、キーボードやマウスなどの入力デバイスに代わりにオペレータの視線の動きを検出する技術が提案され、これら技術が記載された文献としては、例えば特開２００３−１５８１６号公報や特開平１１−３４５０７３号公報が挙げられる。
【０００４】
【発明が解決しようとする課題】
前述の従来技術による端末装置は、オペレータの操作によって表示画面の設定を任意に変更することができるものの、例えばオペレータの疲労度に応じて表示画面を自動的に変更する等の配慮がされておらず、ユーザフレンドリな端末装置の操作性を向上することが困難であると言う不具合があった。
【０００５】
他方、前述の公報記載の従来技術は、オペレータの視線を検出して例えば自動車のドライバが正面を向いているか否かの判定や個人認証を行ったり、視線をマウスポインタの代わりに使用することができるものの、オペレータの疲労度に応じて表示画面を自動的に変更する等の配慮がされていないものであった。
【０００６】
本発明の目的は、前述の従来技術による不具合を除去することであり、オペレータの疲労による自然なオペレータの動作（イベントと呼ぶ）を検出し、このイベントに応じて操作性を向上することができる端末装置及び端末装置の制御プログラムを提供することである。
【０００７】
【課題を解決するための手段】
前記目的を達成するために本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、表示手段の前面の基本位置に配したオペレータの顔画像を撮影する撮影手段と、該撮影した顔画像を記憶する記憶手段と、前記入力手段と表示手段と撮影手段と記憶手段を制御する制御手段とを備える端末装置において、前記制御手段が、前記記憶手段に記憶したオペレータの顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１工程と、オペレータの顔画像を撮影手段により撮影する第２工程と、該第２工程により撮影した顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した撮影時の唇幅比を得る第３工程と、前記第１工程により得た基準唇幅比と前記第３工程により得た撮影時振幅比とを比較する第４工程と、該第４工程において撮影時振幅比が基準唇幅比が大きいと判定したとき、オペレータのあくびイベントを発生させる第５工程と、該第５工程によるあくびイベントに応じて表示手段の表示形態を変化させる第６工程とを実行させることを第１の特徴とする。
【０００８】
また本発明は、第１の特徴の端末装置において、前記第５工程によるオペレータのあくびイベントを連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させることを第２の特徴とする。
【０００９】
更に本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、表示手段の前面の基本位置に配したオペレータの顔画像を撮影する撮影手段と、該撮影した顔画像を記憶する記憶手段と、前記入力手段と表示手段と撮影手段と記憶手段を制御する制御手段とを備える端末装置の制御プログラムであって、前記制御手段に、前記記憶手段に記憶したオペレータの顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１機能と、オペレータの顔画像を撮影手段により撮影する第２機能と、該第２機能により撮影した顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した撮影時の唇幅比を得る第３機能と、前記第１機能により得た基準唇幅比と前記第３機能により得た撮影時振幅比とを比較する第４機能と、該第４機能において撮影時振幅比が基準唇幅比が大きいと判定したとき、オペレータのあくびイベントを発生させる第５機能と、該第５機能によるあくびイベントに応じて表示手段の表示形態を変化させる第６機能とを実現させることを第３の特徴とする。
【００１０】
また本発明は、前記第３の特徴の制御プログラムにおいて、前記制御手段に、前記第５機能によるオペレータのあくびイベントを連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させる第７機能を実現させることを第４の特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明による端末装置及び制御プログラムの一実施形態を図面を参照して詳細に説明する。図１は本実施形態による端末装置の装置外観図、図２は本実施形態による端末装置のハードウェア構成を説明するための図、図３は本実施形態による端末装置のソフトウェア構成を説明するための図、図４は本実施形態による顔データを説明するための図、図５は本実施形態によるイベント判定テーブルを示す図、図６は本実施形態によるイベント判定アルゴリズムを説明するための図、図７は本実施形態によるイベント処理の全体動作を説明するための図である。
【００１３】
＜構成の説明＞
まず、本実施形態で述べるイベントとは、オペレータが疲労等の要因により本能的に無意識に行う動作であって、例えば眼の疲労により画面が見づらいために「目を細める」／「顔を画面に近づける」事や、同理由且つ老眼により「顔を画面から遠ざける」事や、疲労による「あくび」／「手で目を押さえる」／「背伸び」／「目を閉じる（居眠り）」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」等の無意識的な行為を意味するものであるが、人間の疲労／脱力感／肩こり等に起因するものであれば、これに限られる物ではなく、例えば個人的な癖、例えばイライラしたときに鉛筆を回転させる癖／貧乏揺すりの癖（足部分を撮影するカメラが必要）も含まれるものである。
【００１４】
次に本実施形態による端末装置２は、図１に示す如く、オペレータ１の正面の顔画像を撮影するためのカメラ（撮影手段）３と、各種情報を表示するためのディスプレイ（表示手段）４と、キーボート等の入力デバスイス（図示せず）を備え、そのハードウェア構成は、図２に示す如く、前記カメラ３及びディスプレイ４に加え、該ディスプレイ４に表示する表示情報を一時的に格納するビデオメモリ１０７と、キーボード等の入力デバイスである入力手段１０３と、オペレーティングシステムや各種アプリケーションソフトや本実施形態の特徴である制御プログラム／顔データテーブルを格納する記憶部１０４と、同様にオペレーティングシステム等を一時的に記憶するメモリ１０６と、これらを制御する中央処理部（制御部）１０５とを備える。
【００１５】
また本実施形態による端末装置のソフトウェア構成は、図３に示す如く、前記オペレーティングシステム２０１と、該オペレーティングシステム２０１の制御下において、ディスプレイ４に表示する表示情報の表示形態を制御する表示形態制御部２０５及び表示ドライバ２０６と、一時的に表示画面を他の画面に切り替えて表示するスクリーンセーバー２０７と、ワープロ／表計算その他各種アプリケーションソフトウェア２０８と、前記入力手段１０３から入力された情報をオペレーティングシステム２０１に入力するための入力ドライバ２１４と、該入力ドライバ２１４を介して入力されたイベント（：動作命令、例えば画面の拡大／縮小／スクリーンセーバー起動／音楽再生他）の入力処理を行うイベント入力処理アプリケーション２１３と、カメラ３による画像撮影を制御するカメラドライバ２１６と、該ドライバ２１６により撮影した画像を認識する画像認識アプリケーション２１７と、該アプリケーション２１７で認識した画像に基づいてイベントを認識するイベント認識処理アプリケーション２１８と、前記カメラドライバ２１６により撮影した撮影画像をオペレーティングシステム２０１に転送する画像転送アプリケーション２１５と、該アプリケーション２１５により転送された画像情報を基に顔画像の特徴を抽出する顔特徴抽出アプリケーション２１１と、予めオペレータの顔画像情報を登録するための基本顔画像登録アプリケーション２１２とを備える。
【００１６】
また前記記憶部に格納する顔データテーブルとは、図４に示す如く、顔の横長（幅）寸法をＷ，顔の縦長寸法をｈ，目の縦長さ（幅）寸法をｅ，唇の縦長（厚さ）寸法をｍとしたとき、前記寸法Ｗ／ｈ／ｅ／ｍに加え、顔縦長さ寸法と目の縦長さ寸法との比である目幅比ｅ／ｈと、顔縦長さ寸法と唇の縦長さ（厚さである幅）寸法との比である唇幅比ｍ／ｈとを格納している。これら寸法及び比はオペレータの基準値である。
【００１７】
この顔データは、図３に示す如く、カメラドライバ２１６がカメラ３を駆動してオペレータが通常の状態においてディスプレイの前面に座り、作業を行うときの位置（基本位置と呼ぶ）に座った状態において正面顔画像を撮影し、画像転送処理アプリケーション２１５によってオペレーティングシステム２０１を介して基本顔画像登録アプリケーション２１２により図２の記憶部１０４に記憶されると共に、図３の顔特徴抽出アプリケーション２１１が該基本顔画像の情報から各寸法を抽出乃至演算して図２の記憶部１０４に記憶されるものである。また本実施形態による端末装置及び制御プログラムは、前記顔画像だけではなく、オペレータが端末装置の操作時に標準に位置する状態において上半身の撮影を行い、顔の位置／肩の位置／手の位置等を画像解析して記憶部１０４に記憶することもできる。尚、前記オペレータの基本位置において撮影した画像（顔画像、上半身画像その他）を本実施形態においては基本画像と呼び、前記カメラが撮影したオペレータの作業中の顔画像、上半身画像その他の画像をオペレータ画像と呼ぶ。
【００１８】
また前記顔データの目幅比ｅ／ｈと唇幅比ｍ／ｈとを格納する理由は、目幅及び唇幅は、顔の上下向き／接近／遠ざかりによって撮像の測定寸法が変化し、単純な絶対値との比較では目幅及び唇幅の変化を正確に測定できないため、これを防止するためである。
【００１９】
特に本実施形態による端末装置及び制御プログラムは、前記オペレータの自然な動作、例えばカメラにより撮影した目幅比ｅ／ｈが記憶部１０４に格納した基準目幅比ｅ／ｈと比較して小さい場合、オペレータが目を細めていること及び目を閉じていることを検出し、撮影した唇幅比ｍ／ｈが基準唇幅比ｍ／ｈと比較して大きい場合、オペレータが口を開けていることを判定し、撮影した顔の横長Ｗ及び縦長ｈが基準値に比べて共に大きい場合は、オペレータが顔を画面に近づけていることを検出し、逆に小さい場合はオペレータが顔を画面から遠ざけていることを検出することができる。
【００２０】
更に本実施形態による端末装置及び制御プログラムは、前記撮像した顔画像により、例えば目を細めている／目を閉じている／口を開けている／顔を近づけている／顔を遠ざけていることを検出し、この検出結果を用いて前記オペレータのイベント発生を判定することができる。例えば、所定時間内において目を細めていることを検出した回数が所定回数を超える場合は、疲労により目を長時間細めているイベントが発生していると判定し、目を閉じている回数が第２の所定回数を越えることを検出した場合は、居眠りイベントが発生している可能性があると判定し、口を所定の比より大きく所定の時間開いている場合は、あくびイベントが発生している可能性があると判定し、その他「背伸び」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」／「手で目を押さえる」等の無意気的な行為を予め登録した基本画像と対比させてイベントを判定することができる。
【００２１】
また本実施形態で述べるイベント判定テーブルは、図５に示す如く、発生イベント（見難い／見難い解消／あくびイベント）を判定するため、３つの画像変化条件（顔縦横長拡大且つ目縦長比縮小／顔縦横長縮小且つ目縦長比拡大／顔縦横長縮小且つ口縦縦長比拡大）の検出に応じた各操作カウンタを設け、該カウンタ値を加算又は減算し、予め定めた閾値と比較することによって行われ、詳細動作は後述する。
【００２２】
＜動作説明＞
次に前述の様に構成された本実施形態による端末装置及び制御プログラムの動作を次に説明する。
まず、図３に示したイベント認識アプリケーション２１８によるイベント判定アルゴリズムは、図６に示す如く、まず、オペレータが画面に接近して顔画像の縦及び横寸法が大きくなり且つ目を細めているイベントが発生してるか否かの判定をステップ６１により行う。このステップ６１による判定は、条件式「顔横長ｗが拡大and顔縦長ｈが拡大and目縦長比ｅ／ｈが縮小」の画像変化条件１を満たすか否かの判定によって行われる。このステップ６１の画像変化条件１を満たすイベントを検出した場合、本アルゴリズムは、「見難さイベント」のカウンタ値に１を加え（ステップ６２）、このカウンタ値ｎが１００回を越えるか否かの判定をステップ６３により行い、該ステップ６３によりカウンタ値ｎが１００を越えたと判定した場合、カウンタ値ｎをゼロにリセットする（ステップ６４）と共に、「見難いイベント」が発生したと判断し（ステップ６５）、前記ステップ６３においてカウンタ値ｎが１００を越えない場合は次のステップ６６による画像変化条件２の判定を行う。
【００２３】
即ち本実施形態による画像変化条件１によるオペレータが画面に接近し且つ目を細めるイベントが１００回以上発生した場合に、疲労により「見難いイベント」が発生したと判断する。尚、このイベント発生の判定は、単位時間内（例えば３０秒〜１０分間）における「見難さイベント」の発生回数を計数するものであり、後述の例における画像変化条件のカウンタ値の判定においても閾値は異なるものの同様に設定される。
【００２４】
前記画像変化条件２を判定するステップ６６は、オペレータが基本位置と比して画面から遠ざかることにより顔画像の縦及び横寸法が小さくなり且つ目を大きく開いたイベントが発生してるか否かの判定を行うものであり、条件式「顔横長ｗが縮小and顔縦長ｈが縮小and目縦長比ｅ／ｈが拡大」の画像変化条件２を満たすか否かの判定によって行われる。
【００２５】
このステップ６６の画像変化条件２を満たすイベントを検出した場合、本アルゴリズムは、「見難さイベント」のカウンタ値から１を減算し（ステップ６７）、このカウンタ値ｎが１００回より小さいか否かの判定をステップ６８により行い、該ステップ６８によりカウンタ値ｍが−１００より小さいと判定した場合、カウンタ値ｍをゼロにリセットする（ステップ６９）と共に、「見難さ解消イベント」が発生したと判断し（ステップ７０）、前記ステップ６８においてカウンタ値ｎが−１００より大きい場合は次のステップ７１による画像変化条件３の判定を行う。
【００２６】
次いで本アルゴリズムは、ステップ７１による画像変化条件３を満たすイベント発生の有無を判定する。この画像変化条件３を判定するステップ７１は、オペレータが画面（ディスプレイ）からの遠ざかりによる顔画像の縦及び横寸法が小さくなり且つ口を大きく開いているイベントが発生してるか否かの判定を行う。このステップ７１による判定は、条件式「顔横長ｗが縮小and顔縦長ｈが縮小and口縦長比ｍ／ｈが拡大」の画像変化条件３を満たすか否かの判定によって行われる。このステップ７１の画像変化条件３を満たすイベントを検出した場合、本アルゴリズムは、「あくびイベント」のカウンタ値から１を減算し（ステップ７２）、このカウンタ値ｍが１００より小さいか否かの判定をステップ７３により行い、該ステップ７３によりカウンタ値ｍが１００より小さいと判定した場合、カウンタ値ｍをゼロにリセットする（ステップ７４）と共に、「あくびイベント」が発生したと判断する（ステップ７５）。即ち本アルゴリズムは、オペレータ背伸び等により画面から遠ざかり且つ口を大きく開けた単位時間（本例では例えば１０秒）当たりの回数を計数し、該単位時間（１０秒）内に１００回以上、画面から遠ざかり且つ口を開けている状態を検出した場合、「あくびイベント」が発生したと判断する。
【００２７】
尚、図６に示したイベント判定アルゴリズムは、オペレータが「画面に近づいて目を細めるイベント」及び「あくびイベント」の例を示したものであって、前述の老眼により「顔を画面から遠ざける」／「手で目を押さえる」／「背伸び」／「目を閉じる（居眠り）」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」／「個人的な癖」の判定を行うことができ、この判定は予め撮像及び登録した画像情報との比較によって行うことができる。
【００２８】
次に前述のイベント判定アルゴリズムを用いた本実施形態による端末装置及び制御プログラムは、図７に示す如く、ＣＰＵ１０５が一定周期毎に、前記図６で説明した様な各種イベント判定アルゴリズムを実行する動き認識イベント３０１と、オペレータ自らの操作による入力イベント３０２を交互に実行し、検出又は入力されたイベントの内容をイベント解析処理３０３によって解析する。このイベント解析処理３０３による解析結果が、顔を遠ざけるイベント３０８の場合、本システムは、遠視に対処するために表示画像を縮小して表示する表示縮小処理３０４を行い、目を細めるイベント３０９及び顔を近づけた（動作）イベント３１０場合は近視に対処するために表示画像を拡大してして表示する表示拡大処理３０５を行い、あくびイベント３１１が発生した場合は疲労による休憩を促すために目の疲れを解消する画面等のスクリーンセーバーの起動３０６を行い、更にオペレータからのマウス又はキー入力による直接的な指示のイベント３１２又は３１３の場合、該入力により指示された通常処理３０７（画面拡大／縮小／スクリーンセーバー／音楽再生その他）を行う様に動作する。
【００２９】
前記表示拡大処理３０４／表示拡大処理３０５は、縮小乃至拡大率を急激に変化させずに、緩やかに縮小乃至拡大率を変化させることにより、例えば画面の文字が小さくて認識困難な場合、文字サイズを徐々に拡大し、オペレータにとって適当な文字サイズになるとオペレータが基準の位置に戻ることにより、文字拡大が停止され、オペレータに急激な画面変化を意識させることを防止することができる。
【００３０】
この様に本実施形態による端末装置及び制御プログラムは、オペレータの標準の顔画像他の基本画像を予め撮像して記憶しておき、オペーレータが疲労等の要因により本能的に無意識に行うイベントを検出し、このイベントに応じて画像の表示形態を変更することによって、例えばオペレータの疲労度に応じて表示画面を自動的に変更し、ユーザフレンドリな端末装置の操作性を向上することができる。
【００３１】
具体的に説明すると本実施形態による端末装置及び制御プログラムは、オペレータが例えば文字が小さく目視が困難なために画面に近づいた場合、このイベントを検出し、表示画面を緩やかに拡大する様に表示制御を行い、例えばオペレータが「あくび」をした場合、オペレータに休息を促すため又は気分転換を促すためにスクリーンセーバーを起動したり、音楽を流すことができ、ユーザフレンドリな端末装置を提供することができる。
【００３２】
尚、前記実施形態においては各種イベントに対して表示画面の拡大率の変更又はスクリーンセーバーの起動を行う例を説明したが、イベントの種類によっては他の処理を実行しても良い。例えば、オペレータが目を長時間閉じて居眠りの可能性があるときに全体画面をフラッシュさせ且つ注意を喚起する音を発生させることや、オペレータが「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」等の肩こりらしきイベントを検出したときに、在席したままの軽運動のやり方のビデオ画像を表示させること他の各種対応処理を実行させることもできる。
【００３３】
更に本発明は、例えばオペレータのうつぶせ状態が所定時間継続し且つ前記フラッシュ等を所定回数実行してもオペレータに変化がない場合に、病気等による緊急事態が発生した可能性があることに鑑み、救急センタに通報する等の処理を行うこともでき、このことは例えば独居老人が使用する端末装置においては緊急コールの機能として実施することもできる。
【００３４】
更に本発明は、予め登録するオペレータの画像情報を特定の１人に限られるものではなく、複数のオペレータの画像情報を登録しておくこともでき、この場合は端末装置に在席時にオペレータをログオンＩＤの入力又は画像認識により判定しておくことが必要である。また本発明は、パーソナルコンピュータ等の端末装置に限られることなく、例えば金融機関のＡＴＭにも適用することができる。このＡＴＭに適用する際には、操作者が不特定のため、例えば操作者がカメラ視野に入って停止した顔又は上半身の全体画像の輪郭から輪郭内面積を演算して記憶し、この記憶した輪郭内面積に対して操作者が接近して顔又は上半身の撮影画像の輪郭内面積が増大した場合に、見難いイベントが発生したと判定してガイダンス画像を拡大又は文字拡大等を行う様に構成しても良い。
【００３５】
さらに、不特定の操作者において、例えば、目は、上部、左右に配された横線分、鼻は、顔の中央に配された縦線分、口は顔の下部、中央に配された横線分などの特徴より、操作者の目、鼻、口を抽出することにより、これらの位置、大きさなどの変化を判定し、操作者の動きのイベントを発生させ、それにより、表示画像の拡大、縮小の制御を行うようにしてもよい。
【００３６】
【発明の効果】
以上述べた如く本発明による端末装置及び制御プログラムは、表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記撮影した基本画像を記憶する記憶手段とを設け、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較し、該比較結果に基づいてオペーレータのイベント発生の判定し、該判定したイベントに応じて表示手段の表示形態を変化させることにより、イベント、例えばオペレータが画面に顔を近接したイベントが発生した際には画面の拡大率を増加させて文字等を読み易くしたり、あくびイベントが発生した際にはスクリーンセーバーを起動して気分転換を促すことができ、ユーザフレンドリな端末装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による端末装置の装置外観図。
【図２】本実施形態による端末装置のハードウェア構成を説明するための図。
【図３】本実施形態による端末装置のソフトウェア構成を説明するための図。
【図４】本実施形態による顔データを説明するための図。
【図５】本実施形態によるイベント判定テーブルを示す図。
【図６】本実施形態によるイベント判定アルゴリズムを説明するための図。
【図７】本実施形態によるイベント処理の全体動作を説明するための図。
【符号の説明】
１：オペレータ、２：端末装置、３：カメラ、４：ディスプレイ、１０３：入力手段、１０４：記憶部（磁気ディスク記憶装置）、１０５：ＣＰＵ、１０６：メモリ、１０７：ビデオメモリ、２０１：オペレーティングシステム、２０５：表示形態制御部、２０７：スクリーンセーバ、２０８：アプリケーションプログラム、２１１：顔特徴抽出アプリケーション、２１２：基本顔画像登録アプリケーション、２１３：イベント入力処理アプリケーション、２１４：入力ドライバ、２１５：画像転送処理アプリケーション、２１６：カメラドライバ、２１７：画像認識処理アプリケーション、２１８：イベント認識処理アプリケーション。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a terminal device including an input unit and a display unit and a control program for the terminal device, and more particularly to a terminal device and a control program for the terminal device that can improve operability for an operator.
[0002]
[Prior art]
In general, a terminal device such as a personal computer / portable information terminal device / terminal device including a display unit such as an ATM in a financial institution can arbitrarily change a display screen by a user or an operator. For example, the personal computer can arbitrarily set the screen resolution / character size / background image or the like according to the preference of the operator.
[0003]
On the other hand, in recent computer systems, in order to improve the user interface, a technique for detecting the movement of the line of sight of an operator instead of an input device such as a keyboard or a mouse has been proposed, and as a document describing these techniques, for example, JP-A-2003-15816 and JP-A-11-345073 are exemplified.
[0004]
[Problems to be solved by the invention]
Although the terminal device according to the above-described prior art can arbitrarily change the display screen setting by the operator's operation, consideration has been given to automatically changing the display screen according to the operator's fatigue level, for example. Therefore, there is a problem that it is difficult to improve the operability of the user-friendly terminal device.
[0005]
On the other hand, the prior art described in the above publication can detect the operator's line of sight, for example, determine whether the driver of the automobile is facing the front, perform personal authentication, or use the line of sight instead of the mouse pointer. Although it was possible, there was no consideration such as automatically changing the display screen according to the fatigue level of the operator.
[0006]
An object of the present invention is to eliminate the above-described problems caused by the prior art, and it is possible to detect a natural operator action (referred to as an event) due to operator fatigue and improve operability in accordance with this event. It is to provide a terminal device and a control program for the terminal device.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an input means for inputting data and the like, a display means for displaying character data and an image, and a photographing means for photographing an operator's face image arranged at a basic position in front of the display means. And a storage means for storing the photographed face image, and a control means for controlling the input means, display means, photographing means and storage means , wherein the control means stores the operator stored in the storage means. A first step of obtaining the operator's face length dimension value and lip width dimension value from the face image, and obtaining a reference lip width ratio obtained by dividing the lip width dimension value by the face length dimension value, and photographing the operator's face image A second step of photographing by means, and a face longitudinal dimension value and a lip width dimension value of the operator obtained from the face image photographed by the second step, and the lip width dimension value is divided by the face longitudinal dimension value at the time of photographing. Third work to obtain lip width ratio And a fourth step for comparing the reference lip width ratio obtained in the first step with the photographing amplitude ratio obtained in the third step, and the photographing lip amplitude ratio in the fourth step has a large reference lip width ratio. When it is determined , the first feature is to execute a fifth step of generating a yawning event of the operator and a sixth step of changing the display form of the display means according to the yawning event of the fifth step. .
[0008]
The present invention, in the terminal apparatus of the first aspect, wherein, when it is detected a predetermined number of times or more in succession an operator of yawning event of the fifth step, the display unit, the second characterized by changing the output of the audio unit And
[0009]
Furthermore, the present invention provides an input means for inputting data and the like, a display means for displaying character data and an image, a photographing means for photographing a face image of an operator arranged at a basic position on the front surface of the display means, and the photographed face A control program for a terminal device comprising storage means for storing an image, control means for controlling the input means, display means, photographing means, and storage means, wherein the control means stores an operator's program stored in the storage means. A first function for obtaining an operator's face length dimension value and lip width dimension value from the face image, and obtaining a reference lip width ratio obtained by dividing the lip width dimension value by the face length dimension value; The second function for photographing by the above-mentioned method, and the operator's face vertical dimension value and lip width dimension value are obtained from the face image photographed by the second function, and the lip at the time of photographing is obtained by dividing the lip width dimension value by the face vertical dimension value The third function to get the width ratio A fourth function for comparing the reference lip width ratio obtained by the first function and the shooting amplitude ratio obtained by the third function, and in the fourth function, the shooting amplitude ratio is determined to be larger than the reference lip width ratio. Then, the third feature is to realize a fifth function for generating a yawning event by the operator and a sixth function for changing the display form of the display unit in accordance with the yawning event by the fifth function.
[0010]
According to the present invention, in the control program of the third feature, when the control means detects the yawning event of the operator by the fifth function continuously more than a predetermined number of times, the output of the display means and the sound means is changed. Implementing the seventh function is a fourth feature.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a terminal device and a control program according to the present invention will be described in detail with reference to the drawings. 1 is an external view of a terminal device according to the present embodiment, FIG. 2 is a diagram for explaining a hardware configuration of the terminal device according to the present embodiment, and FIG. 3 is a software configuration of the terminal device according to the present embodiment. FIG. 4 is a diagram for explaining face data according to the present embodiment, FIG. 5 is a diagram showing an event determination table according to the present embodiment, and FIG. 6 is a diagram for explaining an event determination algorithm according to the present embodiment. FIG. 7 is a diagram for explaining the overall operation of event processing according to the present embodiment.
[0013]
<Description of configuration>
First, the event described in the present embodiment is an operation that an operator instinctively unconsciously due to factors such as fatigue. For example, the screen is difficult to see due to eye fatigue, so “squinting eyes” / “face on screen” “Move closer”, “Keep your face away from the screen” due to presbyopia and presbyopia, “Yawning” / “Hold your eyes with hands” / “Stretch out” / “Close your eyes (sleep)” / “Neck your neck” It means unconscious actions such as "turn", "crush the neck with hand", "crush or hit the shoulder with hand", but if it is caused by human fatigue / weakness / stiff shoulders, etc. However, the present invention is not limited to this, and includes, for example, personal wrinkles, such as wrinkles that rotate a pencil when frustrated / poor shaking wrinkles (requires a camera for photographing the foot portion).
[0014]
Next, as shown in FIG. 1, the terminal device 2 according to the present embodiment includes a camera (photographing means) 3 for photographing a face image in front of the operator 1 and a display (display means) 4 for displaying various information. And an input device (not shown) such as a keyboard, the hardware configuration temporarily stores display information to be displayed on the display 4 in addition to the camera 3 and the display 4 as shown in FIG. The video memory 107, the input means 103 that is an input device such as a keyboard, the storage unit 104 that stores the operating system, various application software, and the control program / face data table that is a feature of the present embodiment, and the operating system, etc. A memory 106 for temporarily storing the data and a central processing unit (control unit) 105 for controlling them. Obtain.
[0015]
Also, the software configuration of the terminal device according to the present embodiment includes the operating system 201 and a display form control unit that controls the display form of display information displayed on the display 4 under the control of the operating system 201, as shown in FIG. 205, a display driver 206, a screen saver 207 that temporarily switches the display screen to another screen, a word processor / spreadsheet and other various application software 208, and information input from the input means 103 to the operating system 201. An input driver 214 for inputting, and an event input processing application 2 for performing input processing of events (: operation commands such as screen enlargement / reduction / screen saver activation / music playback, etc.) input via the input driver 214 3, a camera driver 216 that controls image capturing by the camera 3, an image recognition application 217 that recognizes an image captured by the driver 216, and an event recognition processing application that recognizes an event based on the image recognized by the application 217 218, an image transfer application 215 that transfers a photographed image taken by the camera driver 216 to the operating system 201, and a face feature extraction application 211 that extracts facial image features based on the image information transferred by the application 215. A basic face image registration application 212 for registering face image information of the operator in advance.
[0016]
As shown in FIG. 4, the face data table stored in the storage unit has a face width (width) dimension W, a face length dimension h, an eye length (width) dimension e, and a lip length. When the (thickness) dimension is m, in addition to the dimension W / h / e / m, the eye width ratio e / h, which is the ratio of the face vertical dimension to the eye vertical dimension, and the face vertical dimension And the lip width ratio m / h, which is the ratio of the lip length to the vertical length (width as thickness) dimension. These dimensions and ratios are reference values for the operator.
[0017]
As shown in FIG. 3, this face data is obtained when the camera driver 216 drives the camera 3 and the operator sits on the front of the display in a normal state and sits at a position (called a basic position) when performing work. A front face image is taken and stored in the storage unit 104 of FIG. 2 by the basic face image registration application 212 via the operating system 201 by the image transfer processing application 215, and the face feature extraction application 211 of FIG. Each dimension is extracted or calculated from image information and stored in the storage unit 104 of FIG. In addition, the terminal device and the control program according to the present embodiment capture not only the face image but also the upper body when the operator is in a standard position when operating the terminal device, and the face position / shoulder position / hand position, etc. Can be stored in the storage unit 104 after image analysis. In this embodiment, an image (face image, upper body image, etc.) taken at the basic position of the operator is called a basic image in the present embodiment, and the face image, upper body image, and other images taken by the camera during the operation of the operator Called an image.
[0018]
The reason why the eye width ratio e / h and the lip width ratio m / h of the face data are stored is that the measurement width of the imaging changes depending on the face up / down direction / approach / distance. This is to prevent the change in the eye width and the lip width from being accurately measured in comparison with the absolute value.
[0019]
In particular, in the terminal device and the control program according to the present embodiment, the natural operation of the operator, for example, when the eye width ratio e / h photographed by the camera is smaller than the reference eye width ratio e / h stored in the storage unit 104. When the operator detects that the eyes are narrowed and the eyes are closed, and the photographed lip width ratio m / h is larger than the reference lip width ratio m / h, the operator opens his mouth. When the horizontal W and the vertical h of the photographed face are both larger than the reference value, it is detected that the operator is approaching the screen. Conversely, when the face is small, the operator removes the face from the screen. It is possible to detect being away.
[0020]
Further, the terminal device and the control program according to the present embodiment, for example, have narrowed eyes / closed eyes / open mouth / closed face / closed face based on the captured face image. And the occurrence of the operator's event can be determined using the detection result. For example, if the number of times that it is detected that the eyes are narrowed within a predetermined time exceeds the predetermined number of times, it is determined that an event of narrowing the eyes for a long time due to fatigue has occurred, and the number of times the eyes are closed If it is detected that the second predetermined number of times has been exceeded, it is determined that a dozing event may have occurred, and if the mouth has been opened for a predetermined time greater than a predetermined ratio, a yawning event has occurred. It is judged that there is a possibility that it is, and other things such as “stretch out” / “turn the neck” / “crush the neck with hands” / “crush or hit the shoulders with hands” / “hold the eyes with hands” etc. An event can be determined by comparing a basic action with a basic image registered in advance.
[0021]
Further, as shown in FIG. 5, the event determination table described in the present embodiment has three image change conditions (face vertical / horizontal enlargement and eye vertical / height ratio reduction) to determine an occurrence event (difficult to see / dissolve difficult to see / yawn event). Each of the operation counters is provided in accordance with the detection of (face vertical / horizontal reduction and eye vertical / height ratio expansion / face vertical / horizontal reduction and mouth vertical / longitudinal ratio expansion), and the counter value is added or subtracted and compared with a predetermined threshold The detailed operation will be described later.
[0022]
<Description of operation>
Next, operations of the terminal device and the control program according to the present embodiment configured as described above will be described below.
First, as shown in FIG. 6, the event determination algorithm by the event recognition application 218 shown in FIG. 3 is an event in which the operator approaches the screen and the vertical and horizontal dimensions of the face image increase and the eyes are narrowed. It is determined in step 61 whether or not it has occurred. The determination at step 61 is performed by determining whether or not the image change condition 1 of the conditional expression “the face width w is enlarged and the face length h is enlarged and the eye length ratio e / h is reduced” is satisfied. When an event satisfying the image change condition 1 in step 61 is detected, the present algorithm adds 1 to the counter value of “difficulty event” (step 62) and determines whether or not the counter value n exceeds 100 times. If it is determined in step 63 that the counter value n has exceeded 100, the counter value n is reset to zero (step 64), and it is determined that an “unobservable event” has occurred ( In step 65), if the counter value n does not exceed 100 in step 63, the image change condition 2 is determined in the next step 66.
[0023]
In other words, when an event that causes the operator to approach the screen and narrow his / her eyes occurs 100 times or more according to the image change condition 1 according to the present embodiment, it is determined that an “unobservable event” has occurred due to fatigue. The determination of the event occurrence is to count the number of occurrences of “difficulty event” within a unit time (for example, 30 seconds to 10 minutes). In the determination of the counter value of the image change condition in the example described later. Are also set in the same manner although the threshold values are different.
[0024]
In step 66 for determining the image change condition 2, whether or not an event has occurred in which the vertical and horizontal dimensions of the face image are reduced and the eyes are widened as the operator moves away from the screen as compared with the basic position. This is performed by determining whether or not the image change condition 2 of the conditional expression “the face width w is reduced and the face length h is reduced and the eye length ratio e / h is increased” is satisfied.
[0025]
When an event satisfying the image change condition 2 in step 66 is detected, the present algorithm subtracts 1 from the counter value of “difficulty event” (step 67), and whether or not the counter value n is smaller than 100 times. If the counter value m is determined to be smaller than −100 in step 68, the counter value m is reset to zero (step 69), and an “invisibility cancellation event” occurs. (Step 70). If the counter value n is larger than −100 in Step 68, the image change condition 3 is determined in the next Step 71.
[0026]
Next, the present algorithm determines whether or not an event that satisfies the image change condition 3 in step 71 has occurred. In step 71 for determining the image change condition 3, it is determined whether or not an event has occurred in which the vertical and horizontal dimensions of the face image are reduced and the mouth is wide open due to the operator moving away from the screen (display). Do. The determination in step 71 is performed by determining whether or not the image change condition 3 of the conditional expression “the face width w is reduced and the face length h is reduced and the mouth length ratio m / h is increased” is satisfied. When an event satisfying the image change condition 3 in step 71 is detected, the present algorithm subtracts 1 from the counter value of “yawn event” (step 72), and determines whether or not the counter value m is smaller than 100. When the counter value m is determined to be smaller than 100 in step 73, the counter value m is reset to zero (step 74) and it is determined that the “yawn event” has occurred (step 75). . That is, this algorithm counts the number of times per unit time (in this example, for example, 10 seconds) that is far away from the screen due to the operator's back stretching, etc., and is 100 times or more within the unit time (10 seconds). If it is detected that the mouth is far away and the mouth is open, it is determined that a “yawn event” has occurred.
[0027]
The event determination algorithm shown in FIG. 6 is an example of an “event that closes the screen and narrows the eyes” and “yawn event” by the operator, and the above-mentioned presbyopia causes “the face is moved away from the screen”. / "Hold your eyes with your hands" / "Extend your back" / "Close your eyes (sleep)" / "Turn your neck" / "Pinch your neck with your hand" / "Pinch or hit your shoulder with your hand" / "Personal The determination of “行う” can be performed, and this determination can be performed by comparison with image information captured and registered in advance.
[0028]
Next, as shown in FIG. 7, the terminal device and control program according to the present embodiment using the above-described event determination algorithm is a movement in which the CPU 105 executes various event determination algorithms as described in FIG. 6 at regular intervals. The recognition event 301 and the input event 302 by the operator's own operation are executed alternately, and the contents of the detected or input event are analyzed by the event analysis processing 303. When the analysis result of the event analysis process 303 is an event 308 that moves away from the face, the system performs a display reduction process 304 that reduces and displays the display image in order to cope with hyperopia. When the event 310 is close (motion), a display enlargement process 305 is performed to enlarge and display the display image in order to deal with myopia. When the yawning event 311 occurs, In the case of the event 312 or 313 of direct instruction by the mouse or key input from the operator, the normal processing 307 (screen enlargement / reduction / screen / increase / reduction / screen reduction) is performed. Screen saver / music playback etc.)
[0029]
The display enlargement process 304 / display enlargement process 305 does not change the reduction / enlargement ratio abruptly, but changes the reduction / enlargement ratio gently, so that, for example, if the characters on the screen are small and difficult to recognize, the character size Is gradually enlarged, and when the character size suitable for the operator is reached, the operator returns to the reference position, thereby stopping the character enlargement and preventing the operator from being aware of a sudden screen change.
[0030]
As described above, the terminal device and the control program according to the present embodiment capture and store in advance an operator's standard face image and other basic images, and detect events that the operator instinctively unconsciously due to factors such as fatigue. And by changing the display form of an image according to this event, for example, a display screen can be changed automatically according to an operator's fatigue degree, and the operativity of a user-friendly terminal device can be improved.
[0031]
More specifically, the terminal device and the control program according to the present embodiment detect this event when the operator approaches the screen because, for example, the characters are small and difficult to see, and display the display screen so that the display screen is gradually enlarged. To provide a user-friendly terminal device that performs control, for example, when the operator yawns, can activate a screen saver or play music to encourage the operator to rest or change mood it can.
[0032]
In the above-described embodiment, an example in which the display screen magnification is changed or the screen saver is activated for various events has been described. However, other processing may be executed depending on the type of event. For example, when the operator closes his eyes for a long time and is likely to fall asleep, the entire screen is flashed and a warning sound is generated, or the operator “turns his neck” / “rubs his neck with his hand” / When a stiff shoulder event such as “grabbing or hitting the shoulder by hand” is detected, a video image of a light exercise manner while being present can be displayed and various other corresponding processes can be executed.
[0033]
Furthermore, the present invention, for example, in the case where the operator's face-down state continues for a predetermined time and the operator does not change even if the flash is executed a predetermined number of times, in view of the possibility of an emergency due to illness, etc. Processing such as reporting to an emergency center can also be performed, and this can be implemented as a function of an emergency call in a terminal device used by an elderly person living alone, for example.
[0034]
Furthermore, the present invention is not limited to a specific operator image information to be registered in advance, it is also possible to register the image information of a plurality of operators, in this case, when the operator is present in the terminal device It is necessary to make a determination by inputting a logon ID or image recognition. The present invention is not limited to a terminal device such as a personal computer, but can also be applied to, for example, ATMs of financial institutions. When applying to this ATM, since the operator is unspecified, for example, the area within the contour is calculated from the contour of the entire image of the face or upper body where the operator has entered the camera field of view and stopped, and this memory is stored. When the operator approaches the contour area and the area of the contour of the captured image of the face or upper body increases, it is determined that a hard-to-see event has occurred and the guidance image is enlarged or characters are enlarged. It may be configured.
[0035]
Furthermore, in an unspecified operator, for example, the eyes are the upper and horizontal lines arranged on the left and right sides, the nose is the vertical line arranged on the center of the face, and the mouth is the lower and central lines of the face. By extracting the operator's eyes, nose, and mouth from features such as minutes, these changes in position, size, etc. are determined, and an event of operator movement is generated, thereby enlarging the displayed image. Alternatively, reduction control may be performed.
[0036]
【The invention's effect】
As described above, the terminal device and the control program according to the present invention are provided with the photographing means for photographing the basic image of the operator arranged at the basic position on the front surface of the display means, and the storage means for storing the photographed basic image, The control means takes an image of the operator by the photographing means, compares the photographed operator image with the basic image stored in the storage means, determines the occurrence of an operator event based on the comparison result, and determines By changing the display form of the display means according to the event, when an event occurs, for example, an event where the operator brings his face close to the screen, the enlargement ratio of the screen is increased to make it easier to read characters, etc. When an event occurs, a screen saver can be activated to prompt a change of mood, providing a user-friendly terminal device. Can.
[Brief description of the drawings]
FIG. 1 is an external view of a terminal device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a hardware configuration of a terminal device according to the present embodiment.
FIG. 3 is a diagram for explaining a software configuration of the terminal device according to the embodiment;
FIG. 4 is a view for explaining face data according to the present embodiment.
FIG. 5 is a diagram showing an event determination table according to the present embodiment.
FIG. 6 is a diagram for explaining an event determination algorithm according to the present embodiment.
FIG. 7 is a diagram for explaining the overall operation of event processing according to the present embodiment;
[Explanation of symbols]
1: operator, 2: terminal device, 3: camera, 4: display, 103: input means, 104: storage unit (magnetic disk storage device), 105: CPU, 106: memory, 107: video memory, 201: operating system 205: Display form control unit, 207: Screen saver, 208: Application program, 211: Face feature extraction application, 212: Basic face image registration application, 213: Event input processing application, 214: Input driver, 215: Image transfer processing application 216: Camera driver, 217: Image recognition processing application, 218: Event recognition processing application.

Claims

データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、表示手段の前面の基本位置に配したオペレータの顔画像を撮影する撮影手段と、該撮影した顔画像を記憶する記憶手段と、前記入力手段と表示手段と撮影手段と記憶手段を制御する制御手段とを備える端末装置において、
前記制御手段が、
前記記憶手段に記憶したオペレータの顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１工程と、
オペレータの顔画像を撮影手段により撮影する第２工程と、
該第２工程により撮影した顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した撮影時の唇幅比を得る第３工程と、
前記第１工程により得た基準唇幅比と前記第３工程により得た撮影時振幅比とを比較する第４工程と、
該第４工程において撮影時振幅比が基準唇幅比が大きいと判定したとき、オペレータのあくびイベントを発生させる第５工程と、
該第５工程によるあくびイベントに応じて表示手段の表示形態を変化させる第６工程とを実行させる端末装置。Input means for inputting data and the like, display means for displaying character data and images, photographing means for photographing an operator's face image arranged at a basic position on the front surface of the display means, and storage for storing the photographed face image A terminal device comprising: means; and control means for controlling the input means, display means, photographing means, and storage means ,
The control means is
A first step of obtaining an operator's face length dimension value and lip width dimension value from the operator's face image stored in the storage means, and obtaining a reference lip width ratio obtained by dividing the lip width dimension value by the face length dimension value; ,
A second step of photographing an operator's face image by photographing means;
A third step of obtaining a face length dimension value and a lip width dimension value of an operator from the face image photographed in the second step, and obtaining a lip width ratio at the time of photographing obtained by dividing the lip width dimension value by the face length dimension value; ,
A fourth step of comparing the reference lip width ratio obtained in the first step and the shooting amplitude ratio obtained in the third step;
A fifth step of generating an operator yawning event when the shooting amplitude ratio is determined to be large in the fourth step in the fourth step;
A terminal device that executes a sixth step of changing a display form of the display means in response to a yawning event in the fifth step .

前記第５工程によるオペレータのあくびイベントを連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させることを特徴とする請求項１記載の端末装置。The terminal device according to claim 1, wherein when the yawning event of the operator in the fifth step is continuously detected a predetermined number of times or more, the output of the display means and the voice means is changed .

データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、表示手段の前面の基本位置に配したオペレータの顔画像を撮影する撮影手段と、該撮影した顔画像を記憶する記憶手段と、前記入力手段と表示手段と撮影手段と記憶手段を制御する制御手段とを備える端末装置の制御プログラムであって、Input means for inputting data and the like, display means for displaying character data and images, photographing means for photographing an operator's face image arranged at a basic position on the front surface of the display means, and storage for storing the photographed face image A terminal device control program comprising: means; and input means, display means, photographing means, and control means for controlling storage means,
前記制御手段に、  In the control means,
前記記憶手段に記憶したオペレータの顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１機能と、  A first function for obtaining an operator's face length dimension value and lip width dimension value from the operator's face image stored in the storage means, and obtaining a reference lip width ratio obtained by dividing the lip width dimension value by the face length dimension value; ,
オペレータの顔画像を撮影手段により撮影する第２機能と、  A second function for photographing an operator's face image by photographing means;
該第２機能により撮影した顔画像からオペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した撮影時の唇幅比を得る第３機能と、  A third function for obtaining a face length dimension value and a lip width dimension value of an operator from a face image photographed by the second function, and obtaining a lip width ratio at the time of photographing by dividing the lip width dimension value by the face length dimension value; ,
前記第１機能により得た基準唇幅比と前記第３機能により得た撮影時振幅比とを比較する第４機能と、  A fourth function for comparing the reference lip width ratio obtained by the first function and the shooting amplitude ratio obtained by the third function;
該第４機能において撮影時振幅比が基準唇幅比が大きいと判定したとき、オペレータのあくびイベントを発生させる第５機能と、  A fifth function for generating an operator yawn event when it is determined in the fourth function that the shooting amplitude ratio is large in the reference lip width ratio;
該第５機能によるあくびイベントに応じて表示手段の表示形態を変化させる第６機能とを実現させるための端末装置の制御プログラム。  A control program for a terminal device for realizing a sixth function for changing a display form of a display unit in response to a yawn event by the fifth function.

前記制御手段に、
前記第５機能によるオペレータのあくびイベントを連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させる第７機能を実現させる請求項３記載の端末装置の制御プログラム。 In the control means,
The control program for a terminal device according to claim 3, wherein a seventh function for changing the output of the display means and the voice means is realized when the yawning event of the operator by the fifth function is continuously detected a predetermined number of times or more .