JP2014236505A - ユニバーサルユーザインターフェースシステム - Google Patents
ユニバーサルユーザインターフェースシステム Download PDFInfo
- Publication number
- JP2014236505A JP2014236505A JP2013128979A JP2013128979A JP2014236505A JP 2014236505 A JP2014236505 A JP 2014236505A JP 2013128979 A JP2013128979 A JP 2013128979A JP 2013128979 A JP2013128979 A JP 2013128979A JP 2014236505 A JP2014236505 A JP 2014236505A
- Authority
- JP
- Japan
- Prior art keywords
- input
- camera
- electronic device
- image
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】スマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等の電子機器の文字入力や機器操作を行うユーザインターフェースはキーボードに不慣れな人、高齢者や子供等には操作方法が難しいという課題があります。また、スマートフォンのように大きさの小さい電子機器ではソフトウエアキーボードのボタンサイズが小さいため操作し難いという課題があります。【解決手段】ユーザインターフェースを簡単にし、スマートフォンのように大きさの小さい電子機器でも操作性を向上させるため、電子機器に接続されたカメラにより口の形や指の移動方向を画像解析し、文字入力・機器操作を行うユニバーサルユーザインターフェースを可能とします。【選択図】図1
Description
本発明は、スマートフォン・タブレット端末・パソコン・テレビ・ビデオ等(以下、電子機器)において人間の操作を必要とするユーザインターフェース技術に関する。
従来、電子機器のユーザインターフェースはキー入力・タッチ入力・音声入力・リモコン入力等が使用されて来た。
キー入力に関してはスマートフォン用のソフトウエアキーボードは物理的にキーが小さいため操作しにくい、タブレットやパソコンではキーボード操作に慣れるまでに時間がかかる。テレビ等家電品の入力ではリモコンでの操作に時間かかるという背景がある。
以上に述べた従来のユーザインターフェースではスマートフォンではキーが小さく指で操作が難しい、タブレット端末やパソコンでは子供や高齢者等キーボードに慣れていない人には操作が難しい、障害者には操作できないというものであった。
カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等(以下、電子機器)で、カメラから撮影した人間の口の形を画像解析エンジンで解析し、ひらがな・アルファベット・数字等の文字入力を1文字単位で認識し、ソフトウエアキーボードの入力とする操作を可能にしたものである。
第2の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステム入力とする操作を可能にしたものである。
第3の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位(上下左右・音量増減・チャンネル入力等)で認識し、電子機器の操作入力を可能にしたものである。
第4の手段として、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。
第5の手段として、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力(上下左右・音量増減・チャンネル入力等)とする操作を可能にしたものである。
第6の手段として、カメラから撮影した物体(棒等)の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。
第7の手段として、カメラから撮影した物体(棒等)の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力(上下左右・音量増減・チャンネル入力等)とする操作を可能にしたものである。
第8の手段として、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。
第9の手段として、カメラから撮影した物体(棒等)の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。
第10の手段として、カメラから撮影した手話を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。
第11の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を1文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。
第12の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。
第13の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、電子機器の操作命令入力(上下左右・音量増減・チャンネル入力等)とする操作を可能にしたものである。
第14の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を1文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。
第15の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を1文字単位で解析し、電子機器の操作命令入力(上下左右・音量増減・チャンネル入力等)とする操作を可能にしたものである。
文化・言語・国籍の違い、老若男女といった差異、障害・能力の如何を問わずに電子機器を利用することができるユニバーサルユーザインターフェースという利点がある。
ユーザインターフェースに必要なハードウエアはカメラ・表示装置・コンピュータプログラムのみであり専用のハードウエアを必要とせず、コンピュータプログラムの更新によりユーザインターフェースの改造(バージョンアップや不具合対応)が可能という利点がある。
音声の文章入力では膨大な単語辞書が必要であるが、人間の口の形の画像解析方式では文字単位・命令単位の単語という限定された範囲で行うため画像解析に必要な比較パターンが少なく、単語単位よりもCPUの処理能力が低くても良いという利点がある。
ハードウエアキーボード、タッチパネル、リモコン等の入力が不要という利点がある。
人間の口の形の画像解析方式では音声入力と違い周囲の音に影響されないという利点がある。
以下、本発明の実施の形態を図1〜図4に基づいて説明する。
図1においてシステムは1のオペレーティングシステム、2のカメラ、3の画像解析エンジン、4のソフトウエアキーボード、5の日本語変換エンジンから構成されることを表している。
図2においてシステムは1のオペレーティングシステム、2のカメラ、3の画像解析エンジン、4のソフトウエアキーボード、5の日本語変換エンジン、6マイクから構成されることを表している。
図2は図1のシステム構成をスマートフォンに適用した例であり、口の形や指の移動方向等を2の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を4のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォンの操作を行う実施例を表している。
図3は図1のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を2の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を4のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。
図4は図2のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を2の内蔵カメラの入力を画像解析エンジンが解析し、音声を6のマイクから入力し、7の音声解析エンジンで音声解析を行い、画像解析結果及び音声解析結果を4のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。
1 オペレーティングシステム
2 カメラ
3 画像解析エンジン
4 ソフトウエアキーボード画面
5 日本語変換エンジン
6 マイク
7 音声解析エンジン
2 カメラ
3 画像解析エンジン
4 ソフトウエアキーボード画面
5 日本語変換エンジン
6 マイク
7 音声解析エンジン
Claims (15)
- カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等(以下、電子機器)で、カメラから撮影した人間の口の形を画像解析し、ひらがな・アルファベット・数字等の文字入力を1文字単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項1の電子機器においてカメラから撮影した人間の口の形を画像解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した人間の口の形を画像解析し、操作命令入力(上下左右・音量増減・チャンネル入力等)を命令単位で行うことを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を認識し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した物体(棒等)の移動方向を画像解析し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した物体(棒等)の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した人間の体(指・目・頭・足等)の移動方向を画像解析し、非接触で電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した物体(棒等)の移動方向を画像解析し、電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
- 請求項1の電子機器において、カメラから撮影した手話を画像解析し、電子機器のソフトウェアキーボードシステムと連動することを特徴としたシステム。
- マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を1文字単位で解析し、ソフトウェアキーボードシステムと連動することを特徴としたシステム。
- 請求項11の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項11の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力(上下左右・音量増減・チャンネル入力等)を命令単位で行うことを特徴としたシステム。
- カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を1文字単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
- 請求項14の電子機器において、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声を解析し、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力(上下左右・音量増減・チャンネル入力等)を命令単位で行うことを特徴としたシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013128979A JP2014236505A (ja) | 2013-06-03 | 2013-06-03 | ユニバーサルユーザインターフェースシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013128979A JP2014236505A (ja) | 2013-06-03 | 2013-06-03 | ユニバーサルユーザインターフェースシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014236505A true JP2014236505A (ja) | 2014-12-15 |
Family
ID=52138873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013128979A Pending JP2014236505A (ja) | 2013-06-03 | 2013-06-03 | ユニバーサルユーザインターフェースシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014236505A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106662848A (zh) * | 2014-09-03 | 2017-05-10 | Bsh家用电器有限公司 | 用于联网的家用器具的通用的操控元件 |
JP2020160004A (ja) * | 2019-03-28 | 2020-10-01 | 株式会社ホンダアクセス | 車両用ナビゲーション装置 |
-
2013
- 2013-06-03 JP JP2013128979A patent/JP2014236505A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106662848A (zh) * | 2014-09-03 | 2017-05-10 | Bsh家用电器有限公司 | 用于联网的家用器具的通用的操控元件 |
CN106662848B (zh) * | 2014-09-03 | 2021-04-30 | Bsh家用电器有限公司 | 用于联网的家用器具的通用的操控元件 |
JP2020160004A (ja) * | 2019-03-28 | 2020-10-01 | 株式会社ホンダアクセス | 車両用ナビゲーション装置 |
JP7336862B2 (ja) | 2019-03-28 | 2023-09-01 | 株式会社ホンダアクセス | 車両用ナビゲーション装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10771845B2 (en) | Information processing apparatus and method for estimating attribute of a user based on a voice input | |
US9367202B2 (en) | Information processing method and electronic device | |
TWI397001B (zh) | 電子裝置之注音輸入系統與方法 | |
KR20090064680A (ko) | 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법 | |
US20130076641A1 (en) | Method and Keyboard for Inputting Chinese Characters and Electronic Apparatus Containing the Keyboard | |
WO2023000891A1 (zh) | 一种数据处理方法、装置、计算机设备和存储介质 | |
KR20100015165A (ko) | 터치스크린 패드를 이용하는 사용자 입력 장치 | |
CN107797676A (zh) | 一种单字输入方法及装置 | |
CN108536653B (zh) | 一种输入方法、装置和用于输入的装置 | |
CN108475157B (zh) | 字符输入方法、装置及终端 | |
JP2014236505A (ja) | ユニバーサルユーザインターフェースシステム | |
JP5628691B2 (ja) | 手話キーボードおよびそれを用いた手話検索装置 | |
JP2005518585A (ja) | 移動端末機用文字入力システムとこれを用いた移動端末機 | |
CN109542244B (zh) | 一种输入方法、装置和介质 | |
KR101410667B1 (ko) | 단말 및 주시와 선택에 의한 그의 문자 입력 방법 | |
US20150347004A1 (en) | Indic language keyboard interface | |
JP6391064B2 (ja) | 音声出力処理装置、音声出力処理プログラムおよび音声出力処理方法 | |
US20120278751A1 (en) | Input method and input module thereof | |
KR101637163B1 (ko) | 문자입력장치 | |
CN109683721A (zh) | 一种输入信息显示方法及终端 | |
KR101255801B1 (ko) | 한글 입력 가능한 휴대 단말기 및 그것의 키패드 표시 방법 | |
EP4386493A2 (en) | Predictive input interface having improved robustness for processing low precision inputs | |
CN112214154B (zh) | 一种界面处理方法、装置和用于界面处理的装置 | |
JP2015069278A (ja) | 電子機器、方法及びプログラム | |
KR100687406B1 (ko) | 이동통신 단말기의 한글입력 방법 |