JP2014236505A

JP2014236505A - ユニバーサルユーザインターフェースシステム

Info

Publication number: JP2014236505A
Application number: JP2013128979A
Authority: JP
Inventors: 啓次手島; Keiji Tejima
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-06-03
Filing date: 2013-06-03
Publication date: 2014-12-15

Abstract

【課題】スマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等の電子機器の文字入力や機器操作を行うユーザインターフェースはキーボードに不慣れな人、高齢者や子供等には操作方法が難しいという課題があります。また、スマートフォンのように大きさの小さい電子機器ではソフトウエアキーボードのボタンサイズが小さいため操作し難いという課題があります。【解決手段】ユーザインターフェースを簡単にし、スマートフォンのように大きさの小さい電子機器でも操作性を向上させるため、電子機器に接続されたカメラにより口の形や指の移動方向を画像解析し、文字入力・機器操作を行うユニバーサルユーザインターフェースを可能とします。【選択図】図１

Description

本発明は、スマートフォン・タブレット端末・パソコン・テレビ・ビデオ等（以下、電子機器）において人間の操作を必要とするユーザインターフェース技術に関する。

従来、電子機器のユーザインターフェースはキー入力・タッチ入力・音声入力・リモコン入力等が使用されて来た。

キー入力に関してはスマートフォン用のソフトウエアキーボードは物理的にキーが小さいため操作しにくい、タブレットやパソコンではキーボード操作に慣れるまでに時間がかかる。テレビ等家電品の入力ではリモコンでの操作に時間かかるという背景がある。

以上に述べた従来のユーザインターフェースではスマートフォンではキーが小さく指で操作が難しい、タブレット端末やパソコンでは子供や高齢者等キーボードに慣れていない人には操作が難しい、障害者には操作できないというものであった。

カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等（以下、電子機器）で、カメラから撮影した人間の口の形を画像解析エンジンで解析し、ひらがな・アルファベット・数字等の文字入力を１文字単位で認識し、ソフトウエアキーボードの入力とする操作を可能にしたものである。

第２の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステム入力とする操作を可能にしたものである。

第３の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位（上下左右・音量増減・チャンネル入力等）で認識し、電子機器の操作入力を可能にしたものである。

第４の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。

第５の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。

第６の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。

第７の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。

第８の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。

第９の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。

第１０の手段として、カメラから撮影した手話を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。

第１１の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。

第１２の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。

第１３の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。

第１４の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。

第１５の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。

文化・言語・国籍の違い、老若男女といった差異、障害・能力の如何を問わずに電子機器を利用することができるユニバーサルユーザインターフェースという利点がある。

ユーザインターフェースに必要なハードウエアはカメラ・表示装置・コンピュータプログラムのみであり専用のハードウエアを必要とせず、コンピュータプログラムの更新によりユーザインターフェースの改造（バージョンアップや不具合対応）が可能という利点がある。

音声の文章入力では膨大な単語辞書が必要であるが、人間の口の形の画像解析方式では文字単位・命令単位の単語という限定された範囲で行うため画像解析に必要な比較パターンが少なく、単語単位よりもＣＰＵの処理能力が低くても良いという利点がある。

ハードウエアキーボード、タッチパネル、リモコン等の入力が不要という利点がある。

人間の口の形の画像解析方式では音声入力と違い周囲の音に影響されないという利点がある。

この発明の実施形態を示すユニバーサルインターフェースシステム構成図である。図１の実施形態にマイク及び日本語解析エンジンを追加したユニバーサルインターフェースシステムの実施例である。この発明のソフトウエアキーボードの実施形態を示すユニバーサルソフトウエアキーボードユーザインターフェースシステム構成図である。図３の実施形態にマイク及び日本語解析エンジンを追加したを追加したユニバーサルソフトウエアキーボードユーザインターフェースシステムの実施例である。

以下、本発明の実施の形態を図１〜図４に基づいて説明する。

図１においてシステムは１のオペレーティングシステム、２のカメラ、３の画像解析エンジン、４のソフトウエアキーボード、５の日本語変換エンジンから構成されることを表している。

図２においてシステムは１のオペレーティングシステム、２のカメラ、３の画像解析エンジン、４のソフトウエアキーボード、５の日本語変換エンジン、６マイクから構成されることを表している。

図２は図１のシステム構成をスマートフォンに適用した例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォンの操作を行う実施例を表している。

図３は図１のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。

図４は図２のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、音声を６のマイクから入力し、７の音声解析エンジンで音声解析を行い、画像解析結果及び音声解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。

１オペレーティングシステム
２カメラ
３画像解析エンジン
４ソフトウエアキーボード画面
５日本語変換エンジン
６マイク
７音声解析エンジン

Claims

カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等（以下、電子機器）で、カメラから撮影した人間の口の形を画像解析し、ひらがな・アルファベット・数字等の文字入力を１文字単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１の電子機器においてカメラから撮影した人間の口の形を画像解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した人間の口の形を画像解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を認識し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析し、非接触で電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
請求項１の電子機器において、カメラから撮影した手話を画像解析し、電子機器のソフトウェアキーボードシステムと連動することを特徴としたシステム。
マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウェアキーボードシステムと連動することを特徴としたシステム。
請求項１１の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１１の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。
カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
請求項１４の電子機器において、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声を解析し、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。