以下、添付の図面を参照しながら、本発明の好ましい実施形態について、本発明が属する技術分野において通常の知識を有する者が容易に実施できる程度に詳細に説明する。本発明を明確に説明するために、本発明と関係のない部分は省略したし、明細書に記載されている実施形態は、本発明の思想および範囲を逸脱せずに他の実施形態に変更されて実現できるものと理解されなければならない。したがって、後述する詳細な説明は、限定的な意味として行われるものではなく、本発明の範囲は、特許請求の範囲に記載される請求項が請求する範囲およびこれと均等なすべての範囲を包括するものとして理解されなければならない。
図1は、本発明の一実施形態における、モバイル機器の任意の画面で、画面を切り換えずに希望するアプリケーションを実行する過程を示した図である。
図1を参照すると、ユーザは、先ず、現在使用しているモバイル機器画面で、テキスト入力手段を利用してテキストボックスにテキストを入力する。テキストボックスが表示される画面は、メッセージ送信画面、メモ入力画面、インターネット検索画面などのようにその種類は問わず、テキスト入力手段としては、テキストボックスが活性化するときに画面に表示されるバーチャルキーボードを使用する。外部入力装置がモバイル機器と連結する場合には、これをテキスト入力手段として使用することも可能である。
現在使用中の画面でテキストボックスおよびテキスト入力手段が表示されない場合があるが、このような場合には、ユーザが特定の動作、例えば、タッチスクリーンを下から上にスワイプ(swype)する動作をしたときに、テキスト生成手段でこれを感知してテキストボックスおよびテキスト入力手段を画面に表示してよい。このように、テキスト生成手段によると、現在使用中の画面にテキストボックスが表示されていない場合でも画面を切り換えることなくテキストを入力することができる。
ユーザがテキストを入力すると、アプリケーション認知手段とメッセージ認知手段は、入力されたテキストから、それぞれ実行しようとするアプリケーションとアプリケーションで実行するメッセージ(作業メッセージ)を認知する。例えば、アプリケーション認知手段は、@、#のような特定の記号と共に入力されたテキストを実行しようとするアプリケーションとして認知し、メッセージ認知手段は、それ以外の部分を該当のアプリケーションで実行する作業メッセージとして認知する。
一方、モバイル機器で頻繁に使用するアプリケーションをデフォルトアプリケーションとして予め設定しておいてもよい。このようにデフォルトアプリケーションを設定しておくと、入力されたテキストでアプリケーション指定に関する特定の記号と共に入力されたテキストの入力がない場合には、デフォルトアプリケーションを実行しようとするアプリケーションとして認知するようになる。
アプリケーション認知手段では、実行しようとするアプリケーションは、テキスト入力ボックスに入力されたテキストに基づいて認知してもよいが、実行しようとするアプリケーションを指定するための別のアイコンなどが画面に表示されるときには、ユーザがこれをタッチすることを認知して実行しようとするアプリケーションを認知してもよい。これについては、具体的な実施形態を参照しながら後述する。
ユーザがテキストを入力した後、実行しようとするアプリケーションで作業メッセージを実行するためにメッセージ送付命令を下すと、送付命令感知手段でこれを感知する。メッセージ送付命令は、タッチスクリーンを活用して事前設定されたスワイプ動作、例えば「√」形態のスワイプ動作であってよいが、モバイル機器に保存されている他の機能の実行命令と区分されて認識されることのできる形態の命令であれば、いずれも使用可能である。
送付命令感知手段でユーザのメッセージ送付命令が感知されると、メッセージ伝達手段によって指定されたアプリケーションに作業メッセージが伝達されてアプリケーションが実行される。このとき、アプリケーション通知手段によってアプリケーションが実行されたことをユーザに知らせてよい。アプリケーション実行を知らせる方法としては、現在画面にポップアップウィンドウで表示してもよいし、通知音や振動などを使用してもよい。
このように、本発明は、スマートフォンのようなモバイル機器で使用中の画面で現在表示されていないアプリケーションを実行しようとする場合に、画面を切り換えることなく、現在画面のテキストボックスに実行しようとするアプリケーションでの作業メッセージを入力して簡単なメッセージ送付命令を下すことによってアプリケーションを実行させるようにすることを特徴とする。以下では、本発明がさらに簡単かつ明確に理解されるよう、図面を参照しながら本発明の多様な実施形態について説明する。
図2aおよび図2bは、本発明の一実施形態における、モバイル機器の任意の画面でメッセージ送信のためのテキストを入力してメッセージ送信を実行する様子を示した図である。
図2aを参照すると、ユーザがスマートフォンの現在画面のテキストボックスに「サンジョン、今日会う?」というテキストを入力し、タッチスクリーン画面で「√」形態のスワイプ動作をした。アプリケーション認知手段は、入力されたテキストから「@」記号と共に入力された「サンジョン」部分に基づいて実行するアプリケーションを認知し、メッセージ認知手段は、それ以外の「今日会う?」部分をアプリケーションで実行する作業メッセージとして認知する。
本実施形態では、「@」と共に入力されたテキストがモバイル機器の連絡先に保存された情報であるとき、メッセージ送信アプリケーションを利用して該当の連絡先にメッセージを送信するように設定される。また、「√」形態のスワイプ動作は、作業メッセージを指定されたアプリケーションに送付する命令として設定されている。したがって、アプリケーション認知手段は、「@サンジョン」というテキストから、実行しようとするアプリケーションとしてメッセージ送信アプリケーションを認知し、送付命令感知手段でユーザの「√」形態のスワイプ動作(作業メッセージ送付命令)を感知したとき、メッセージ伝達手段を利用して、メッセージ送信アプリケーションに「サンジョン」に「今日会う?」というメッセージを送信する作業メッセージを伝達するようになる。メッセージ送信アプリケーションは、上述したような作業メッセージの伝達を受けた後、該当の作業を実行し、アプリケーション実行通知手段は、アプリケーション実行後に「サンジョンに送信しました」という通知ウィンドウを画面に表示する。
本実施形態では、連絡先に保存された名前を「@」のような特定の記号と共に入力することで、メッセージ送信アプリケーションを実行しようとするアプリケーションとして指定すると同時に、アプリケーション実行時にメッセージ送信の対象を指定している。しかし、1つのモバイル機器には、メッセージを送信するためのアプリケーションが複数インストールされている場合もある。このような場合には、ユーザが複数のメッセージ送信アプリケーションのうちから1つを選択することができるように、アプリケーション指定手段が複数のアプリケーションを画面に表示するようにしてよい。
図2bを参照すると、「@ジョ・ヒョングン」が入力されると、アプリケーション認知手段およびメッセージ認知手段は、メッセージ送信アプリケーションを利用して「ジョ・ヒョングン」にメッセージを送信するという点を認知するようになる。このとき、メッセージを送信することができるアプリケーションが、「SMS」、「E−Mail」、「カカオトーク」、「ライン」のように複数インストールされていれば、アプリケーション指定手段は、ユーザが希望するアプリケーションを選択することができるようにテキストボックスの下端にこれらのアプリケーションを表示する。ユーザが「カカオトーク」をタッチして選択すれば、アプリケーション認知手段およびメッセージ認知手段は、「カカオトーク」アプリケーションを利用して「ジョ・ヒョングン」にメッセージを送信すると認知するようになる。
図3および図4はそれぞれ、本発明の一実施形態における、モバイル機器の任意の画面でアラームを設定する様子とカレンダーにスケジュールを登録する様子を示した図である。
図3では「@午後一時アラーム」を、図4では「@1pmメール送信」をそれぞれ入力した。本実施形態では、アプリケーションを認知するための記号「@」と共に日本語で時間を入力した場合にはアラーム設定のためのアラームアプリケーションを指定し、数字と英字pmまたはamで時間を入力した場合にはスケジュールを登録するためのカレンダーアプリケーションを指定することにする。したがって、図3では、ユーザの送付命令(「√」形態のスワイプ動作)を感知したときに、午後1時にアラームを設定するという作業メッセージをアラームアプリケーションに伝達してこれを実行するようになり、該当のアプリケーション実行後にはその結果(アラーム設定)を画面に表示する。また、図4では、ユーザの送付命令を感知したときに、午後1時にメール送信というスケジュールを登録するという作業メッセージをカレンダーアプリケーションに伝達してこれを実行するようになり、該当のアプリケーション実行後にはその結果(スケジュール登録)を画面に表示する。
以上、本実施形態では、記号「@」と共に時間を日本語で入力するときにはアラーム登録に関するメッセージとして認知し、数字を入力するときにはカレンダースケジュール登録に関するメッセージとして認知すると説明したが、これとは反対に設定することも可能である。または、アラーム登録およびカレンダースケジュール登録の場合、それぞれ指示語を「@アラーム」および「@カレンダー」のように実行しようとするアプリケーション名称を直接入力し、これを認知するように設定することも可能である。または、図2bと同じように、記号「@」と共に「午後一時」または「1pm」のようにその形態を問わずに時間が入力された場合に、テキストボックスの下端に「アラーム」と「カレンダー」を表示してユーザが実行しようとするアプリケーションを選択できるように設定し(アプリケーション指定手段)、ユーザがアプリケーションを選択した後に具体的なメッセージを追加で入力できるようにすることも可能である。
図5は、アプリケーションの指定に使用する記号の入力がなく、「部屋掃除を記憶」というメッセージだけが入力された場合であって、このような場合には、予めインストールされたアプリケーション(デフォルトアプリケーション)を実行するように設定される。本実施形態では、このようなデフォルトアプリケーションとしてメモアプリケーションがインストールされており、ユーザの送付命令にしたがって「部屋掃除を記憶」というメッセージがメモアプリケーションに伝達されて実行(メモ保存)される。また、メッセージをメモアプリケーションに保存した後には、ユーザにアプリケーション実行の結果を知らせるための通知ウィンドウが画面に表示される。
メッセージ送信、アラーム設定、スケジュール登録、メモ保存の他にも、SNSアプリケーションを利用した掲示板ポスティング、音楽アプリケーションを利用した音楽再生、銀行アプリケーションを利用した金融取引、証券会社アプリケーションを利用した株式取引、デリバリーアプリケーションを利用した飲食物の注文なども、任意の画面でテキストボックスにメッセージを入力して送付命令を下すという同じ方式によって実行することが可能である。
一方、入力されたテキストから認知されたアプリケーションがモバイル機器内にインストールされていない場合も存在する。図6は、このような場合を想定した図であって、「@B612」というテキストが入力された場合、アプリケーション認知手段は、「B612」を実行しようとするアプリケーションとして認知し、ユーザの送付命令があれば、モバイル機器内でこのアプリケーションを検索するようになる。「B612」アプリケーションがモバイル機器内にインストールされている場合はこれを実行するようになるが、インストールされていない場合はこれを実行することができなくなる。
本実施形態では、認知されたアプリケーションがモバイル機器内にインストールされていない場合、グーグルプレイやアプリストアのようなアプリケーションストアを実行して該当のアプリケーションの検索結果を表示する。このように、本実施形態では、任意のテキストボックスに入力されたメッセージを認知し、モバイル機器内にインストールされていないアプリケーションが指定されたと判定された場合には、アプリケーションストアで該当のアプリケーションを検索してその結果を表示することにより、ユーザがメッセンジャで会話をしている最中あるいはニュース記事などを見ている最中に新しいアプリケーションに関する情報を知るようになった場合にも、現在画面で希望するアプリケーションを直ぐにダウンロードして使用することができるようになる。
一方、本発明の一実施形態によると、テキスト入力手段と共に特定のアプリケーションを実行するためのアイコンを画面に表示し、これを活用することで、モバイル機器の任意の画面で、画面を切り換えずに希望するアプリケーションを実行することも可能である。
図7a〜図7cは、本発明の一実施形態における、モバイル機器の任意の画面で画面検索およびツイッタポスティングを実行する様子を示した図である。
先ず、図7aを参照すると、モバイル機器の任意の画面でテキスト入力手段であるバーチャルキーボードを活性化させると、特定のアプリケーションを指称するアイコンがバーチャルキーボードと共に表示されてよい。画面に表示されるアイコンとしては、例えば、ウェブ検索のためのアイコン(一番左側に表示されたアイコン)、連絡先の検索のためのアイコン(左側から3番目に表示されたアイコン)、動画または音楽を検索あるいは再生するためのアイコン(左側から4番目および一番右側に表示されたアイコン)、ツイッタへのポスティングのためのアイコン(左側から5番目に表示されたアイコン)、飲食店など特定の場所を検索するためのアイコン(左側から6番目に表示されたアイコン)などであってよい。
図7bは、バーチャルキーボードと共に表示されるアイコンのうち、ウェブ検索のためのアイコンを利用して該当のアプリケーションを実行する様子を示した図である。これを参照すると、検索アイコンをタッチした後、バーチャルキーボードを利用して「keukey」を入力すると、予め決められた検索サーバによって「keukey」という検索語で検索された結果が表示される。
このとき、限定された画面空間内にすべての検索結果を表示することは不可能であるため、より包括的な情報への連結機能を実行するリンクボタンを1次的な検索結果が表示されるディスプレイ部分に配置してよい。例えば、一番初めに配列された検索結果であるウェブサイトアドレス情報を選択すると、該当のウェブサイトに直ぐに連結するようにしてよい。本実施形態では、予め決められた検索サーバによって検索が実行されてよく、例えば、バーチャルキーボード自体で予め決められた検索サーバがヤフー(yahoo)サーバであれば、検索語をグーグル(google)サイトの検索ウィンドウに入力する場合にも、本実施形態のテキストボックスを利用して検索が行われる場合には、ヤフー(yahoo)サーバで検索した結果が示されるようになる。
図7cは、バーチャルキーボードと共に表示されるアイコンのうち、ツイッタポスティングのためのアイコンを利用して該当のアプリケーションを実行する様子を示した図である。これを参照すると、ツイッタイコンをタッチした後、バーチャルキーボードを利用して所定のポスティングメッセージを入力すれば、ツイッタプリケーションによってポスティングが実行され、その結果が現在の画面に示される。すなわち、画面を切り換えることなく、現在の画面でツイッタプリケーションを実行することができる。
本実施形態では、検索結果あるいはアプリケーション実行結果が各アプリケーションを指称するアイコンが配置された位置に表示されているが、本発明がこれに限定されることはなく、画面を切り換えない範囲内で、他の形態で検索結果を示すことも本発明の範囲に含まれる。
以上、モバイル機器の任意の画面でアプリケーションを実行するかこれを検索する実施形態について説明した。以下では、本発明の他の実施形態について説明する。
最近では、モバイル機器を周辺の外部機器に連結し、これを直接操作(制御)する技術が知られている。このためには、先ず、モバイル機器と周辺の外部機器とを連結しなければならないが、この連結方法としては、同じワイファイアクセスポイント(WiFi AP)に接続する機器を互いに自動で見つけ出して連結する方法、同じサーバに同じアカウントでログインした機器を互いに自動で見つけ出して連結する方法、機器表面のPINをサーバに入力して機器を特定すると同時に制御権限を認証して連結する方法、ある機器を他の機器にワイファイまたはブルートゥース(登録商標)などの階層間通信網(P2P)方式によって連結する方法など多様な方法が知られている。このようなモバイル機器と周辺の外部機器の連結方法は、本発明の範囲に含まれないため、これについての具体的な説明は省略する。
このようなモバイル機器と周辺の外部機器とが連結した場合には、モバイル機器にインストールされた専用アプリケーションを利用して外部機器を制御してよい。図8aおよび図8bは、従来のモバイル機器のアプリケーションを利用して外部機器を制御する様子を示した図であって、専用アプリケーションを実行させると、図8aのように、リモコンを表示して希望する機能のボタンをタッチして機器を制御する方式と、図8bのように、チャットウィンドウを表示して希望する作業メッセージを会話形式で伝達して機器を制御する方式を利用することができる。
したがって、外部機器の制御のためには、使用中であったアプリケーションの画面を閉じるか終了させ、専用アプリケーションを実行させた後に制御命令を入力するという面倒な過程を経なければならない。さらに、周辺機器が多くなるほどアプリケーションを選ぶのに面倒や不便が増え、機器ごとに使用方法が異なることから、その使用方法に適応するのに困難が生じるようになる。
これにより、本発明者は、モバイル機器を利用した周辺外部機器の制御を容易にするために、モバイル機器のどのような画面でも、テキストボックスに制御しようとする外部機器を指定するためのテキストと希望する命令語(作業メッセージ)を入力して簡単な送付命令を下せば、機器制御のためのアプリケーションに伝達して実行する方法を考案した。以下では、多様な実施形態を参照しながら、モバイル機器を利用して周辺外部機器を制御する本発明について具体的に説明する。
図9a〜図9cは、本発明の一実施形態における、モバイル機器の任意の画面で外部機器であるTVを制御する様子を示した図である。
図9aを参照すると、TVまたはセットトップボックス(set−top box)がモバイル機器に連結された場合において、ユーザがスマートフォンの現在画面のテキストボックスに「@TV無限に挑戦」というテキストを入力し、タッチスクリーン画面で「√」形態のスワイプ動作をした。このようなユーザの動作にしたがい、モバイル機器のアプリケーション認知手段は、入力されたテキストのうち、「@」記号と共に入力された「TV」部分を実行するアプリケーションに関する部分として認知し、メッセージ認知手段は、「無限に挑戦」部分をアプリケーションで実行する作業メッセージとして認知し、送付命令感知手段で「√」形態のスワイプ動作(送付命令)を感知する。これにより、メッセージ伝達手段は、TV制御のための専用アプリケーションに「無限に挑戦」VODを再生する作業メッセージまたは現在「無限に挑戦」を放送中のチャンネルに変更するという作業メッセージを伝達するようになり、作業メッセージを受信したアプリケーションがこれを実行してTVまたはセットトップボックスを制御するようになる。本実施形態では、TVチャンネル変更時に、プログラム名を作業メッセージとして入力しているが、希望するチャンネル番号を直接入力してチャンネルを変更する方法も可能である。
TV制御には、チャンネル変更の他にも、電源オン/オフ、ボリューム調節、録画予約などのような多くの機能の制御があってよい。したがって、ユーザが専用アプリケーションを利用してTVを制御しようとすることが認知された場合には、このような多くの機能のうちから1つを選択することができるように、機能指定手段が複数の機能を画面に表示するようにしてよい。
図9bを参照すると、「@TV」が入力された場合、アプリケーション認知手段は、TV制御のための専用アプリケーションを利用してTVを制御するという点を認知するようになる。このとき、制御することができる機能としては、チャンネル変更、電源オン/オフ、ボリューム調節、録画予約などのように複数が存在するため、機能指定手段がこれらをテキストボックスの下端に表示するようになり、ユーザがこのうちから「録画」をタッチして対象プログラムを追加で入力した後にメッセージ送付命令を下せば、今から最も近い時間に放送される「無限に挑戦」プログラムの録画予約ができるようになる。
一方、図9cのように、「@TV」が入力され、事前設定されたスワイプ動作、例えば、右側から左側に向かう直線形態のスワイプ動作が感知された場合、外部機器制御画面表示手段によって現在画面でTVを制御するためのリモコンを表示してもよい。リモコン表示のためのスワイプ動作は、作業メッセージを送付するためのスワイプ動作およびテキストボックスを生成するためのスワイプ動作とは異なるように設定されるが、モバイル機器に保存されている他の機能の実行命令と区分されて認識されることができれば、いずれの形態の命令も使用可能である。
図10は、本発明の一実施形態における、モバイル機器の任意の画面で照明を制御する様子を示した図であって、テキストボックスに「@電気消す」というテキストを入力して作業メッセージ送付命令を下すと、モバイル機器のアプリケーションを利用して電気(スマート照明)を消すメッセージが伝達されて実行される。このとき、室内のスマート照明は、BLE信号強度をモバイル機器で認識するなどのような一般的な室内位置認識方法を利用する。
このように、現在位置を離れずにモバイル機器の任意の画面で照明を消すことができる上に、同じ方式で照明を付けることも可能であり、リビングやキッチンなど他の場所の照明状態(ON/OFF状態)を操作することも、これを点検することも可能である。
図11は、本発明の一実施形態における、モバイル機器の任意の画面で「ネスト」というブランドの温度調節機を制御する様子を示した図であって、「@ネスト27度」というテキストを入力して作業メッセージ送付命令を下すと、モバイル機器またはモバイル機器の専用アプリケーションを利用してこれに登録された温度調節機に目標温度が伝達されて温度調節が実行される。これにより、ユーザが外出中であったとしても、室内を希望する温度に予め冷房または暖房することにより、快適な環境を作り出すことができる。
このように、本実施形態では、モバイル機器と連結する外部機器を現在使用中のモバイル機器の画面でテキストを入力するだけで簡単に制御することができるようになる。これだけでなく、本実施形態では、モバイル機器に連結していない外部機器を探索し、その連結および実行を共に実行することも可能である。
図12は、本発明の一実施形態における、モバイル機器の任意の画面でプロジエクタを制御する様子を示した図であって、ユーザが「@プロジエクタ」というテキストを入力すると、周辺のプロジエクタを探索してその結果がテキストボックスの下端に表示され、ユーザが探索されたプロジエクタを選択すると、モバイル機器またはモバイル機器の専用アプリケーションを利用してモバイル機器と該当のプロジエクタの連結が実行される。このような機能は、外部機器探索および連結手段によって実行されてよく、以後、ユーザが希望する作業メッセージを入力してスワイプ動作(作業メッセージ送付命令)をすることによって連結したプロジエクタの動作を制御するようになる。したがって、本実施形態では、モバイル機器の周辺外部機器を探索してこれを連結する動作を一元化することも可能となる。
このように、本発明の一実施形態によると、ユーザがモバイル機器の使用中に画面を切り換えることなく、希望するアプリケーションを簡単に実行することができるようになる。特に、モバイル機器で1つのアプリケーションを実行している最中に他のアプリケーションの実行が必要となる場合、さらにはモバイル機器の周辺外部機器の制御が必要となる場合にも、現在使用中の画面でテキスト入力と事前設定されたスワイプ動作を行うだけで希望するアプリケーションの作業を簡単に実行することができる。これにより、アプリケーション実行によるユーザの面倒を減らすことができる上に、既存のアプリケーションの操作にかかる時間を減らすことができ、既存のユーザが実行した作業の連続性を維持することができるようになる。
以上、添付の図面を参照しながら本発明の好ましい実施形態について説明したが、本発明が属する技術分野において通常の知識を有する者であれば、本発明がその技術的思想や必須な特徴を変更しなくても、他の具体的な形態で実施可能であることが理解できるであろう。このため、以上で記述した一実施形態は、すべての面において例示的なものであり、限定的なものではないと理解されなければならない。