JP2016024519A - 電子機器遠隔操作システム及びプログラム - Google Patents

Abstract

【課題】本発明は、ユーザビリティの高い新規な電子機器遠隔操作システムを提供することを目的とする。【解決手段】本発明によれば、手書きの軌跡を入力として受け付ける手書き入力受付手段と、前記手書きの軌跡からユーザが描画した内容を解析する手書き描画解析手段と、ユーザが描画した前記内容を所定の記法に照らして該ユーザが要求する電子機器の操作内容を特定する操作要求特定手段と、特定された操作内容に対応する電子機器の操作コードを生成する操作コード生成手段と、を含む、電子機器遠隔操作システムが提供される。【選択図】図１

Description

本発明は、ナチュラルユーザインターフェースに関し、より詳細には、ユーザの手書き動作に基づいて電子機器を遠隔操作するためのシステムに関する。

近年、ナチュラルユーザインターフェース（ＮＵＩ）について種々検討がなされている。ＮＵＩとは、人間が自然に行う動作によって電子機器を操作するための方式であり、これまで、ジェスチャーによる操作（例えば、特許文献１）や発話（音声）による操作（例えば、特許文献２）について検討がなされてきた。

しかしながら、ジェスチャーや発話を利用するこれらのＮＵＩについては、ユーザビリティの観点からいささか疑問が残る。というのも、電化製品に対して手を振ったり話しかけたりすることに抵抗感を覚える人は決して少なくないであろうし、なじみのない特定のジェスチャーや発話を一から覚えることは、ユーザにとって大きな負担となるからである。

特開２００９−２３０４６０号公報 国際公開第２００３／０５２７３７号

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、ユーザビリティの高い新規な電子機器遠隔操作システムを提供することを目的とする。

本発明者は、ユーザビリティの高い電子機器遠隔操作システムの構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、手書きの軌跡を入力として受け付ける手書き入力受付手段と、前記手書きの軌跡からユーザが描画した内容を解析する手書き描画解析手段と、ユーザが描画した前記内容を所定の記法に照らして該ユーザが要求する電子機器の操作内容を特定する操作要求特定手段と、特定された操作内容に対応する電子機器の操作コードを生成する操作コード生成手段と、を含む、電子機器遠隔操作システムが提供される。

上述したように、本発明によれば、ユーザビリティの高い新規な電子機器遠隔操作システムが提供される。

本実施形態の電子機器遠隔操作システムの機能ブロック図。 筆記によって遠隔操作される電子機器を示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。 電子機器を筆記によって遠隔操作する様子を時系列に示す図。

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

本発明は、ユーザの手書き動作に基づいた電子機器を遠隔操作するためのナチュラルユーザインターフェース（ＮＵＩ）を実現することを目的とする。現在、ユーザの手書きの軌跡をデジタルデータとして取得する手段として、タッチパッド、タッチパネル、ペンタブレット、デジタルペンなどが製品化されているが、本発明の用途においては、デジタルペンが適している。というのも、デジタルペンは、ユーザにまずもって筆記用具として意識されるため、リモコンレス感覚を抱かせやすく、また、紙に筆記するという動作が最もなじみ深いものとしてユーザに受け入れられやすいからである。よって、以下では、デジタルペンを用いた実施形態について説明する。

図１は、本発明の実施形態である電子機器遠隔操作システム１００の機能ブロック図を示す。本実施形態の電子機器遠隔操作システム１００は、デジタルペン１２を含む手書き軌跡取得手段（以下、これを総称して、デジタルペン１２という）と、情報処理装置５０と、操作信号出力装置６０とを含んで構成されている。

デジタルペン１２は、ユーザの手書きの軌跡をデジタルデータとして取得する機能を備える。現在、ユーザの手書きの軌跡をデジタルデータとして取得するための方式として、ペン先から発する微弱電波を用紙パッドの中に敷設したタブレット型センサーで感知することでペン先の軌跡座標を取得する方式（電磁誘導方式）、ペン先から発する超音波を２箇所のセンサで受信することで三角測量の原理に基づいてペン先の軌跡座標を計算により取得する方式（超音波方式）、用紙に印刷された微細パターン（アノトパターン）をペン先のＣＣＤカメラで読み取ることで当該パターンからペン先の軌跡座標を取得する方式（アノトパターン方式）が実用化されているが、本実施形態におけるデジタルペン１２は、いずれの方式を採用するものであってもよい。

情報処理装置５０は、コンピュータとして参照されるものであり、所定のプログラムのインストールにより、デジタルペン１２が取得した手書きの軌跡を入力として受け付ける手書き入力受付部１０、受け付けた手書きの軌跡からユーザが描画した内容を解析する手書き描画解析部２０、ユーザが要求する電子機器の操作内容を特定する操作要求特定部３０、特定された操作内容に対応する電子機器の操作コードを生成する操作コード生成部４０として機能する。

操作信号出力装置６０は、情報処理装置５０の操作コード生成部４０から入力される操作コードに基づいて操作信号を生成し、当該操作信号を操作対象となる電子機器が対応する通信媒体（電子、電波、音波、光など）に載せて無線または有線で出力する。ここで、操作信号出力装置６０は、操作対象となる複数の電子機器のそれぞれが異なる通信媒体を使用するケースでは、その種類に応じた複数の信号出力手段を備える。

以上、本実施形態の電子機器遠隔操作システム１００の構成について概説したが、本システムの利用に際して、ユーザは、予め定められた所定の記法に基づいて自身が要求する電子機器の操作の内容をデジタルペン１２で紙１４に描画する。これを受けて情報処理装置５０では、手書き描画解析部２０がユーザの描画内容を解析し、操作要求特定部３０がその解析結果を所定の記法に照らすことでユーザが要求する電子機器の操作内容を特定する。

なお、上述した“記法“は、ＮＵＩとしてのユーザビリティを考えた場合、できる限りシンプルで直感的なものであることが望ましい。ここで、以下では、本発明が採用しうる１つの記法を提案する。それは、対象となる「電子機器」および「操作命令」を、それ自体を意味する自然な言葉（文字）とシンプルな図形の組み合わせで表現するとともに、「電子機器」と「操作命令」の対応関係をシンプルな線図で定義することを特徴とする記法である。以下においては、本記法を採用した電子機器遠隔操作システム１００の具体的な利用シーンを説明する中で、本記法の内容と上述した各機能部が実行する処理の内容を明らかにしてくものとする。なお、以下の説明においては、適宜、図１を参照するものとする。

本利用シーンでは、図２（ａ）に示す初期状態から、卓上照明７２と液晶テレビ７４に対して以下に挙げる５つの操作を行うものとする。

（操作１）卓上照明７２をＯＮする。
（操作２）卓上照明７２をＯＦＦする。
（操作３）卓上照明７２とテレビ７４を同時にＯＮする。
（操作４）液晶テレビ７４のチャンネルを変える。
（操作５）液晶テレビ７４をＯＦＦする。

（操作１）
まず最初に、ユーザは、図３（ａ）に示すように、デジタルペン１２で紙１４に「Ｌｉｇｈｔ」と描画する。一方、手書き描画解析部２０の文字認識部２２は、手書き入力受付部１０に入力される手書きの軌跡を、常時、機械学習識別器２６に照会して文字認識を実施するように構成されている。ここで、機械学習識別器２６には、操作対象機器である卓上照明７２を意味する文字“Ｌｉｇｈｔ”を手書きした軌跡の学習済みデータが事前に登録されており、この場合、文字認識部２２は、紙１４に文字列“Ｌｉｇｈｔ”が描画されたことを認識する。

続いて、ユーザは、図３（ｂ）に示すように、デジタルペン１２で“Ｌｉｇｈｔ”を囲うように“四角形ｊ“を描画する。一方、手書き描画解析部２０の図形認識部２４は、手書き入力受付部１０に入力される手書きの軌跡について、常時、機械学習識別器２６に照会して図形認識を実施するように構成されている。ここで、機械学習識別器２６には、操作対象機器を定義するための第１の図形である”四角形”を手書きした軌跡の学習済みデータが事前に登録されており、この場合、図形認識部２４は、紙１４に“四角形”が描画されたことを認識する。

一方、操作要求特定部３０の操作対象機器特定部３２は、文字認識部２２が認識した文字の描画領域（座標情報）と図形認識部２４が認識した第１の図形の描画領域（座標情報）を常時比較して、当該文字が当該第１の図形に囲まれているか否かを判定するように構成されており、当該文字が当該第１の図形に囲まれていると判定した場合、当該文字を操作対象機器の識別情報として第１の図形（具体的には、第１の図形が占める領域の座標情報）に紐付けて操作登録部３８に登録するように構成されている。

図３（ｂ）に示すケースでは、操作対象機器特定部３２は、文字列“Ｌｉｇｈｔ”が“四角形ｊ”に囲まれていると判定し、文字列“Ｌｉｇｈｔ”を操作対象機器の識別情報として“四角形ｊ”（具体的には、“四角形ｊ”が占める領域の座標情報）に紐付けて操作登録部３８に登録する。

続いて、ユーザは、図３（ｃ）に示すように、デジタルペン１２で「ｏｎ」と描画する。これを受けて、文字認識部２２は、手書き入力受付部１０に入力される手書きの軌跡について文字認識を実施する。ここで、機械学習識別器２６には、操作命令「電源ＯＮ」を意味する文字“ｏｎ”を手書きした軌跡の学習済みデータが事前に登録されており、この場合、文字認識部２２は、紙１４に文字列“ｏｎ”が描画されたことを認識する。

続いて、ユーザは、図４（ｄ）に示すように、デジタルペン１２で“ｏｎ”を囲うように“円形ｋ“を描画する。これを受けて、手書き描画解析部２０の図形認識部２４は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して図形認識を実施する。ここで、機械学習識別器２６には、操作命令を定義するための第２の図形である”円形”を手書きした軌跡の学習済みデータが事前に登録されており、この場合、図形認識部２４は、紙１４に“円形”が描画されたことを認識する。

一方、操作要求特定部３０の操作命令特定部３４は、文字認識部２２が認識した文字の描画領域（座標情報）と図形認識部２４が認識した第２の図形の描画領域（座標情報）を常時比較して、当該文字が当該第２の図形に囲まれているか否かを判定するように構成されており、当該文字が当該第２の図形に囲まれていると判定した場合、当該文字を操作命令の識別情報として第２の図形（具体的には、第２の図形が占める領域の座標情報）に紐付けて操作登録部３８に登録するように構成されている。

図４（ｄ）に示すケースでは、操作命令特定部３４は、文字列“ｏｎ”が“円形ｋ”に囲まれていると判定し、文字列“ｏｎ”を操作命令の識別情報として“円形ｋ”（具体的には、“円形ｋ”が占める領域の座標情報）に紐付けて操作登録部３８に登録する。

続いて、ユーザは、図４（ｅ）に示すように、デジタルペン１２で“円形ｋ“と“四角形ｊ”を結ぶように線ｌを描画する。ここで、操作要求特定部３０の関連付け部３６は、手書き入力受付部１０に入力される手書きの軌跡について、常時、その始点の座標および終点の座標が図形認識部２４が認識した第１の図形および第２の図形が占めるそれぞれの領域内にあるか否かを判定するように構成されており、手書きの軌跡の始点の座標および終点の座標が第１の図形および第２の図形が占めるそれぞれの領域内にあると判定した場合、操作登録部３８に登録されている第１の図形に紐付いた操作対象機器の識別情報と第２の図形に紐付いた操作命令の識別情報を関連付けるように構成されている。

図４（ｅ）に示すケースでは、関連付け部３６は、線ｌの始点の座標が“円形ｋ”が占める領域内にあり、終点の座標が“四角形ｊ”が占める領域内にあることを判定し、操作登録部３８に登録されている“四角形ｊ”に紐付いた操作対象機器の識別情報“Ｌｉｇｈｔ”と“円形ｋ”に紐付いた操作命令の識別情報“ｏｎ”を関連付ける。

一方、操作コード生成部４０のトリガー操作検知部４２は、手書き入力受付部１０に入力される手書きの軌跡に基づいて、ユーザによる所定のトリガー操作を検知するように構成されている。ここでいうトリガー操作とは、操作の開始要求を意味する任意の操作であり、事前に定義される。本ケースでは、トリガー操作として“タップ”が定義されているものとして説明を続ける。

続いて、ユーザは、図４（ｆ）に示すように、“ｏｎ”を囲む“円形ｋ“が占める領域をデジタルペン１２でタップする。これを受けて、トリガー操作検知部４２は、タップを検知する。なお、本実施形態においては、例えば、手書きの軌跡の始点と終点の距離が所定の閾値を下回り、且つ、その描画時間の所定の閾値を下回っていることをもってタップを検知することができる。

この判定を受けて、操作コード生成部４０は、タップされた位置（座標）をキーとして操作登録部３８を検索し、当該タップされた位置（座標）を包含する第２の図形に紐付いた操作命令の識別情報と、当該識別情報に関連付けられた操作対象機器の識別情報を抽出する。図４（ｆ）に示す例の場合、操作コード生成部４０は、タップされた位置（座標）を包含する“円形ｋ”に紐付いた操作命令の識別情報“ｏｎ”と、これに関連付けられた操作対象機器の識別情報“Ｌｉｇｈｔ”を操作登録部３８から抽出する。

続いて、操作コード生成部４０は、抽出した識別情報“Ｌｉｇｈｔ”および“ｏｎ”を操作コード変換部４４に入力する。ここで、操作コード変換部４４は、電子機器に係る識別情報および操作命令に係る識別情報を入力として受け付け、当該電子機器に対する当該操作命令を表す操作コードを出力する手段として参照されるものであり、例えば、識別情報と操作命令を対応付けたテーブルとして構成することができる。この場合、操作コード変換部４４は、識別情報（Ｌｉｇｈｔ，ｏｎ）の入力に対して、卓上照明７２の電源ＯＮに係る操作コードを出力として返す。これを受けて、操作コード生成部４０は、卓上照明７２の電源ＯＮに係る操作コードを操作信号出力装置６０に出力する。

操作信号出力装置６０は、操作コード生成部４０から入力された卓上照明７２の電源ＯＮに係る操作コードに基づいて操作信号を生成し、当該操作信号を卓上照明７２が対応する通信媒体に載せて出力する。

例えば、卓上照明７２が赤外線リモコン対応機である場合、操作信号出力装置６０は、搭載する赤外線発光機から赤外線に載せて操作信号を出力する。また、卓上照明７２がBluetooth（登録商標）規格の無線リモコン対応機である場合、操作信号出力装置６０は、搭載する電波発信機から電波に載せて操作信号を出力する。これを受けて、図２（ｂ）に示すように、卓上照明７２が点灯する。

（操作２）
ユーザは、図５（ａ）に示すように、デジタルペン１２で手書き文字「ｏｆｆ」を描画した後、これを囲うように“円形ｍ”を描画する。これを受けて、手書き描画解析部２０の文字認識部２２は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して文字認識を実施し、紙１４に文字列“ｏｆｆ”が描画されたことを認識する。また、手書き描画解析部２０の図形認識部２４は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して図形認識を実施し、紙１４に“円形”が描画されたことを認識する。

このとき、操作要求特定部３０の操作命令特定部３４は、文字列“ｏｆｆ”が“円形ｍ”に囲まれていると判定し、文字列“ｏｆｆ”を操作命令の識別情報として“円形ｍ”（具体的には、“円形ｍ”が占める領域の座標情報）に紐付けて操作登録部３８に登録する。

続いて、ユーザは、図５（ｂ）に示すように、デジタルペン１２で“円形ｍ“と“四角形ｊ”を結ぶように線ｎを描画する。これを受けて、関連付け部３６は、操作登録部３８に登録されている“円形ｍ”に紐付いた操作命令の識別情報“ｏｆｆ”と“四角形ｊ”に紐付いた操作対象機器の識別情報“Ｌｉｇｈｔ”を関連付ける。

続いて、ユーザは、図５（ｃ）に示すように、文字列“ｏｆｆ”を囲む“円形ｍ“が占める領域をデジタルペン１２でタップする。トリガー操作検知部４２が当該タップを検知したことを受けて、操作コード生成部４０は、タップされた位置（座標）をキーとして操作登録部３８を検索し、当該タップされた位置（座標）を包含する“円形ｍ”に紐付いた操作命令の識別情報“ｏｆｆ”と、これに関連付けられた操作対象機器の識別情報“Ｌｉｇｈｔ”を抽出する。

続いて、操作コード生成部４０は、抽出した識別情報“Ｌｉｇｈｔ”および“ｏｆｆ”を操作コード変換部４４に入力し、出力として卓上照明７２の電源ＯＦＦに係る操作コードを受け取って、これを操作信号出力装置６０に出力する。操作信号出力装置６０は、操作コード生成部４０から入力された当該操作コードに基づいて操作信号を生成し、出力する。これを受けて、図２（ｃ）に示すように、卓上照明７２が消灯する。

（操作３）
ユーザは、図６（ａ）に示すように、デジタルペン１２で「ＴＶ」と描画した後、これを囲うように“四角形ｐ”を描画する。これを受けて、手書き描画解析部２０の文字認識部２２は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して文字認識を実施し、紙１４に文字列“ＴＶ”が描画されたことを認識する。また、手書き描画解析部２０の図形認識部２４は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して図形認識を実施し、紙１４に“四角形”が描画されたことを認識する。

このとき、操作要求特定部３０の操作命令特定部３４は、文字列“ＴＶ”が“四角形ｐ”に囲まれていると判定し、文字列“ＴＶ”を操作対象機器の識別情報として“四角形ｐ”（具体的には、“四角形ｐ”が占める領域の座標情報）に紐付けて操作登録部３８に登録する。

続いて、ユーザは、図６（ｂ）に示すように、デジタルペン１２で“四角形ｐ“と“円形ｋ”を結ぶように線ｑを描画する。これを受けて、関連付け部３６は、操作登録部３８に登録されている“円形ｋ”に紐付いた操作命令の識別情報“ｏｎ”と“四角形ｐ”に紐付いた操作対象機器の識別情報“ＴＶ”を関連付ける。

続いて、ユーザは、図６（ｃ）に示すように、文字列“ｏｎ”を囲む“円形ｋ“が占める領域をデジタルペン１２でタップする。トリガー操作検知部４２が当該タップを検知したことを受けて、操作コード生成部４０は、タップされた位置（座標）をキーとして操作登録部３８を検索し、当該タップされた位置（座標）を包含する“円形ｋ”に紐付いた操作命令の識別情報“ｏｎ”に関連付けられた２つの識別情報、すなわち、操作対象機器の識別情報“Ｌｉｇｈｔ”と操作対象機器の識別情報“ＴＶ”を抽出する。

続いて、操作コード生成部４０は、識別情報“Ｌｉｇｈｔ”、“ＴＶ”、“ｏｎ”を操作コード変換部４４に入力し、出力として卓上照明７２の電源ＯＮＮに係る操作コードならびに液晶テレビ７４の電源ＯＮに係る操作コードを受け取って、これを操作信号出力装置６０に出力する。操作信号出力装置６０は、操作コード生成部４０から入力された当該２つの操作コードに基づいて２つの操作信号を生成し、出力する。これを受けて、図２（ｄ）に示すように、卓上照明７２と液晶テレビ７４が同時に点灯する。

（操作４）
ユーザは、図６（ｃ）に示すように、デジタルペン１２で、“四角形ｐ”の内部に、「６」と描画した後、これを囲うように“円形ｒ”を描画する。これを受けて、手書き描画解析部２０の文字認識部２２は、手書き入力受付部１０に入力される手書きの軌跡を機械学習識別器２６に照会して文字認識を実施し、紙１４に数字“６”が描画されたことを認識する。

このとき、操作要求特定部３０の操作命令特定部３４は、数字“６”が“円形ｒ”に囲まれていると判定し、数字“６”を操作命令の識別情報として“円形ｒ”（具体的には、“円形ｒ”が占める領域の座標情報）に紐付けて操作登録部３８に登録する。

ここで、操作要求特定部３０の関連付け部３６は、常時、図形認識部２４が認識した第２の図形が第１の図形に囲まれているか否かを判定するように構成されており、第２の図形が第１の図形に囲まれていると判定した場合、操作登録部３８に登録されている第１の図形に紐付いた操作対象機器の識別情報と第２の図形に紐付いた操作命令の識別情報を関連付けるように構成されている。

図６（ｃ）に示すケースでは、関連付け部３６は、“円形ｒ”が“四角形ｐ”に囲まれていること判定し、操作登録部３８に登録されている“円形ｒ”に紐付いた操作命令の識別情報“６”と“四角形ｐ”に紐付いた操作対象機器の識別情報“ＴＶ”を関連付ける。

続いて、ユーザは、図７（ｄ）に示すように、数字“６”を囲む“円形ｒ“が占める領域をデジタルペン１２でタップする。トリガー操作検知部４２が当該タップを検知したことを受けて、操作コード生成部４０は、タップされた位置（座標）をキーとして操作登録部３８を検索し、当該タップされた位置（座標）を包含する“円形ｒ”に紐付いた操作命令の識別情報“６”と、これに関連付けられた操作対象機器の識別情報“ＴＶ”を抽出する。

続いて、操作コード生成部４０は、抽出した識別情報“ＴＶ”および“６”を操作コード変換部４４に入力し、出力として液晶テレビ７４の電源ＯＮに係る操作コードを受け取って、これを操作信号出力装置６０に出力する。操作信号出力装置６０は、操作コード生成部４０から入力された当該操作コードに基づいて操作信号を生成し、出力する。これを受けて、図２（ｅ）に示すように、液晶テレビ７４のチャンネルが当初の「４」から「６」に切り替わる。

（操作５）
ユーザは、図７（ｅ）に示すように、デジタルペン１２で“四角形ｐ“と“円形ｍ”を結ぶように線ｓを描画する。これを受けて、関連付け部３６は、操作登録部３８に登録されている“円形ｍ”に紐付いた操作命令の識別情報“ｏｆｆ”と“四角形ｐ”に紐付いた操作対象機器の識別情報“ＴＶ”を関連付ける。

続いて、ユーザは、図７（ｅ）に示すように、“四角形ｊ“と“円形ｍ”を結ぶ線ｎの上に“×”を描画する。ここで“×”は、第１の図形と第２の図形を結ぶように描画された線を取り消すことを意味するものとして予め決められた記号である。なお、“×”はあくまで例示であって、当該線を取り消す記号として他の記号を採用してもよいことはいうまでもない。

ここで、操作要求特定部３０の関連付け部３６は、手書き入力受付部１０に入力される手書きの軌跡について、常時、“×”が２つの図形を結ぶように描画された線の上に描画されたか否かを判定するように構成されており、“×”が当該線の上に描画されたと判定した場合、操作登録部３８において、当該線に基づく識別情報の関連付けを解消するように構成されている。したがって、図７（ｅ）に示すケースでは、関連付け部３６は、操作登録部３８に登録されている操作対象機器の識別情報“Ｌｉｇｈｔ“と操作命令の識別情報“ｏｆｆ”の関連付けを解消する。

続いて、ユーザは、図７（ｆ）に示すように、文字列“ｏｆｆ”を囲む“円形ｍ“が占める領域をデジタルペン１２でタップする。トリガー操作検知部４２が当該タップを検知したことを受けて、操作コード生成部４０は、タップされた位置（座標）をキーとして操作登録部３８を検索し、当該タップされた位置（座標）を包含する“円形ｍ”に紐付いた操作命令の識別情報“ｏｆｆ”と、これに関連付けられた操作対象機器の識別情報“ＴＶ”を抽出する。このとき、線ｎの取り消しにより識別情報“ｏｆｆ”と識別情報“Ｌｉｇｈｔ”の関連付けが解消されたことを受けて、識別情報“Ｌｉｇｈｔ”が抽出されないことに留意されたい。

続いて、操作コード生成部４０は、操作対象機器“ＴＶ”および操作命令“ｏｆｆ”を操作コード変換部４４に入力する。これを受けて、操作コード変換部４４は、当該入力（ＴＶ，ｏｆｆ）に対して、液晶テレビ７４の電源をＯＦＦにするための操作コードを出力として返す。これを受けて、操作信号出力装置６０は、操作コード変換部４４から操作コードをデコードした操作信号（例えば、赤外線信号）を対応する信号出力手段（例えば、赤外線ＬＥＤ）から出力する。

続いて、操作コード生成部４０は、抽出した識別情報“ＴＶ”および“ｏｆｆ”を操作コード変換部４４に入力し、出力として液晶テレビ７４の電源ＯＦＦに係る操作コードを受け取って、これを操作信号出力装置６０に出力する。操作信号出力装置６０は、操作コード生成部４０から入力された当該操作コードに基づいて操作信号を生成し、出力する。これを受けて、図２（ｆ）に示すように、卓上照明７２が点灯した状態で、液晶テレビ７４だけが消灯する。

以上、説明したように、本実施形態の電子機器遠隔操作システム１００によれば、ユーザの筆記動作に基づいて電子機器を遠隔操作するナチュラルユーザインターフェース（ＮＵＩ）が実現される。その結果、ユーザは、例えば、書き物をしながらノートの余白を利用してテレビを点けたり、クーラーを消したりするといったようなことが可能になる。

本実施形態の電子機器遠隔操作システム１００は、ユーザが慣れ親しんだ筆記という動作を利用するものであるため、従来のジェスチャーや発話を利用するＮＵＩに比較して、ユーザの抵抗感が少なく、また、ユーザの学習負担も少ない。さらに、線図（文字、図形等）の認識は、ジェスチャーや発話のそれに比較して格段に容易であるため、実時間で高精度にユーザの操作要求を特定することが可能になる。将来、ユーザの筆記動作を認識するユビキタスなプラットフォームが整備された暁には、いつでもどこでも、筆記動作だけでいろいろな電子機器を操作できるようになるだろう。

加えて、本実施形態の電子機器遠隔操作システム１００によれば、複雑な操作を容易に行うことが可能になる。例えば、洗濯機の予約では、開始時間、水量、洗濯モードなど複数の条件を指定しなければならないが、これをジェスチャーや発話で行うことは難しい。この点、筆記動作を利用する本システムによれば、これを容易に行うことができる。ここで、本システムが可能にする複雑な操作の一例を説明する。本例における操作対象機器は“電子楽器（シンセサイザー）”であり、この場合、ユーザは、デジタルペン１２を使用して以下のような手順で手書きを行う。

具体的には、図８（ａ）に示すように、
（１）“Ｍｕｓｉｃ”という文字を手書きする。
（２）手書き文字“Ｍｕｓｉｃ”を四角で囲む。
（３）四角の中に五線譜を描画する。

上記（１）および（２）の手書き動作を受けて、手書き描画解析部２０が文字列“Ｍｕｓｉｃ”と“四角形”を認識し、操作命令特定部３４が文字列“Ｍｕｓｉｃ”が“四角形”に囲まれたこと判定して、文字列“Ｍｕｓｉｃ”を操作対象機器の識別情報として当該“四角形”に紐付けて操作登録部３８に登録する。

この場合、手書き描画解析部２０は、五線譜の記譜内容を解析する機能を備えており、上記（３）の手書き動作を受けて、四角の中に描画された五線譜の記譜内容を解析し、その解析結果（記譜内容）を操作登録部３８に登録する。

続いて、ユーザは、デジタルペン１２を使用して以下のような手順で手書きを行う。

具体的には、図８（ｂ）に示すように、
（４）“Ｐｆ”および“ＶＩ”という文字を描画し、それぞれを“円形“で囲う。
（５）“Ｐｆ”および“ＶＩ”を囲ったそれぞれの“円形“と“五線譜”を結ぶように線を描画する。
（６）“ｐｌａｙ”および“ｓｔｏｐ”という文字を描画し、それぞれを“円形“で囲う。
（７）“ｐｌａｙ”および“ｓｔｏｐ”を囲ったそれぞれの“円形“と“五線譜”を結ぶように線を描画する。

上記（４）の手書き動作を受けて、手書き描画解析部２０が文字列“Ｐｆ”および文字列“ＶＩ”と“円形”を認識し、操作命令特定部３４が文字列“Ｐｆ”および文字列“ＶＩ”が“円形”に囲まれたこと判定して、文字列“Ｐｆ”および文字列“ＶＩ”を操作命令の識別情報としてそれぞれの“円形”に紐付けて操作登録部３８に登録する。そして、関連付け部３６は、各“円形”が“四角形”に囲まれていること判定し、操作登録部３８に登録されている当該“円形”に紐付いた操作命令の識別情報“Ｐｆ”および“ＶＩ”と当該“四角形”に紐付いた操作対象機器の識別情報“Ｍｕｓｉｃ”を操作登録部３８において関連付ける。

同様に、上記（６）の手書き動作を受けて、手書き描画解析部２０が文字列“ｐｌａｙ”および文字列“ｓｔｏｐ”と“円形”を認識し、操作命令特定部３４が文字列“ｐｌａｙ”および文字列“ｓｔｏｐ”が“円形”に囲まれたこと判定して、文字列“ｐｌａｙ”および文字列“ｓｔｏｐ”を操作命令の識別情報としてそれぞれの“円形”に紐付けて操作登録部３８に登録する。そして、関連付け部３６は、各“円形”が“四角形”に囲まれていること判定し、操作登録部３８に登録されている当該“円形”に紐付いた操作命令の識別情報（“ｐｌａｙ”、“ｓｔｏｐ”）と当該“四角形”に紐付いた操作対象機器の識別情報“Ｍｕｓｉｃ”を操作登録部３８において関連付ける。

一方、上記（５）の手書き動作を受けて、関連付け部３６は、線の両端に位置する“円形”と“五線譜”の関連を判定し、操作登録部３８に登録されている当該“五線譜”の記譜内容と当該“円形”に紐付いた操作命令の識別情報（“Ｐｆ”、“ＶＩ”）を操作登録部３８において紐付ける。同様に、上記（７）の手書き動作を受けて、関連付け部３６は、線の両端に位置する“円形”と“五線譜”の関連を判定し、操作登録部３８に登録されている当該“五線譜”の記譜内容と当該“円形”に紐付いた操作命令の識別情報（“ｐｌａｙ”、“ｓｔｏｐ”）を操作登録部３８において紐付ける。

その後、文字列（“ｐｌａｙ”、“ｓｔｏｐ”）を囲む“円形”がデジタルペン１２によってタップされたことに応答して、操作コード生成部４０は、タップされた”円形“に紐付いた識別情報（“ｐｌａｙ”、“ｓｔｏｐ”）と、当該識別情報（“ｐｌａｙ”、“ｓｔｏｐ”）に紐付いた五線譜の記譜内容と、当該“五線譜”に紐付いた識別情報（“Ｐｆ”、“ＶＩ”）と、当該識別情報（“ｐｌａｙ”、“ｓｔｏｐ”）に関連付けられた操作対象機器の識別情報“Ｍｕｓｉｃ”を操作登録部３８から抽出する。

続いて、操作コード生成部４０は、操作登録部３８から抽出した内容を操作コード変換部４４に入力し、出力として“電子楽器”に係る操作コードを受け取って、これを操作信号出力装置６０に出力する。

例えば、文字列“ｐｌａｙ”を囲む“円形”がデジタルペン１２によってタップされた場合、操作コード生成部４０は、当該”円形“に紐付いた識別情報“ｐｌａｙ”と、当該識別情報“ｐｌａｙ”に紐付いた“五線譜“の記譜内容と、当該“五線譜”に紐付いた識別情報（“Ｐｆ”、“ＶＩ”）と、当該識別情報“ｐｌａｙ”に関連付けられた識別情報“Ｍｕｓｉｃ”の組み合わせを操作コード変換部４４に入力する。これを受けて、操作コード変換部４４は、入力された“五線譜”“の記譜内容を識別情報（“Ｐｆ”、“ＶＩ”）に対応する楽器（「ピアノ」、「バイオリン」）の音色で発音するための演奏データ（例えば、ＭＩＤＩデータ）を操作コードとして操作信号出力装置６０に出力する。

操作信号出力装置６０は、操作コード生成部４０から入力された当該操作コードに基づいて操作信号（ＭＩＤＩ信号）を生成し、 “電子楽器”に出力する。これを受けて、“電子楽器”は、手書きの五線譜に表された旋律を指定された音色で奏でる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではないことはいうまでもない。例えば、上述した実施形態では、操作対象機器を定義する第１の図形として“四角形”を描画し、操作命令を定義する第２の図形として“円形”を描画する記法について説明したが、第１および第２の図形として他の図形を採用してもよいことはいうまでもない。また、上述した実施形態では、操作対象機器と操作命令を関連付けるために第１の図形と第２の図形を結ぶように線を描画する記法について説明したが、他の線図表現（例えば、第１の図形と第２の図形の間に矢線を描画するなど）によって操作対象機器と操作命令を関連付けるようにしてもよいことはいうまでもない。さらに、本発明が上述した記法とは異なる他の適切な記法を考案して採用することを排除するものでないことはいうまでもない。

また、上述した実施形態では、デジタルペンを使用した紙に対する筆記動作を利用して電子機器を遠隔操作する態様について説明したが、本発明は、ペンタブレットを使用した筆記動作や、タッチパッドまたはタッチパネルを使用した指による描画動作を利用して電子機器を遠隔操作する態様も含むものである。さらに、本発明においては、図１に示した全ての機能手段を１つの筐体に収容して一体化してよいし、図１に示した各機能手段を適切な単位でネットワーク上に分散配置してもよい。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０…手書き入力受付部
１２…デジタルペン
１４…紙
２０…手書き描画解析部
２２…文字認識部
２４…図形認識部
２６…機械学習識別器
３０…操作要求特定部
３２…操作対象機器特定部
３４…操作命令特定部
３６…関連付け部
３８…操作登録部
４０…操作コード生成部
４２…トリガー操作検知部
４４…操作コード変換部
５０…情報処理装置
６０…操作信号出力装置
７２…卓上照明
７４…液晶テレビ
１００…電子機器遠隔操作システム

Claims (17)

1. 手書きの軌跡を入力として受け付ける手書き入力受付手段と、
   前記手書きの軌跡からユーザが描画した内容を解析する手書き描画解析手段と、
   ユーザが描画した前記内容を所定の記法に照らして該ユーザが要求する電子機器の操作内容を特定する操作要求特定手段と、
   特定された操作内容に対応する電子機器の操作コードを生成する操作コード生成手段と、
   を含む、
   電子機器遠隔操作システム。
2. 前記所定の記法は、操作対象機器および操作命令を、それ自体を意味する文字と図形の組み合わせで表現し、該操作対象機器と該操作命令の対応関係を線図で表現する記法である、請求項１に記載の電子機器遠隔操作システム。
3. 前記手書き入力受付手段は、デジタルペンによって取得された手書きの軌跡を入力として受け付ける、請求項１または２に記載の電子機器遠隔操作システム。
4. 前記手書き描画解析手段は、
   操作対象機器および操作命令を意味する文字を認識するための文字認識手段と、
   操作対象機器を定義する第１の図形および操作命令を定義する第２の図形を認識するための図形認識手段と、
   を含み、
   前記操作要求特定手段は、
   前記第１の図形に囲まれている文字を操作対象機器の識別情報として該第１の図形に紐付ける操作対象機器特定手段と、
   前記第２の図形に囲まれている文字を操作命令の識別情報として該第２の図形に紐付ける操作命令特定手段と、
   前記操作対象機器の識別情報と前記操作命令の識別情報を関連付ける関連付け手段と、
   を含み、
   前記操作コード生成手段は、
   操作の開始要求を意味するトリガー操作を検知するトリガー操作検知手段を含み、前記第２の図形に対する前記トリガー操作を検知したことに応答して、該第２の図形に紐付いた操作命令の識別情報に関連付けられた識別情報に係る電子機器に対する該操作命令を表す操作コードを生成する、
   請求項２または３に記載の電子機器遠隔操作システム。
5. 前記関連付け手段は、
   前記第１の図形と前記第２の図形を結ぶように線が描画されたことに応答して、該第１の図形に紐付いた前記操作対象機器の識別情報と該第２の図形に紐付いた前記操作命令の識別情報を関連付ける、請求項４に記載の電子機器遠隔操作システム。
6. 前記関連付け手段は、
   前記線を取り消すことを意味する所定の記号が描画されたことに応答して、該線に基づく関連付けを解消する、請求項５に記載の電子機器遠隔操作システム。
7. 前記関連付け手段は、
   前記第１の図形に前記第２の図形が囲まれている場合に、該第１の図形に紐付いた前記操作対象機器の識別情報と該第２の図形に紐付いた前記操作命令の識別情報を関連付ける、請求項４〜６のいずれか一項に記載の電子機器遠隔操作システム。
8. 前記操作コード生成手段は、
   操作対象機器に係る識別情報と操作命令に係る識別情報を入力とし該操作対象機器に対する該操作命令を表す操作コードを出力とする操作コード変換手段を備え、
   前記第２の図形に対する前記トリガー操作を検知したことに応答して、該第２の図形に紐付いた操作命令に係る識別情報と該識別情報に関連付けられた操作対象機器に係る識別情報を前記操作コード変換手段に入力し、該操作対象機器に対する該操作命令を表す操作コードを出力として取得する、
   請求項４〜７のいずれか一項に記載の電子機器遠隔操作システム。
9. さらに、前記操作コード生成手段が取得した前記操作コードに基づいて操作信号を生成し、当該操作信号を操作対象機器が対応する通信媒体に載せて出力する操作信号出力装置を含む、請求項１〜８のいずれか一項に記載の電子機器遠隔操作システム。
10. 電子機器を遠隔操作するためのコンピュータを、
    手書きの軌跡を入力として受け付ける手書き入力受付手段、
    前記手書きの軌跡からユーザが描画した内容を解析する手書き描画解析手段、
    ユーザが描画した前記内容を所定の記法に照らして該ユーザが要求する電子機器の操作内容を特定する操作要求特定手段、
    特定された操作内容に対応する電子機器の操作コードを生成する操作コード生成手段、
    として機能させるためのコンピュータ実行可能なプログラム。
11. 前記所定の記法は、操作対象機器および操作命令を、それ自体を意味する文字と図形の組み合わせで表現し、該操作対象機器と該操作命令の対応関係を線図で表現する記法である、請求項１０に記載のプログラム。
12. 前記手書き入力受付手段は、デジタルペンによって取得された手書きの軌跡を入力として受け付ける、請求項１０または１１に記載のプログラム。
13. 前記手書き描画解析手段は、
    操作対象機器および操作命令を意味する文字を認識するための文字認識手段、
    操作対象機器を定義する第１の図形および操作命令を定義する第２の図形を認識するための図形認識手段、
    を含み、
    前記操作要求特定手段は、
    前記第１の図形に囲まれている文字を操作対象機器の識別情報として該第１の図形に紐付ける操作対象機器特定手段と、
    前記第２の図形に囲まれている文字を操作命令の識別情報として該第２の図形に紐付ける操作命令特定手段と、
    前記操作対象機器の識別情報と前記操作命令の識別情報を関連付ける関連付け手段と、
    を含み、
    前記操作コード生成手段は、
    操作の開始要求を意味するトリガー操作を検知するトリガー操作検知手段を含み、前記第２の図形に対する前記トリガー操作を検知したことに応答して、該第２の図形に紐付いた操作命令の識別情報に関連付けられた識別情報に係る操作対象機器に対する該操作命令を表す操作コードを生成する、
    請求項１１または１２に記載のプログラム。
14. 前記関連付け手段は、
    前記第１の図形と前記第２の図形を結ぶように線が描画されたことに応答して、該第１の図形に紐付いた前記操作対象機器の識別情報と該第２の図形に紐付いた前記操作命令の識別情報を関連付ける、請求項１３に記載のプログラム。
15. 前記関連付け手段は、
    前記線を取り消すことを意味する所定の記号が描画されたことに応答して、該線に基づく関連付けを解消する、請求項１４に記載のプログラム。
16. 前記関連付け手段は、
    前記第１の図形に前記第２の図形が囲まれている場合に、該第１の図形に紐付いた前記操作対象機器の識別情報と該第２の図形に紐付いた前記操作命令の識別情報を関連付ける、請求項１３〜１５のいずれか一項に記載のプログラム。
17. 前記操作コード生成手段は、
    電子機器に係る識別情報と操作命令に係る識別情報を入力とし該電子機器に対する該操作命令を表す操作コードを出力とする操作コード変換手段を備え、
    前記第２の図形に対する前記トリガー操作を検知したことに応答して、該第２の図形に紐付いた操作命令に係る識別情報と該識別情報に関連付けられた電子機器に係る識別情報を前記操作コード変換手段に入力し、該電子機器に対する該操作命令を表す操作コードを出力として取得する、
    請求項１３〜１６のいずれか一項に記載のプログラム。