JP2019036914A - 連携表示システム - Google Patents

Abstract

【課題】スマートフォンなどの処理能力を活用し、その処理結果を表示する画面の予め定められた一部をＨＭＤに表示できるシステムを提供する。【解決手段】縦長の画像データ２３は、横長の出力画像データ３１にされて出力部２４から出力される。縦長の出力画像データ２３の一部は、重複表示領域２５となっている。この重複表示領域２５が、ヘッドマウントディスプレイ（ＨＭＤ）６にて表示される領域である。変換装置４は、横長の出力画像データ３１を受けて、これをＨＤＭＩデータに変換し、縦長の画像データ２３に対応する中央部分３３を特定する。さらに、この中央部分３３から、縦長の画像データ２３の重複表示領域２５に対応する、重複表示領域３５を抽出する。変換装置は、抽出した重複表示領域３５のデータを、ＨＭＤ６のためのＨＭＤ表示データ４１として出力する。ＨＭＤ６は、受信したＨＭＤ表示データ４１を表示する。【選択図】図１

Description

この発明は、スマートフォンなどの表示機能を有する機器と、ヘッドマウントディスプレイとを連携して表示する連携表示システムに関する。

スマートフォンなどの機器においては、タッチスクリーン・ディスプレイが採用され、画面をタッチしながら操作を行うようになっている。このスマートフォンの画像出力に、ヘッド・マウント・ディスプレイ（ＨＭＤ）を接続すれば、スマートフォンの画面をＨＭＤに映し出すことができる。

したがって、スマートフォンの画面にて操作を行い、ＨＭＤにて画面を確認することができる。

このように、スマートフォンなどの表示機能を有する機器と、ＨＭＤとの間で連携した表示を行うシステムとして、特許文献１、特許文献２のようなシステムが提案されている。

特許文献１には、スマートフォンの画面の一部を選択し、選択された範囲の画面をＨＭＤに表示することが示されている。スマートフォン画面の一部選択は、ユーザによって行われる。

特許文献２には、図２０に示すように、携帯情報端末（ＰＤＡ）２００に装着して使用するホルダ２１０（図の斜線部分）が開示されている。図１９に、その回路ブロックを示す。ホルダ２１０には、ＨＭＤ２２０が接続される。このＨＭＤ２２０には、ＰＤＡ２００からの表示データではなく、ホルダ２１０に装着されたフラッシュメモリカード２１２からの表示データが表示される。

図２０に、ＨＭＤ２２０における表示例を示す。フラッシュメモリカード２１２に記録されていた表示データが表示されている（図中の”ＡＢＣ”）。また、操作のためのカーソル２２２や表示切替ボタン２２６、２２８が表示されている。

ホルダ２１０内に収納されたＰＤＡ２００の液晶パネル２０２はディスプレイとしてではなく、カーソル２２２を移動させるためのタッチパッドとして機能する。すなわち、スタイラスペン２０１によって、ＨＭＤ２２０のカーソル２２２を移動させることができる。

この状態から、カーソル２２２を移動させて、表示切替ボタン２２６をダブルクリックすると（スタイラスペン２０１によるダブルタップ）、図２１に示すような表示モードとなる。表示切替ボタン２２６がクリックされると、ＰＤＡ２００の液晶パネル２０２が上側領域２０２ａと、下側領域２０２ｂに分離される。ホルダ２１０のフラッシュメモリ２１２に記録されているＨＭＤ２２０のための表示データは、ＰＤＡ２００の液晶パネル２０２用に縮小される。縮小された表示データは、ＰＤＡ２００の上側領域２０２ａに表示される。ＰＤＡ２００の下側領域２０２ｂには、仮想キーボードが表示される。上側領域２０２ａには、フラッシュメモリ２１２に記録されている表示データだけでなく、仮想キーボードからの入力データも表示されることが記載されているが、その具体的な処理は明らかにされていない。

以上のようにして、ＰＤＡ２００の液晶パネル２０２とＨＭＤ２２０との表示連携を行うことができる。

特許５６３０１４１ 特開２００３−２７９８８１

しかしながら、スマートフォンの画面データを外部に出力する際、図２２に示すように、画面全体の構成が対応せずに出力されることが多い。図２２Ａがスマートフォンの画面データであり、図２２Ｂがスマートフォンから出力された画面データである。スマートフォンの画面が縦長であり、ＨＭＤの画面が横長であることから、図２２Ｂの斜線部が、スマートフォンの画面データに対応することになる。

したがって、スマートフォンなどの画面とＨＭＤの画面の連携を図るためには、このような画像データの構成の違いを考慮しなければ適切な連携表示を行うことはできない。すなわち、大きさ変換や縦横回転などを行わなければ適切な連携表示を行うことができない。

特許文献１では、上記のような画面構成の違いが考慮されておらず、適切な連携表示を行えない可能性があった。また、ユーザによってスマートフォン上で選択された画面の一部分をＨＭＤに表示するようにしているため、いずれの箇所が選択されるかが予め分からない。

このため、スマートフォンにおけるアプリケーションがＨＭＤに表示する領域を決定し、これに応じた処理を行うことが難しいという問題があった。たとえば、予めスマートフォンの所定の領域を操作用の領域とし、他の領域を操作による結果を表示する領域として、当該他の領域のみをＨＭＤに表示するようにしたアプリケーションを作成できないという問題があった。

特許文献２においては、ＰＤＡ２００の側で表示データを生成するのではなく、ホルダ２１０のフラッシュメモリカード２１２に記録された表示データを、ＨＭＤ２２０に表示するようにしている。また、ＰＤＡ２００では、この表示データを液晶パネル２０２用に縮小した上で表示している。

このように、特許文献２のシステムは、ＰＤＡやスマートフォンの側で生成した表示データに基づいてＨＭＤ２２０への表示を行うものではない。このため、ＰＤＡやスマートフォンなどの能力を活用した処理を行い、その処理結果を示す液晶パネル２０２の一部分をＨＭＤ２２０に表示するという連携を行うことは想定されていなかった。すなわち、ＰＤＡやスマートフォンの持つ能力を十分に利用した表示連携システムを提供することができないという問題があった。

この発明は、上記のような問題点を解決して、ＨＭＤとの画面構成の違いを考慮して適切な表示連携を行うことのできるシステムを提供することを目的とする。

また、スマートフォンなどの処理能力を活用し、その処理結果を表示する画面の予め定められた一部をＨＭＤに表示するようにして、スマートフォンのアプリケーションの開発が容易となるシステムを提供することを目的とする。

さらに、音声入力によってコマンドを与える場合に、ご認識を提供できるシステムを提供することを目的とする。

この発明は、少なくとも上記のいずれか一つを解決したシステムを提供することを目的とする。

この発明の独立して適用可能ないくつかの特徴を以下に列挙する。

(1)(2)この発明に係る連携表示システムは、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する出力部とを備えた携帯端末装置と、前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換装置と、前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイとを備えた連携表示システムにおいて、前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、前記変換装置は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴としている。

したがって、携帯端末装置の機能を利用しながら、その一部画面をＨＭＤに表示して連携を図ることができる。

(3)この発明に係るシステムは、携帯端末装置が、前記タッチディスプレイの縦長表示または横長表示の切替手段を、縦長の表示に固定する固定手段を備えていることを特徴としている。

したがって、携帯端末装置の画面方向に拘わらず、安定した表示連携を行うことができる。

(4)この発明に係るシステムは、携帯端末装置のタッチディスプレイにおいて、前記重複表示領域には、タッチ入力のための表示を行わないようにしたことを特徴としている。

したがって、無駄の少ない表示連携を実現することができる。

(5)(6)この発明に係る携帯端末装置は、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する出力手段と、前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換手段とを備えた携帯端末装置において、前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、前記変換手段は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴としている。

したがって、変換装置を用いずに表示連携を行うことができる。

(7)この発明に係る携帯端末装置は、変換手段が、前記タッチディスプレイの縦長表示または横長表示の切替手段を、縦長の表示に固定することを特徴としている。

したがって、携帯端末装置の画面方向に拘わらず、安定した表示連携を行うことができる。

(8)この発明に係る携帯端末装置は、携帯端末装置のタッチディスプレイにおいて、重複表示領域には、タッチ入力のための表示を行わないようにしたことを特徴としている。

したがって、無駄の少ない表示連携を実現することができる。

(9)(10)この発明に係る連携表示システムは、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備えた携帯端末装置と、前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換装置と、前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイとを備えた連携表示システムにおいて、前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、前記変換装置は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴としている。

したがって、携帯端末装置とヘッドマウントディスプレイの機種に応じて、携帯端末装置の機能を利用しながら、その一部画面をＨＭＤに表示して連携を図ることができる。

(11)この発明に係るシステムは、接続される携帯端末装置の機種またはヘッドマウントディスプレイの機種の一方が予め定まっている場合には、他方に基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴としている。

したがって、機種に応じた適切な表示連携を行うことができる。

(12)この発明に係るシステムは、携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせによって、前記表示データが、縦長表示のためのデータとなり、前記外部出力表示データが、その中央部に前記縦長の表示データを含む、全体として横長のＨＭＤ画面に対応するものとなる場合には、前記変換装置は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴としている。

したがって、携帯端末装置の機能を利用しながら、その一部画面をＨＭＤに表示して連携を図ることができる。

(13)(14)この発明に係る携帯端末装置は、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段と、前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段とを備えた携帯端末装置において、前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、前記変換手段は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴としている。

したがって、携帯端末装置とヘッドマウントディスプレイの機種に応じて、携帯端末装置の機能を利用しながら、その一部画面をＨＭＤに表示して連携を図ることができる。

(15)この発明に係る装置は、接続される携帯端末装置の機種またはヘッドマウントディスプレイの機種の一方が予め定まっている場合には、他方に基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴としている。

したがって、機種に応じた適切な表示連携を行うことができる。

(16)この発明に係る携帯端末装置は、携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせによって、前記表示データが、縦長表示のためのデータとなり、前記外部出力表示データが、その中央部に前記縦長の表示データを含む、全体として横長のＨＭＤ画面に対応するＨＤＭＩデータとなる場合には、前記変換装置は、受け取ったＨＤＭＩデータの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴としている。

したがって、携帯端末装置とヘッドマウントディスプレイの機種に応じて、携帯端末装置の機能を利用しながら、その一部画面をＨＭＤに表示して連携を図ることができる。

(17)(18)(19)(20)この発明に係る連携表示システムは、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備えた携帯端末装置と、前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換装置と、前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイとを備えた連携表示システムにおいて、前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、前記変換装置は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴としている。

したがって、携帯端末装置の機種等に拘わらず、自動的にＨＭＤとの表示連携を図ることができる。

(21)(22)この発明に係る携帯端末装置は、タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段と、前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段とを備えた携帯端末装置において、前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、前記変換手段は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴としている。

したがって、変換装置を用いずとも、携帯端末装置の機種等に拘わらず、自動的にＨＭＤとの表示連携を図ることができる。

(23)(24)この発明に係る音声認識装置は、表示部に表示するための画面データを生成する画面データ生成手段と、音声データを受けて、対応する命令を認識する命令認識手段と、認識した命令を実行する命令実行手段とを備えた音声認識装置において、前記画面データ生成手段は、当該画面において受付可能な命令に対応する音声データのテキストを含む画面データを生成し、前記命令認識手段は、前記受付可能な命令の中から、音声データに対応する命令を選択して認識することを特徴としている。

したがって、ユーザにとって利用可可能な音声コマンドが明確であり、装置の側における音声認識での命令の認識が容易である。

(25)(26)この発明に係る音声認識装置は、表示部に表示するための画面データを生成する画面データ生成手段と、音声データを受けて、対応する命令を認識する命令認識手段と、認識した命令を実行する命令実行手段とを備えた音声認識装置において、前記画面データ生成手段は、入力された音声データの音声波形を、命令認識手段が認識可能なレベルの目安となるラインとともに示すことを含む画面データを生成することを特徴としている。

したがって、ユーザが音声コマンド入力の際に、適切な発話の大きさを容易に知ることができる。

この発明において、「画像方向固定手段」は、実施形態では、ステップＳ１１やステップＳ３１がこれに対応する。

「出力部」は、実施形態では、入出力ポート２４がこれに対応する。

「初期画像出力手段」は、実施形態では、ステップＳ３２がこれに対応する。

「変換手順確立手段」は、実施形態では、ステップＳ４２、Ｓ４３がこれに対応する。

「変換手段」は、実施形態では、ステップＳ２がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による連携表示システムの全体構成である。 連携表示システムのシステム構成である。 スマートフォン２のハードウエア構成である。 変換装置４のハードウェア構成である 図５Ａはスマートフォン２の表示画面であり、図５ＢはＨＭＤ６の表示画面である。 変換プログラムのフローチャートである。 図７Ａは表示画像データ、図７Ｂは出力画像データ、図７ＣはＨＭＤ画像データである。 端末プログラムのフローチャートである。 端末プログラムのフローチャートである。 第１の実施形態による連携表示システムを、作業ナビゲーションシステムに応用した例を示す画面例である。 作業ナビゲーションシステムの画面例である。 作業ナビゲーションシステムの画面例である。 作業ナビゲーションシステムの画面例である。 作業ナビゲーションシステムの画面例である。 図１５Ａは横画面モードのスマートフォン２から出力される出力画像データ、図１５ＢはＨＭＤ表示データである。 第２の実施形態による連携表示システムの全体構成である。 初期設定時のフローチャートである。 図１８Ａは初期設定画像データ、図１８Ｂおよび図１８Ｃはその出力画像データである。 従来のシステムを示すブロック図である。 従来のシステムの動作を示すための図である。 従来のシステムの動作を示すための図である。 図２２Ａはスマートフォンの表示画像、図２２Ｂは出力画像データの例である。

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による連携表示システムの機能ブロック図を示す。携帯端末装置であるスマートフォン２は、タッチ入力可能なタッチディスプレイ２２を備えている。スマートフォン２は、重力の方向を検知する加速度センサ（図示せず）を備えており、画面の向きに応じて、縦長の画像データ（画面を縦長にした時に適切な方向として表示される画像データ）と横長の画像データ（画面を横長にした時に適切な方向として表示される画像データ）を切り替えて表示する。しかし、画像方向固定手段２１により、画面の向きに拘わらず、縦長の画像データ２３が表示されるモードに固定されている。

縦長の画像データ２３は、横長の出力画像データ３１にされて出力部２４から出力される。横長の出力画像データ３１の中央部分３３が、縦長の画像データ２３に対応している。また、縦長の出力画像データ２３の一部（この例では上１／３）は、重複表示領域２５となっている。この重複表示領域２５が、ヘッドマウントディスプレイ（ＨＭＤ）６にて表示される領域である。

変換装置４は、横長の出力画像データ３１を受けて、縦長の画像データ２３に対応する中央部分３３を特定する。さらに、この中央部分３３から、縦長の画像データ２３の重複表示領域２５に対応する、重複表示領域３５を抽出する。変換装置４は、抽出した重複表示領域３５のデータを、ＨＭＤ６のためのＨＭＤ表示データ４０として出力する。ＨＭＤ６は、受信したＨＭＤ表示データ４０を表示する。

スマートフォン２では、タッチディスプレイ２２の重複表示領域２５の表示はＨＭＤ６にも表示され、下部領域２７の表示はスマートフォン２のみに表示されることを前提に、処理プログラムが記述されている。たとえば、下部領域２７に操作ボタンなどを表示することで、これを操作して、入力などを行うことができる。処理結果などは、重複表示領域２５に表示するように、処理プログラムが記述される。また、ＨＭＤ６には、重複表示領域２５と同じ内容のＨＭＤ表示データ４１が表示される。

したがって、ユーザは、スマートフォン２のタッチディスプレイ２２で操作を行い、結果をＨＭＤ６に表示させることができる。

1.2システム構成・ハードウエア構成
図２に、この発明の一実施形態による連携表示システムのシステム構成を示す。このシステムは、スマートフォン２、変換器４、ヘッドマウントディスプレイ（ＨＭＤ）６を備えている。

スマートフォン２のコネクタ端子（出力ポート２４）には、コネクタ５０によってケーブル５２が接続されている。ケーブル５２は、変換器４の入出力ポート４７に接続される。変換器４の出力は、ＨＭＤ６に与えられる。なお、ＨＭＤ６としては、ウエストユニティス(株)のpicoLinker（商標）を用いることができる。

図３に、スマートフォン２のハードウエア構成を示す。ＣＰＵ２０には、メモリ２６、タッチディスプレイ２２、不揮発性メモリ２８、入出力ポート２４、通信回路３０、マイク３７、スピーカ３９が接続されている。なお、図において、通話回路などは省略している。

タッチディスプレイ２２は、表示を行うとともに、ユーザの入力を受け付けるものである。入出力ポート２４は、少なくとも出力画像データを出力するためのポートである。iPhone（商標）であれば、Lightning（商標）コネクタがこれに対応する。Android（商標）端末であれば、マイクロUSBコネクタがこれに対応する。通信回路３０は、インターネットと通信を行うためのものである。マイク３７は、ユーザの操作を声として取得するためのものである。スピーカ３９は、ユーザに指示などを出力するためのものである。

不揮発性メモリ２８には、端末プログラム３２が記録されている。この端末プログラム３２は、通信回路３０を介して、インターネット上のウエブサイトからダウンロードしたものである。

図４に、変換器４のハードウエア構成を示す。ＣＰＵ４０には、メモリ４２、不揮発性メモリ４４、ＨＤＭＩ変換器４６、出力ポート４８が接続されている。出力ポート４８には、ＨＭＤ６が接続されている。ＨＤＭＩ変換器４６には、入力ポート４７を介して、ケーブル５２が接続される。したがって、スマートフォン２からの出力画像データは、ＨＤＭＩデータに変換されて取り込まれる。不揮発性メモリ４４には、変換プログラム５０が記録されている。なお、図示しないが、駆動のためのバッテリが設けられている。

1.3連携表示処理
この実施形態では、図５Ａに示すように、スマートフォン２を縦画面とし、タッチディスプレイ２２の上部領域を重複表示領域２５にしている。この重複表示領域２５は、表示のための領域となっている。この重複表示領域２５のみを、ＨＭＤ６の表示領域７全体（図５Ｂ）に表示するようにしている。タッチディスプレイ２２の下部領域２７は、表示および操作入力を行うための領域としている。この下部領域２７は、ＨＭＤ６には表示しないようにしている。

したがって、スマートフォン２で使用するアプリケーションは、予め定められた重複表示領域２５にＨＭＤ６に表示すべき内容を表示し、下部領域２７にはスマートフォン２のみに表示すべき内容を表示する。

図６に、変換装置４の変換プログラム５０のフローチャートを示す。変換装置４のＣＰＵ４０（以下、変換装置４と省略することがある）は、入力ポート４７から受けた、出力画像データが変換されたＨＤＭＩデータを取り込む（ステップＳ１）。図７Ａに、スマートフォン２のタッチディスプレイ２２に表示される画像データを示す。斜線部分が、重複表示領域２５として設定された部分である。図７Ｂに、スマートフォン２の入出力ポート２４から出力される出力画像データがＨＤＭＩデータに変換されたものを示す。

ＣＰＵ４０は、取り込んだＨＤＭＩデータを、メモリ４２（バッファ）に記録する（ステップＳ１）。ＣＰＵ４０は、横長のＨＤＭＩデータの中央部分３３から重複表示領域３５を特定し、抽出する（ステップＳ２）。なお、この実施形態では、図７Ａに示すスマートフォン２の画像データ２３における重複表示領域２５を予め定めている。また、図７Ａの縦長の画像データが、図７Ｂの横長のＨＤＭＩデータに変換される時の比率も既知である。したがって、ＣＰＵ４０は、図７Ｂの中央部分３３から重複表示領域３５を特定することができる。

ＣＰＵ４０は、このようにして抽出した重複表示領域３５のデータを、ＨＤＭＩ表示データ４１として、出力ポート４８から出力する（ステップＳ３）。

以上のようにして、スマートフォン２のタッチディスプレイ２２の重複表示領域２５のみをＨＭＤ６に表示させることができる。

なお、上記では、ＣＰＵ４０によって画像データの抽出処理を行っているが、その一部または全部をＦＰＧＡなどによって実現するようにしてもよい。

以下では、一例として、スマートフォン２を持ってＨＭＤ６を装着したユーザに対し、作業指示を行う端末プログラム５０について説明する。図８に、端末プログラム５０のフローチャートを示す。

スマートフォン２のＣＰＵ２０は、タッチディスプレイ２２の縦横自動切換機能をオフにし、縦画面モードに固定する（ステップＳ１１）。スマートフォン２には、重力加速度を検知するセンサ（図示せず）により、スマートフォン２の姿勢を検知し、縦画面モードと横画面モードを切り換える機能が設けられている。ここでは、この切り換え機能をオフにして、姿勢に拘わらず、縦画面モードとなるようにしている。縦画面モードと横画面モードでは、入出力ポート２４から出力される出力画像データが異なるので、これを固定するためである。

ＣＰＵ２０は、重複表示領域２５に製品入力欄６０、機種入力欄６２を表示し、下部領域２７に製品入力欄６０に入力すべき製品リストを表示する（ステップＳ１２）。したがって、ＨＭＤ６には、製品入力欄６０、機種入力欄６２が表示される。ユーザは、タッチディスプレイ２２を操作し、下部領域２７から作業対象の製品を選択する（ステップＳ１３）。

作業対象の製品が選択されると、ＣＰＵ２０は、選択された製品名を製品入力欄６０に表示し、機種入力欄６２に入力すべき機種のリストを下部領域２７に表示する（ステップＳ１４）。表示例を、図１０Ｂ示す。ユーザは、タッチディスプレイ２２を操作し、下部領域２７から作業対象の機種を選択する（ステップＳ１５）。

以上のようにして、作業対象である製品名と機種名が決定されると、ＣＰＵ２０は、当該製品・機種について、図１０Ｃに示すような作業内容選択画面を表示する（ステップＳ１６）。作業内容選択画面の詳細を図１１に示す。重複表示領域２５には、作業内容を選択するための選択領域２５８が表示されている。

選択領域２５８には、決定された製品「自動車」・機種「Ｋ−１２０」についての作業内容が表示される。中央部分には候補となる作業内容「エンジンルーム整備」が表示されている。この状態で、決定コマンドを入力すると、作業内容として「エンジンルーム整備」が選択されて決定されることになる。

この実施形態では、ユーザが音声にて「決定」と発話することで、これをマイク３７が捉え、ＣＰＵ２０は音声解析（テキスト化）により、決定コマンドであることを認識する。音声入力以外の方法、たとえば、ボタンの押下などによってコマンドを入力するようにしてもよい。

また、「エンジンルーム整備」以外の作業内容を選択する場合には、「上」コマンドあるいは「下」コマンドを音声にて入力する。たとえば、図１１の状態から「上」コマンドを入力すると、「エンジンルーム整備」の下側に隠れていた「ブレーキ整備」が、中央部分に位置して候補となる。「下」コマンドを入力すると、「エンジンルーム整備」の上側に隠れていた「足回り整備」が、中央部分に位置して候補となる。

この実施形態では、重複表示領域２５の可能コマンド表示領域２５６に、音声入力可能なコマンドを文字として表示している。図１１においては、「上」「下」「決定」「カメラ」「作業終了」が表示されている。すなわち、この画面においては、これらの音声コマンドのみが受け付けられる。画面ごとに、受付可能な音声コマンドが用意されている。

このような構成にすることで、音声にてコマンドを入力するユーザは、可能コマンド表示領域２５６に示されたコマンドのみが受け付けられることを理解でき、正しいコマンドを発話することができる。また、ＣＰＵ２０の側も、当該画面にて入力可能なコマンドが絞り込まれているので、音声認識が容易となる。しかも、可能コマンド表示領域２５６は、重複表示領域２５にあるので、ＨＭＤ６にも表示される。したがって、ユーザがこれを容易に確認することができる。

ユーザによって発話され正しく認識されたコマンドは、認識コマンド表示欄２５４に表示される。図１１では、「決定」コマンドが認識されたことが示されている。

また、重複表示領域２５には、音声波形ウインドウ２５２が設けられている。ＣＰＵ２０は、マイク３７から拾った音声をディジタル信号にして、この音声波形ウインドウ２５２に音声波形２５３として表示する。この際、音声認識のために必要な音声レベルを、ライン２５５にて併せて表示する用にしている。正確な音声認識を行うために必要な音声レベルを示すためである。したがって、ユーザは、コマンドを発話する際に、音声波形２５３を見て、これがライン２５５を超えるように発話の大きさを調整することができる。

また、発話していない時には環境ノイズ（周りの音）の大きさが波形として表示されることになる。この時の波形が、ライン２５５を超えているようでは、環境ノイズが大きすぎて正しい音声認識を行うことができない。したがって、環境ノイズがライン２５５より十分下回るように、マイク３７の音量（ハードウエア的でもソフトウエア的でもよい）を、ユーザが手動でもしくは自動的に調整することができる。

図１１において、ＣＰＵ２０は、下部領域２７に作業内容の一覧を表示する。下部領域２７は、重複表示領域２５よりも広いのでより多くの作業内容を示すことができる。ただし、下部領域２７は、スマートフォン２のみに表示される。

ユーザは、ＨＭＤ６の画面を見て、音声にて作業内容を決定する（ステップＳ１７）。なお、ステップＳ１６、Ｓ１７における作業内容の選択は、複数回（複数階層）行うようにしてもよい。

作業内容が選択・決定されると、ＣＰＵ２０は、決定された作業内容の工程一覧を下部領域２７に表示し、重複表示領域２５には作業指示「☆☆の確認をして下さい」とともに、作業対象部分について予め用意してある写真２５９を示す作業指示画面を表示する（ステップＳ１８）。さらに、ＣＰＵ２０は、指示内容をスピーカ３９から音声として出力する。図１２に、作業指示画面を示す。

ユーザは、この作業指示を受けて、作業箇所や作業内容を示す写真２５９を参考にしながら作業を行う。この写真は、ＨＭＤ６に表示される。写真２５９の下には、この作業内容における工程番号２５７が示され、現在の工程番号のみが大きく表示される。図１２においては、工程番号「１」〜「５」が示される中、「１」のみが大きく示されており、現在の工程が「１」であることが示されている。

また、右下には、タクトタイム２６１が表示されている。タクトタイムは、当該工程の処理時間である。分母が予め設定されたタクトタイムであり、分子が現在までに要している時間である。図では、３／１１が表示されていて、１１秒で完了が予定されているこの工程が、開始から３秒経過していることが示されている。

工程での指示内容を完了するとユーザは、音声にてコマンドを入力する。ここでは、確認の工程であるから、確認の結果がＯＫであれば「ヨシ」、ＮＧであれば「問題あり」などと音声コマンドを入力する（ステップＳ１９）。図１２の例であれば、「ヨシ」が入力されている。

ＣＰＵ２０は、この入力された結果を工程に対応づけて記録する。また、タクトタイムも記録する。ＣＰＵ２０は、選択された作業中に、未処理の工程があるかどうかを判断する（ステップＳ２０）。未処理工程があれば、次の工程に進み、ステップＳ１８以下を繰り返す（ステップＳ２１）。

図１３に、次の工程の画面を示す。工程番号「２」が大きく表示される。また、下部領域において、作業の終了した工程にチェックマークが表示されている。他は、図１２の画面と同様である。

このような作業中において、ユーザは、ＨＭＤ６の画面を見ながら、音声にて操作を行うことができる。したがって、ハンズフリーの状態で、作業に集中することができる。

工程番号「５」まで終了すると、ＣＰＵ２０は、ステップＳ１６に戻り他の作業を選択する（ステップＳ１６、Ｓ１７）。

以上のようにして、スマートフォン２とＨＭＤ６を使用し、作業の支援を行うことができる。

なお、ＣＰＵ２０は、作業の結果（各工程がＯＫであるかＮＧであるか、タクトタイムなど）を不揮発性メモリ２８に記録する。

1.4その他
(1)上記実施形態では、スマートフォン２に記録された端末プログラム３２によって処理を行うようにしている。しかし、サーバ装置（図示せず）にプログラムを記録しておき、スマートフォン２からインターネットを介して、これを使用するようにしてもよい。この場合、サーバ装置に情報が集約されるので、複数人で作業を行う際に、それぞれがスマートフォン２を持っていれば、どの作業を他人が行っているかを把握することができる。

この場合の画面例を、図１４に示す。下部領域２７や選択領域２５８の作業名の頭に、チェックマークが入っているものが終了した作業（他のユーザが完了させた作業も含む）であり、黒点が入っているものが他のユーザが作業中のものである。

(2)上記実施形態では、作業の支援のために用いた例を示した。しかし、これは一例であり、スマートフォン２の重複表示領域２５の表示内容をＨＭＤ６に表示させて使用する場合、全般に適用することができる。例えば、下部領域２７は操作を行うための領域として、重複表示領域２５は処理結果などを表示するための領域として使用することができる。

(3)上記実施形態では、スマートフォン２を用いているが、タブレットを用いるようにしてもよい。

(4)上記実施形態では、スマートフォン２の画面を縦長に固定するようにしている。しかし、図１５Ａに示すように、スマートフォン２の画面を横長に固定し、その一部（右上、左上、右下、左下または真ん中など）を、ＨＭＤ６との重複表示領域２５としてもよい。図では、スマートフォン２の画面の左上の領域を重複表示領域２５とし、ＨＭＤ６の表示領域７に表示するようにしている。その他領域２７は、上記実施形態の下部領域２７に対応する。

この場合、スマートフォン２の出力画像データは、図１５Ａと同じようになる。したがって、変換器４は予め定められた領域２５を切り出して、ＨＤＭＩ表示データを生成する。

また、縦横切り換え機能をオフにせず、縦画面の時は図７のように、横画面の時は図１５のように変換して出力するよいにしてもよい。この場合、スマートフォン２の出力ポート２４から、現在のモード（縦モードか横モード）情報を出力するようにし、変換器４がこれを受けて、現在モードを知ることができるようにすればよい。

(5)上記実施形態では、変換器４にＨＤＭＩ変換器４６を備えている。しかし、スマートフォン２の出力ポートからの出力画像データをＨＤＭＩ変換器（図示せず）を介して、変換器４に取り込むようにしてもよい。この場合、変換器４には、ＨＤＭＩ変換器は不要である。

(6)上記実施形態では、重複表示領域２５よりも、その他領域２７の方が広くなるように構成している。しかし、重複表示領域２５の方が広くなるように設定してもよい。

(7)上記実施形態では、変換器４によって、重複表示領域２５の切り出しを行っている。しかし、スマートフォン２に記録したアプリケーションによってこれを行うようにしてもよい。この場合、出力ポート２４から重複表示領域２５のみを切り出した出力画像データを出力し、ＨＤＭＩ変換器を介して、ＨＭＤ６に与えるようにすればよい。

(8)上記実施形態では、ＨＭＤ６には、重複表示領域２５のみを表示するようにしている。しかし、重複表示領域２５だけでなくその他領域２７（下部領域２７）も含めて表示するようにしてもよい。画面を有さないパソコンなどを接続する場合には、このような表示方法が好ましい。

(9)上記実施形態では、変換器４は、ケーブル５２、５４にて、スマートフォン２、ＨＭＤ６と接続されている。しかし、ブルーツースなどの無線通信によって接続するようにしてもよい。

(10)上記実施形態では、ＨＤＭＩデータを例として示したが、他の画像方式にも適用することができる。

(11)上記実施形態では、スマートフォン２の画面の一部をＨＭＤ６に表示するようにしている。しかし、本来スマートフォン２に表示されるべき画面の一部または全部をＨＭＤ６のみに表示し、スマートフォン２のタッチディスプレイ２２をタッチパッドのように用いるようにしてもよい。すなわち、ＨＭＤ６に表示されたカーソルを、タッチディスプレイ２２での指（スタイラスペンでもよい）などの操作によって移動・操作させるようにしてもよい。

(12)上記実施形態の内容およびその他の例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

２．第２の実施形態
2.1全体構成
第１の実施形態では、スマートフォン２の入出力ポート２４からどのような出力画像データが出力されるかが、予め分かっている場合について説明した。しかし、同じ縦画面（横画面）モードであっても、スマートフォン２の機種などにより、出力画像データが異なる場合がある。この場合には、機種により、ＨＭＤ６に重複表示領域２５が正しく表示されないこととなる。そこで、この実施形態では、端末プログラム３２の起動時に初期設定を行って、上記のような機種の違いによる出力画像データの違いがあっても、正しく表示連携が行われるようにしている。

図１６に、この発明の一実施形態による連携表示システムの機能ブロック図を示す。携帯端末装置であるスマートフォン２は、タッチ入力可能なタッチディスプレイ２２を備えている。スマートフォン２は、重力の方向を検知する加速度センサ（図示せず）を備えており、画面の向きに応じて、縦長の画像データと横長の画像データを切り替えて表示する。

初期画像出力手段２０２は、現在の画像の向きに応じて、重複表示領域２５を特定できるようにした初期画像をタッチディスプレイ２２に表示する。たとえば、縦長画像のモードの場合、図１６に示すように、重複表示領域２５をグレーにして外枠を太線で囲い、下部領域２７を白にした初期画像２３を表示する。これにより、出力部２４からは、たとえば、図に示すような出力画像データ３１が出力される。

画像方向固定手段２１は、上記初期画像を出力した時のモードにて、画像方向を固定する。

変換装置４の変換手順確立手段４０２は、出力画像データ３１を受けて、その中から、太線で囲われたグレーの重複表示領域３５を認識する。たとえば、出力画像データ３１の左上を始点(0,0)として、重複表示領域３５の左上の座標(X1,Y1)と、右下の座標(X2,Y2)を特定する。ここでは、１つの画素を座標の１単位とするようにしている。さらに、変換手順確立手段４０２は、重複表示領域３５を切り出すための情報として、左上の座標(X1,Y1)と、右下の座標(X2,Y2)を記録する。以上のようにして、初期設定が終了する。

変換装置４は、初期設定が終了したことをスマートフォン２に送信する。スマートフォン２は、端末プログラム３２による処理を実行する。以降の処理は、第１の実施形態と同様である。

この実施形態によれば、機種による出力画像データ３１の形態に応じて、自動的に変換手順を確立し、適切な表示連携を実現することができる。

2.2システム構成・ハードウエア構成
システムの構成は、図２に示すものと同様である。スマートフォン２のハードウエア構成は、図３に示すものと同様である。なお、不揮発性メモリ２８には、マイク３７から入力された音声をテキストとして認識して指示命令を特定する音声認識プログラムが記録されている。変換装置４のハードウエア構成は、図４に示すものと同様である。

2.3初期設定処理
この実施形態では、端末プログラム３２が起動した時に、初期設定処理を行うようにしている。この初期設定処理は、端末プログラム３２の一部としてもよいし、端末プログラム３２とは別に設けてもよい。

図１７に、端末プログラム３２および変換プログラム５０の初期設定時のフローチャートを示す。スマートフォン２のＣＰＵ２０（以下、スマートフォン２と省略することあり）は、まず、縦横自動切換機能をオフにし、現在の画面モードに固定する（ステップＳ３１）。現在の画面モードが、縦画面モードであれば縦画面モードに、横画面モードであれば横画面モードに固定する。

次に、スマートフォン２は、初期画像を生成し、タッチディスプレイ２２に表示する（ステップＳ３２）。図１８Ａに、タッチディスプレイ２２に表示された初期画像２３の例を示す。初期画像２３は、重複表示領域２５と下部領域２７で構成されている。下部領域２７は白色であり、重複表示領域２５はグレーである。重複表示領域２５には、左上から右下に領域ライン２５１が描画されている。

スマートフォン２の入出力ポート２４に出力される出力画像データ３１は、機種によって異なってくる。たとえば、図１８Ｂのように、中央領域３３の両端に空白領域が設けられて、全体として横長の画像にして出力されたり、図１８Ｃのように、初期画像２３がそのまま縦長の画像として出力されたりする。

この実施形態では、出力画像データ３１の形態がどのようなものであっても、ＨＭＤ６との表示連携を正しく行うことができるようにしている。変換装置４のＣＰＵ４０（以下変換装置４と省略することがある）は、初期画面の出力画像データ３１を受信したかどうかを判断する（ステップＳ４１）。出力画像データ３１を受信すると、変換装置４は、出力画像データ３１から、重複表示領域３５を認識する（ステップＳ４２）。

ここでは、グレーの領域を見いだし、その中に描かれている領域ライン２５１の左上端、右下端の座標を取得する。座標は、出力画像データ３１の左上を(0,0)として、１画素を１座標要素として算出する。たとえば、出力画像データ３１が図１８Ｂに示すように横長であり、１９２０画素×１０８０画素であるとすれば、右下の座標は(1080,1920)となる。したがって、図１８Ｂの場合であれば、左上端(0,640)と右下端(160,1280)が、重複表示領域３５の位置として抽出される。図１８Ｃの場合（出力画像データ３１の右下座標が(1920,1080)）であれば、左上端(0,0)と右下端(640,1080)が、重複表示領域３５の位置として抽出される。

このように、図１８Ｃの場合も、図１８Ｃの場合も、領域ライン２５１の左上端、右下端によって、重複表示領域３５の位置を確認することができる。

なお、上記では重複表示領域３５の位置を１画素を一単位とする座標にて表している。しかし、出力画像データ３１の右下端を(100,100)として、正規化された重複表示領域３５の座標として表すようにしてもよい。

変換装置４は、上記にて抽出した重複表示領域３５の座標（左上端、右下端）を不揮発性メモリ４４に記録する（ステップＳ４３）。したがって、以降は、この座標に基づいて、重複表示領域３５を切り出して、ＨＭＤ表示データ４１を生成する。

変換装置４は、以上の初期設定が終了すると、ケーブル５２を介してその旨をスマートフォン２に送信する（ステップＳ４４）。スマートフォン２は、これを受けて、以下の処理（たとえば、図８の処理（ステップＳ１１は除く））を実行する。

2.4その他
(1)上記実施形態では、機種の違いによる重複表示領域３５の切り出し位置の違いに対して自動的に対応するシステムとして説明した。しかし、同一機種（同一スマートフォン）において、縦画面と横画面による重複表示領域３５の切り出し位置の違いに対して自動的に対応するシステムとして用いることもできる。

(2)上記実施形態では、領域ライン２５を用いて重複表示領域３５を認識するようにしている。しかし、その他、特別なマーク、枠などによって、重複表示領域３５を認識するようにしてもよい。

(3)上記実施形態では、初期画像を出力した際の画面モードに固定するようにしている。しかし、現在の画面の向きに拘わらず、縦画面モードまたは横画面モードに固定するようにしてもよい。

また、画面モードを固定せず（縦横自動切換機能をオフにせず）、画面の向きに応じて縦画像モードと横画像モードを切り換えるようにしてもよい。この場合、画像モードが切り替わるごとに、初期設定処理を行う。

(4)上記実施形態では、スマートフォン２から重複表示領域を区別可能な初期画面を出力し、これに基づいて、重複表示領域の座標を確定し、抽出を行うようにしている。しかし、スマートフォン２の機種とＨＭＤ６の機種をユーザが入力し（スマートフォン２から入力して変換装置４に送る）、その組合せによって、重複表示領域の座標位置を示すテーブルを用意しておき、これに基づいて重複表示領域を切り出すようにしてもよい。この場合、縦画面と横画面によって切り出し位置が変わるので、画面モードをいずれか一方に固定することが好ましい。なお、スマートフォン２、ＨＭＤ６の機種は、変換装置４が自動的に取得するようにしてもよい。

また、縦画面と横画面における重複表示領域の座標位置をテーブルに記録しておき、縦画面か横画面かをスマートフォン２から取得して、重複表示領域を切り出すようにしてもよい。

さらに、スマートフォン２またはＨＭＤ６のいずれか一方の機種が固定されているようであれば、他方の機種に基づいて重複表示領域の座標位置をテーブルに記録しておいてもよい。

(5)上記実施形態では、ステップＳ４４において、変換装置４から初期設定終了を送信し、これを受けたスマートフォン２が次の処理に進むようにしている。しかし、変換装置４から初期設定終了を送信せず、スマートフォン２の側で初期画像出力から所定時間経過後に初期設定が終了したものとして、次の処理に進むようにしてもよい。

(6)上記実施形態では、変換器４によって変換手順の確立および変換処理を行うようにしている。しかし、これら処理をスマートフォン２において行うようにしてもよい。

(7)上記実施形態の内容およびその他の例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

Claims (26)

1. タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する出力部とを備えた携帯端末装置と、
   前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換装置と、
   前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイと、
   を備えた連携表示システムにおいて、
   前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、
   前記変換装置は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とする連携表示システム。
2. タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する携帯端末装置からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換装置において、
   前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、
   前記変換装置は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とする変換装置。
3. 請求項１の連携表示システムまたは請求項２の変換装置において、
   前記携帯端末装置は、前記タッチディスプレイの縦長表示または横長表示の切替手段を、縦長の表示に固定する固定手段を備えていることを特徴とする連携表示システムまたは変換装置。
4. 請求項１〜３のいずれかの連携表示システムまたは変換装置において、
   前記携帯端末装置のタッチディスプレイにおいて、前記重複表示領域には、タッチ入力のための表示を行わないようにしたことを特徴とする連携表示システムまたは変換装置。
5. タッチ入力可能なタッチディスプレイと、
   前記タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する出力手段と、
   前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換手段と、
   を備えた携帯端末装置において、
   前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、
   前記変換手段は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とする携帯端末装置。
6. コンピュータによって変換手段を実現するための変換プログラムであって、コンピュータを、
   タッチディスプレイに表示される縦長の表示データを、横長のＨＭＤ画面に対応する外部出力表示データとして出力する出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための横長のＨＭＤ表示データを生成する変換手段として機能させるための変換プログラムにおいて、
   前記タッチディスプレイの所定の一部領域であって、前記横長のＨＭＤ画面に対応する一部領域を重複表示領域とし、
   前記変換手段は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とする変換プログラム。
7. 請求項５の装置または請求項６のプログラムにおいて、
   前記変換手段は、前記タッチディスプレイの縦長表示または横長表示の切替手段を、縦長の表示に固定することを特徴とする装置またはプログラム。
8. 請求項５〜７のいずれかの装置またはプログラムにおいて、
   前記携帯端末装置のタッチディスプレイにおいて、前記重複表示領域には、タッチ入力のための表示を行わないようにしたことを特徴とする装置またはプログラム。
9. タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備えた携帯端末装置と、
   前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換装置と、
   前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイと、
   を備えた連携表示システムにおいて、
   前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
   前記変換装置は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とする連携表示システム。
10. タッチディスプレイに表示される表示データを、外部出力表示データとして出力する携帯端末装置からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）画面に表示するためのＨＭＤ表示データを生成する変換装置において、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記変換装置は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とする変換装置。
11. 請求項９のシステムまたは請求項１０の装置において、
    接続される携帯端末装置の機種またはヘッドマウントディスプレイの機種の一方が予め定まっている場合には、他方に基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とするシステムまたは装置。
12. 請求項９〜１１のシステムまたは装置において、
    前記携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせによって、
    前記表示データが、縦長表示のためのデータとなり、前記外部出力表示データが、その中央部に前記縦長の表示データを含む、全体として横長のＨＭＤ画面に対応するものとなる場合には、
    前記変換装置は、受け取った外部出力表示データの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とするシステムまたは装置。
13. タッチ入力可能なタッチディスプレイと、
    前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段と、
    前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段と、
    を備えた携帯端末装置において、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記変換手段は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とする携帯端末装置。
14. コンピュータによって変換手段を実現するための変換プログラムであって、コンピュータを、
    前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段として機能させるための変換プログラムにおいて、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記変換手段は、接続された携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせに基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とする変換プログラム。
15. 請求項１３の装置または請求項１４のプログラムにおいて、
    接続される携帯端末装置の機種またはヘッドマウントディスプレイの機種の一方が予め定まっている場合には、他方に基づいて、前記外部出力表示データを前記ＨＭＤ表示データに変換することを特徴とする装置またはプログラム。
16. 請求項１３〜１５の装置またはプログラムにおいて、
    前記携帯端末装置の機種とヘッドマウントディスプレイの機種の組み合わせによって、
    前記表示データが、縦長表示のためのデータとなり、前記外部出力表示データが、その中央部に前記縦長の表示データを含む、全体として横長のＨＭＤ画面に対応するＨＤＭＩデータとなる場合には、
    前記変換装置は、受け取ったＨＤＭＩデータの中央部に含まれる前記縦長の表示データに対応する領域のうち、前記重複表示領域の表示データを抽出してＨＭＤ表示データを生成することを特徴とする装置またはプログラム。
17. タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備えた携帯端末装置と、
    前記出力部からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換装置と、
    前記変換装置に接続され、ＨＭＤ表示データを受け取って表示するヘッドマウントディスプレイと、
    を備えた連携表示システムにおいて、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、
    前記変換装置は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴とする連携表示システム。
18. タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する携帯端末装置からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換装置において、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、
    前記変換装置は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴とする変換装置。
19. タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備え、変換装置を介してヘッドマウントディスプレイにＨＭＤ表示データを表示させる携帯端末装置であって、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記変換装置において、外部出力表示データからＨＭＤ表示データへの変換手順を確立できるように、前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを前記変換装置に出力することを特徴とする携帯端末装置。
20. タッチ入力可能なタッチディスプレイと、前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力部とを備え、変換装置を介してヘッドマウントディスプレイにＨＭＤ表示データを表示させる携帯端末装置をコンピュータによって実現するためのプログラムであって、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    コンピュータを、前記変換装置において、外部出力表示データからＨＭＤ表示データへの変換手順を確立できるように、前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを前記変換装置に出力するよう機能させるためのプログラム。
21. タッチ入力可能なタッチディスプレイと、
    前記タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段と、
    前記出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段と、
    を備えた携帯端末装置において、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    前記携帯端末装置は、初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、
    前記変換手段は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴とする携帯端末装置。
22. コンピュータによって変換手段を実現するための変換プログラムであって、コンピュータを、
    タッチディスプレイに表示される表示データを、外部出力表示データとして外部に出力する出力手段からの外部出力表示データを受けて、ヘッドマウントディスプレイ（ＨＭＤ）に表示するためのＨＭＤ表示データを生成する変換手段として機能させるための変換プログラムにおいて、
    前記タッチディスプレイの所定の一部領域であって、前記ＨＭＤ画面に対応する一部領域を重複表示領域とし、
    初期設定時に、前記重複表示領域とそれ以外の領域とを区別可能な初期設定用表示データを生成し、これに対応する初期設定用外部出力表示データを出力し、
    前記変換手段は、初期設定時に、前記初期設定用外部出力表示データを受けて、当該データ中の重複表示領域を認識して、外部出力表示データからＨＭＤ表示データへの変換手順を確立することを特徴とする変換プログラム。
23. 表示部に表示するための画面データを生成する画面データ生成手段と、
    音声データを受けて、対応する命令を認識する命令認識手段と、
    認識した命令を実行する命令実行手段と、
    を備えた音声認識装置において、
    前記画面データ生成手段は、当該画面において受付可能な命令に対応する音声データのテキストを含む画面データを生成し、
    前記命令認識手段は、前記受付可能な命令の中から、音声データに対応する命令を選択して認識することを特徴とする音声認識装置。
24. 音声認識装置をコンピュータによって実現するための音声認識プログラムであって、コンピュータを、
    表示部に表示するための画面データを生成する画面データ生成手段と、
    音声データを受けて、対応する命令を認識する命令認識手段と、
    認識した命令を実行する命令実行手段として機能させるための音声認識プログラムにおいて、
    前記画面データ生成手段は、当該画面において受付可能な命令に対応する音声データのテキストを含む画面データを生成し、
    前記命令認識手段は、前記受付可能な命令の中から、音声データに対応する命令を選択して認識することを特徴とする音声認識プログラム。
25. 表示部に表示するための画面データを生成する画面データ生成手段と、
    音声データを受けて、対応する命令を認識する命令認識手段と、
    認識した命令を実行する命令実行手段と、
    を備えた音声認識装置において、
    前記画面データ生成手段は、入力された音声データの音声波形を、命令認識手段が認識可能なレベルの目安となるラインとともに示すことを含む画面データを生成することを特徴とする音声認識装置。
26. 音声認識装置をコンピュータによって実現するための音声認識プログラムであって、コンピュータを、
    表示部に表示するための画面データを生成する画面データ生成手段と、
    音声データを受けて、対応する命令を認識する命令認識手段と、
    認識した命令を実行する命令実行手段として機能させるための音声認識プログラムにおいて、
    前記画面データ生成手段は、入力された音声データの音声波形を、命令認識手段が認識可能なレベルの目安となるラインとともに示すことを含む画面データを生成することを特徴とする音声認識プログラム。
    
    
    
    

Images