JP2008129713A - 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム - Google Patents

複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム Download PDF

Info

Publication number
JP2008129713A
JP2008129713A JP2006311845A JP2006311845A JP2008129713A JP 2008129713 A JP2008129713 A JP 2008129713A JP 2006311845 A JP2006311845 A JP 2006311845A JP 2006311845 A JP2006311845 A JP 2006311845A JP 2008129713 A JP2008129713 A JP 2008129713A
Authority
JP
Japan
Prior art keywords
modality
data
association
modalities
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006311845A
Other languages
English (en)
Inventor
Ai Yano
愛 矢野
Tatsuro Matsumoto
達郎 松本
Kazuo Sasaki
和雄 佐々木
Masayuki Fukui
誠之 福井
Hidekazu Takahashi
英一 高橋
Masahiro Hara
政博 原
Yutaka Iwayama
豊 岩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006311845A priority Critical patent/JP2008129713A/ja
Priority to US11/928,011 priority patent/US8219655B2/en
Publication of JP2008129713A publication Critical patent/JP2008129713A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】複数の異なるモダリティを容易に関連付けて、同時に利用して簡単で迅速な情報／サービス提供を実現するための方法およびシステムを提供する。
【解決手段】複数のモダリティのうちの第１のモダリティと第２のモダリティとを関連付けるための関連付け用データを作成するモダリティ連携用データ作成部と、第１のモダリティに送信するコンテンツに関連付け用データを合成した関連付け用データ付コンテンツを第１のモダリティに送信する関連付対応部と、各モダリティの接続情報、連携情報および連携用データ作成部で作成された関連付け用データの対応をセッション情報テーブルとして記憶するセッション情報格納部と、関連付け用データを利用して第２のモダリティから送信されてきた連携要求データを受け付け、連携要求データとセッション情報格納部に格納された関連付け用データとを照合するマッチング処理を実行するモダリティ関連付部とを備える。
【選択図】図１

Description

本発明は、複数の異なるモダリティを利用してネットワークを通じた情報／サービスをユーザに提供するマルチモーダルサービスであって、異なる複数のモダリティ同士を容易に連携することが可能な方式に関する。
ネットワークを通じて情報／サービスをユーザに提供する場合、ユーザ側の端末に設けられるCRTディスプレイや液晶ディスプレイなどの画面に、サーバ側から送信されるコンテンツを表示し、ユーザ側の端末に設けられるキーボード、マウス、その他の入力インターフェイスを用いてユーザが入力する情報を受け付けて、これら情報を双方向で送受信するように構成することが考えられる。このような画像表示を利用した画面インターフェイスの場合、ディスプレイ上に情報一覧を表示することが可能であることから、情報一覧から必要な情報の認識および取得、選択が容易であるという長所を備えている。しかしながら、キーボードを用いたデータ入力、マウスなどのポインティングデバイス、その他の入力インターフェイスを用いた入力操作が煩雑であり、操作に慣れていないユーザにとっては入力操作に多大な時間を要するという短所がある。
また、ユーザ側の端末において、サーバ側から送信されてくるコンテンツを音声出力し、ユーザの音声による入力を受け付けるように構成された音声インターフェイスを設けることができる。このような音声インターフェイスの典型的な例は電話機端末であるが、音声により対話を進行できることから手入力の必要がなく、操作が容易であるという長所を備える反面、サーバ側から送信されてくる出力についても音声による時系列出力で構成されることから、情報の一覧表示ができず、必要な情報の認識、取得、選択を容易にできないという短所を有する。
誰でも簡単で迅速に情報／サービスの提供を受けることを可能にするためには、前述したような複数の異なるモダリティ（インターフェイス）を同時に利用することで、それぞれの長所を活用することが望まれている。
このような複数の異なるモーダルを同期して情報／サービスを提供することを可能にしたシステムは、たとえば、特許文献１（特開2005-148807号公報）に記載されたようなものが提案されている。この特許文献１では、モーダル種別毎のコンテンツ生成ファイルを対応付けた選択定義情報を予め用意し、同期するモダリティの組み合わせに応じて適用すべきコンテンツ生成ファイルを選択して出力するように構成することで、複数のモダリティを同期させて情報／サービスを提供できるように構成している。
通常、このようなシステムにおいて、複数のモダリティのセッション情報はそれぞれ個々に管理されており、各モダリティを個々に認証した後に、たとえば端末を利用しているユーザ情報などに基づいて関連付けを行うように構成される。したがって、個々のモダリティがセッションを開始する際に、他のモダリティとの連携を図ることができないという問題がある。
このような問題を解決するために、ユーザが１つのモダリティを使って発信した時に、その端末の識別番号をサーバ側に登録し、同じユーザが他のモダリティを用いてサーバ側に接続する際に登録された端末の識別番号を送信することにより、サーバ側に同一セッションであることを認識させて、各モダリティの連携を図ることが考えられる。従来行われている各モダリティの連携に関して、たとえば、音声インターフェイスと画面インターフェイスとを連携するような場合について、以下に説明する。
(1)発信者番号による認証
図15に示す例では、ユーザ側では、音声インターフェイスとなる音声端末M1と、画面インターフェイスとなる画面端末M2とを備える構成となっている。音声端末M1は、音声対話サーバS1と接続され、音声対話サーバS1から送信されてくる音声によるコンテンツを出力する音声出力部と、ユーザによる音声入力またはDTMF（Dial Tone Multi Frequency）を用いた入力を受け付ける入力部と、音声対話サーバS1との間で音声によるコンテンツおよびユーザからの入力を送受信するためのデータ送受信部とを備える構成となっている。画面端末M2は、音声・画面対話サーバS2に接続されており、音声・画面対話サーバS2から送信されてくる画像データ、テキストデータなどを含むコンテンツを表示する表示部と、ユーザのデータ入力を受け付ける入力部と、音声・画面対話サーバS2との間でコンテンツおよびユーザから受け付けた入力データを送受信するデータ送受信部とを備える。
音声対話サーバS1は、音声・画面対話サーバS2が管理する対話シナリオに基づいて対応するコンテンツを取得し、音声コンテンツとして音声端末M1に送信するとともに、音声端末M1から送信されてくるユーザの入力を解釈して入力データとして音声・画面対話サーバS2に送信する。
音声・画面対話サーバS2は、提供するサービスに関してユーザ側との対話シナリオを管理するとともに、音声端末M1、画面端末M2からの要求に応じて対応するコンテンツを送信し、音声端末M1、画面端末M2からの入力データに従って対話シナリオを進行するとともに、音声端末M1と画面端末M2との対応付け管理を行う。
ユーザが音声端末M1を用いて発信した場合、音声対話サーバS1は、音声端末M1の発信者番号に基づいて発信者識別子（Caller-ID）を生成し、この発信者識別子（Caller-ID）を音声・画面対話サーバS2に送信して登録する。音声対話サーバS1は、音声端末M1に対して画面端末M2の起動および画面端末M2から音声・対話サーバS2への接続を促すための音声ガイダンスを送信する。
ユーザが画面端末M2を起動して画面端末M2と音声・画面対話サーバS2との接続が確立されると、音声・画面対話サーバS2は画面端末M2に発信者番号（音声端末M1の発信者番号）の入力を促すコンテンツを送信し、ユーザが入力した発信者番号に基づいて対応する発信者識別子（Caller-ID）を検索し、画面端末M2に対してユーザ識別子（User-ID）を生成するとともに、生成したユーザ識別子（User-ID）と発信者識別子（Caller-ID）とを関連付けて登録する。同時に、音声・画面対話サーバS2は、生成したユーザ識別子（User-ID）を画面端末M2に送信する。
この後、対話シナリオに従って音声端末M1と画面端末M2に送信するコンテンツをそれぞれ同期させることにより、複数のモダリティを連携させた情報／サービスの提供を行うことが可能となる。
(2)ワンタイムパスワードによる認証
図16に示す例では、前述した発信者番号による認証時と同様に、ユーザ側では、画面インターフェイスとなる画面端末M3と、音声インターフェイスとなる音声端末M4とを備える構成となっている。画面端末M3は、音声・画面対話サーバS3に接続されており、音声・画面対話サーバS3から送信されてくる画像データ、テキストデータなどを含むコンテンツを表示する表示部と、ユーザのデータ入力を受け付ける入力部と、音声・画面対話サーバS3との間でコンテンツおよびユーザから受け付けた入力データを送受信するデータ送受信部とを備えている。また、音声端末M4は、音声対話サーバS4と接続され、音声対話サーバS4から送信されてくる音声によるコンテンツを出力する音声出力部と、ユーザによる音声入力またはDTMF（Dial Tone Multi Frequency）を用いた入力を受け付ける入力部と、音声対話サーバS4との間で音声によるコンテンツおよびユーザからの入力を送受信するためのデータ送受信部とを備える構成となっている。
音声対話サーバS4は、音声・画面対話サーバS3が管理する対話シナリオに基づいて対応するコンテンツを取得し、音声コンテンツとして音声端末M4に送信するとともに、音声端末M4から送信されてくるユーザからの入力を音声・画面対話サーバS3に送信する。
音声・画面対話サーバS3は、提供するサービスに関してユーザ側との対話シナリオを管理するとともに、画面端末M3、音声端末M4からの要求に応じて対応するコンテンツを送信し、画面端末M3、音声端末M4からの入力データに従って対話シナリオを進行するとともに、画面端末M3と音声端末M4との対応付け管理を行う。
ユーザが画面端末M3を用いて音声・画面対話サーバS3への接続を行うと、音声・画面対話サーバS3は、そのセッションに対応してワンタイムパスワード（受付番号）を生成するとともに、対応する画面端末M3に対してユーザ識別子（User-ID）を生成し、これらを対応付けて登録するとともに画面端末M3に送信する。
次に、ユーザが音声端末M4を用いて発信すると、音声対話サーバS4は、音声端末M4の発信者番号に基づいて発信者識別子（Caller-ID）を生成し、この発信者識別子（Caller-ID）を音声・画面対話サーバS3に送信して登録する。音声対話サーバS4は、音声端末M4に対して、ワンタイムパスワードの入力を促す音声ガイダンスを送信する。音声端末M4が電話機端末などのようにボタンを備える場合には、DTMF（Dial Tone Multi Frequency）によりワンタイムパスワードを受け付けるように構成することができる。音声対話サーバS4は、音声端末M4で入力されたワンタイムパスワードを音声・画面対話サーバS3に送信する。音声・画面対話サーバS3では、画面端末M3からのセッションに対して生成したワンタイムパスワードと、音声対話サーバS4から送信されてきたワンタイムパスワードとが一致した場合に、対応するユーザ識別子（User-ID）と発信者識別子（Caller-ID）とを関連付けて登録する。
この後、対話シナリオに従って画面端末M3と音声端末M4に送信するコンテンツをそれぞれ同期させることにより、複数のモダリティを連携させた情報／サービスの提供を行うことが可能となる。
特開2005-148807号公報
前述した２つの方法では、発信者番号やワンタイムパスワードを手入力する必要があることから、入力の手間がかかるとともに、誤入力のおそれがある。
また、(1)発信者番号により認証を行って複数のモダリティの関連付けを行う場合、画面端末M2において発信者番号の入力を行う必要がある。前述した例では、キーボードやマウスなどのポインティングデバイスを用いた入力部を備える画面端末M2を想定しているが、このような入力デバイスを備えていないモーダルでは、同一ユーザが扱うモダリティとして認証することができないという不都合がある。
たとえば保守・管理システムや業務管理システムなどのように、現場のテレビカメラで撮影した画像データや各種センサにより取得した現場の状態情報を管理対象としたり、このような画像データ、状態情報などを用いてサーバ側において送信するコンテンツの選択を行うようなシステムの場合、複数のモダリティとして、前述したような画面インターフェイスや音声インターフェイスの他にも、映像データを取得するためのテレビカメラ、現場の各種状態情報を取得するためのセンサインターフェイスなどを含めて考慮する必要がある。このようなテレビカメラやセンサインターフェイスなどでは、データを入力するための入力デバイスを備えていない場合が多く、前述したような他のモダリティとの関連付けを行う処理ができないおそれがある。
同様にして、(2)ワンタイムパスワードにより認証を行って複数のモダリティの関連付けを行う場合、音声端末M4においてワンタイムパスワードの入力を行う必要があり、入力ボタンのような手入力が可能な手段を備えていないモーダルでは、DTMFによるワンタイムパスワードの入力が不可能であり、同一ユーザが扱うモダリティとして認証することができない。また、音声対話サーバS4側に音声認識機能を備える場合であっても、予めユーザの音声サンプルを収集して、これに基づく音声認識を行う必要があることから、接続時における端末の認証処理に適用することが困難であり、もちろん、音声入出力機能を備えていないモダリティについては適用できないという問題がある。
本発明では、複数の異なるモダリティを容易に関連付けることができ、複数の異なるモダリティを同時に利用して簡単で迅速な情報／サービス提供を実現するための方法およびシステムを提供する。
本発明に係る複数のモダリティを関連付けるための方法は、同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて複数のモダリティを関連付けるための方法であって、複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、第１のモダリティと第１接続識別子との対応をセッション情報テーブルとして格納する段階と、複数のモダリティのうち第２のモダリティを第１のモダリティに関連付けるために必要となる関連付け用データを作成し、関連付け用データを第１接続識別子に対応付けるようにセッション情報テーブルを更新するとともに、第１のモダリティに送信するコンテンツに関連付け用データを合成した関連付け用データ付コンテンツを生成して第１のモダリティに送信する段階と、第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティが送信してきた連携要求データを受け付けて、連携要求データとセッション情報テーブルに格納された関連付け用データとを照合して、第２のモダリティを第１のモダリティに関連付けるか否かを判別する段階と、第２のモダリティを第１のモダリティに関連付けると判断した場合に、第２のモダリティとの接続に関して第２接続識別子を生成し、第２接続識別子を第１接続識別子と対応付ける連携情報によりセッション情報テーブルを更新する段階とを備える。
この場合、第１のモダリティに関連付けようとする第２のモダリティの入出力手段を考慮して、対応するデータ形式による関連付け用データを作成して第１のモダリティに送信するコンテンツに合成することで、第２のモダリティを第１のモダリティに容易に関連付けることができ、複数のモダリティを連携した情報／サービスを提供することが容易になる。
本発明に係るプログラムは、同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて複数のモダリティを関連付けるための方法のプログラムであって、複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、第１のモダリティと第１接続識別子との対応をセッション情報テーブルとして格納する段階と、複数のモダリティのうち第２のモダリティを第１のモダリティに関連付けるために必要となる関連付け用データを作成し、関連付け用データを第１接続識別子に対応付けるようにセッション情報テーブルを更新するとともに、第１のモダリティに送信するコンテンツに関連付け用データを合成した関連付け用データ付コンテンツを生成して第１のモダリティに送信する段階と、第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティが送信してきた連携要求データを受け付けて、連携要求データとセッション情報テーブルに格納された関連付け用データとを照合して、第２のモダリティを第１のモダリティに関連付けるか否かを判別する段階と、第２のモダリティを第１のモダリティに関連付けると判断した場合に、第２のモダリティとの接続に関して第２接続識別子を生成し、第２接続識別子を第１接続識別子と対応付ける連携情報によりセッション情報テーブルを更新する段階とを備える、複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラムである。
このような複数のモダリティを関係付けるための方法のプログラムをコンピュータシステムに適用することにより、ユーザが使用する複数のモダリティを容易に関連付けることができ、複数のモダリティを連携して入出力が容易な情報／サービスの提供を行うことが可能となる。
ここで、複数のモダリティのうち関連付けが可能なモダリティをコンテンツ毎に対応付けた選択モダリティテーブルを備え、選択モダリティテーブルに基づいて関連付け用データを作成するように構成できる。
この場合、コンテンツ毎に連携可能なモダリティに対する関連付け用データを作成していることから、各モダリティの関連付けが容易であるとともに確実に連携させることができる。
また、複数のモダリティの位置情報を取得する段階をさらに含み、複数のモダリティの位置情報に基づいて、第１のモダリティから所定の位置にあるモダリティのみを選択して関連付け用データを作成するように構成できる。
たとえば、各モダリティにGPSやその他の位置情報を検出する手段を備えているような場合には、これら位置情報を取得して、連携付けようとしている複数のモダリティの存在場所が、１人のユーザが使用可能な合理的な範囲にあるかどうかを見分けて、なりすましや不正なアクセスを排除することができる。
本発明に係るマルチモーダル管理システムは、同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムであって、複数のモダリティのうちの第１のモダリティと第２のモダリティとを関連付けるための関連付け用データを作成するモダリティ連携用データ作成部と、各モダリティとの接続情報および各モダリティ間の連携に関する連携情報を管理するとともに、第１のモダリティに送信するコンテンツを取得してこのコンテンツに関連付け用データを合成した関連付け用データ付コンテンツを第１のモダリティに送信する関連付対応部と、関連付対応部によって管理される各モダリティの接続情報、各モダリティ間の連携情報およびモダリティ連携用データ作成部で作成された関連付け用データの対応をセッション情報テーブルとして記憶するセッション情報格納部と、関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティから送信されてきた連携要求データを受け付け、連携要求データとセッション情報格納部に格納された関連付け用データとを照合するマッチング処理を実行し、このマッチング結果に基づいてセッション情報格納部に格納されたセッション情報テーブルを更新するモダリティ関連付部とを備える。
このような構成によれば、１つのモダリティに送信するコンテンツに関連付け用データを合成して送信し、関連付け用データを利用して他のモダリティから連携要求データを送信してマッチング処理を行うことで、複数のモダリティの関連付け作業を容易にかつ確実に行うことが可能となる。
本発明によれば、ユーザが複数のモダリティを連携して情報／サービスの提供を受ける際に、各モダリティの関連付けを容易にする。
〈マルチモーダル管理システムの概略構成〉
複数の異なるモダリティに対して、同期した情報／サービスの提供を行うマルチモーダル管理システムの構成を図１に示す。
ユーザが利用可能な複数のモダリティとして第１のモダリティ10、第２のモダリティ11を代表として図示している。これら第１のモダリティ10、第２のモダリティ11は、たとえば、Webブラウザを備える画面端末、音声対話が可能な電話機端末などの音声端末、撮影した画像データを送信可能なテレビカメラ、現場の状態情報を取得して送信可能な各種センサ類などを適用することができる。
サービス提供システム30は、情報／サービスを提供するための対話シナリオを管理し、この対話シナリオと各モダリティからの入力情報に基づいて所定の処理を実行して、第１のモダリティ10及び第２モダリティ11に対応するコンテンツを提供する。
サーバ20は、サービス提供システム30から第１のモダリティ10および第２のモダリティ11に対して提供される情報／サービスが同期するように制御するものであり、モーダル管理部21、処理コントロール部22、選択処理部23、コンテンツ管理部24、関連付対応部25を備えている。
モーダル管理部21は、現在同期している複数のモダリティに関して、そのセッション情報を管理し、対応するモダリティを同期させる。たとえば、同一ユーザが使用していると判別された複数のモダリティについて、その識別子を１つの同期ID内に関連付けたテーブルを管理し、このテーブルの情報に基づいて各モダリティからの入力データおよび各モダリティに送信するコンテンツの制御を行う。
処理コントロール部22は、モーダル管理部21を介して各モダリティからの入力データを受け取りサービス提供システム30に処理を実行させるとともに実行結果を受け取って選択処理部23に転送する。
選択処理部23では、処理コントロール部22から転送された実行結果に基づいて、コンテンツ生成ファイルを選択するための選択定義ファイルを実行し、選択定義ファイルの定義内容に基づいて対応するモダリティに送信するコンテンツ生成ファイルを抽出する。
コンテンツ管理部24では、選択処理部23で抽出されたコンテンツ生成ファイルに、処理コントロール部22から転送された実行結果を反映させたコンテンツを生成し、それぞれ対応するモダリティに送信する。
関連付対応部25は、第１のモダリティ10、第２のモダリティ11からの接続要求があった場合に、各モダリティの認証処理を実行し、この認証処理に成功した場合にモダリティの識別子と接続識別子とを関連付けたセッション情報テーブルを管理する。また、関連付対応部25は、複数のモダリティからのセッションが、たとえば同一ユーザによるものであると判断したような場合に、これらモダリティによるセッション情報を関連付けるための連携情報を生成してセッション情報テーブルを更新する。
このようなサーバ20に対して各モダリティからの接続要求があった場合、関連付対応部25が、認証処理を実行し、認証成功後にセッションIDを生成して、セッション情報テーブルとして所定の記憶手段に格納して管理する。関連付対応部25は、モダリティから既に接続中の他のモダリティとの連携を要求する連携要求データを受け付けた場合には、各モダリティのセッション情報を関連付ける連携情報によりセッション情報テーブルを更新する。
モーダル管理部21は、複数のモダリティを同期して各モダリティとの対話処理を実行する際に、関連付対応部25が管理するセッション情報テーブルを参照しながら、サービス提供システム30が管理する対話シナリオに従って各モーダルに対して同期した情報／サービスの提供を行う。
ここで、サービス提供システム30は、ネットワークを介してサーバ20に接続された情報／サービス提供システムとすることが可能であり、また、サーバ20内に含まれたシステムとして構成することも可能である。
また、モダリティ毎に、モダリティからの入力データおよびサーバ20側からのコンテンツを中継する対話サーバを設けることもできる。たとえば、音声による対話を行う音声対話モダリティに対しては、モダリティとサーバ20との間に音声対話サーバを設け、モダリティ側から入力された音声入力およびサーバ20側からの音声応答コンテンツを一時的に中継することによって、トラフィックの遅延に影響されない円滑な対話を行うことが可能となる。また、モダリティとしてテレビカメラが設定されているような場合、モダリティとサーバ20との間に映像サーバを設け、テレビカメラで撮影された映像データを映像サーバに一時的に蓄積しておくように構成することができる。動画像データをリアルタイムで送信すると、回線の負担が大きくなって、フレーム落ちなど不具合が生じるおそれがあるが、このような映像データのうちリアルタイムで送信する必要がないようなものについては、映像サーバに一旦蓄積しておき、一括してサーバ20側にダウンロードするように構成することで、映像データを確実に取得することが可能となる。
このような対話サーバは、ネットワーク上に独立して存在する構成であってもよく、また、モダリティを含む端末上に設けることも可能であり、また、サーバ20側に設けることも可能である。
〈関連付対応部の概略構成〉
本発明に係るマルチモーダル管理システムについて、関連付対応部を中心として、図示した実施形態に基づいて説明する。図２は、本発明の第１実施形態のマルチモーダル管理システムの制御ブロック図である。
図２では、マルチモーダル管理システムのサーバ内の機能ブロックとして、関連付対応部以外の機能ブロックを省略している。また、サービス提供システムとして、業務システム101を例として図示しており、ユーザ側には２つの端末が配置されて異なる２つのモダリティが設けられた形態を示している。
業務システム101は、たとえば、在庫管理、経理情報などを統括して管理するものであって、ユーザが操作する端末上のモダリティと所定の対話シナリオに基づく情報処理を実行する。業務システム101は、サーバ（ここでは関連付対応部131）を介して送られてくるモダリティからの入力データに基づいて、所定の情報処理を実行し、その結果をサーバ側に送信するとともに、サーバ側からの要求に応じてモダリティに送信するコンテンツをコンテンツ格納部102から選択して送信する。
ユーザ側には、第１端末111、第２端末121が配置されており、第１端末111、第２端末121にはそれぞれ第１のモダリティ112、第２のモダリティ122が搭載されている。
図１の関連付対応部25に対応する関連付対応部131は、モダリティ連携用データ作成部132、モダリティ関連付部133、セッション情報格納部134を含んでいる。
モダリティ連携用データ作成部132は、複数のモダリティのうちの第１のモダリティ112と第２のモダリティ122とを関連付けるための関連付け用データを作成する。
関連付対応部131は、各モダリティとの接続情報および各モダリティ間の連携に関する連携情報を管理するとともに、第１のモダリティ112に送信するコンテンツを業務システム101から取得して、このコンテンツにモダリティ連携用データ作成部132で作成された関連付け用データを合成した関連付け用データ付コンテンツを生成し、第１のモダリティに112送信する。
モダリティ関連付部133は、関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティ122から送信されてきた連携要求データを受け付け、この連携要求データと第１のモダリティ112に送信した関連付け用データとを照合するマッチング処理を実行し、第１のモダリティ112と第２のモダリティ122とを関連付ける連携情報を生成する。
セッション情報格納部134は、関連付対応部によって管理される各モダリティの接続情報、各モダリティ間の連携情報およびモダリティ連携用データ作成部で作成された関連付け用データの対応をセッション情報テーブルとして記憶する。たとえば、図示したセッション情報テーブル135は、接続識別子（セッションID）、モダリティ種別、関連付け用データ名、関連セッションIDなどの項目を含んで構成することができる。
このようにしたマルチモーダル管理システムにおいて、複数のモダリティを関連付けるための手順を図８のフローチャートに基づいて説明する。
ユーザが第１端末111に搭載された第１のモダリティ112を使用してサーバにアクセスした場合、第１端末111の第１のモダリティ112から関連付対応部131に対して接続要求が送信される（１：接続）。
関連付対応部131は、第１のモダリティ112からの接続要求に応じて認証用コンテンツを生成するか、あるいは業務システム101側から認証用コンテンツを取得し（２：認証用コンテンツ生成／取得）、この認証用コンテンツを第１のモダリティ112に送信する（３：認証用コンテンツ）。この認証用コンテンツは、ユーザを特定して認証するための予め設定されたデータ入力を促すように構成されており、たとえば、コンピュータ端末上でWebブラウザが動作しているようなモダリティの場合、ブラウザ上に表示されるページにユーザID、パスワードを入力可能なデータ入力欄を設けたコンテンツを認証用コンテンツとして送信することができる。
関連付対応部131は、ユーザが第１のモダリティ112を介して送信してくる認証用データを受け付けて（４：認証用データ通知）、この認証用データと予め設定されて所定の記憶手段に格納されている照合用データを照合することにより認証処理を実行する（５：認証処理）。
関連付対応部131は、第１のモダリティ112からの接続要求に対して認証処理に失敗した場合に、モダリティ関連付部133に対してデータのマッチング処理を依頼する（６：認証NG時：マッチング依頼）。モダリティ関連付部133では、セッション情報格納部134内のセッション情報テーブルを参照し、このモダリティとの関連付けを行うべきセッション情報が存在するか否かを検索し（７：DB内データとマッチング処理）、そのマッチング結果を関連付対応部131に転送する。ここでは、該当するセッション情報が存在しないはずであり、マッチング結果はNGとなる（８：マッチング結果（NG））。この後、関連付対応部131は、接続要求データを送信してきた第１のモダリティ112に対して認証失敗メッセージを送信する（９：認証失敗メッセージ）。このときの認証失敗メッセージは、関連付対応部131において生成された認証失敗を通知するためのコンテンツとすることができ、また、業務システム101側から該当するコンテンツを取得するように構成することも可能である。
関連付対応部131は、第１のモダリティ112からの接続要求に対して認証処理に成功した場合、第１のモダリティ112との接続識別子（セッションID）を生成し（10：認証OK時：セッションID生成）、モダリティ連携用データ作成部132に対して、第１のモダリティ112に他のモダリティ（ここでは、第２のモダリティ122）を関連付けるための関連付け用データの作成依頼を行う（11：データ作成依頼）。
モダリティ連携用データ作成部132は、関連付対応部131からのデータ作成依頼に基づいて、第１のモダリティ112に送信したデータを利用して第２のモダリティ122に連携要求データとして入力可能な関連付け用データを作成する（12：データ作成）。たとえば、第２のモダリティ122が音声対話モダリティであるような場合には、wav形式あるいはMP3などの所定の圧縮形式で圧縮した音データを作成するように構成できる。モダリティ連携用データ作成部132は、作成した関連付け用データを関連付対応部131に転送する（13：データ）。
関連付対応部131は、第１のモダリティ112との接続に対して生成した接続識別子（セッションID）、第１のモダリティ112のモダリティ種別、モダリティ連携用データ作成部132で作成された関連付け用データのデータ名をモダリティ関連付部133に通知する（14：セッションID、モダリティ種別、データ通知）。モダリティ関連付部133では、関連付対応部131から通知されたセッションID、モダリティ種別、データ名を対応させて、セッション情報テーブルとしてセッション情報格納部134に格納する（15：セッションID、モダリティ種別、データDBに登録）。
この後、第２のモダリティ122を第１のモダリティ112に連携する必要がある場合やユーザが希望する時に適宜第２のモダリティ122の連携が可能になるように、第１のモダリティ112に送信するコンテンツに前述の関連付け用データを合成して第１のモダリティ112に送信する。モダリティ連携用データ作成部132により作成された関連付け用データを送信する場合には、関連付対応部131が第１のモダリティ112に送信するためのコンテンツを業務システム101に要求し（16：コンテンツ要求）、業務システム101がコンテンツ格納部102から選択したコンテンツを取得する（17：コンテンツ）。
関連付対応部131は、業務システム101から取得したコンテンツに関連付け用データを合成した関連付け用データ付コンテンツを作成して（18：データ付きコンテンツ作成）、これを第１のモダリティ112に送信する（19：データ付コンテンツ）。
第２のモダリティ122からの接続要求があった場合（20：接続）、関連付対応部131は認証用コンテンツを生成するか、あるいは業務システム101側から認証用コンテンツを取得し（21：認証用コンテンツ生成／取得）、この認証用コンテンツを第２のモダリティ122に送信する（22：認証用コンテンツ）。この認証用コンテンツは、ユーザを特定して認証するための予め設定されたデータ入力を促すように構成されており、たとえば、第２のモダリティ122が音声対話モダリティである場合には、音声案内によりユーザIDおよびパスワードなどの認証要求データをDTMFで入力するように促すように構成できる。また、第１のモダリティ112との関連付けを行うために、第１のモダリティ112に送信した関連付け用データを用いた連携要求データの入力を促すように構成できる。このような認証要求データと連携要求データの入力を選択できるように構成しておくことで、他のモダリティとの関連付けを行う場合と、各モダリティを単独で接続する場合とを共通のシステムで使用することができる。
ユーザが、第１端末111に搭載された第１のモダリティ112により業務システム101の提供する情報／サービスを利用しており、さらに第２端末121に搭載された第２のモダリティ122を同時に利用したい場合には、関連付対応部131から送信されてきた認証用コンテンツを利用した連携要求データを第２のモダリティ122を介してサーバ側に送信する。
関連付対応部133は、第２のモダリティ122から送信されてきた連携要求データを受信すると（23：データ通知）、通常の認証手順に従って認証処理を実行する（24：認証処理）。ここで、受信したデータが認証情報ではなく連携要求データであることから、認証処理に失敗することとなり、受信した連携要求データをモダリティ関連付部133に転送してマッチング処理を依頼する（25：認証NG時：マッチング依頼）。
モダリティ関連付部133では、送信されてきた連携要求データをセッション情報テーブル内に格納されている関連付け用データと照合し（26：DB内データとマッチング処理）、一致するモダリティのセッションIDを関連セッションIDとして関連付対応部131に通知する（27：関連セッションID）。
関連付対応部131は、モダリティ関連付部133によるマッチング処理の結果、関連セッションIDを取得した場合、接続要求があった第２のモダリティに対するセッションIDを生成し（28：マッチングOK時：セッションID生成）、このセッションID、モダリティ種別情報、関連セッションIDを連携情報としてモダリティ関連付部133に通知する（29：セッションID、モダリティ種別、関連セッションID通知）。
モダリティ関連付部133では、関連付対応部131から通知された連携情報に基づいて、セッション情報格納部134に格納されているセッション情報テーブル135を更新する（30：セッションID、モダリティ種別、関連情報をDBに登録）。図示したように、第１のモダリティ112のセッションIDが"ABCDE01"であり、第２のモダリティ122のセッションIDが"DKJEI02"であるような場合、第１のモダリティ112と第２のモダリティ122とを関連付けることにより、第１のモダリティ112の関連セッションIDの項目には第２のモダリティ122のセッションIDである"DKJEI02"が格納され、第２のモダリティ122の関連セッションIDの項目には第１のモダリティ112のセッションIDである"ABCDE01"が格納されることとなる。
この後、図１に示すようなモーダル管理部21を中心としたシステムが、セッション情報格納部134に格納されたセッション情報テーブル135を参照しながら、連携するモダリティ間の同期をとりながら、業務システム101の情報／サービスを提供するように構成される。
〈第１実施形態〉
第１のモダリティ112がWebブラウザであり、第２のモダリティ122が音声対話モダリティであるような場合を第１実施形態として図３に示す。
この場合、第１のモダリティ112が搭載される第１端末111はパーソナルコンピュータや携帯情報端末（PDA：Personal Digital Assistants）などで構成することができ、Webブラウザを表示可能なディスプレイ、音データを再生した際の出力を行うスピーカ、Webブラウザへのデータ入力および音データ再生を指示するための入力を受け付ける入力デバイスなどを備える構成とする。
また、第２のモダリティ122は、たとえば、送話用マイク、受話用スピーカ、番号入力用のキーボタンなどを含む電話機端末とすることができ、また、電話機能をコンピュータに統合したCTI（Computer Telephony Integration）システムおよびこれに接続されたヘッドセットの組み合わせなどを想定することができる。第２のモダリティ122としてCTIシステムを用いる場合には、第１端末111と第２端末121とを同一のコンピュータシステムとして構成することも可能である。
前述したように、第１のモダリティ112と接続している状態で、第２のモダリティ122との連携要求を受け付けるために、モダリティ連携用データ作成部132において関連付け用データを作成する。このとき、第１のモダリティ112はWebブラウザであり、第２のモダリティ122は音声対話モダリティであることから、Webブラウザに送信するコンテンツに添付して送信し、第１端末111上で実行指示されることにより発音可能な音データを関連付け用データとして作成する。データ形式は、例えば、waveファイル（*.wav）で構成することができ、mp3などの圧縮形式で圧縮されたファイルを用いることも可能である。
この関連付け用データは、第１のモダリティ112に送信するコンテンツの一部に操作ボタンとしてリンクを貼り付け、これがクリックされると音出力を実行するように構成できる。たとえば、図９に示すように、第１のモダリティ112に送信するコンテンツが「保守点検サービスシステム」のトップページ901であるような場合、このトップページ901の右下に操作ボタン902を設けておき、操作ボタン902の操作を促すための操作案内表示部903によりユーザに操作案内を表示する。もちろん、このような操作ボタン902や操作案内表示部903のレイアウトは図示した例に限定されるものではなく、自由に配置することができ、操作案内表示部903については省略することも可能である。
ユーザが第２のモダリティ122を介して接続を希望する場合には、第２端末121からサーバ側への接続要求を行い、サーバ側から送信される認証用コンテンツ（この場合、音声により入力を指示するガイダンス）に対して、第１端末111のスピーカから出力される音が第２端末121のマイクに届くように配置し、第１のモダリティ112に表示された操作ボタン902を操作することにより、関連付け用データを利用した連携要求データをサーバ側に送信することが可能となる。
関連付け用データは、第２のモダリティ122と連携することでユーザへの利便性が向上すると考えられる対話シナリオ中の場面で選択的に送信することも可能である。また、図９に示すような情報／サービスのトップページに操作ボタン902を設けておき、サービス開始時に第２のモダリティ122の連携を選択するように構成することもでき、第２のモダリティ122による接続がなされていない時には第１のモダリティ112に送信するコンテンツに必ずこのような関連付け用データおよび操作ボタンを添付して送信するように構成することも可能である。さらに、第２のモダリティ122からの接続要求があった時点で、関連付け用データを合成したコンテンツを作成して第１のモダリティ112に送信するように構成することも可能である。
関連付け用データとして作成される音データは、任意のユニークなデータとして作成することが可能であり、また、第１のモダリティ112に割り当てているセッションIDに基づいて作成したデータとすることも可能であり、さらに、日時やユーザ認証のデータを用いることも可能である。
本実施形態では、Webブラウザなどの画面を用いたモダリティと電話機端末などの音声対話モダリティとを連携する際に、後から音声対話モダリティを連携させる際に、音声対話モダリティが搭載された端末からの複雑な操作をすることなく、容易に連携要求を行うことが可能となるシステムを提供できる。
〈第２実施形態〉
第１のモダリティ112がWebブラウザまたは音声対話モダリティであり、第２のモダリティ122がテレビカメラや各種センサであるような場合を第２実施形態として図４に示す。
ここでは、モダリティ連携用データ作成部132が作成する関連付け用データは、第２のモダリティ122の操作内容に関するものであり、第１のモダリティ112がWebブラウザである場合には、このWebブラウザ上で表示されるコンテンツに操作内容が表示されるように関連付け用データをコンテンツに合成する。また、第１のモダリティ112が音声対話モダリティであるような場合には、音声ガイダンスにより操作内容を伝えるように構成することができる。
関連付け用データとして採用される操作内容としては、たとえば、第２のモダリティ122がセンサであるような場合には、「所定回数だけセンシングを行う」旨を指示するように構成でき、また、第２のモダリティ122がテレビカメラであるような場合には、「所定時間だけ撮影を行う」旨を指示するように構成することができる。
第１のモダリティ112がWebブラウザであり、このような第１のモダリティ112に送信するコンテンツが、たとえば、図10に示すような「保守点検サービスシステム」のトップページ1001であるような場合、このトップページ1001の下部余白に、関連付け用データとして操作内容情報1002を合成した関連付け用データ付コンテンツを送信する。
ユーザが、第２のモダリティ122を使用したい場合には、第２のモダリティ122からサーバ側に接続要求を行い、第１のモダリティ112であるWebブラウザ上に表示された操作内容情報1002に従って、第２のモダリティ122を操作することで、連携要求データを送信することが可能となる。
この場合も、第２のモダリティ122と連携することでユーザへの利便性が向上すると考えられる対話シナリオ中の場面で選択的に関連付け用データを送信することが可能であり、第２のモダリティ122による接続がなされていない時には第１のモダリティ112に送信するコンテンツに必ずこのような関連付け用データおよび操作ボタンを添付して送信するように構成することも可能である。さらに、第２のモダリティ122からの接続要求があった時点で、関連付け用データを合成したコンテンツを作成して第１のモダリティ112に送信するように構成することも可能である。
第２のモダリティ122として採用される各種センサは、温度センサや圧力センサ、その他の現場の状態情報を取得するための各種センサを使用することが可能であり、また、対象物に貼付されているバーコードやQRコードなどの１次元または２次元コードを読み込むためのコードリーダ、RFIDタグのコードを読み込むためのコードリーダなどを採用することも可能である。
このようにした場合、入力デバイスを備えていないテレビカメラや各種センサについても、容易に第１のモダリティ112と連携させることが可能となる。また、第１のモダリティ112に送信した操作内容に基づいて、第２のモダリティ122がリアルタイムで指示通りの操作がなされたか否により、第２のモダリティ122が正規のユーザにより使用されているか否かを認証することができるとともに、ユーザの不正使用などを防止することも可能となる。
〈第３実施形態〉
第１のモダリティ112がWebブラウザであり、第２のモダリティ122がテレビカメラであるような場合、関連付け用データとして画像データを送信するように構成できる。このときの装置構成は、前述の第２実施形態と同様にして図４の構成とすることができる。
たとえば、図11に示すように、「保守点検サービスシステム」のトップページ1101を第１のモダリティ112に送信する場合、このトップページ1101の下部余白に、関連付け用データとして任意の画像データ1102を合成したコンテンツとして送信する。さらに、操作を促すため操作指示を表示する操作案内表示部1103を設け、第２のモダリティ122を第１のモダリティ112に関連付けるための操作案内を行うように構成することも可能である。もちろん、このような画像データ1102や操作案内表示部1103のレイアウトは図示した例に限定されるものではなく、自由に配置することができ、操作案内表示部1103については省略することも可能である。
関連付け用データとして送信する画像データ1102としては、任意の静止画像データ、動画像データを用いることが可能であり、第１のモダリティ112に割り当てたセッションIDに基づいて作成された画像データ、日時やユーザ認証データを基づいて作成された画像データなどを用いることが可能である。
ユーザが、第２のモダリティ122を使用したい場合には、第２のモダリティ122からサーバ側に接続要求を行い、第１のモダリティ112であるWebブラウザ上に表示された画像データ1102を、第２のモダリティ122であるテレビカメラで撮影することで、連携要求データを送信することが可能となる。
モダリティ関連付部133は画像認識機能を備える構成とし、第２のモダリティ122から連携要求データとして送信されてきた画像データを、第１のモダリティ112に送信した画像データと比較し、合致した場合には第２のモダリティ122を第１のモダリティ112に関連付けるように構成することができる。
〈第４実施形態〉
第１のモダリティ112がWebブラウザであり、第２のモダリティ122がバーコードやQRコードなどの１次元または２次元のコードデータを読み取るためのコードリーダであるような場合、関連付け用データとして対応する形式のコードデータを送信するように構成できる。このときの装置構成は、前述の第２実施形態および第３実施形態と同様にして図４の構成とすることができる。
たとえば、図12に示すように、「保守点検サービスシステム」のトップページ1201を第１のモダリティ112に送信する場合、このトップページ1201の下部余白に、関連付け用データとしてバーコードデータ1202を合成したコンテンツとして送信する。さらに、操作を促すため操作指示を表示する操作案内表示部1203を設け、第２のモダリティ122を第１のモダリティ112に関連付けるための操作案内を行うように構成することも可能である。もちろん、このようなコードデータ1202や操作案内表示部1203のレイアウトは図示した例に限定されるものではなく、自由に配置することができ、操作案内表示部1203については省略することも可能である。
関連付け用データとして送信するコードデータ1202としては、任意のユニークなデータとして作成することが可能であり、第１のモダリティ112に割り当てたセッションIDに基づいて作成されたコードデータ、日時やユーザ認証データを基づいて作成されたコードデータなどを用いることが可能である。
図示した例では、バーコードデータを用いているが、１次元または２次元でWebブラウザ上に表示可能なコードデータであれば種々のものを用いることが可能であり、たとえば、２次元コードであるQRコードを採用することが可能である。
ユーザが、第２のモダリティ122を使用したい場合には、第２のモダリティ122からサーバ側に接続要求を行い、第１のモダリティ112であるWebブラウザ上に表示されたコードデータ1202を、第２のモダリティ122であるコードリーダでスキャンすることで、連携要求データを送信することが可能となる。
〈第５実施形態〉
関連付対応部131において複数の照合用データ対を管理し、この照合用データ対の一方を関連付け用データとして送信し、この照合用データ対の一方に対する回答データとしてユーザ側から送信されてくる連携要求データを照合用データ対の他方と比較することで、モダリティの関連付けを行うか否かを決定するように構成することができる。
照合用データ対は、質問とその回答または合言葉などを採用することができ、たとえば、図５に示すように、照合用データ対格納部501に格納されたデータ対を用いることができる。質問と回答の照合用データ対は、予めユーザからの設定を受け付けるように構成でき、たとえば、「趣味は？」、「出身地は？」、「好きな色は？」、「母親の旧姓は？」などのユーザ個人に固有の回答となるような質問と、これに対するユーザからの回答を照合用データ対として照合データテーブル502に格納しておく。また、合言葉は、「山」と「川」、「昼」と「夜」などの一般的に対になる言葉やユーザが設定した言葉の対を照合用データテーブル502に格納するように構成できる。これら質問・回答および合言葉の照合用データ対は、それぞれ複数のデータ対を予め用意するように構成することができ、また、質問・回答と合言葉を混在して登録することも可能である。
この場合、第１のモダリティ112がWebブラウザであり第２のモダリティ122が音声対話モダリティである場合、また、第１のモダリティ112が音声対話モダリティであり第２のモダリティ122がWebブラウザである場合のように、関連付け用データとして送信する照合用データ対の一方のデータ出力形式と、これに対してユーザが入力する連携要求データのデータ入力形式が異なる場合にも適用することが可能である。
第１のモダリティ112がWebブラウザであり、第２のモダリティ122が音声対話モダリティであるような場合に、第１のモダリティ112に送信する関連付け用データ付コンテンツの例を図13に示す。
図13に示すような「保守点検サービスシステム」のトップページ1301を送信する場合、このトップページ1301の下部余白に、照合用データ対の一方である質問データ1302を関連付け用データとして貼り付けて合成した関連付け用データ付コンテンツを送信する。関連付け用データとして採用される質問データ1302は、照合データテーブル502に格納された照合用データ対のうちから任意のものを選択するように構成することができる。
ユーザが、第２のモダリティ122を使用したい場合には、第２のモダリティ122からサーバ側に接続要求を行い、第１のモダリティ112であるWebブラウザ上に表示された質問データ1302に対する回答を第２のモダリティ122から入力する。第２のモダリティ122が音声対話モダリティである場合には、質問データ1302に対する回答を音声対話モダリティを介して音声入力するように構成できる。また、第２のモダリティ122がキーボードやポインティングデバイスなどを用いたデータ入力が可能な場合にはこれらを用いて回答入力するように構成できる。
この場合も、第２のモダリティ122と連携することでユーザへの利便性が向上すると考えられる対話シナリオ中の場面で選択的に関連付け用データを送信することが可能であり、第２のモダリティ122による接続がなされていない時には第１のモダリティ112に送信するコンテンツに必ずこのような関連付け用データを添付して送信するように構成することも可能である。さらに、第２のモダリティ122からの接続要求があった時点で、関連付け用データを合成したコンテンツを作成して第１のモダリティ112に送信するように構成することも可能である。
第２のモダリティ122が音声対話モダリティである場合には、連携要求データとして送信されてくる回答データがユーザの音声入力であることから、サーバ側において送信されてきた回答データを音声認識して、セッション情報テーブル135内の関連付け用データおよび照合データテーブル502を参照して、マッチング処理を実行する。
このように構成した場合、複数のモダリティの関連付けを容易に行うことができるとともに、なりすましなどの不正なアクセスを防止することが可能となる。
〈第６実施形態〉
ユーザが使用する端末にそれぞれ可搬型記憶媒体に対するデータ読取・書込用のデバイスを備えている場合、第２のモダリティにおいて記憶媒体を介して関連付け用データを取り込んで連携要求データとして送信するように構成できる。このような場合について、第６実施形態として図６に示す。
ここでは、モダリティ連携用データ作成部132が作成する関連付け用データは、任意のコードデータ、テキストデータ、画像データ、音データ、第１のモダリティ112のセッションIDに基づいて作成したデータ、日時、ユーザ認証データに基づいて作成したデータ、可搬型記録媒体に格納可能な容量のものであれば、その他種々のデータ形式のものを用いることが可能である。図示した例では、日付と英数字の組み合わせで構成された"20060901ABCDE01"というデータを関連付け用データとして生成し、これを第１のモダリティ112に送信するコンテンツに合成して送信するように構成している。
第１のモダリティ112を搭載する第１端末111および第２のモダリティ122を搭載する第２端末121には、それぞれ同種別の可搬型記憶媒体610に対するデータの読取・書込が可能なリーダ／ライタ602、604を備えている。可搬型記憶媒体610としては、種々のものを採用することが可能であり、SDメモリカード、メモリースティック、コンパクトフラッシュ（登録商標）、フレキシブルディスク、MD、CD-R、CD-RW、MO、RFIDタグなどの種々の記憶媒体を採用することができる。
第１端末111は、第１のモダリティ112に送信されてきたコンテンツに含まれる関連付け用データを取得してリーダ／ライタ602を介して記憶媒体610に書き込む関連付けデータ取得・書込部601を備えている。第１のモダリティ112に送信されてきたコンテンツに含まれる関連付け用データは、関連付データ取得・書込部601で読み取られ、リーダ／ライタ602を介して記憶媒体610に格納される。
また、第２端末121は、リーダ／ライタ604に装着された記憶媒体610に格納されている関連付け用データを読み取って、第２のモダリティ122に対応した形式に変換し、変換された関連付け用データを連携要求データとして第２のモダリティ122によりサーバ側に送信する。
このように構成する場合、関連付け用データは任意のデータ形式とすることができ、第２のモダリティ122がどのようなモダリティ種別であっても容易に第１のモダリティ112と関連付けることが可能となる。
〈第７実施形態〉
コンテンツ毎に連携可能なモダリティを予め設定しておき、各コンテンツに対応した関連付け用データを作成して、コンテンツに合成して送信するように構成できる。このような場合の例を図７の制御ブロック図で説明する。
関連付対応部131は、コンテンツ毎に連携可能なモダリティを記憶する選択モダリティ格納部701を備えており、コンテンツ名、連携可能数、モダリティ種別を対応付けた選択モダリティテーブル702として管理している。図示した例では、コンテンツ(1-1)について、連携可能数は２であり、そのモダリティ種別はWebブラウザと音声対話モダリティ（VoIP）であり、コンテンツ(1-2)については、連携可能数は４であり、そのモダリティ種別はWebブラウザ、音声対話モダリティ（VoIP）、RFID、テレビカメラである。
関連付対応部131が、第１のモダリティ112に送信するコンテンツを業務システム101から取得する際に、モダリティ連携用データ作成部132に対してコンテンツ名を通知して関連付け用データの作成依頼を行う。モダリティ連携用データ作成部132は、選択モダリティ格納部701に格納された選択モダリティテーブル702を参照し、コンテンツ名に対応する連携可能な他のモダリティがあれば、これに基づいて対応するモダリティの関連付け用データを作成する。
第１のモダリティ112がWebブラウザであり、第２のモダリティ122が音声対話モダリティであり、第１のモダリティ112に対してコンテンツ(1-1)を送信するような場合、音声対話モダリティに対応するような関連付け用データを作成してコンテンツ(1-1)に合成して送信するように構成する。この場合、関連付け用データ付コンテンツを、図９に示したように、Webページ901に音データを出力指示可能な操作ボタン902を貼り付けた形態とすることができる。
また、Webブラウザである第１のモダリティ112に対してコンテンツ(1-2)を送信する場合には、音声対話モダリティ（VoIP）、RFID、テレビカメラのそれぞれに対応した関連付け用データを作成してコンテンツに貼り付け、関連付け用データ付コンテンツとして第１のモダリティ112に送信するように構成できる。この場合のWebブラウザ上におけるコンテンツ表示例を図14に示す。ここでは、Webページ1401の下部余白に、音声対話モダリティ用の関連付け用データとして音データ出力用の操作ボタン1402と、その操作案内を表示する操作案内表示部1403、センサおよびテレビカメラに対する操作案内を示す操作内容情報1404を合成して表示している。
このような構成とすることにより、送信するコンテンツにより連携できる他のモダリティをユーザに通知し、ユーザが情報／サービスの提供を受ける際の操作性を高めることが可能であり、各モダリティの関連付けを容易に行うことが可能となる。
〈第８実施形態〉
関連付対応部が各モダリティの位置情報を取得して、所定の位置関係にあるモダリティについてのみ関連付けを行うように構成することができる。
モダリティが搭載される端末の設置場所が予め登録されているような場合、この登録情報によりモダリティの位置情報を取得することができる。
また、各端末にGPS機能を備えているような場合には、このようなGPSにより位置情報に基づいて各モダリティの位置情報を取得することが可能である。
第１のモダリティに送信した関連付け用データを利用して応答を返信してきたモダリティが複数あるような場合、前述したような位置情報に基づいて、第１のモダリティに一番近い位置にあるモダリティを第１のモダリティに関連付けるように構成することができる。
このような構成とすることにより、なりすましなどの不正なアクセスを防止することができる。

（付記１）
同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて前記複数のモダリティを関連付けるための方法であって、
前記複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、前記第１のモダリティと前記第１接続識別子との対応をセッション情報テーブルとして格納する段階と、
前記複数のモダリティのうち第２のモダリティを前記第１のモダリティに関連付けるために必要となる関連付け用データを作成し、前記関連付け用データを前記第１接続識別子に対応付けるように前記セッション情報テーブルを更新するとともに、前記第１のモダリティに送信するコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを生成して前記第１のモダリティに送信する段階と、
前記第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して前記第２のモダリティが送信してきた連携要求データを受け付けて、前記連携要求データと前記セッション情報テーブルに格納された関連付け用データとを照合して、前記第２のモダリティを前記第１のモダリティに関連付けるか否かを判別する段階と、
前記第２のモダリティを前記第１のモダリティに関連付けると判断した場合に、前記第２のモダリティとの接続に関して第２接続識別子を生成し、前記第２接続識別子を前記第１接続識別子と対応付ける連携情報により前記セッション情報テーブルを更新する段階と、
を備える複数のモダリティを関連付けるための方法。
（付記２）
同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて前記複数のモダリティを関連付けるための方法のプログラムであって、
前記複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、前記第１のモダリティと前記第１接続識別子との対応をセッション情報テーブルとして格納する段階と、
前記複数のモダリティのうち第２のモダリティを前記第１のモダリティに関連付けるために必要となる関連付け用データを作成し、前記関連付け用データを前記第１接続識別子に対応付けるように前記セッション情報テーブルを更新するとともに、前記第１のモダリティに送信するコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを生成して前記第１のモダリティに送信する段階と、
前記第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して前記第２のモダリティが送信してきた連携要求データを受け付けて、前記連携要求データと前記セッション情報テーブルに格納された関連付け用データとを照合して、前記第２のモダリティを前記第１のモダリティと関連付けるか否かを判別する段階と、
前記第２のモダリティを前記第１のモダリティに関連付けると判断した場合に、前記第２のモダリティとの接続に関して第２接続識別子を生成し、前記第２接続識別子を前記第１接続識別子と対応付ける連携情報により前記セッション情報テーブルを更新する段階と、
を備える複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
（付記３）
前記複数のモダリティのうち関連付けが可能なモダリティをコンテンツ毎に対応付けた選択モダリティテーブルを備え、前記選択モダリティテーブルに基づいて前記関連付け用データを作成する、付記２に記載の複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
（付記４）
前記複数のモダリティの位置情報を取得する段階をさらに含み、前記複数のモダリティの位置情報に基づいて、前記第１のモダリティから所定の位置にあるモダリティのみを選択して関連付け用データを作成する、付記２に記載の複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
（付記５）
同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムであって、
前記複数のモダリティのうちの第１のモダリティと第２のモダリティとを関連付けるための関連付け用データを作成するモダリティ連携用データ作成部と、
各モダリティとの接続情報および各モダリティ間の連携に関する連携情報を管理するとともに、前記第１のモダリティに送信するコンテンツを取得してこのコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを前記第１のモダリティに送信する関連付対応部と、
前記関連付対応部によって管理される各モダリティの接続情報、各モダリティ間の連携情報および前記モダリティ連携用データ作成部で作成された関連付け用データの対応をセッション情報テーブルとして記憶するセッション情報格納部と、
前記関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティから送信されてきた連携要求データを受け付け、前記連携要求データと前記セッション情報格納部に格納された関連付け用データとを照合するマッチング処理を実行し、このマッチング結果に基づいて前記セッション情報格納部に格納されたセッション情報テーブルを更新するモダリティ関連付部と、
を備えるマルチモーダル管理システム。
（付記６）
前記複数のモダリティは、ネットワークを介して双方向のデータ送受信が可能なWebブラウザと、ネットワークを介して双方向の音声対話が可能であって前記Webブラウザ上で再生された音声を入力可能な環境に置かれた音声対話モダリティとを含み、前記モダリティ連携用データ作成部は、前記Webブラウザで再生可能な音データを関連付け用データとして作成し前記Webブラウザに送信するコンテンツに合成して送信し、前記モダリティ関連付部は、前記Webブラウザ上で再生されて前記音声対話モダリティを介して送信されてきた音データを前接続証要求データとして受け付けてマッチング処理を実行する、付記５に記載のマルチモーダル管理システム。
（付記７）
前記複数のモダリティは、ネットワークを介して双方向のデータ送受信が可能なWebブラウザと、ユーザ周辺の状態情報を取得して送信可能な状態情報取得モダリティとを含み、前記モダリティ連携用データ作成部は、前記状態情報取得モダリティの操作内容を前記Webブラウザ上に提示するための操作案内表示データを前記関連付け用データとして作成し前記Webブラウザに送信するためのコンテンツに合成して送信し、前記モダリティ関連付部は、ユーザが前記操作案内表示データに従って前記状態情報取得モダリティを操作した結果、前記状態情報取得モダリティから送信されてきた状態情報を前記接続要求データとして受け付けてマッチング処理を実行する、付記５に記載のマルチモーダル管理システム。
（付記８）
前記複数のモダリティは、ネットワークを介して双方向のデータ送受信が可能なWebブラウザと、ユーザ周辺の画像データを取得して送信可能なテレビカメラとを含み、前記モダリティ連携用データ作成部は、前記Webブラウザ上に表示可能なユニークな画像データを前記関連付け用データとして作成し前記Webブラウザに送信するためのコンテンツに合成して送信し、前記モダリティ関連付部は、前記Webブラウザ上に表示され前記テレビカメラによって撮影された画像データを前記接続要求データとして受け付けてマッチング処理を実行する、付記５に記載のマルチモーダル管理システム。
（付記９）
前記複数のモダリティは、ネットワークを介して双方向のデータ送受信が可能なWebブラウザと、前記Webブラウザ上に表示されるコードデータを読み取り可能なコードスキャナとを含み、前記モダリティ連携用データ作成部は、前記Webブラウザ上に表示可能なユニークなコードデータを前記関連付け用データとして作成し前記Webブラウザに送信するためのコンテンツに合成して送信し、前記モダリティ関連付部は、前記Webブラウザ上に表示され前記コードスキャナによって読み取られたコードデータを前記接続要求データとして受け付けてマッチング処理を実行する、付記５に記載のマルチモーダル管理システム。
（付記１０）
複数の照合用データ対を格納する照合用データ格納部をさらに備え、前記モダリティ連携用データ作成部は、前記照合用データ格納部に格納されている照合用データ対の一方を関連付け用データとして選択し、前記モダリティ関連付部は、前記関連付け用データを利用して送信されてきた連携要求データを前記照合用データ対の他方と比較してマッチング処理を実行する、付記５に記載のマルチモーダル管理システム。
マルチモーダルを利用した情報／サービスの提供を行う際に、複数のモダリティを関連付ける作業を容易にし、手入力でのデータ入力デバイスを備えていないようなモダリティについても簡単に関連付けを行うことを可能にする。
本発明に係るマルチモーダル管理システムの概略構成を示す制御ブロック図。 本発明に係るマルチモーダル管理システムの関連付対応部を中心とした制御ブロック図。 本発明の第１実施形態の制御ブロック図。 本発明の第２〜４実施形態の制御ブロック図。 本発明の第５実施形態の制御ブロック図。 本発明の第６実施形態の制御ブロック図。 本発明の第７実施形態の制御ブロック図。 本発明に係るマルチモーダル管理システムのフローチャート。 本発明の第１実施形態に用いられるコンテンツ表示例の説明図。 本発明の第２実施形態に用いられるコンテンツ表示例の説明図。 本発明の第３実施形態に用いられるコンテンツ表示例の説明図。 本発明の第４実施形態に用いられるコンテンツ表示例の説明図。 本発明の第５実施形態に用いられるコンテンツ表示例の説明図。 本発明の第７実施形態に用いられるコンテンツ表示例の説明図。 従来技術の説明図。 従来技術の説明図。

Claims (5)

  1. 同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて前記複数のモダリティを関連付けるための方法であって、
    前記複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、前記第１のモダリティと前記第１接続識別子との対応をセッション情報テーブルとして格納する段階と、
    前記複数のモダリティのうち第２のモダリティを前記第１のモダリティに関連付けるために必要となる関連付け用データを作成し、前記関連付け用データを前記第１接続識別子に対応付けるように前記セッション情報テーブルを更新するとともに、前記第１のモダリティに送信するコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを生成して前記第１のモダリティに送信する段階と、
    前記第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して前記第２のモダリティが送信してきた連携要求データを受け付けて、前記連携要求データと前記セッション情報テーブルに格納された関連付け用データとを照合して、前記第２のモダリティを前記第１のモダリティに関連付けるか否かを判別する段階と、
    前記第２のモダリティを前記第１のモダリティに関連付けると判断した場合に、前記第２のモダリティとの接続に関して第２接続識別子を生成し、前記第２接続識別子を前記第１接続識別子と対応付ける連携情報により前記セッション情報テーブルを更新する段階と、
    を備える複数のモダリティを関連付けるための方法。
  2. 同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムにおいて前記複数のモダリティを関連付けるための方法のプログラムであって、
    前記複数のモダリティのうち第１のモダリティからの接続要求に基づいて第１接続識別子を生成し、前記第１のモダリティと前記第１接続識別子との対応をセッション情報テーブルとして格納する段階と、
    前記複数のモダリティのうち第２のモダリティを前記第１のモダリティに関連付けるために必要となる関連付け用データを作成し、前記関連付け用データを前記第１接続識別子に対応付けるように前記セッション情報テーブルを更新するとともに、前記第１のモダリティに送信するコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを生成して前記第１のモダリティに送信する段階と、
    前記第１のモダリティに送信された関連付け用データ付コンテンツに含まれる関連付け用データを利用して前記第２のモダリティが送信してきた連携要求データを受け付けて、前記連携要求データと前記セッション情報テーブルに格納された関連付け用データとを照合して、前記第２のモダリティを前記第１のモダリティと関連付けるか否かを判別する段階と、
    前記第２のモダリティを前記第１のモダリティに関連付けると判断した場合に、前記第２のモダリティとの接続に関して第２接続識別子を生成し、前記第２接続識別子を前記第１接続識別子と対応付ける連携情報により前記セッション情報テーブルを更新する段階と、
    を備える複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
  3. 前記複数のモダリティのうち関連付けが可能なモダリティをコンテンツ毎に対応付けた選択モダリティテーブルを備え、前記選択モダリティテーブルに基づいて前記関連付け用データを作成する、請求項２に記載の複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
  4. 前記複数のモダリティの位置情報を取得する段階をさらに含み、前記複数のモダリティの位置情報に基づいて、前記第１のモダリティから所定の位置にあるモダリティのみを選択して関連付け用データを作成する、請求項２に記載の複数のモダリティを関連付けるための方法をコンピュータに実行させるためのプログラム。
  5. 同時に接続される異なる複数のモダリティに対して対応するコンテンツを送信するとともに、各モダリティから送信されてくる入力データを受け付けて、各モダリティ間で同期した所定の対話シナリオに基づく情報／サービスをネットワークを介して提供可能なマルチモーダル管理システムであって、
    前記複数のモダリティのうちの第１のモダリティと第２のモダリティとを関連付けるための関連付け用データを作成するモダリティ連携用データ作成部と、
    各モダリティとの接続情報および各モダリティ間の連携に関する連携情報を管理するとともに、前記第１のモダリティに送信するコンテンツを取得してこのコンテンツに前記関連付け用データを合成した関連付け用データ付コンテンツを前記第１のモダリティに送信する関連付対応部と、
    前記関連付対応部によって管理される各モダリティの接続情報、各モダリティ間の連携情報および前記モダリティ連携用データ作成部で作成された関連付け用データの対応をセッション情報テーブルとして記憶するセッション情報格納部と、
    前記関連付け用データ付コンテンツに含まれる関連付け用データを利用して第２のモダリティから送信されてきた連携要求データを受け付け、前記連携要求データと前記セッション情報格納部に格納された関連付け用データとを照合するマッチング処理を実行し、このマッチング結果に基づいて前記セッション情報格納部に格納されたセッション情報テーブルを更新するモダリティ関連付部と、
    を備えるマルチモーダル管理システム。
JP2006311845A 2006-11-17 2006-11-17 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム Pending JP2008129713A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006311845A JP2008129713A (ja) 2006-11-17 2006-11-17 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム
US11/928,011 US8219655B2 (en) 2006-11-17 2007-10-30 Method of associating multiple modalities and a multimodal system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006311845A JP2008129713A (ja) 2006-11-17 2006-11-17 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム

Publications (1)

Publication Number Publication Date
JP2008129713A true JP2008129713A (ja) 2008-06-05

Family

ID=39418182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006311845A Pending JP2008129713A (ja) 2006-11-17 2006-11-17 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム

Country Status (2)

Country Link
US (1) US8219655B2 (ja)
JP (1) JP2008129713A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033107A1 (ja) * 2010-09-06 2012-03-15 株式会社ビー・ユー・ジー 通信端末、サーバ、及び情報通信システム
JP6035412B1 (ja) * 2015-12-25 2016-11-30 京セラコミュニケーションシステム株式会社 クロスデバイス関連付けシステム
JP2017027207A (ja) * 2015-07-17 2017-02-02 ソフトバンク株式会社 認証システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099974A1 (en) * 2008-10-20 2010-04-22 Siemens Medical Solutions Usa, Inc. System for Generating a Multi-Modality Imaging Examination Report
US11487347B1 (en) * 2008-11-10 2022-11-01 Verint Americas Inc. Enhanced multi-modal communication
CN106488503B (zh) * 2010-08-20 2020-07-14 华为技术有限公司 无线承载丢失信息的上报方法和装置
US8675473B2 (en) * 2011-08-26 2014-03-18 Comcast Cable Communications, Llc Fault routing of an emergency communication
US9275642B2 (en) 2012-11-13 2016-03-01 Unified Computer Intelligence Corporation Voice-operated internet-ready ubiquitous computing device and method thereof
US10795528B2 (en) 2013-03-06 2020-10-06 Nuance Communications, Inc. Task assistant having multiple visual displays
US10783139B2 (en) * 2013-03-06 2020-09-22 Nuance Communications, Inc. Task assistant
JP6593008B2 (ja) * 2014-10-07 2019-10-23 株式会社リコー 情報処理装置、通信方法、プログラム、システム
US10425418B2 (en) * 2014-10-07 2019-09-24 Ricoh Company, Ltd. Information processing apparatus, communications method, and system
US10942039B2 (en) * 2018-08-06 2021-03-09 Comcast Cable Communications, Llc Methods and systems for managing communication sessions
US20210382949A1 (en) * 2020-06-07 2021-12-09 InfoTrust, LLC Systems and methods for web content inspection
US12028568B2 (en) * 2021-04-09 2024-07-02 The Nielsen Company (Us), Llc Methods and apparatus to identify media application sessions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148807A (ja) * 2003-11-11 2005-06-09 Fujitsu Ltd モーダル同期制御方法およびマルチモーダルインターフェイスシステム
WO2005098597A2 (en) * 2004-02-15 2005-10-20 Exbiblio B.V. Data capture from rendered documents using handheld device
JP2010536188A (ja) * 2004-04-01 2010-11-25 エクシビブリオ ベー．フェー． レンダリングされた文書からのハンドヘルド装置を用いたデータ取得

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729918B2 (ja) * 1995-07-19 2005-12-21 株式会社東芝 マルチモーダル対話装置及び対話方法
US6570870B1 (en) 1999-01-28 2003-05-27 International Business Machines Corporation Method and system for making a charged telephone call during an Internet browsing session
US6807529B2 (en) 2002-02-27 2004-10-19 Motorola, Inc. System and method for concurrent multimodal communication
US7260535B2 (en) * 2003-04-28 2007-08-21 Microsoft Corporation Web server controls for web enabled recognition and/or audible prompting for call controls
US7552055B2 (en) * 2004-01-10 2009-06-23 Microsoft Corporation Dialog component re-use in recognition systems
DE602004008887T2 (de) * 2004-05-18 2008-01-17 Alcatel Lucent Verfahren und Server zur Bereitstellung eines multi-modalen Dialogs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148807A (ja) * 2003-11-11 2005-06-09 Fujitsu Ltd モーダル同期制御方法およびマルチモーダルインターフェイスシステム
WO2005098597A2 (en) * 2004-02-15 2005-10-20 Exbiblio B.V. Data capture from rendered documents using handheld device
JP2010536188A (ja) * 2004-04-01 2010-11-25 エクシビブリオ ベー．フェー． レンダリングされた文書からのハンドヘルド装置を用いたデータ取得

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033107A1 (ja) * 2010-09-06 2012-03-15 株式会社ビー・ユー・ジー 通信端末、サーバ、及び情報通信システム
JP2017027207A (ja) * 2015-07-17 2017-02-02 ソフトバンク株式会社 認証システム
JP6035412B1 (ja) * 2015-12-25 2016-11-30 京セラコミュニケーションシステム株式会社 クロスデバイス関連付けシステム

Also Published As

Publication number Publication date
US20080120358A1 (en) 2008-05-22
US8219655B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
JP2008129713A (ja) 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム
CN102025968B (zh) 图像发送装置和图像发送方法
JP2014531694A (ja) ユーザ認証
JP2009282896A (ja) 情報処理端末および情報提供システム
JP2007028410A (ja) 電子掲示板に対する音声情報の登録又は取り出しの取次のためのプログラム、装置、及び方法
CN102549543A (zh) 用户接口
CN103548331A (zh) 可视电话装置、***和方法
KR20080113281A (ko) 디렉토리 서버장치, 서버 제어 프로그램 기록매체, 및 서버 클라이언트 시스템
JP4559988B2 (ja) サービス提供システムと、このサービス提供システムで使用されるサーバ装置および携帯通信装置と、これらの装置のためのプログラム
US20140354758A1 (en) System and method for remote notarization and recording digital notary logbook entries
JP2014155128A (ja) 管理システム、管理方法及びプログラム
CN104010094A (zh) 在语音服务中的信息发送方法和装置
US20080155699A1 (en) Output System, Output Data Management Apparatus, Network Device, Output Data Management Program, Output Program, and Output Method
JP2013213879A (ja) パーソナル携帯端末を用いたカラオケログインシステム
JP5954417B2 (ja) 注文システム
JP5732409B2 (ja) 携帯端末装置、操作手法通知システム、および操作通知方法
JP2013097579A (ja) 情報提供システム、情報提供方法およびプログラム
JP2013105470A (ja) 電子名刺装置、および名刺情報配信システム
KR101138103B1 (ko) 네트워크를 이용한 원격 상담 시스템 및 이 시스템을 이용하여 원격 상담을 수행하는 방법
JP2009169547A (ja) コードログインシステム、及びコードログインシステムの制御方法
US20020147908A1 (en) Data registration system
CN111527481A (zh) 信息处理方法及信息处理程序
JP5082699B2 (ja) 議事録作成装置、議事録作成システム、議事録作成方法および議事録作成プログラム
JP7116444B1 (ja) 申請支援システム、ユーザー端末装置、申請支援装置、及びプログラム
JP6094496B2 (ja) カラオケシステム、カラオケシステムにおけるログイン方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111220

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120120