JP5959278B2

JP5959278B2 - 監視制御システム

Info

Publication number: JP5959278B2
Application number: JP2012084754A
Authority: JP
Inventors: 佐々木　雄一; 雄一佐々木; 景泰宮原; 川又　武典; 武典川又
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-04-03
Filing date: 2012-04-03
Publication date: 2016-08-02
Anticipated expiration: 2032-04-03
Also published as: JP2013214238A

Description

本発明は、タッチパネル等の表示入力一体型装置を用い、オペレータの操作画面を監督者が確認できる監視制御システムに関し、特に、指差し操作を行うためのユーザ・インタフェースに関する。

タッチ操作対応のＯＳやディスプレイの販売・発展に伴い、近年の監視制御システムにおいては、タッチによる簡単な操作でプラント運転が可能となっている。一方、この簡単な操作は、オペレータの思い違いや誤認識によって誤操作を招きやすいという課題がある。

また、監督者は複数個あるオペレータの画面のうちいずれかを選択して、オペレータと同じ画面を監督画面に表示させて操作の監督を行う。しかし、タッチによる操作では、オペレータがスクリーンをタッチしないと操作位置が特定できず、監督者はオペレータの操作しようとしている箇所を監視画面で把握できないという課題がある。

一方、監視制御システムにおけるタッチ操作を安全に行うための技術として、例えば特許文献１や特許文献２に示されたものがあった。特許文献１に示された装置では、オペレータの近接状態を検出して接触点を予測し、その近辺の画面を拡大または、表示色を変更して表示することで、操作性を向上させ、容易にかつ安全に監視制御を行えるようにしたものである。また、特許文献２に示された装置では、音声入力装置とタッチパネルにより、オペレータが操作対象を選択し発声した時に、指を接触させた操作対象と対応する音声であるか自動的に判断し適応・不適応を応答することにより、操作の信頼性の向上した監視制御を行えるようにしたものである。

特開２００１−１４０２４号公報特開平９−１１４５７９号公報

上記の特許文献１に示された装置では、オペレータがタッチする前に近接している指の位置がわかるため、誤操作を防止することができる。しかしながら、このような構成を監視者がオペレータの操作を監視する監視制御システムに適用した場合、指の位置を認識することはできるが、これが指差し確認のための近接なのか、押すボタンを探している近接なのか、あるいは操作しようとしたわけでなく単に指を間違って近づけたのか等、監督者はオペレータの操作意図が分からず、監督作業の負荷がかえって増えてしまうという課題があった。

また、特許文献２に記載された装置では、タッチ操作により指差し呼称の自動化を実現し、監督の負担を軽減しているが、この装置では、画面にタッチしない指差し操作は考慮されておらず、従って、監督者がオペレータの指差し操作を認識することができないという課題があった。

本発明は、上記のような課題を解決するためになされたもので、監督者の監督負荷を軽減し、システムとしての安全性を高めることのできる監視制御システムを得ることを目的とする。

この発明に係る監視制御システムは、オペレータ画面を表示する表示入力一体型装置を用い、当該オペレータ画面への入力操作を、オペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、入力操作を行うための操作体のオペレータ画面への近接状態を検知する近接・タッチ情報入力部と、近接・タッチ情報入力部が検知した操作体のオペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のそれぞれを判定する指差し操作判定部と、指差し操作判定部の判定結果に基づいて、操作体の操作に対応したオペレータ画面を生成するオペレータ画面生成部と、オペレータ画面生成部が生成したオペレータ画面に基づいて、指差し操作判定部における判定結果の情報を付与した監督画面を生成する監督画面生成部とを備えたものである。

この発明の監視制御システムは、近接・タッチ情報入力部が検知した操作体のオペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のいずれかを判定する指差し操作判定部を設け、オペレータ画面に基づいて、指差し操作判定部における判定結果の情報を付与した監督画面を生成するようにしたので、監督者の監督負荷を軽減し、システムとしての安全性を高めることができる。

この発明の実施の形態１による監視制御システムを示す構成図である。この発明の実施の形態１による監視制御システムのオペレータの近接動作を示す説明図である。この発明の実施の形態１による監視制御システムの動作を示すフローチャートである。この発明の実施の形態１による監視制御システムの近接時・指差し時のオペレータ画面生成部による生成画面例を示す説明図である。この発明の実施の形態１による監視制御システムの近接時・指差し時の監督画面生成部による生成画面例を示す説明図である。この発明の実施の形態１による監視制御システムのオペレータ画面と監督画面の別の表示例（画面表示例１）を示す説明図である。この発明の実施の形態１による監視制御システムのオペレータ画面と監督画面の別の表示例（画面表示例２）を示す説明図である。この発明の実施の形態１による監視制御システムのオペレータ画面と監督画面の別の表示例（画面表示例３）を示す説明図である。この発明の実施の形態２による監視制御システムを示す構成図である。この発明の実施の形態２による監視制御システムの動作を示すフローチャートである。この発明の実施の形態２による監視制御システムのオペレータＡが指差し操作したときに選択される画面の例を示す説明図である。この発明の実施の形態２による監視制御システムのオペレータＡとオペレータＢが同時に指差し操作したときに選択される画面の例を示す説明図である。この発明の実施の形態３による監視制御システムを示す構成図である。この発明の実施の形態３による監視制御システムのオペレータが指差し操作を行って音声入力を行う前の画面例を示す説明図である。この発明の実施の形態３による監視制御システムの動作を示すフローチャートである。この発明の実施の形態３による監視制御システムの音声認識対象データ保持部が保持するデータのデータ構造の例を示す説明図である。この発明の実施の形態３による監視制御システムの指差し呼称操作後のオペレータ画面の例を示す説明図である。この発明の実施の形態３による監視制御システムの指差し呼称操作後の監督画面の例を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１による監視制御システムを示す構成図である。
図１に示す監視制御システムは、制御装置１００、オペレータ画面２０１、近接・タッチ情報入力部２０２、監督画面３０１、監督情報入力部３０２を備えている。制御装置１００は、監視制御システムにおける監視制御処理を行う装置であり、指差し操作判定部１０１、オペレータ画面生成部１０２、監督画面生成部１０３を備えている。

制御装置１００における指差し操作判定部１０１は、近接・タッチ情報入力部２０２からの入力データに基づいて、操作体のオペレータ画面との距離および座標に関する情報から指差し操作を認識し、タッチ・近接・指差しなどの操作状態や操作位置などの操作情報を出力する処理部である。オペレータ画面生成部１０２は、指差し操作判定部１０１の判定結果に基づいて、オペレータ１が操作入力を行うための操作画面を生成する処理部である。監督画面生成部１０３は、オペレータ画面生成部１０２が生成した各オペレータ画面の中から監督情報入力部３０２の選択情報に対応した画面を選択し、さらに、指差し操作判定部１０１からタッチ・近接・指差しなどの操作情報を付与した監督画面３０１を生成する処理部である。

オペレータ画面２０１は、オペレータ画面生成部１０２が生成した、オペレータ１が入力操作を行うための操作画面を表示する、いわゆるタッチパネルと呼ばれる表示入力一体型装置の表示画面である。近接・タッチ情報入力部２０２は、オペレータ１の指やペンといった操作体の近接状態を所定のセンサで検知し、その検知情報を指差し操作判定部１０１に送出するための情報入力部である。なお、表示入力一体型装置は複数のオペレータ１に対応して複数設けられている。

監督画面３０１は、監督画面生成部１０３が生成した画面を表示するための表示画面であり、各オペレータ１用の端末とは異なる監督者用の端末で表示される画面である。また、監督情報入力部３０２は、監督者２が、複数のオペレータ画面２０１のうち監督画面３０１に表示させるオペレータ画面２０１を選択する、といった監督者情報を入力するための入力部である。

図２は、オペレータ画面２０１に操作体を近接させた例である。操作対象２１，２２は、オペレータ画面２０１上で選択操作を行うためのボタンであり、操作体としてオペレータ１の指２３を示している。このとき、近接・タッチ情報入力部２０２は、オペレータの指２３の近接を検知する。

図３は、指差し操作判定部１０１が指差し操作を判定する処理を示すフローチャートである。
指差し操作判定部１０１は、先ず、近接・タッチ情報入力部２０２で検出した指２３のセンサ出力値が第１の所定値よりも大きいかを判定する（ステップＳＴ１０１）。センサ出力値が第１の所定値よりも小さい場合は、指２３のセンサ出力値を記憶する（ステップＳＴ１０２）。指差し操作判定部１０１は、ステップＳＴ１０１で、指２３のセンサ出力値が第１の所定値よりも大きくなるまで、ステップＳＴ１０１とステップＳＴ１０２とを繰り返す。すなわち、指２３とオペレータ画面２０１との距離が所定の値に近づくまでステップＳＴ１０１〜ステップＳＴ１０２を行う。ステップＳＴ１０１において、センサ出力値が第１の所定値よりも大きくなった場合はステップＳＴ１０３での判定処理に移行する。なお、センサ出力値としては、操作体と画面との距離に応じた値を示すものであればどのようなものであってもよく、例えば、指の画像データを分析した結果や、実際の物理的な距離を計測した値であってもよい。

ステップＳＴ１０３では、指２３のセンサ出力値が第２の所定値よりも小さいかを判定する。なお、ここで、第２の所定値＞第１の所定値である。センサ出力値が第２の所定値よりも大きい場合、すなわち、指２３とオペレータ画面２０１との距離がかなり接近している場合、指差し操作判定部１０１は、指２３がオペレータ画面２０１への接触状態であると判断し、ステップＳＴ１０４で指２３のセンサ出力値の記憶をクリアし、ステップＳＴ１０５で指２３の接触座標を求め、接触有りの判定結果と指２３の接触座標を返す。一方、ステップＳＴ１０３において、センサ出力値が第２の所定値よりも小さい場合、記憶した指２３のセンサ出力値から指２３の近づく速度を求め（ステップＳＴ１０６）、指２３の近接座標を求める（ステップＳＴ１０７）。

次に、指差し操作判定部１０１は、指２３の近づく速度が一定以上であるかを判断する（ステップＳＴ１０８）。指２３の近づく速度が一定未満である場合、指２３のセンサ出力値の記憶をクリアして近接有りの判定結果と指の近接座標を返す（ステップＳＴ１０９）。一方、ステップＳＴ１０８において、指２３の近づく速度が一定以上である場合、ステップＳＴ１１０の判定処理に移行する。

ステップＳＴ１１０では、指差し操作判定部１０１は、指２３の近接座標が一定以上動いていないかを判定する。ステップＳＴ１１０において、指２３の近接座標が一定以上動いている場合は、ステップＳＴ１０９に移行して、指２３のセンサ出力値の記憶をクリアして近接有りの判定結果と指の近接座標を返す。指２３の近接座標が一定以上動いていない場合、ステップＳＴ１１１の判定処理を行う。

ステップＳＴ１１１において、指差し操作判定部１０１は、指２３の近接座標が動いていない状態が一定時間以上続いたかを判定する。一定時間以上続いていない場合、指差し操作判定部１０１は、近接有りの判定結果と指の近接座標を返す。一方、指２３の近接座標が動いていない状態が一定時間以上続いた場合は、指差しの判定結果と近接座標を返す。

上記のステップＳＴ１０６における指の近づく速度Ｖｚは、例えば記憶したセンサ出力値を半分に分けて、前半の出力の平均値Ｚｂ、後半の出力の平均値Ｚａを求め、Ｖｚ＝（Ｚｂ−Ｚａ）／記憶サンプル数のような計算式で求めても良い。

ステップＳＴ１１０における指２３の座標が一定以上動いていないかの判定は、近接の座標を使う方法ではなく、前回のセンサ出力値との類似性が一定以上であるかで判定しても良い。

図４は、指差し操作判定部１０１が近接・指差し・接触を判定した後、オペレータ画面生成部１０２が生成する画面の例である。円４０は近接位置を中心に所定の色で半透明に表示された領域であり、指４２は近接操作と判定されたオペレータの指を示している。また、矩形４１は、近接位置に最も近い操作対象上に所定の色で半透明に塗られた領域であり、指４３は、指差し操作と判定されたオペレータの指を示している。

オペレータ画面生成部１０２は、指の近接時には所定の色で半透明な円を表示し、指差し時にはこれとは異なる色で半透明な円を表示するような形態でも良い。

図５は、図４のオペレータ画面に対応した監督画面を示している。すなわち、監督情報入力部３０２で監督者が図２のオペレータ画面を選び、指差し操作判定部１０１が近接・指差し・接触を判定した際に、監督画面生成部１０３が生成する画面の例である。近接時における円５０は近接位置を中心に所定の色で半透明に表示された領域であり、指差し時における矩形５１は、近接位置に最も近い操作対象上に所定の色で半透明に塗られた領域である。

図６は、オペレータ画面生成部１０２と監督画面生成部１０３が生成する画面の別の表示例（画面表示例１）であり、左側がオペレータ画面、右側が監督画面を示している。この例では、指のセンサ出力値の大きさなどからタッチパネルと指の距離を判断し、指の距離に応じて図４における円４０や図５における円５０の指差し位置の円の範囲や色を変動させる。円６１はタッチパネルと指が一定以上の遠い距離である場合のオペレータ画面に表示される円である。円６２はタッチパネルと指が一定以下の近い距離である場合のオペレータ画面に表示される円である。円６３はタッチパネルと指が一定以上の遠い距離である場合の監督画面に表示される円である。円６４はタッチパネルと指が一定以下の近い距離である場合の監督画面に表示される円である。

図７は、オペレータ画面生成部１０２、監督画面生成部１０３が生成する画面の別の表示例（画面表示例２）であり、この例においても、左側がオペレータ画面、右側が監督画面を示している。この例では、指のセンサ出力値の大きさなどからタッチパネルと指の距離を判断し、指の距離に応じて図４における円４０や図５における円５０の指差し位置の円の範囲を変動させ、円の中心部分と円周部分の透明度や色を変化させる。円７１，７２は、それぞれタッチパネルと指が一定以上の遠い距離である場合のオペレータ画面、監督画面に表示される円である。

図８は、オペレータ画面生成部１０２、監督画面生成部１０３が生成する画面の別の表示例（画面表示例３）である。この例では、指のセンサ出力値の大きさなどからタッチパネルと指の距離を判断し、前記指の距離に応じて色を変える選択対象の範囲を変動させる。指の近接位置に近い操作対象ほど強調表示される。操作対象８１は、オペレータ画面における指の近接位置に最も近い操作対象であり、操作対象８２はオペレータ画面における指の近接位置に２番目に近い操作対象である。また、操作対象８３は、監督画面における指の近接位置に最も近い操作対象であり、操作対象８４は監督画面における指の近接位置に２番目に近い操作対象である。

このように、実施の形態１では、図４における円４０や矩形４１のように、指の近接時や指差し時に応じて、別々の表示を行うことでオペレータは各自の操作状態、操作位置を容易に認識することができる。
また、図５における円５０や矩形５１のように、監督画面にも指の近接時や指差し時に応じて別々の表示を行うことで、監督者はオペレータの操作状態、操作位置を知ることができ、操作ミスを容易に見つけることができる。

さらに、図６〜図８に示すように、指とタッチパネルとの距離に応じて、円の表示範囲や強調表示する操作対象の範囲を変えることで、タッチパネルと指が離れることにより、オペレータの指差し操作対象と近接・タッチ情報入力部２０２の検知座標とがずれ、監督者が確認ミスを起こすといった事象を未然に防ぐことができる。

以上説明したように、実施の形態１の監視制御システムによれば、オペレータ画面を表示する表示入力一体型装置を用い、オペレータ画面への入力操作を、オペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、入力操作を行うための操作体のオペレータ画面への近接状態を検知する近接・タッチ情報入力部と、近接・タッチ情報入力部が検知した操作体のオペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のいずれかを判定する指差し操作判定部と、指差し操作判定部の判定結果に基づいて、操作体の操作に対応したオペレータ画面を生成するオペレータ画面生成部と、オペレータ画面生成部が生成したオペレータ画面に基づいて、指差し操作判定部における判定結果の情報を付与した監督画面を生成する監督画面生成部とを備えたので、監督者の監督負荷を軽減し、システムとしての安全性を高めることができる。

また、実施の形態１の監視制御システムによれば、指差し操作判定部は、操作体とオペレータ画面との近接距離を算出し、オペレータ画面生成部は、指差し操作判定部が算出した近接距離に応じてオペレータ画面における入力操作を示す表示を変化させ、監督画面生成部は、オペレータ画面生成部における表示の変化に対応させて監督画面の表示を変化させるようにしたので、監督者によるオペレータ画面の確認をより確実に行うことができ、監督者による確認ミスを未然に防ぐことができる。

実施の形態２．
実施の形態２の監視制御システムは、オペレータの指差し呼称や操作対象の重要度に基づいて監督画面を生成するためのオペレータ画面を選択するようにしたものであり、その構成を図９に示す。
図９において、制御装置１００ａは、指差し操作判定部１０１、オペレータ画面生成部１０２、監督画面生成部１０３ａ、監督者表示画面選択部１０４を備えている。また、オペレータ１側の構成として、オペレータ画面２０１と近接・タッチ情報入力部２０２に加えて、音声情報入力部２０３が設けられている。さらに、監督者２側の構成としては監督画面３０１と監督情報入力部３０２とが設けられている。

音声情報入力部２０３は、オペレータ１の音声入力を検出し、音声入力の有無も含めて監督者表示画面選択部１０４に出力する。監督者表示画面選択部１０４は、音声情報入力部２０３からの音声入力の有無や内容と、指差し操作判定部１０１からのタッチ状態などの操作情報とに基づいて、オペレータ画面生成部１０２が生成した各オペレータ１へのオペレータ画面２０１のうち、どのオペレータ画面を監督画面生成部１０３ａで用いるかを選択するものである。監督画面生成部１０３ａは、監督情報入力部３０２によっていずれかのオペレータ画面２０１の選択操作があった場合はそのオペレータ画面に基づいて監督画面３０１を生成し、選択操作がない場合は監督者表示画面選択部１０４によって選択されたオペレータ画面２０１に基づいて監督画面３０１を生成するよう構成されている。その他の構成は実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

図１０は複数のオペレータが同時に操作することができる監視制御システムにおいて、監督者表示画面選択部１０４が監督者に表示する画面を選択する処理を示すフローチャートである。

監督者表示画面選択部１０４は、まず、指差し操作判定部１０１の判定結果に基づき、複数のオペレータが同時に指差し操作しているかを判定する（ステップＳＴ２０１）。同時に指差し操作を行っていない場合、監督者表示画面選択部１０４は指差ししているオペレータの画面を選択する。同時に指差ししている場合、ステップＳＴ２０２の判定処理を行う。

ステップＳＴ２０２では、各オペレータに対して音声情報入力部２０３から指差し呼称等の音声入力が行われていないかを判定する。いずれかのオペレータから音声入力があった場合、監督者表示画面選択部１０４は最も早いタイミングで音声入力があったオペレータの画面を選択する。オペレータからの音声入力がない場合、監督者表示画面選択部１０４は、ステップＳＴ２０３で、各オペレータの指差し操作している操作対象の重要度を抽出する。

ステップＳＴ２０３で操作対象の重要度を抽出すると、監督者表示画面選択部１０４は指差し操作対象の重要度が同じであるかを判定する（ステップＳＴ２０４）。指差し対象の重要度が同じでない場合、監督者表示画面選択部１０４は、重要度の一番高いオペレータの画面を選択する。指差し対象の重要度が同じである場合、監督者表示画面選択部１０４は先に指差し操作をしたオペレータの画面を選択する。

図１１は、オペレータＡが指差し操作を行い、同時にオペレータＢが近接操作を行ったとき、監督者表示画面選択部１０４によって選択されるオペレータ操作画面の例である。
オペレータＡ画面における１１１はオペレータＡの指差し操作を示し、オペレータＢ画面における１１２はオペレータＢの近接操作である。また、監督者画面における１１３はオペレータＡの指差し操作位置に最も近い位置の操作対象である。オペレータＡは指差し操作をしているため、ステップＳＴ２０１の判定により、監督者表示画面選択部１０４はオペレータＡの画面を選択する。監督画面生成部１０３ａは指差し操作判定部１０１のタッチ状態や位置座標情報を用いて、最も近い操作対象１１３を強調表示する。この強調表示はオペレータＡに割り当てられた色である青色表示となる。

図１２は、オペレータＡとオペレータＢが音声入力せずに同時に指差し操作を行ったとき、監督者表示画面選択部１０４によって選択されるオペレータ操作画面の例である。１２１はオペレータＡの指差し操作を示し、１２４はオペレータＡの指差し操作対象を示している。また、１２２はオペレータＢの指差し操作であり、１２５はオペレータＢの指差し操作対象である。さらに、１２３はオペレータＢの指差し操作位置に最も近い位置の操作対象である。オペレータＡとオペレータＢは音声入力せずに同時に指差し操作をしているため、ステップＳＴ２０３において、監督者表示画面選択部１０４は操作対象１２４と１２５に予め割り当てられている重要度を抽出する。１２４に割り当てられている重要度が３で１２５に割り当てられている重要度は５だとした場合、ステップＳＴ２０４の判定の結果、監督者表示画面選択部１０４は重要度の高い操作対象を指差し操作しているオペレータＢの画面を選択する。監督画面生成部１０３ａは指差し操作判定部１０１で判定したタッチ状態や位置座標情報を用いて、最も近い操作対象１２３を強調表示する。この強調表示はオペレータＢに割り当てられた色である赤色表示となる。

以上説明したように、実施の形態２の監視制御システムによれば、それぞれがオペレータ画面を表示する複数の表示入力一体型装置を用い、それぞれのオペレータ画面への入力操作を、これらオペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、入力操作を行うための操作体のオペレータ画面への近接状態を検知する近接・タッチ情報入力部と、複数のオペレータ画面に対してそれぞれ入力操作を行うオペレータの音声を入力する音声情報入力部と、近接・タッチ情報入力部が検知した操作体のオペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のいずれかを判定する指差し操作判定部と、指差し操作判定部の判定結果に基づいて、操作体の操作に対応したそれぞれのオペレータ画面を生成するオペレータ画面生成部と、オペレータ画面生成部が生成した複数のオペレータ画面に基づいて、指差し操作判定部における判定結果の情報を付与した監督画面を生成する監督画面生成部と、音声情報入力部から入力された音声情報に基づいて、オペレータの指差し呼称を認識し、指差し呼称と指差し操作における複数のオペレータ画面への操作順と指差し操作の操作対象の重要度のうち少なくともいずれかに基づいて監督画面生成部が用いるオペレータ画面を選択する監督者表示画面選択部とを備えたので、監督者は明示的にいずれかのオペレータ画面を選択しなくても、各オペレータの操作を自動的に監視することができる。その結果、監督者の負担を軽減することができ、指差し操作が必要な操作対象の確認をより確実に行うことができる。

実施の形態３．
実施の形態３の監視制御システムは、指差し操作と指差し呼称とが一致するか否かを含めて表示するようにしたものであり、その構成を図１３に示す。
図１３において、制御装置１００ｂは、指差し操作判定部１０１、オペレータ画面生成部１０２ａ、監督画面生成部１０３ｂ、音声認識対象データ抽出部１０５、音声認識部１０６、音声認識対象データ保持部１０７を備えている。また、オペレータ１側の構成と監督者２側の構成は実施の形態２と同様である。但し、音声情報入力部２０３で入力された音声情報は制御装置１００ｂの音声認識部１０６に入力するよう構成されている。また、監督情報入力部３０２は、音声認識部１０６における指差し呼称の操作情報などを選択したり、監督画面３０１に表示された結果に対する確認完了の入力を行うといった情報入力も含めて行えるよう構成されている。

音声認識対象データ抽出部１０５は、指差し操作判定部１０１が判定した指差し操作情報を受け取り、音声認識対象データ保持部１０７に保持されている操作対象の位置情報に基づいて、指差し位置から一定以内の距離にある音声認識対象を選択し、音声認識結果照合用のデータを抽出する処理部である。音声認識部１０６は、音声情報入力部２０３からのオペレータの音声入力情報と、音声認識対象データ抽出部１０５が抽出した音声認識照合用のデータを受け取り、音声入力情報の音声認識結果が音声認識照合用のデータと対応しているか判定する処理部である。音声認識対象データ保持部１０７は、オペレータが操作する対象の音声入力情報や画面における位置情報を有している。オペレータ画面生成部１０２ａは、指差し操作判定部１０１からタッチ・近接・指差しなどの操作情報と、音声認識部１０６から音声認識判定結果を受け取り、各オペレータの操作に対応したオペレータ画面を生成するよう構成されている。また、監督画面生成部１０３ｂは、オペレータ画面生成部１０２ａが生成したオペレータ画面に基づいて、指差し操作判定部１０１における判定結果の情報と音声認識部１０６における指差し呼称の操作に関する操作情報とを付与した監督画面を生成するよう構成されている。その他の構成は実施の形態１と同様である。

図１４は、オペレータが指差し操作を行って音声入力をする前の画面例である。１４０はオペレータの指差し操作を示しており、１４１はオペレータの指差し操作対象である。１４２は、操作対象１４１に対応する音声呼称の入力メッセージである。操作対象１４１に対して指差し操作を行い、メッセージ１４２の「水圧パラメータ変更」と呼称することで、指差し呼称操作を行うことができる。指差し呼称に成功すると指差し呼称成功となり、操作対象１４１を選択することができる。指差し呼称に失敗すると指差し呼称失敗となり、操作対象１４１を選択することができない。

図１５は、指差し呼称操作を示すフローチャートである。ステップＳＴ３０１で、指差し操作判定部１０１は、図３に示したフローの処理で指差し操作を判定する。次に、音声認識対象データ抽出部１０５は、指差し操作状態か判断する（ステップＳＴ３０２）。指差し操作状態でない場合、音声認識対象データ抽出部１０５は、ステップＳＴ３０１、ステップＳＴ３０２を繰り返す。ステップＳＴ３０２において、指差し操作状態である場合、ステップＳＴ３０３の判定処理を行う。

ステップＳＴ３０３で、音声認識対象データ抽出部１０５は、音声認識対象データ保持部１０７から、指差し位置を中心として一定範囲内に指差し呼称の操作対象を検索する。検索の結果、操作対象がない場合、音声認識対象データ抽出部１０５は、ステップＳＴ３０１の指差し操作を判定する処理に戻る。ステップＳＴ３０３において、操作対象がある場合、オペレータ画面生成部１０２ａは、オペレータ画面に指差し呼称の操作対象と呼称する入力メッセージを表示する（ステップＳＴ３０４）。また、監督画面生成部１０３ｂは、監督画面に指差し呼称の操作対象を表示する（ステップＳＴ３０５）。

また、ステップＳＴ３０３で、音声認識対象データ抽出部１０５は一定範囲内に指差し呼称の操作対象を検索するが、この検索範囲は指とタッチパネル間の距離に応じて変更しても良い。例えば、指がタッチパネルから所定の距離以上離れている場合は、検索範囲を広げて音声認識の対象を増やすことができる。

次に、音声認識部１０６は、音声情報入力部２０３から音声入力情報があるかを判定する（ステップＳＴ３０６）。音声入力情報がない場合、音声認識対象データ抽出部１０５はステップＳＴ３０２の指差し操作状態かを判定する処理に戻る。ステップＳＴ３０６において、音声入力情報がある場合、音声認識部１０６は、音声認識対象データ保持部１０７の単語データと音声入力データを用いて音声認識を行う（ステップＳＴ３０７）。

次に、音声認識部１０６は、指差し位置に対応する音声認識対象データ保持部１０７のデータと音声認識の結果が一致するかを判定する（ステップＳＴ３０８）。指差し呼称に失敗した場合、音声認識部１０６は指差し呼称のあった操作対象について、再度指差し呼称に成功するまで操作を禁止する。指差し呼称に成功した場合、音声認識部１０６は指差し呼称のあった操作対象の操作を許可する。

図１６は、音声認識対象データ保持部１０７に保持されるデータのデータ構造の一例を示している。画面ＩＤ１６０は、オペレータに表示される各画面（オペレータ画面）に割り振られるＩＤである。中心座標１６１は、画面上の操作領域の中心座標である。操作領域１６２は、画面上の操作領域の情報である。入力メッセージ１６３は、オペレータが操作しようとした時に、オペレータ画面に表示するためのメッセージである。読みメッセージ１６４は、音声認識部１０６が音声認識する際に参照される単語データである。また、入力メッセージ１６３と読みメッセージ１６４は音声認識結果の照合にも使われる。このようなデータ形式により、図１５のフローにおいて、ステップＳＴ３０３の指差し呼称の操作対象の検索や、ステップＳＴ３０４の入力メッセージの表示、ステップＳＴ３０７の音声認識対象データ保持部１０７の単語データを用いた音声認識を行うことができる。

図１７は指差し呼称操作後のオペレータの操作画面例である。１７０，１７１はオペレータの指差し操作であり、１７２，１７４はオペレータの指差し操作対象である。また、１７３はオペレータが指差し呼称操作に成功した時に表示されるメッセージである。一方、１７５はオペレータが指差し呼称操作を失敗した時に操作対象１７４上に表示されるアイコンであり、このアイコン１７５は指差し操作がされなくなった場合に消える。さらに、１７６はオペレータが指差し呼称操作を失敗した時に表示されるメッセージである。

図１８は指差し呼称操作後の監督画面の例である。１８０，１８１はオペレータの指差し操作対象である。１８２はオペレータが指差し呼称操作に成功した時に、監督画面に表示されるメッセージである。１８３はオペレータが指差し呼称操作に失敗した時に、監督画面に表示されるメッセージである。１８４はオペレータが指差し呼称操作に失敗した時に、操作対象１８１上に表示されるアイコンである。

図１８において、例えば、監督者から監督情報入力部３０２に確認完了の入力があった場合、音声認識部１０６は、メッセージ１８２，１８３やアイコン１８１を消すよう構成してもよい。

このように、実施の形態３では、指差し呼称操作に成功した時と失敗した時の表示を図１７のようにオペレータ側に分かりやすく表示することで、オペレータ１は監督者２の確認を通すことなく操作間違いを認識できる。また、指差し呼称操作に成功した時と失敗した時の表示を図１８のように監督画面３０１に分かりやすく表示することで、操作に問題ないか等を再度確認するだけでよく、負担を軽減することができる。さらに、オペレータの指差し呼称が必要な操作を自動チェックするため、操作ミスや監督ミスなどの人為的な誤操作を減らすことができる。

以上説明したように、実施の形態３の監視制御システムによれば、オペレータ画面を表示する表示入力一体型装置を用い、オペレータ画面への入力操作を、オペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、入力操作を行うための操作体のオペレータ画面への近接状態を検知する近接・タッチ情報入力部と、オペレータ画面に対して入力操作を行うオペレータの音声を入力する音声情報入力部と、近接・タッチ情報入力部が検知した操作体のオペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のいずれかを判定する指差し操作判定部と、オペレータ画面における入力操作を行う対象である操作対象に対応した音声情報と、操作対象のオペレータ画面における位置情報とを保持する音声認識対象データ保持部と、指差し操作判定部が判定した指差し操作情報に基づいて、指差し操作位置に対応した操作対象の音声情報を、音声認識対象データ保持部から抽出する音声認識対象データ抽出部と、音声情報入力部から入力された音声情報と、音声認識対象データ抽出部で抽出した音声情報とを照合し、これらが一致するか否かを判定する音声認識部と、指差し操作判定部の判定結果に基づいて、操作体の操作に対応したオペレータ画面を生成すると共に、操作が指差しであった場合は、音声認識部の判定結果を付加した画面を生成するオペレータ画面生成部と、オペレータ画面生成部が生成したオペレータ画面に基づいて、指差し操作判定部における判定結果の情報と音声認識部の判定結果とを付与した監督画面を生成する監督画面生成部とを備えたので、オペレータの操作ミスや監督者の監督ミスなどの人為的な誤操作を減らすことができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１オペレータ、２監督者、１００，１００ａ，１００ｂ制御装置、１０１指差し操作判定部、１０２，１０２ａオペレータ画面生成部、１０３，１０３ａ，１０３ｂ監督画面生成部、１０４監督者表示画面選択部、１０５音声認識対象データ抽出部、１０６音声認識部、１０７音声認識対象データ保持部、２０１オペレータ画面、２０２近接・タッチ情報入力部、２０３音声情報入力部、３０１監督画面、３０２監督情報入力部。

Claims

オペレータ画面を表示する表示入力一体型装置を用い、当該オペレータ画面への入力操作を、前記オペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、
前記入力操作を行うための操作体の前記オペレータ画面への近接状態を検知する近接・タッチ情報入力部と、
前記近接・タッチ情報入力部が検知した前記操作体の前記オペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のそれぞれを判定する指差し操作判定部と、
前記指差し操作判定部の判定結果に基づいて、前記操作体の操作に対応した前記オペレータ画面を生成するオペレータ画面生成部と、
前記オペレータ画面生成部が生成した前記オペレータ画面に基づいて、前記指差し操作判定部における判定結果の情報を付与した前記監督画面を生成する監督画面生成部とを備えた監視制御システム。
前記指差し操作判定部は、前記操作体とオペレータ画面との近接距離を算出し、
前記オペレータ画面生成部は、前記指差し操作判定部が算出した近接距離に応じてオペレータ画面における入力操作を示す表示を変化させ、
前記監督画面生成部は、前記オペレータ画面生成部における表示の変化に対応させて前記監督画面の表示を変化させることを特徴とする請求項１記載の監視制御システム。
それぞれがオペレータ画面を表示する複数の表示入力一体型装置を用い、それぞれのオペレータ画面への入力操作を、これらオペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、
前記入力操作を行うための操作体の前記オペレータ画面への近接状態を検知する近接・タッチ情報入力部と、
前記複数のオペレータ画面に対してそれぞれ入力操作を行うオペレータの音声を入力する音声情報入力部と、
前記近接・タッチ情報入力部が検知した前記操作体の前記オペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のそれぞれを判定する指差し操作判定部と、
前記指差し操作判定部の判定結果に基づいて、前記操作体の操作に対応した前記それぞれのオペレータ画面を生成するオペレータ画面生成部と、
前記オペレータ画面生成部が生成した前記複数のオペレータ画面に基づいて、前記指差し操作判定部における判定結果の情報を付与した前記監督画面を生成する監督画面生成部と、
前記音声情報入力部から入力された音声情報に基づいて、オペレータの指差し呼称を認識し、当該指差し呼称と前記指差し操作における前記複数のオペレータ画面への操作順と当該指差し操作の操作対象の重要度のうち少なくともいずれかに基づいて前記監督画面生成部が用いるオペレータ画面を選択する監督者表示画面選択部とを備えた監視制御システム。
オペレータ画面を表示する表示入力一体型装置を用い、当該オペレータ画面への入力操作を、前記オペレータ画面とは異なる監督画面で確認可能な監視制御システムであって、
前記入力操作を行うための操作体の前記オペレータ画面への近接状態を検知する近接・タッチ情報入力部と、
前記オペレータ画面に対して入力操作を行うオペレータの音声を入力する音声情報入力部と、
前記近接・タッチ情報入力部が検知した前記操作体の前記オペレータ画面との距離および座標に関する情報から、指差し操作、近接操作、タッチ操作のそれぞれを判定する指差し操作判定部と、
前記オペレータ画面における入力操作を行う対象である操作対象に対応した音声情報と、当該操作対象のオペレータ画面における位置情報とを保持する音声認識対象データ保持部と、
前記指差し操作判定部が判定した指差し操作情報に基づいて、当該指差し操作位置に対応した操作対象の音声情報を、前記音声認識対象データ保持部から抽出する音声認識対象データ抽出部と、
前記音声情報入力部から入力された音声情報と、前記音声認識対象データ抽出部で抽出した音声情報とを照合し、これらが一致するか否かを判定する音声認識部と、
前記指差し操作判定部の判定結果に基づいて、前記操作体の操作に対応した前記オペレータ画面を生成すると共に、当該操作が指差しであった場合は、前記音声認識部の判定結果を付加した画面を生成するオペレータ画面生成部と、
前記オペレータ画面生成部が生成したオペレータ画面に基づいて、前記指差し操作判定部における判定結果の情報と前記音声認識部の判定結果とを付与した前記監督画面を生成する監督画面生成部とを備えた監視制御システム。