JP3744418B2 - 情報表示装置 - Google Patents
情報表示装置 Download PDFInfo
- Publication number
- JP3744418B2 JP3744418B2 JP2001383081A JP2001383081A JP3744418B2 JP 3744418 B2 JP3744418 B2 JP 3744418B2 JP 2001383081 A JP2001383081 A JP 2001383081A JP 2001383081 A JP2001383081 A JP 2001383081A JP 3744418 B2 JP3744418 B2 JP 3744418B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- pointer
- display
- display device
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、情報提供装置及び情報表示装置に係り、特に大画面表示装置及び小画面表示装置を備えたシステムに適応するのに好適な情報提供装置及び情報表示装置に関する。
【0002】
【従来の技術】
近年、発電プラントや化学プラント等の運転制御,金融機関や証券会社での情報提供,会議などのプレゼンテーションにおいては、大きな表示面をもつ表示装置(ミミック表示装置なども含む)を用いた情報提供が計画あるいは実施されている。大画面表示装置に表示される情報を遠隔的に指示したり、指示された表示対象に情報を与えるようにできることが望まれている。
【0003】
この要望に応えることのできる技術として、例えば、特開平3−179517 号公報のポインティングデバイス装置及び入力方法、特開平4−37922号公報のプレゼンテーション装置がある。
【0004】
特開平3−179517 号公報においては、1台の赤外線投光器で遠隔的に大画面表示装置の表示面を指示し、該表示面を監視するモニタカメラの出力信号をもとに指示点を検出し、該指示点に指示されたことを示すマーカを該大画面表示装置に表示することが示されている。さらには、指示された表示対象物に対して、別途用意された命令処理手段を用いて、入力される命令を処理することも示されている。
【0005】
特開平4−37922号公報においては、スクリーンや壁面に投影された画面の所用の部分を、発光器を取り付けた指示棒で指示すると、該画面を監視しているテレビカメラの出力信号に基づいて、指示点を検出し、画像情報を変更することが示されている。
【0006】
【発明が解決しようとする課題】
上記従来例は、いずれもポインタ(赤外投光器,指示棒)が1本であり、複数のポインタを具備して使用しようとすると、どのポインタによって表示面のどの部分が指示されているかを識別することが出来ない。このため、複数のポインタを用いて、これらを区別して指示点あるいは指示対象に対して命令を実行させることができない。
【0007】
本発明の目的は、複数のポインタを用いて一つの表示画面を指示した場合でも、各ポインタが指示する位置を容易に認識できる情報表示装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報表示装置は、表示装置と、前記表示装置を撮影し、前記表示装置の表示面に到達した複数のポインタからのポインタ毎に異なった形状の指示信号及びポインタ毎に異なった輝度の指示信号の何れかを含む映像信号を出力する撮影手段と、前記映像信号に基づいて前記複数のポインタからの指示信号の形状及び輝度の少なくとも何れかを利用して、それぞれを識別する識別手段と、前記映像信号に基づいて各指示信号が指示する位置を検出する指示位置検出手段とを備え、前記複数のポインタにそれぞれ対応した別々のマーカを、前記表示装置の表示面における各指示信号が指示する位置に対応させて表示することを特徴とするものである。
【0011】
【発明の実施の形態】
本発明の好適な一実施例である操作・監視装置を図1及び図2に基づいて説明する。
【0012】
本実施例は、モニタカメラ1,画像処理装置2,電子計算機7,大画面表示装置4,CRT表示装置6A〜6G、及びポインタPa及びPbを備える。CRT表示装置6A〜6Gは、操作監視盤3に設けられる。操作監視盤3は、運転員A(一般に複数)がプラント(図示せず)の運転監視のために必要な操作と監視の機能を備えている。CRT表示装置6A〜6Gには運転員Aの各々にとって必要な運転情報が表示される。大画面表示装置4は、操作監視盤3の後方に配置され、CRT表示装置6A〜6Gの表示画面よりも大きな表示面を有する。
【0013】
電子計算機7は、図2に示す座標認識部60,対象物特定部61,表示情報決定部62、及び表示情報作成部63の各処理を実行する。
【0014】
このような構成により、運転員Aは、操作監視盤3に設けられたCRT表示装置6A〜6Gの表示情報を把握することができると共に、大画面表示装置4に表示されるプラント全体に係わる情報も把握することができる。更に、プラント全体を管理する立場の人(以下、管理者と称する、図示していない)Bも大画面表示装置4に表示される情報を把握することができる。このため、情報把握が向上つまりプラントの監視性が高くなる。
【0015】
運転員AはポインタPaを用い、管理者BはポインタPbを用いる。ポインタPbからの遠隔操作により、大画面表示装置4に表示されている情報の変更、及び大画面表示装置4に表示されている情報の一部に関するより詳細な情報の、大画面表示装置4の一部への表示が行われる。また、ポインタPaからの遠隔操作により、大画面表示装置4に表示されている情報の詳細情報を、CRT表示装置6A〜6Gのいずれか及び携帯型表示装置HDへの表示が可能になる。これは、各々のポインタと各種の表示装置4,6A〜6G,HDを対応づけさせておくことにより可能となる。
【0016】
大画面表示装置4のどの部分がポインタPa,Pbによって指示されたかを監視するために、モニタカメラ1及び画像処理装置2が設けられる。更に、どのポインタによって大画面表示装置4を指示しているかを識別するために、ポインタPa,Pbからそれぞれ出力される指示信号、すなわち出射光は、それぞれ異なった形状になっている。図1では、ポインタPaは指示信号としてドット形状の光を出射しており、ポインタPbは指示信号として十字形の光を出射している例を示している。大画面表示装置4の表示画面には、ポインタPa,Pbによる指示位置に出射した光の形状に対応するマーカ5a,5bが後述するように表示される。このため、運転員A及び管理者Bは、大画面表示装置4の表示画面を見ることによって該当するポインタでの指示位置を確認できる。ポインタPa,Pbから出射される光は、赤外線レーザである。
【0017】
まず、管理者Bが、ポインタPbから指示信号である十字形の赤外線レーザ光を出射して大画面表示装置4の表示画面上を指示した場合における本実施例の操作・監視装置の作用について以下に説明する。
【0018】
本実施例の操作・監視装置は、ポインタから出力された赤外線レーザ光の消灯を指示信号の入力とみなしている。モニタカメラ(赤外線カメラ)1は、大画面表示装置4の表示画面を撮影する。モニタカメラ1から出力された赤外光の映像信号は、大画面表示装置4における、ポインタPbから出力された指示信号である十字形の赤外線レーザ光の映像を、含み、画像処理装置2に入力される。ここで、赤外線のレーザを使用する理由は、(1)画像処理装置2及び電子計算機7により認識される、ポインタによる指示点の座標が、認識誤差のために実際の指示点座標と異なることに対応するためである。つまり、操作・監視装置の認識している点をカーソルにより示すことにより、指示信号の入力精度を向上させる。また、(2)赤外線光を出力するポインタPa,Pbと赤外線カメラであるモニタカメラ1を使用すれば、画像処理装置2に取り込まれる映像に可視光が含まれず、画像処理装置2での処理が簡単かつ高速に実施できる。
【0019】
画像処理装置2は、図3の処理を実行する。赤外光の映像信号が入力される
(処理2a)。この映像信号に対して2値化処理が実行される(処理2b)。2値化することにより映像信号に含まれたノイズが除去される。次に、2値画像を用いてその映像信号の特徴量を抽出する(処理2c)。この処理では、2値画像のx軸,y軸への投影分布を取り、2値画像の濃度が基準値Lを超える点の座標を求める。ポインタPbについては図4(d)に示す投影分布が得られ、基準点Lを超える点の座標はx1,x2,y1及びy2 となる。これらの座標x1,x2,y1及びy2 が、2値画像の特徴を示している。処理2dでは、大画面表示装置4の画面上での、ポインタの指示位置を求める。すなわち、座標x1,x2,y1及びy2を用いて、2値画像の中心位置の座標(X,Y)を求める(X=(x1+x2)/2,Y=(y1+y2)/2)。この中心位置の座標(X,Y)がポインタの指示位置となる。次は、ポインタの種別を判定する(処理2e)。ポインタの種別の判定は、座標x1,x2,y1及びy2を用いて求めた面積△S(=(x2−x1)(y2−y1))の大きさによって判定する。図4(d)に対する△S4 に対しては十字形の指示信号を出力するポインタPbであると判定する。ポインタの指示位置及びポインタの種別に関する情報を電子計算機7に出力する(処理2f)。
【0020】
電子計算機7の前述のポインタの指示位置及びポインタの種別の情報を入力する。座標認識部60は、入力した座標(X,Y)に対してメモリ65内に予め記憶さている座標対応表を用いて補正することにより、大画面表示装置4の表示画面上における実際の指示位置の座標(Xi,Yi)を求めて出力する。座標対応表の使用により、カメラ映像の歪及びカメラ位置の影響によって生じる指示位置の誤差を補正することができる。座標(Xi,Yi)及びポインタの種別情報が表示情報作成部63に出力されることにより、大画面表示装置4の画面上の座標(Xi,Yi)にポインタの種別情報に対応したポインタのマーカ(ポインタPbに対しては十字形のマーカ5b)が表示される。ポインタPa,Pbから出力される指示信号は赤外線であるため、このままでは管理者及び運転員は自分が指示している点がどこであるか確認できない。しかし、本実施例は、上記のように、ポインタの種別に対応したマーカが表示されるので、自分が指示している位置を容易に確認できる。対象物特定部61は、ポインタPb(またはPa)により指示されている位置(大画面表示装置4の画面上)に表示されている対象物を特定する。すなわち、対象物特定部61は、現在、大画面表示装置4に表示されている表示情報のデータをメモリ65から検索して入力し、指示点の座標(Xi,Yi)例えば特開平3−179517 号公報3頁下部右欄18行から4頁上部左欄3行及び図3に示されている処理と同様にして、指示点の座標(Xi,Yi)の位置に表示されている対象物を特定する。表示情報決定部62は、その特定された対象物の情報とヘッドセットマイクMbから入力された管理者Bの音声情報(運転員Aの場合はヘッドセットマイクMaから入力)とを併せて、この併せた情報に基づいて表示すべき情報を決定する。この表示すべき情報に関する指令信号が、表示情報作成部63に出力される。表示情報決定部62は、例えば、特開平3−179517 号公報4頁上部左欄15行から6頁下部左欄3行(図1,図5〜図7)、及び8頁上部左欄5行から同頁下部左欄19行(図11,図13及び図14)に記載された処理により、上記特定された対象物の情報と管理者B(または運転員A)の音声情報とを用いて、表示すべき情報を決定する。
【0021】
表示情報作成部63は、表示情報決定部62で決定された表示すべき表示情報に対応する表示情報をメモリ65内の情報を用いて作成する。この表示情報の作成にあたっては、ポインタの種別情報も考慮される。ポインタの種別情報は、座標認識部60,対象物特定部61及び表示情報決定部62を介して表示情報作成部63に入力される。表示情報作成部63は、例えば、ポインタPbによって指示された対象物に関する表示情報を、ポインタの種別情報に対応してメモリ65に記憶されているデータに基づいて作成する。作成された情報は、ポインタの種別に対応して定められている表示装置に出力され、そこに表示される。ポインタPbによって指示された対象物に関する表示情報は、大画面表示装置4に表示される。
【0022】
運転員Aが、ポインタPaから出力した指示信号(1つのドット)により大画面表示装置4に表示されている対象物を指示した場合も、ポインタPbで指示した場合と同様に、画像処理装置2及び電子計算機7で処理が実行される。画像処理装置2の2d及び2eでは、処理2cで求めた図4(a)の座標x1,x2,y1及びy2を用いて、中心位置の座標(X,Y)を求め、面積△S1よりポインタの種別(ポインタPa)を判定する。座標認識部60は、ポインタPaから出力した指示信号に対する座標(X,Y)の位置を補正し、座標(Xi,Yi)を得る。表示情報作成部63は、この座標値を用いて1ドットのマーカ5aを大画面表示装置4に表示する。対象物特定部61及び表示情報決定部62はポインタPbの場合と同じ処理を行う。表示情報作成部63は、ポインタPaによって指示された対象物に関する表示情報を、ポインタの種別情報に対応してメモリ65に記憶されているデータに基づいて作成する。作成された情報は、ポインタPaに対応する例えばCRT表示装置6Aに表示される。
【0023】
このように本実施例によれば、大画面表示装置4の表示画面を指示する複数のポインタを識別することができるので、複数の人によって大画面表示装置4の表示画面を指示した場合にそれぞれの該当する表示情報を作成して表示装置に表示できる。また、複数の人が、同時にそれぞれのポインタにより大画面表示装置4の表示画面を指示した場合でもそれぞれが要求する情報を適切に作成しかつ表示することができる。
【0024】
ポインタに対応して情報を表示すべき表示装置を特定しているので、管理者BがポインタPbで指示した対象物に関する情報(全員が見るべき情報)は大画面表示装置4に、運転員AがポインタPaで指示した対象物に関する情報(運転員A個人が見るべき情報)はCRT表示装置6Aに表示できる。このように、ポインタの種別によって、情報を表示する表示装置を特定しているので、運転員A及び管理者Bの情報の使い勝手が良くなる。運転員Aは、CRT表示装置6Aのタッチ操作によっても情報にアクセスできる。特に、運転員Aが大画面表示装置4をポインタPaで指示することによって大画面表示装置4に表示された情報に関連する情報を運転員Aの監視対象であるCRT表示装置6Aに表示できる。これは、ポインタを識別することによって可能になる。
【0025】
更に、ヘッドマウントディスプレHD(「ニュートン」,Vol.11,No.12,P104〜107,1991年,KYOIKUSHA)のような携帯型の表示装置を用いることにより、運転員Aは、移動しながら、大画面表示装置4をポインタPaによって指示し、運転員Aに必要な個人情報をヘッドマウントディスプレHDに表示することができる。
【0026】
運転員A及び管理者Bは、ポインタを用いて遠隔にて表示画面を指示するので、運転員A及び管理者Bの位置に関係なく大画面表示装置4の表示画面を指示することができる。また、運転員A及び管理者Bの位置に関係なく、指示位置の検出及びポインタの種別の判定が正確に行われる。
【0027】
本実施例によれば、異なる指示信号を出力する複数のポインタを識別し、識別されたポインタによって指示された指示対象物に関する情報を適切に作成し表示することができる。このため、複数の利用者は、異なる指示信号を出力する別々のポインタを使用することによって、自分が必要とする情報を適切に得ることができる。また、複数の利用者が同時にポインタにより指示した場合でも、それぞれが要求する情報が適切に表示される。
【0028】
本実施例は、複数の人が操作場所を限定されることなく指示対象を指示することができ、各々の人に対する情報や共通の情報をそれぞれ異なった表示装置あるいは共通の表示装置に出力することが可能であり、複数の運転員によって運転するプラントの中央制御室での情報提供,金融機関や証券会社での情報提供,会議などのプレゼンテーション等に適用して効果的であり、かつ作業効率や作業の信頼性も一層高めることが可能となり、その工業的価値は極めて高い。
【0029】
更に、ポインタによって指示された表示対象物の情報と音声情報を合わせて表示すべき情報を決定しているので、ポインタ及び音声入力手段による入力上方が制限されず、それらを自由に組み合わせて使用することができる。このため、ポインタ及び音声入力手段を用いた情報の入力に対する運転員等の負担を低減できる。
【0030】
2ドットタイプ及び3ドットタイプのポインタ(赤外線レーザ光を出射)を用いて指示した場合でも、モニタカメラ1から出力された赤外光の映像信号を用いて図4(b)及び(c)に示すような特徴を処理2cで得ることができる。複数のピークが投影分布に現われる場合には、x軸及びy軸における最大値及び最小値を用いて中心座標及び外接四角形の面積ΔSを計算する。例えば、2ドットタイプのポインタにおいては、x軸の投影分布については、x1とx2を求め、y軸の投影分布については、y1とy2を求めて、中心座標及び外接四角形の面積を求める。なお、中心座標を求めない場合においては、x軸,y軸の投影分布の最小値、例えば図4(b)の(x1,y1)座標を求めても良い。
【0031】
位置の指示に用いたポインタの区別は、2値画像内での輝度の高い点の個数、または輝度の高い領域の外接四角形の面積などのデータを用いて実施する。また、ポインタによる指示信号の幾何学的形状を利用し、この形状をあらかじめ画像処理装置2内のメモリ(図示せず)に記憶しておき、テンプレートマッチング法により同一形状のものを検出する方法でもよい。輝度の高い点の個数を求めてポインタを区別する場合は、図4(a)〜(c)に示すドットタイプのポインタを用いる場合であり、x軸またはy軸の2値化後の投影分布において、ピークの数の最大値で判断する。例えば、図4(c)の3ドットタイプのポインタではx軸のピーク数が最大であり、3個であるため、3ドットタイプと判定する。ところで、図5に示す4ドット及び5ドットタイプのポインタでは、ポインタの使用角度によっては、x軸,y軸の投影分布のピーク数の最大値が発光源の数と一致しない場合がある。そのポインタに対しては、基準値L1 よりもレベルの高い別の基準値L2 により2値画像の特徴を抽出する。すなわち、L1 以上のピークの数とL2 以上のピークの数を合計して、x軸,y軸のうち大きい方を求めて、その数によりポインタを識別することが可能である。例えば、図4(c)のy軸においては、ピークの数は2であるが、L1 以上のピークは2個であり、L2 以上のピークは1個であるため、合計で3となる。x軸は、L1 以上のピークが3個であり、L2 以上がゼロであるため、合計で3となる。従って、3ドットタイプのポインタにより指示されていると判定できる。
【0032】
ここで、ポインタの構造例について説明する。図6及び図7は、ドット数が3個のポインタPを示す。Kjは直流電源であり、Keは電流制限用の保護抵抗である。ポインタPは、スイッチK5をONにすることにより、駆動回路Kd1,Kd2,Kd3及び発光ダイオードK4 に電圧が加わえられる。このため、半導体レーザKb1,Kb2,Kb3 からそれぞれ赤外線レーザ光が出力される。これらの赤外線レーザ光は、コリメートレンズKa1,Ka2,Ka3 によって平行光Kc1,Kc2,Kc3になる。広がりのない各赤外線レーザ光が、出射面K6の発光源K1,K2,K3 よりの出射光として出力されることになる。この結果、ポインタPから出力された赤外線レーザ光(指示信号)は、図8に示すように、大画面表紙装置4の表示画面を指示する。座標認識部60及び表示情報作成部63の機能により3つの点5A,5B及び5Cを有するマーカが大画面表示装置4の表示画面に表示される。スイッチK5 をOFFにすると、ポインタPからの赤外線レーザ光の出射は停止される。発光ダイオードK4は発光源K1,K2,K3から光が出力されていることを示すものであり、発光源から目視できないが遠外光(例えば赤外線光)が出力されている場合に特に有効である。
【0033】
図1の実施例で用いたポインタPbの構成を、図9及び図10に示す。ポインタPbは、2個の発光源Kh,Kiを有する。発光源Khは、半導体レーザKj1,焦点レンズKm1,コリメートレンズKn1及びスリットKr1 を備える。発光源Kiも、同様に、半導体レーザKj2,焦点レンズKm2,コリメートレンズKn2及びスリットKr2 を備える。マーカ5bの水平軸における赤外線レーザ光をX軸出力光と称し、その垂直軸における赤外線レーザ光をY軸出力光と称する。スリットKr1から出射される赤外線レーザ光がX軸出力光Ks1であり、スリットKr2から出射される赤外線レーザ光がY軸出力光Ks2である。X軸出力光Ks1及びY軸出力光Ks2 は、それぞれ棒状の出射光であり、大画面表示装置4の表示面上で十字形となるように焦点が合わせられている。このために、半導体レーザとコリメートレンズとの間に焦点レンズKm1,Km2を設けている。ポインタPbと大画面表示装置4との間の距離が変わっても、X軸出力光Ks1 及びY軸出力光Ks2 が互いに中心点で交差するのではなく、位置のずれた点で交差する。このようにして、十字形状の指示信号が得られる。スリットKr1及びKr2は、X軸出力光Ks1及びY軸出力光Ks2がより一層棒状になるように、軸方向に対して垂直の部分の幅が一定値となる様に、広がり光をしゃ断するために設けている。
【0034】
このように棒状の複数の赤外線レーザ光を組み合わせることにより、平行棒,単一棒及びT型等の指示信号を出力するポインタを得ることができる。
【0035】
本発明の他の実施例である操作・監視装置を図11に基づいて説明する。前述した実施例と同じ構成は同じ符号を付す。本実施例は、ポインタPa,Pb,モニタカメラ1,画像処理装置2,座標変換手段10,対象物特定手段11,音声入力装置16A1〜16AN(図1のヘッドセットマイクMa,Mbは一例)、指令入力解析装置15,操作・指示装置9,情報発生手段25,第1表示装置26,第2表示装置である大画面表示装置4を備える。情報発生手段25は、指令出力手段12,制御装置13A1〜13Aj,表示制御装置20,メモリ21、及び音声出力装置24,24Aを備える。第1表示装置26は、CRT表示装置6A〜6G及びヘッドマウントディスプレーHD1〜HDkを備える。
【0036】
ポインタPaは運転員Aの操作により、またポインタPbは管理者Bの操作により図1の実施例と同様な指示信号を大画面表示装置4の表示画面に対して出力する。画像処理装置2は、モニタカメラ1で撮影された大画面表示装置4の表示画面の映像信号を取り込み、図3に示す処理2a〜2fを実行する。
【0037】
処理2bによる2値化により映像信号に含まれているノイズが除去される。処理2dにおいて、ポインタの指示位置として2値画像の中心座標を求めているのは、ポインタで指示する場所が異なることにより大画面表示装置4に結像する指示信号の形状が変形しても、指示した位置と大画面表示装置4の表示画面上で検出した指示信号の位置がずれないようにするためである。しかし、その表示画面上における指示位置がずれた場合には、運転員(または管理者)が再びポインタで指示することで解決する方式とすれば、必ずしも2値画像の中心座標を求めなくてもよく、指示信号の特定位置の座標を求めればよい。画像処理装置2は、ポインタの種別、及びポインタによる指示点の座標(X,Y)を座標変換手段10に出力する。
【0038】
座標変換手段10は、図2の座標認識部60と同じ処理を実行し、入力した座標(X,Y)を補正し、大画面表示装置4の表示画面上における実際の指示位置の座標(Xi,Yi)を求めて出力する。この補正は座標対応表を用いて行われるが、例えば大画面表示装置4の四隅に赤外線発光源を埋め込み、これを発光させておくことにより、上記座標対応を図れるようにする。赤外線であるため、ユーザには見えず効果的である。このほか、大画面表示装置4自体が、特定パターン(例えば画面の四隅のみを白くし、他を黒くする)の情報を出力し、この情報の出力のときのみ一時的にモニタカメラ1の感度を高くして、この特定パターンを認識できる様にして、座標変換の情報を作成することも可能である。
【0039】
対象物特定手段11は座標変換手段10で求めた大画面表示装置4内の座標(Xi,Yi)を基に、運転員等が指示した表示画面上の表示対象物を特定する。この特定は、図12に示す処理により行われる。ポインタから出力された赤外線レーザ光の消灯前における大画面表示装置4内での指示位置の座標(Xi,Yi)を読み込む(処理50)。この座標を用いて、指示されている対象ウィンドウを判定する(処理51)。次いで、対象ウィンドウ内の相対座標(Xw,Yw)を計算する(処理52)。対象ウィンドウ内に表示中の図についての指示領域・文字列の対応データを用いて、相対座標(Xw,Yw)にある、すなわち指示されている表示対象物を決定する(処理53)。指示領域・文字列対応データは、メモリ21に記憶されている表示画面データ内に各図面ごとに用意されているものである。その内容は、指示領域の範囲及び出力文字列に関するデータである。ポインタにて指示されている表示対象物を決定すると、この表示対象物に対応する文字列を出力する。特定された表示対象物に対応する文字列の情報は、表示制御装置20に入力され、メモリ21に記憶される。なお、メモリ21と対象物特定手段11との間の情報の伝送は、表示制御装置20によって行われる。
【0040】
ポインタPa,Pbの出射光は赤外線であるため、運転員は自分が指差している点がどこであるか確認できない。そこで、表示制御装置20は、対象物特定手段11で求めた相対座標(XW,XW)と、画像処理装置2の処理2eで得られたポインタの種別情報とを取り込み、予めポインタの種別に対応づけたマーカの情報を用い、指示信号を出力しているポインタに対応したマーカを大画面表示装置4に座標(XW,XW)の位置で表示させる。この結果、ポインタで指示している点に、該ポインタに対応したマーカを表示することが可能となる。ここで、表示制御装置20は、対象物特定手段11から、相対座標(XW,XW)を取り込むのではなく、対象物を特定した文字列を取り込んでも良い。この場合は、該文字列で示される対象物がどの座標であるかを判定することにより、上述と同様に大画面表示装置4の該座標にマーカを表示することが可能となる。この場合には、表示対象物が特定化できているので、大画面表示装置4に表示している表示対象物をブリンクさせたり、該対象物の表示色を変更させたりして指示点を表示することが可能である。この場合、指示信号に対応づけたブリンク周期,表示色とさせることもできる。
【0041】
運転員Aの入力は、音声による情報あるいはポインタPaを用いた指示により実施される。音声情報は、音声入力装置16A1〜16ANを介して指令入力解析装置15に入力され、認識された後、音声認識情報17として表示制御装置20に入力される。対象物特定手段11で特定された表示対象物に対応する文字列情報も表示制御装置20に入力される。表示制御装置20は、これらの入力情報を、いずれも自然語の単語として扱ってメモリ21に記憶するとともに、大画面表示装置4上に表示する。例えば、図11に示す大画面表示装置4の下の枠内に表示する。運転員等は、その枠内に表示された情報を見ることによって本実施例の操作・監視装置が認識した入力情報をモニタできる。
【0042】
運転員等からの音声情報の入力が終了すると、表示制御装置20は、メモリ21に記憶している音声情報及び表示対象物の文字列情報の単語を統合し、一つの文章とし、次にこの文章の解析、つまり入力文解析を行う。表示制御装置20は内部に入力文解析部(図示せず)を有する。
【0043】
この入力文解析部で行われる入力文解析は、特開平3−179517 号公報に記載された処理(図1の実施例で説明)により実施する。図13にその処理の概要を、「原子炉水位トレンド図示せ」という入力文について示す。この入力文のうち、「原子炉」はポインタにより指示された位置にある表示対象物の上記文字列情報であり、「水位トレンド図示せ」は音声入力情報である。まず、入力文を文法及び辞書を参照して、分かち書きして意味と意味カテゴリを付加する(処理38)。ここで、意味カテゴリとは、対象とする世界で使用される単語の意味をカテゴリ分けしたものである。図13の例では、系統,状態量などがそれにあたる。次に、この結果を用いて入力文の意味を解析する(処理39)。
【0044】
意味解析は、図13に示すように▲1▼及び▲2▼の二つのステップで実施する。まず、要求内容の種類を同定する(▲1▼)。同定のために、要求の種類ごとに標準的な文型を用意している。これらは、意味あるいは意味カテゴリを用いて、ルールの形で記述されている。この文型と入力文の意味あるいは意味カテゴリをマッチングすることにより、要求の種類を同定する。図の例では、“〈trend graph 〉□提示せよ”がマッチングして、要求の種類がトレンド提示要求“trend ”であると同定されている。ここで、記号“〈 〉”は意味カテゴリをマッチングに使用すること、“□”は任意の数の単語が含まれても良いことを示すものである。
【0045】
次に、要求の実行に必要な情報を取得する(▲2▼)。必要な情報及びその取得方法はフレーム型の知識として用意されている。この知識を用いて情報を取得する。図13の例では、必要な情報である、系統機器名と状態量名がいずれも入力文から得られている。必要な情報が入力文に含まれていない場合には、プラント関連知識,対話履歴の利用、あるいは、運転員への問い合わせにより、情報を取得する。意味の解析が終了すると、処理命令として出力する(処理40)。処理命令として、表示すべき情報の内容を出力する。このような入力文解析部は、図1の実施例における表示情報決定部に該当する。
【0046】
表示制御装置20は、内部に表示情報作成部(図示せず)を有する。表示情報作成部は、入力文解析部で得られた表示すべき情報のデータに基づいて表示情報を作成し、画像処理装置2で特定されたポインタの種別に対応する表示装置にその表示情報を出力する。作成された表示情報は、メモリ21から読み出された、ポインタの種別に応じた情報(表示情報を作成するために必要な情報)を用いて作成される。表示情報作成部における処理の一例を、系統図の表示情報作成を例に取って図14に示す。系統図の表示情報作成命令の場合、系統機器名が必要情報として入力文解析部の処理で得られている。この系統機器名を基に対応する表示図を決定する。まず、与えられた系統機器名を基に、メモリ21内の一部の記憶領域に構成された系統図構成要素データベースを検索する(処理41)。このデータベースは図面の名称と、その図に含まれる機器などの構成要素の名称を与えるものである。図面名称と系統機器名を比較し(処理42)、一致するものがあれば、その系統図の表示命令を出力する(処理47)。これは、運転員が図面名称を記憶しており、それをそのまま入力した場合に対応する処理である。検索の結果、処理42で対応する図面がないと判定された場合には、入力された系統機器名をもとに、上記データベース内に記憶されている図面構成要素名称を検索する(処理43)。この検索の結果、対応する要素名称がないと判定された場合は(処理44)、関連図面のない旨を出力し(処理48)、運転員に再入力を要求する。一方、要素名称が発見され、かつその要素を含む図面名称が一つの場合には(処理45)、その系統図の表示命令を出力する(処理49)。一方、図面名称が二つ以上有る場合には、図面の選択処理を実施する。
【0047】
この処理の結果選択された情報の提示命令は、音声出力装置24にも入力され、音声情報23として出力されるが、大画面表示装置4,CRT表示装置6A〜6G,ヘッドマウントディスプレHD1〜HDKの画面の表示を制御するのに使用される。図15に一例としてメモリ21に記憶されている画面表示切換命令の種類を示した。これらの処理命令に従って、画面の表示を切り換える。どの表示装置上の表示を切り換えるかは、画像処理装置2によって得られたポインタの種別情報を基に決定する。つまり、ポインタの種別(ポインタPa,Pb等)に対応して表示装置を割り付けておき、大画面表示装置4の表示画面の指示に用いたポインタの種別に応じて表示装置を決定する。これにより、ポインタに対応して定められている表示装置に、表示制御装置20の表示情報作成部にて作成された表示情報26を表示することができる。
【0048】
図15の処理項目において、系統図表示とは系統図を表示することであり、トレンド図表示とはトレンド図を表示することであり、ウィンドウ消去とは表示したウィンドウを消去することである。ウィンドウ移動とは、表示しているウィンドウを移動することであり、ウィンドウポップとは表示しているウィンドウを表示面の前面に表示することであり、ウィンドウプッシュとは表示してるウィンドウを表示面の背面に表示することである。
【0049】
図16は、CRT表示装置6A〜6Gと大画面表示装置4を使用した場合における本実施例の表示に関する作用の概念を示すものである。例えば、図16の中央に記載された大画面表示装置4において、この大画面表示装置4に表示されたプラントの全体系統図の給水ポンプ部分を運転員AがポインタPaから出力された指示信号により指示し、かつ運転員Aが音声により「系統図示せ」と入力した場合には、(c)に示すように、CRT表示装置6Aに給水ポンプ付近の系統図が表示される。ポインタPaの指示信号で同じところを指示し、運転員Aが「流量トレンド表示」と音声入力した場合には、(d)に示すようにCRT表示装置6Aに給水ポンプ流量のトレンド図が表示される。大画面表示装置4に表示されたプラントの全体系統図の給水ポンプ部分を管理者BがポインタPbから出力された指示信号により指示し、かつ管理者Bが音声により「系統図示せ」と入力した場合には、(a)に示すように、大画面表示装置4に給水ポンプ付近の系統図が表示される。ポインタPbの指示信号で同じところを指示し、管理者Bが「流量トレンド表示」と音声入力した場合には、(b)に示すように大画面表示装置4に給水ポンプ流量のトレンド図が表示される。このような表示は、ポインタPbの指示信号は十字形であり、ポインタPaの指示信号はドット形状であるために可能である。これらの指示信号が識別でき、識別した結果に基づいて、上述したようにポインタに対応する表示装置に情報が出力される。これは、図1の実施例でも行われる。
【0050】
本実施例によれば、図1の実施例と同じ効果を得ることができる。
【0051】
ポインタPa,Pbによって指示され画像処理装置2で特定された表示対象物、及び音声入力情報に基づいて作成された表示情報26を、ポインタPa,Pbから出力された指示信号に対応して定められた表示装置に表示することができる。このため、各々の運転員が必要とする情報、及び運転員全員(含管理者)が把握しなければならない情報を遠隔に指示することができるため、情報入手のための操作を行う場所の制約がなくなり、マンマシン性の高い情報提示が可能である。しかも、表示対象物の指示にあたっては、複数のポインタによりそれぞれ指示することができるためユーザ間相互で使用のタイミングをずらす必要がなく、利用効率が高いという効果がある。
【0052】
本実施例は、第1の表示装置26及び大画面表示装置4に表示情報26を出力するだけではなく、以下のように、プラントの被制御対象物を制御する制御情報14A1〜14Ajを出力することが可能である。
【0053】
指令出力手段12は、表示制御装置20から出力された操作指令情報18を入力すると、これをもとに制御装置13A1〜13Ajのうちのどれに制御指令信号を出力するかを決定し、該当する制御装置に制御指令信号を出力する。
【0054】
操作指令情報18の作成は、以下の通りである。ポインタPaにより大画面表示装置4に表示されている系統図内の1つの機器を指示する。表示制御装置20は、運転員Aの操作により操作・指示装置9から制御指令を示す出力信号を入力したとき、前述したように画像処理装置2で特定された表示対象物(上記の指示された機器)、及び運転員Aの音声情報を統合し操作指令情報18として出力する。
【0055】
各制御装置13A1〜13Ajは、指令出力手段12から出力された制御指令信号と、操作・指示装置9からの出力信号をもとに、制御演算を実施し該当する被制御対象物に対し操作情報14A1〜14Ajを出力する。例えば、表示制御装置20から一例として「モータA,回転数1000rpm にせよ」という操作指令情報18が出力され、指令出力手段12が入力したとする。指令出力手段12は、この入力情報に対して、表示制御装置20と同様な入力文解析,意味解析を行い、モータAを制御する制御装置(例えば制御装置13A1 )を判定し、この制御装置13A1 に対して、回転数の目標値である1000rpm に対応する設定信号を出力する。制御装置13A1 は、その設定信号に対して操作・指示装置9から出力される信号(プラントからのフィードバック信号19であるモータAの回転数を示す信号)を取り込み、上記設定信号とモータAの回転数を示す信号が一致するように制御情報(制御信号)を出力する。
【0056】
指令出力手段12は、表示制御装置20から出力されたポインタの種別情報と制御情報を出力する制御装置とが対応しているかを判断し、予め対応付けられていない場合には、その操作指令情報18を実行しない。このように、大画面表示装置2に対して指示信号を出力するポインタに対して制御機能の範囲を限定できるので、プラント運転の信頼性が向上できる。
【0057】
図11の実施例において、座標変換手段10,対象物特定手段11,表示制御装置20,メモリ21、及び指令入力解析装置15は、ワークステーションにより実現することが可能である。ワークステーションにより実現した表示情報発生機能の構成例を図17に示す。ワークステーション250は、座標認識部31,対象物特定部32,入力制御部33,入力文解析部34,表示情報作成部36、及び表示画面データを記憶したメモリ37を含む。
【0058】
座標認識部31は、座標認識部60と同じ機能を有し大画面表示装置4の表示画面上の実際の指示点の座標(Xi,Xi)を求める。対象物特定部32は、図12の処理で座標(XW,XW)を求め、ポインタで指示している表示対象物を決定し、更にこの表示対象物に対応する文字列情報を出力する。入力制御部33は、この文字列情報と音声入力装置から入力された音声情報とを合せて自然語の一つの文章とし、この文章を入力文解析部34に出力する。入力文解析部34は、図1の実施例と同じく特開平3−179517 号公報4頁上部左欄15行から6頁下部左欄3行及び8頁上部左欄5行から同頁下部左欄19行に記載された処理、例えば図13に示した処理を実施する。入力制御部33と入力文解析部34とは、図1及び図11の実施例における表示情報決定部を構成する。表示情報作成部36は、図1及び図11の実施例における表示情報作成部と同じ機能を有する。このように構成することにより、これらの機能はソフトウェア処理で実現できる。
【0059】
以上の説明では、ポインタからの出力は赤外光であったが、可視光であってもよい。例えば、図5,図6及び図9の各々のタイプのポインタにおいて、赤色光,青色光,緑色光をそれぞれ単独で出力するように、または、赤色,青色及び緑色の光を合成して出力するように構成することも可能である。これによって、同一形状の指示信号を出力するポインタでも、出射光の色を替えるだけで、指示信号の種類、つまりポインタの種類を増やすことが可能である。
【0060】
このためには、モニタカメラ1はカラー用とし、及び画像処理装置2はR(赤色),G(緑色),B(青色)毎のフレームメモリを備えなければならない。更に、画像処理装置2は、各々のフレームメモリに取り込んだ映像情報に対してR,G,B毎の投影分布を求め、これらの結果を基にして指示位置の座標を求めたり、ポインタの種別を識別する。例えば、2値化処理後の投影分布は、赤色による指示信号においては、Rのフレームメモリのデータに対する処理にのみ、及び緑色による指示信号においては、Gのフレームメモリのデータに対する処理にのみ、結果が現われる。従って、どのフレームメモリのデータに対して、結果が現われたかを判断すれば、同一形状の指示信号に対して、色が異なっているかを容易に区別できる。従って、この情報を用いてポインタを識別すればよい。
【0061】
ポインタの出射光が赤外光である場合には、この出射光の波長をポインタ毎に異ならせてもポインタの識別が可能である。可視光の場合には、色の変更になる。複数のポインタにおいて出射する赤外光の波長を替えておき、監視する赤外光の波長に対応させた赤外線フィルタを備えた複数台のモニタカメラを設置することにより、各々のモニタカメラは波長が対応するポインタの出射光である赤外光(指示信号)のみを検出することができる。これにより、ポインタの光源を1個にすることも可能である。また、各々のポインタが出力した指示信号が表示画面上の同一箇所を指示しても、画像処理装置は各々のポインタからの指示信号を区別して検出することが可能となる。
【0062】
図18は、赤外光と可視光の両方を出射できるポインタである。大画面表示装置4の表示画面における2つの点5A,5Bが赤外光であり、1つの点5Dが可視光である。これは、ポインタP1 でどこを指示しているかを可視光で示すためである。K6は、可視光光源であり、例えば、可視光を出射する半導体レーザを用いて図7と同様に構成することができる。
【0063】
ポインタP1 は、前述したマーカを表示装置に表示できない場合に適用すると、その効果は大である。例えば、ミミック表示装置は、パネルにモザイクで系統図を示し、例えば弁の状態が変わったら、色付けしたランプを点灯させてその状態を示したり、モザイク箇所に指示計等を埋め込み、その箇所の状態量(例えば、水位)を該指示計に表示する構成になっている。この様な表示装置においては、マーカを表示面に提示することはできない。ポインタによって、例えば、上記の指示計を指示し、これに関する詳細情報や関連情報を個別のCRT表示装置に出力させようとした場合、指示の位置が意図した場所であるか否かチェックする必要がある。この様な場合に、ポインタP1 を用いれば、可視光を利用者が目視することができるので、指示が確実かつ容易になる。
【0064】
更に、指示した対象物を音声情報を用いて提示することにより、指示位置が利用者の意図した対象物であるが確認できるので、より一層確かな指示を実現できる。この場合、指示した対象物の特定は図11の実施例で述べたように、対象物特定手段11で得られ結果を基にして、これを音声情報に変換して、音声出力装置24から音声情報23として提供することができる。
【0065】
ミミック表示装置を用いて情報を提示する例としては、原子力発電所,火力発電所,鉄鋼プラント,化学プラント等における中央制御室におけるプラント監視,送電経路や電圧,潮流を示す電力系統監視,鉄道における列車運行状況監視,金融や証券などにおける株価情報の提示等がある。
【0066】
上述のポインタP1 を用いれば、操作・監視盤のスイッチや指示計を指差して、これに係わる情報を提示することも可能である。
【0067】
これらの場合にも、指示信号が、ミミック表示装置及び操作・監視盤のどの位置を指示しているか判断する必要がある。しかし、ミミック表示装置及び操作・監視盤の四隅に赤外線発光源を設けて、これらの位置からの相対距離に何があるかをあらかじめ記憶しておけば、指示した対象物を特定することが可能である。また、ポインタとして、図19に示すものを用いてもよい。これらは、すべて可視光の光源を備える。図19の(a)〜(e)は、赤色の光を出射する光源を1個備え、周辺に緑色の光源を配置している。これは、複数のポインタを使用する場合には、各々のユーザが、それぞれのポインタを緑色の指示信号で区別して、赤色の指示信号で指示位置を確認するためである。図19の(f)〜(j)は、この逆で、それぞれのポインタを赤色の指示信号で区別して、緑色の指示信号で指示位置を確認する。このように、指示点を示すための光情報は1つとし、ポインタを区別するための光情報を複数とすることにより、識別可能なポインタ数を多くすることが可能である。画像処理装置としては、これらすべての光源から出射される光を指示信号として扱えばよい。つまり、本ポインタは、ユーザの目視による指示点の確認を可能としている。
【0068】
本ポインタは、スクリーンに撮し出される情報の指示、及びパネル表示情報の指示等に使用し、あるユーザの指示点を他のユーザにも把握してもらいたい場合に、特に有効である。この様な用途としては、会議,説明,打合わせ,発表などが挙げられる。
【0069】
図20は、本発明の他の実施例である大画面表示装置を有する操作・監視装置の構成を示す。本実施例は、図示されていないが、図11の実施例の画像処理装置2,座標変換手段10,対象物特定手段11,音声入力装置16A1〜16AN,指令入力解析装置15,情報発生手段25を備える。4A,4Bが大画面表示装置であり、40,41はプラントの運転に係わる操作が可能なバックアップ盤(いわゆる操作・監視盤である)である。バックアップ盤40,41は、上部に系統別アラーム表示装置8を設ける。表示装置8は、アラーム項目が刻印されているアラームタイル8iを有し、アラームを表示する時には、アラームタイル8iに取り付けられたランプを点灯する。このため、どの系統にアラームが発生したかが分かる。ただし、アラームが発生した系統の中で、複数のアラーム項目のうちどの項目が発生したかは、この系統別アラーム表示装置8のみでは確認できなく、その内容を個別のCRT表示装置6A〜6Gに表示することになる。なお、バックアップ盤40,41は、更に機器状態表示ランプ,CRT表示装置,ELディスプレー,操作スイッチ,記録計等を備える。この部分がパネル表示部である。なお、赤外線発光源40A1〜40A4は、バックアップ盤40の盤面をポインタで指示した場合に、モニタカメラ1で撮影している指示信号の指示位置の座標を指示対象物あるいはバックアップ盤40の盤面上の位置に対応させるために用いる。他の赤外線発光源41A1〜41A4,4A1〜4A4,4B1〜4B4も同様である。
【0070】
さて、操作監視盤3に設けたCRT表示装置6A〜6Gには、運転員A1,A2にとって、プラント運転監視上、必要な情報が表示される。CRT表示装置6A〜6Gへの表示データはプラントからの情報及び運転員A1〜A2が操作手段7A〜7Cから操作した結果をもとにそれぞれ作成される。
【0071】
一方、大画面表示装置4A,4Bに表示される情報は運転員のみならず、プラントを監視する管理者Bによっても監視されるため、本実施例は、プラントの全体構成,プラント管理上重要なパラメータ、及び重要機器の状態が表示される構成になっており、運転状態に応じて、そのメッセージと重要機器の状態がプラント全体構成の中で変化すると共に、重要パラメータの数値が時々刻々表示されるようになっている。さらに、2台の大画面表示装置4A,4Bを用いてプラント全体の状況を監視している。
【0072】
次に、具体的な指示及び表示の例について詳細に説明する。例は、原子力プラントを対象とする。
【0073】
運転員A1 が大画面表示装置4Aを利用して制御棒操作に係わる情報をCRT表示装置6Eに出力する例を説明する。
【0074】
まず、ポインタPa1 により、例えば、炉心表示部(指示信号5aで示されている部分)を指示する。この結果、画像処理装置2は指示対象物及び指示に用いられているポインタを認識する。この結果、図21に示す情報がポインタの種類に対応してCRT表示装置6Eに表示される。表示のための処理は、図11の表示制御装置20によって実行される。大画面表示装置4Aに図21の情報を表示する場合には、既に表示している情報を消して新たに表示するのではなく、図22に示すように、既に表示している情報の上に新たな表示情報Eを表示することが望ましい。なぜなら、この表示方法によれば、プラントの全体に係わる情報の概略を把握することが可能であるからである。CRT表示装置6Eには、図22の新たな表示情報Eを既に表示している情報に代って表示しても良いし、大画面表示装置4Aと同様に重ねて表示してもよい。また、大画面表示装置4A及びCRT表示装置6Eの表示画面に余白があれば、そこに新たな表示情報Eを表示してもよい。
【0075】
図22のように、新たな表示情報Eが大画面表示装置4Aに表示されると、ポインタPa1 を用いて、表示情報Eの必要箇所を指示して情報選択をする。この場合、制御棒操作に係わる情報が必要としているので、この表示情報のうち制御棒駆動系E1 を指差することにより、例えば図23に示す制御棒操作に係わる情報をCRT表示装置6Eに表示することができる。この場合、図22に示す情報Eは不要となるため、表示制御装置20は、大画面表示装置4Aに表示している情報Eを消去するための処理を施す。また、図23に示す情報をCRT表示装置6Eに表示するにあたって、ポインタPa1 で図22の制御棒駆動系E1 を指差するのではなく、ヘッドセットマイクMa1 を用いて、「制御棒駆動系,操作情報、示せ」と音声で入力しても良い。図22の例では、新たな表示情報を大画面表示装置に表示したが、大画面表示装置及びCRT表示装置のいずれかに表示するかをポインタの種別によって予め定めていてもよい。
【0076】
また、各CRT表示装置がタッチ操作可能なものであれば、図21の情報EがCRT表示装置6Eに出力されている場合には、制御棒駆動系E1 の表示部分を指でタッチすることにより、図23の情報を該CRT表示装置6Eに表示することが可能である。また、上述と同様に、ヘッドセットマイクMa1 を用いて、音声により入力しても良い。CRT表示装置6Eに図23のような画面が表示されると、運転員A1 は「操作モード」,「駆動モード」,「シーケンスタイプ」,「制御棒No. 」等をタッチオペレーションによって操作指示する。図23の斜線を施した部分は運転員A1 が操作した結果を表示している。また、図23の左側に表示されている制御棒座標中の黒塗り部分は運転員A1 が制御棒の選択を行った結果として、どの制御棒が選択されたかを、制御棒アドレス(例、26〜27,26〜35,34〜35)と関連づけて表示している。なお、図23はタッチオペレーション付きCRTの表示例であり、操作手段を表示することにより、操作とその操作の結果として得られる情報(例、制御棒の駆動状態の情報)が同一画面に出力されるため、運転員が操作状態を確認するのに非常に便利である。
【0077】
この場合、CRT表示装置6Eだけでなく、他のCRT表示装置に分配して表示することもある。
【0078】
次に、他の運転員A2 が操作・監視盤であるバックアップ盤40を利用して新たな情報をCRT表示装置6Bに出力する例を説明する。情報としてはアラーム情報(警報情報)をCRT表示装置6Bに出力する例を説明する。
【0079】
まず、ポインタPa2 により、系統別アラーム表示装置8のうち特定の系統のアラーム項目を選択して詳細を見たい場合、該当するアラームタイル8i を指差する。指示信号5bによってアラームタイル8i が指示されると、前述の処理によって、画像処理装置2は、指示位置及びポインタの種別を認識する。この結果、例えば図24または図25に示すアラーム情報がCRT表示装置6Bに表示される。図24において、斜線を施した部分は、そのアラーム(MDRFP−Aドリップ8i1とMDRFP−A吸込流量低8i2)が発生していることを示しているが、CRT表示装置6Bでは、発生していないアラームと区別するために表示色を変えて表示する。図25においては、発生したアラームに対して、発生時刻を付加して表示している。図24及び図25のいずれにおいても、どの系統かを示す情報(給水系)を付加している。
【0080】
なお、図25は、アラームタイル8i を指示されることによって表示されるアラーム情報を示している。CRT表示装置6B(タッチ操作可能)に表示される図24の表示情報のうち、斜線部をタッチすることにより、図25の情報を出力するようにしてもよい。このようにすると、系統にどの様なアラーム項目があり、そのうちどのアラーム項目が発生しており、かつ、その発生時刻はいつだったかを利用者が容易に把握できるという効果がある。
【0081】
上記アラーム表示においては、指示対象物を特定せずに指示点を認識することにより、詳細なアラーム情報を表示しているが、これは、下記の理由によるものである。
【0082】
大画面表示装置のように、表示装置の表示面の同一箇所を指示しても、表示画面の内容が異なっていれば、異なった対象物を指示することになる。従って、表示装置の画面を指示する場合には、指示された表示対象物を特定する必要がある。しかしながら、操作・監視盤のように、表示対象物が固定である場合には、指示点と指示対象物が常に1対1の関係で等しいため、指示対象物を特定しなくても、指示位置の座標を判定し、その座標に対する情報を出力すればよい。
【0083】
以上説明した様に、ミミック表示などのパネル表示装置のように、表示対象物が常に固定されている場合には、指示された表示対象物を必ずしも特定する必要はなく、指示された点(座標)を判定することにより、該座標(指示された表示対象物に相当)に対して、あらかじめ割り付けている情報を、該ポインタに対応する表示装置に出力することが可能である。
【0084】
図20の実施例では、大画面表示装置と操作・監視盤の両方への指示を可能としているが、操作・監視盤のように、表示対象が固定されている場合の指示においては、図26に示す本発明の他の実施例である操作・監視装置の構成によって指示点を検出し、この指示点に基づいて新たな情報を発生することができる。本実施例と図11の実施例の異なる点は、図11の対象物特定手段11が指示点検出手段180に替わったことである。この指示点検出手段180は、座標変換手段10の出力情報を指示点の情報としているだけであるため、座標変換手段10を指示点検出手段180と考えてもよい。本実施例は、図1の実施例と同じ効果を得ることができる。
【0085】
図27は、本発明の他の実施例である操作・監視装置の構成を示している。本実施例と図26の実施例と異なる点は、画像処理装置2Aが画像処理装置2の処理2eを実行しなく、替わりに識別手段27を設けたことである。識別手段27は、ポインタPa1〜Pa(N-1),Pb′から出力される識別信号27A1〜27ANに基づいて指示信号を出力しているポインタを識別する。この識別結果は、表示制御装置20に入力される。一方、画像処理装置2Aは、ポインタによる指示点の位置(座標)を求める。得られた位置座標は、座標変換手段10で補正された後、指示点検出手段180を介して表示制御装置20に出力する。
【0086】
本実施例は図1の実施例と同じ効果を生じる。更に、本実施例によれば、画像処理装置2の機能が簡単になるため、画像処理装置の処理を短縮でき、操作・監視装置全体の応答性を高めることができる。さらに、ポインタの識別を識別信号に基づいて処理し、画像処理による識別を不要としたため、形状,色など、同一の指示情報をもつポインタによって指示することも可能である。
【0087】
なお、各ポインタから出力する識別信号としては、超音波信号,無線信号,有線信号が考えられる。しかし、ポインタの使用場所を限定しない様にするためには、超音波信号,無線信号を利用することが望ましい。これらの信号を用いてポインタを識別するためには、識別信号の周波数や出力周期をポインタごとに異ならせる方式等、各種適用できる。
【0088】
本発明の他の実施例である操作・監視装置を説明する。本実施例は、図27の実施例において、指示点検出手段180の替わりに対象物特定手段11を設けた点にある。このため、図27の実施例の効果に加え、指示した対象物を特定して、この対象物に関する新たな情報を発生する場合に有効である。
【0089】
本発明の他の実施例である操作・監視装置を図28に基づいて説明する。本実施例の図27の実施例と異なる点は、指示点検出手段180の替わりに対象物特定手段11を設け、識別手段27の替わりにポインタの識別を音声入力情報を用いて行う識別手段28A1〜28ANを備えたことにある。識別手段28A1〜 28AN の各々は、音声入力装置16A1〜16ANのうちの該当する音声入力装置の出力信号を用いて対応するポインタを識別する。ポインタとこのポインタを使用しながら音声入力する人の音声情報とを予め一対一に対応付けておくことにより、識別手段28A1〜28ANは音声情報に基づいてポインタを識別することができる。識別手段28A1〜28ANの出力信号である識別情報は、指令入力解析装置15に取り込まれ、音声入力による指令の解析結果と共に、表示制御装置20に出力される。以上のようにして音声入力情報を用いてポインタを識別することが可能となる。また、ポインタPa〜Pbと音声入力装置16A1〜16ANを予め一対一に対応づけておくことにより、識別手段28A1〜28ANは音声入力装置16A1〜16ANからの出力信号(音声情報)があったか否かで、ポインタの利用の有無が判断できる。この判断結果を識別情報として指令入力解析装置15に出力する場合においては、識別手段28A1〜28ANの処理が極めて簡単になるという特徴がある。
【0090】
図29は、本発明の他の実施例である操作・監視装置を示す。本実施例が、図28の実施例と12と異なる点は、図28の実施例における対象物特定手段11が指示点検出手段180に替わっていることである。図28の実施例は、ミミック表示などのように、表示対象物が固定の場合に適用可能であるが、本実施例は、表示対象物が可変の場合にも適用可能である。本実施例は、図1の実施例と同じ効果も得ることができる。
【0091】
本発明の他の実施例である操作・監視装置を図30により説明する。本実施例が、図11の実施例と異なる点は、マーカ5a,5b,5e,5f,5g,……が予め大画面表示装置4に表示されており、ポインタPa,Pb等の指示信号をこれらのマークの1つに当てることにより、当該マークを選択できる。この選択したマークを該当するポインタの操作により、指示したい表示対象物上に移動させて、ポインタから出射していた指示信号を消すことにより、該表示対象物が選択される。これらの処理は、表示制御装置20が実施する。表示制御装置20は、予め登録しているマーカ5a等を大画面表示装置4の予め定められた領域(図30では表示領域の下部に設けている。)に表示する。
【0092】
図11,図26〜図30の実施例において、各々のポインタで種々の表示対象物あるいは表示位置を指示して、その指示対象物あるいは指示位置に関する新たな情報を発生することは既に述べた。しかしながら、プラント制御のように、各々の運転員の役割が定まっているような場合には、各々の運転員による指示範囲を限定する様にすることが望ましい場合もある。この様な場合に対応できるようにするためには、指示範囲をポインタごとに割りつけておき、ポインタによって指示したときに、該ポインタによる指示が、この予め定められている指示範囲か否かを判定し、指示範囲に入っている場合にのみ、その指示を受けつけて処理する必要がある。
【0093】
この判定処理は、表示制御装置20によって実行する。この場合、表示制御装置20は図31に示す構成、特にその判定処理を行う割付け判定手段20Aを有する。この図31の構成は、図11及び図26〜図30の各実施例の表示制御装置20に適用することができる。
【0094】
割付け判定手段20Aは、指示範囲登録情報記憶手段20A1 及び一致判定手段20A2 を有する。一致判定手段20A2 は、ポインタの識別情報(ポインタの識別結果を示す情報)と指示位置・対象情報(指示している位置あるいは指示している対象物を示す情報)を入力した場合、指示範囲登録情報記憶手段20A1から上記識別情報に対応した指示可能な範囲を示す情報(指示範囲登録情報)を読み出す。この読み出された情報と入力の指示位置・対象情報とを比較し、一致しておれば表示制御処理部20Bに指示を許容する許可情報を出力する。一致しない場合には、不許可情報を出力する。これによって、ポインタごとの指示の範囲の限定が可能となる。
【0095】
表示制御処理部20Bは、図11及び図26〜図30の各実施例の表示制御装置20における入力文解析部及び表示情報作成部の機能を有する。従って、表示制御処理部20Bは、許可情報が入力されたとき、入力文解析部及び表示情報作成部での処理によって該当する表示情報を作成し、これを対応する表示装置に出力する。
【0096】
これまでの説明においては、ポインタから出射している指示情報が消える直前に指示されている指示点あるいは指示対象をポインタによって指示された指示点あるいは指示対象としていた。しかし、利用者が誤ってポインタのスイッチ(図6及び図7のK5 )を離したり(OFF状態)、別な人がポインタと大画面表示装置間を横切ったりして、指示情報が一時的に消え、利用者が指示したい指示点及び指示対象物とは異なった部分を指示したと見なしてしまうことが考えられる。これに対しては、ポインタのスイッチを一定期間内で2度離した場合にのみ、指示信号が真に消えたと見なすようにすることにより、この問題を解決することができる。つまり、指示信号が一度消え、ある期間内に再度発せられ、さらに該指示信号が消えた時にのみ、はじめて指示信号が消えたと見なすものである。つまり、ポインタのスイッチのダブルクリック操作(秒あるいはそれ以下の短時間の操作)に対して、指示信号が消えたと判断するものである。このための処理は、図32に示す通りであり、図1,図11、及び図26〜図30の各実施例における画像処理装置2(または表示制御装置20)によって実行される。
【0097】
図32の処理を具体的に説明する。図32は指示信号を検出した時の処理を示しているが、この処理全体を繰り返し実行する。図32の出力情報J1 は、正しく指示信号が消えたことを示す情報である。出力情報J1 が得られるときのみ、表示制御装置20はポインタの指示に対して新たな情報を発生する。出力情報J2 に対しては、指示信号がどの位置にあるかを示しているだけであり、マーカの表示等に利用する。図32においては、指示信号が3回以上発せられた場合には、出力情報Aを出力しないようにして、指示信号検出の信頼性を高めている。実際にポインタでダブルクリック操作を試みたところ、何度かはポインタのスイッチを3回オン・オフしてしまった。このため、図32において、状態Dが得られた場合には、即、出力情報J1 を出力するように処理してもよい。これによって、実操作にあった処理を実現することが可能である。
【0098】
図33は、ポインタのダブルクリック操作に対する指示信号の出力状況を示した図である。
【0099】
図32の処理においては、ステップS1で指示信号を検出し、ステップS2で指示信号が消えたか否かを判断する。指示信号が消えていなければ、ステップ10を処理し、再び先頭に戻り、ステップS1,S2を処理する。ステップS2 で指示信号が消えたと判定されればステップS3 に進む。この状態が、図33のt0 からt1 に至り、△T1 の期間になっている状態である。
【0100】
ステップS3 で指示信号が存在しないと判定されたときステップS4に進む。ステップ4に示すように、この処理結果がYESであれば、再びステップS3 に戻る。つまり、△T1 の期間に存在していることになる。ステップ4の処理結果がNOであれば、△T1 内で指示信号の再出力がなかったことになるので、ステップS10を処理後、先頭に戻る。つまり、ポインタはダブルクリックされていないと判断している。これにより、指示信号検出の信頼性を高めている。
【0101】
次に、ステップS3 の処理結果がYESであればステップS5 に進む。この状態は、図33の△T2 の状態になったことを示す。ステップS5 において、処理結果がNOであれば、ステップS6 に進む。ステップS6 において、△T2 経過しても指示信号が消えないと判定されれば、ポインタのダブルクリックがなされなかったことになるので、ステップS10を処理後、先頭に戻る。ステップS6 の処理結果がYESであれば、ステップS5 に戻る。ステップS5 の処理結果がYESであれば、ステップS7 に進む。ステップS7 の状態は、図33のt3 とt4 間の状態である。ステップS7 の処理結果がNOであり、かつステップS8 の処理結果もNOであれば、ポインタはダブルクリックされたことになる。従って、ステップS9 を処理後、先頭に戻るステップS8 の処理結果がYESであれば、ステップS7 に戻る。ステップS7 の処理結果がYESであれば、図33のt4 とt5 間の状態になっている。つまり、ダブルクリック以上の操作を実施したことになるので、ステップS10を処理後、先頭に戻る。
【0102】
以上述べたように、ダブルクリック操作を所定時間内で実施した時にのみ、指示信号によって特定箇所を指示したと見なすことが可能となる。ただし、前述した様に、ダブルクリック以上の操作(例えば、3回のクリック操作)を実施しても、その操作を許容する様にするとすれば、ステップS5 の処理結果がYESであればステップS7,S8を不要とし、ステップS9 を実行するようにすればよい。図33においては、t3 以降の状態はすべて許容することになる。これによって、個人的なポインタの操作不慣れがあっても、これを許容した指示が可能となる。なお、ステップS10において、消えた指示信号の座標を出力するとしているが、消えた指示信号を検出することは出来ないので、厳密には指示信号が消える直前の指示信号の座標である。
【0103】
ここで、述べた指示信号検出の信頼性向上策については、ポインタの種類が複数であっても、単一であっても、いずれに対しても適用できる。さらに、単にポインタの数が複数であっても単一であっても、いずれの場合であっても良い。以下の実施例についても同様である。
【0104】
図34は、指示信号検出の信頼性向上策に対する他の実施例を示す図である。説明の対象を大画面表示装置4とする。大画面表示装置4の表示画面に対して、無効表示エリアAR1を設けて、このAR1内には情報を表示しない様にし、有効表示エリアAR2内(指示の対象範囲である)に情報を表示するように予め定めておく。これは図11の表示制御装置20によって実行される。このように、表示装置の表示画面内の周囲に無効表示エリアAR1を設けることにより、ユーザが、この無効表示エリアAR1をポインタで指示することはしなくなるので、このAR1に指示信号が入れば、このAR1内で指示信号が消えても、指示が有効であるとは見なさないようにすることができる。このAR1がないと図34に示すように、指示信号を右上に移動させていき、大画面表示装置4から指示信号がはみだして消えると、その消える直前の指示信号の座標を指示信号が消えた位置と見なしてしまう。これに対して、図34のように大画面表示装置の表示画面を取り扱うことにより、この問題を解決することができる。なお、無効表示エリアAR1に指示信号が存在しているときには、マーカはAR1内に表示される。
【0105】
ミミック表示などのパネル表示装置や操作・監視盤の指示に対しては、指示対象範囲を有効表示エリアAR2とし、その他を図34と同一とするが、該有効表示エリアAR2以外をすべて無効表示エリアAR1とすることにより対応可能である。
【0106】
図35は、上記対策のための、図1,図11、及び図26〜図30の各実施例における画像処理装置2(又は表示制御装置20)によって実行する処理手順を示している。図35の出力情報J1 は、正しく指示されたことを示す情報であり、この情報が得られたときのみ、表示制御装置20は、ポインタの指示に対して新たな情報を発生する。出力情報J2 は、指示信号がどの位置にあるかを示しているだけであり、マーカの表示等に利用する。
【0107】
図35において、ステップS1 で指示信号を検出し、ステップS2 で指示信号が無効表示エリアAR1内にあるか否かを判断する。この判断結果がYESであれば、ステップS6 の処理を実行して先頭に戻る。つまり指示信号が無効表示エリアAR1に存在しているので、仮にこの無効表示エリアAR1で指示信号が消えたとしても、それを有効と見なすことのないようにしている。ステップS2 において、処理結果がNOであれば、ステップS3 に進む。ここで、指示信号が有効表示エリアAR2内にあれば、ステップS4 に進み、指示信号が消えたが否か判断する。指示信号が消えれば、ステップS5 に進み、出力情報J1 を出力し、先頭に戻る。それ以外はすべてステップS6 の処理を実施して、先頭に戻る。図35の出力情報J1 は図32のそれと同一であり、図35の出力情報J2 は図32のそれと同一である。これにより、有効表示エリアAR2内を指示している時に、指示信号が消えたときのみ、該指示位置あるいは指示対象に対して、新たな情報を発生することが可能となり、指示信号の検出に対する信頼性を高めることが可能である。
【0108】
さらに、図35の処理において、ポインタをダブルクリック操作で指示信号を消した時にのみ、出力情報J1 を出力する様にすることも可能である。つまり、図35と図32の処理を併用することであるが、これは、図32のステップS2 以降の処理ステップ(S2〜S10)を図35のステップS4 以降の処理ステップ(S4〜S6)に置きかえることにより実現できる。これにより、より一層指示信号検出に対する信頼性を高めることができる。
【0109】
また、指示信号を移動させている時に指示信号が消える場合がある。その要因としては、ユーザのポインタ操作により、指示信号を意図して消す場合と、大画面表示装置等から指示信号がはみ出して消える場合がある。前者は問題ないが、後者に対しては、指示信号の移動軌跡を追跡しておき、指示信号が大画面表示装置等からはみ出ると予測した場合には、該指示信号が消えても、それを有効と見なさないようにすることができる。
【0110】
以上述べた各種処理方式は、ポインタの実操作に則しており、指示信号検出に対する信頼性を高めることが可能である。
【0111】
【発明の効果】
本発明によれば、複数のポインタを用いて一つの表示画面を指示した場合でも、指示信号を出力しているポインタに対応したマーカを表示させ、各ポインタが指示する位置を容易に認識できる。
【図面の簡単な説明】
【図1】本発明の一実施例である操作・監視装置の構成図である。
【図2】図1の電子計算機内の機能を示す詳細構成図である。
【図3】図1の画像処理装置で実行される処理手順を示す説明図である。
【図4】図3の処理2c〜2eの具体的な内容を示す説明図である。
【図5】各種ポインタの光出射面を説明する図である。
【図6】ポインタの一例の斜視図である。
【図7】図6のポインタPのレーザ光発生回路の説明図である。
【図8】図6のポインタPから出力される指示信号の説明図である。
【図9】図1のポインタPbの斜視図である。
【図10】図9のポインタの十字形の指示信号を出力するための発光源の構成図である。
【図11】本発明の他の実施例である操作・監視装置の構成図である。
【図12】図11の対象物特定手段にて実行される処理手順の説明図である。
【図13】図11の表示制御装置の入力文解析部で実行される入力文解析の処理内容を示した説明図である。
【図14】図11の表示制御装置の表示情報作成部で実行される表示情報作成の一処理内容を示した説明図である。
【図15】画面表示切換命令の説明図である。
【図16】指示した対象物に関する情報の表示例を示す説明図である。
【図17】図11の座標変換手段,対象物特定手段,指令入力解析装置,表示制御手段の機能を備えたワークステーションの構成図である。
【図18】ポインタの他の実施例の斜視図である。
【図19】図18のポインタの光出射面の構成例を示す説明図である。
【図20】本発明の他の実施例である操作・監視装置の構成図である。
【図21】図20で大画面表示装置に表示された炉心表示部をポインタにて指示した場合に表示装置に表示される情報の一例を示す説明図である。
【図22】図20の新たな表示情報を大画面表示装置に表示した例を示す説明図である。
【図23】図22に示す表示情報のうち制御棒駆動系E1 を選択した場合にCRT表示装置に表示される情報の一例を示す説明図である。
【図24】図20のアラームタイル8i をポインタで指示した場合の表示例を示す説明図である。
【図25】図20のアラームタイル8i をポインタで指示した場合の他の表示例を示す説明図である。
【図26】本発明の他の実施例である操作・監視装置の構成図である。
【図27】本発明の他の実施例である操作・監視装置の構成図である。
【図28】本発明の他の実施例である操作・監視装置の構成図である。
【図29】本発明の他の実施例である操作・監視装置の構成図である。
【図30】本発明の他の実施例である操作・監視装置の構成図である。
【図31】割り付け判定手段を有する表示制御装置の他の実施例の構成図である。
【図32】指示対象及び指示点を検出するにあたって適用したダブルクリックに関する処理手順の説明図である。
【図33】図32のポインタのダブルクリック操作に対する指示情報の出力状況を示す説明図である。
【図34】指示情報検出の信頼性向上策に対する他の実施例である。
【図35】指示対象や指示点を検出するにあたって、検出の信頼性を高めた処理方式の他の例である。
【符号の説明】
HD,HD1〜HDK…ヘッドマウントディスプレー、Pa,Pb…ポインタ、1…モニタカメラ、2,2A…画像処理装置、2c…特徴抽出部、2d…指示位置検出部、2e…ポインタ識別部、3,40,41…操作・監視盤、4,4A,4B…大画面表示装置、5a,5b…マーカ、6A〜6G…CRT表示装置、7…電子計算機、10…座標変換手段、11…対象物特定手段、15…指令入力解析装置、16A1〜16AN…音声入力装置、20…表示制御装置、21,37,65…メモリ、25…情報発生手段、27…識別手段、31,60…座標認識部、32,61…対象特定部、34…入力文解析部、36,63…表示情報作成部、62…表示情報決定部、180…指示点検出手段、AR1…無効表示エリア、AR2…有効表示エリア。
Claims (1)
- 表示装置と、前記表示装置を撮影し、前記表示装置の表示面に到達した複数のポインタからのポインタ毎に異なった形状の指示信号及びポインタ毎に異なった輝度の指示信号の何れかを含む映像信号を出力する撮影手段と、前記映像信号に基づいて前記複数のポインタからの指示信号の形状及び輝度の少なくとも何れかを利用して、それぞれを識別する識別手段と、前記映像信号に基づいて各指示信号が指示する位置を検出する指示位置検出手段とを備え、前記複数のポインタにそれぞれ対応した別々のマーカを、前記指示位置検出手段により検出された前記表示装置の表示面における各指示信号が指示する位置に対応させて表示することを特徴とする情報表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001383081A JP3744418B2 (ja) | 2001-12-17 | 2001-12-17 | 情報表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001383081A JP3744418B2 (ja) | 2001-12-17 | 2001-12-17 | 情報表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33490793A Division JP3277658B2 (ja) | 1993-12-28 | 1993-12-28 | 情報表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002278698A JP2002278698A (ja) | 2002-09-27 |
JP3744418B2 true JP3744418B2 (ja) | 2006-02-08 |
Family
ID=19187545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001383081A Expired - Fee Related JP3744418B2 (ja) | 2001-12-17 | 2001-12-17 | 情報表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3744418B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4257221B2 (ja) | 2003-03-31 | 2009-04-22 | 東芝松下ディスプレイテクノロジー株式会社 | 表示装置および情報端末装置 |
JP2005190127A (ja) * | 2003-12-25 | 2005-07-14 | ▼しょう▲達科技股▼ふん▲有限公司 | ダブルタップ動作の識別方法および制御装置 |
JP5307108B2 (ja) * | 2010-10-29 | 2013-10-02 | 株式会社コナミデジタルエンタテインメント | 検出システム、それが適用された電子黒板装置、その制御方法及び、コンピュータプログラム |
JP5912059B2 (ja) * | 2012-04-06 | 2016-04-27 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JP6834614B2 (ja) * | 2016-07-12 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2001
- 2001-12-17 JP JP2001383081A patent/JP3744418B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002278698A (ja) | 2002-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3277658B2 (ja) | 情報表示装置 | |
US6188388B1 (en) | Information presentation apparatus and information display apparatus | |
US6840627B2 (en) | Interactive display device | |
JP3909554B2 (ja) | プレゼンテーション制御システム及びその制御方法 | |
CN103092432B (zh) | 人机交互操作指令的触发控制方法和***及激光发射装置 | |
JP3419050B2 (ja) | 入力装置 | |
EP0771460B1 (en) | Interactive projected video image display system | |
JP4057200B2 (ja) | 座標入力装置および座標入力装置の記録媒体 | |
US20050184958A1 (en) | Method for interactive user control of displayed information by registering users | |
US7956842B2 (en) | Pointing input system and method using one or more array sensors | |
US20080024443A1 (en) | Function command system, function command device, function command analysis system, presentation system, and computer readable medium | |
US20030052859A1 (en) | Laser and digital camera computer pointer device system | |
JP3744418B2 (ja) | 情報表示装置 | |
JP3219309B2 (ja) | 作業管理システム及び入力装置 | |
US20200050857A1 (en) | Methods and systems of providing augmented reality | |
JP3198783B2 (ja) | 情報表示装置 | |
Sharma et al. | Interactive projector screen with hand detection using gestures | |
JP3470170B2 (ja) | 遠隔指示入力方法及び装置 | |
JP2600533B2 (ja) | タッチ入力装置 | |
KR20070120922A (ko) | 레이저 포인터의 궤적을 카메라로 영상 처리하여디스플레이 화면을 제어하는 새로운 명령 처리 방식에 대한방법 | |
KR102660028B1 (ko) | 다중 스케일 레이저 가공 시스템 및 이에 구비되는 레이저 가공 제어 장치 | |
US20110285624A1 (en) | Screen positioning system and method based on light source type | |
JP3411994B2 (ja) | 遠隔指示入力システム | |
JPH09251285A (ja) | ポインティング位置表示方法 | |
JPH06332612A (ja) | ポインティング位置検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |