JPH04308895A - Method for video operation, video search, video process definition, remote operation monitoring, and device or system - Google Patents

Abstract

PURPOSE:To enable an operator to intuitively grasp an object of operation and its operation result on a remote operation monitor system. CONSTITUTION:When the display position of a button 414 in a video display area 200 where an image from a camera 60 is displayed is pressed with a finger strongly while horizontally moving the finger, a man-machine server 20 sends a command to an actuator which controls a knob 424 through a computer 50 for control each time the finger moves and actually moves the knob 424 according to the motion of the finger. As a result of the movement of the knob 424, the pointer of a meter 422 also deflects. How the knob 424 moves and the pointer of the meter 422 deflects is photographed by the camera 60 and an image is projected on the video display area 200. Consequently, the operator feels as if he moves the knob 424 with his finger. Therefore, the operator can feel as if he were moving a remote equipment actually. Consequently, the operator can grasp the object of operation and the operation result intuitively and misoperation is reduced.

Description

【発明の詳細な説明】[Detailed description of the invention]

【０００１】0001

【産業上の利用分野】本発明は、ビデオ映像（以下、単
に映像と呼ぶ）を利用したマンマシンインタフェース（
以下、単にマンマシンと呼ぶ）に関し、特にビデオカメ
ラから入力された映像（以下、単にカメラ映像と呼ぶ）
に対して操作を施すことにより、遠隔にある事物を監視
、操作するに適した映像操作方法及び装置、映像探索方
法及び装置、映像処理定義方法及び装置、および、発電
プラント、化学プラント、鉄鋼圧延機、ビル、道路、上
下水システムなどの遠隔運転監視方法及びシステムに関
する。[Industrial Application Field] The present invention provides a man-machine interface (hereinafter simply referred to as "video") using video images (hereinafter referred to simply as images).
In particular, video input from a video camera (hereinafter simply referred to as camera video)
Video manipulation methods and devices, video search methods and devices, video processing definition methods and devices, and power plants, chemical plants, and steel rolling plants suitable for monitoring and manipulating things remotely by performing operations on objects. The present invention relates to remote operation monitoring methods and systems for aircraft, buildings, roads, water and sewage systems, etc.

【０００２】0002

【従来の技術】原子力発電所に代表される大規模なプラ
ントシステムを安全に運転していくためには、適切なマ
ンマシンをもった運転監視システムが不可欠である。プ
ラントは、操作者の「監視」「判断」「操作」の３つの
作業によって運転維持される。運転監視システムは操作
者のこうした３つの作業が円滑にできるようなマンマシ
ンを備えている必要がある。「監視」作業では、プラン
トの状態が即座にまた正確に把握できる必要がある。「
判断」時には、判断の材料、根拠となる情報を操作者が
素早く参照できなければならない。「操作」時には、操
作の対象、操作の結果が直感的にわかり、操作者の意図
する操作が正確かつ迅速に実行できるような操作環境が
不可欠である。BACKGROUND OF THE INVENTION In order to safely operate large-scale plant systems such as nuclear power plants, an operation monitoring system with appropriate man-machine equipment is essential. A plant is operated and maintained by the operator's three tasks: "monitoring,""judgment," and "operation." The driving monitoring system must be equipped with a man-machine that allows the operator to perform these three tasks smoothly. In "monitoring" work, it is necessary to be able to quickly and accurately grasp the status of the plant. "
When making a judgment, the operator must be able to quickly reference the information that provides the basis for the judgment. During "operation", it is essential to have an operating environment in which the target of the operation and the result of the operation can be intuitively understood, and the operation intended by the operator can be executed accurately and quickly.

【０００３】従来の運転監視システムのマンマシンを、
「監視」「判断」「操作」の各作業ごとに概観してみる
。[0003] The conventional man-machine operation monitoring system is
Let's take an overview of each task: "monitoring,""judgment," and "operation."

【０００４】（１）監視 プラント内の状態は、圧力や温度などを検知する各種の
センサからのデータと、プラントの各所に配置されたビ
デオカメラからの映像とを監視することによって把握で
きる。各種センサからの値は、グラフィックディスプレ
イなどに様々な形態で表示される。トレンドグラフやバ
ーグラフなども多く利用されている。一方、ビデオカメ
ラからの映像は、グラフィックディスプレイとは別な専
用のモニタに表示されることが多い。プラント内には４
０個以上のカメラが設置されることも少なくない。操作
者はカメラを切り替えたり、カメラの方向やレンズを制
御しながらプラント各所の監視を行なう。通常の監視業
務では、カメラからの映像を操作者が見ることは滅多に
無く、カメラ映像の利用率は低いのが現状である。 （２）判断 プラントに何か異常が発生したときには、操作者はセン
サやカメラから得られる多量の情報を総合的に調べて、
プラント内で何が起きているかを素早く的確に判断しな
ければならない。現状の運転監視システムでは、各種セ
ンサからのデータや、カメラからの映像が独立に管理さ
れているため、それらを関連づけながら参照するのが難
しく、操作者に大きな負担をかけている。(1) Monitoring The conditions within a plant can be ascertained by monitoring data from various sensors that detect pressure, temperature, etc., and images from video cameras placed at various locations in the plant. Values from various sensors are displayed in various forms, such as on a graphic display. Trend graphs and bar graphs are also widely used. On the other hand, images from a video camera are often displayed on a dedicated monitor separate from the graphic display. There are 4 in the plant.
It is not uncommon for zero or more cameras to be installed. Operators monitor various parts of the plant by switching cameras and controlling camera directions and lenses. In normal monitoring operations, operators rarely see images from cameras, and the utilization rate of camera images is currently low. (2) When an abnormality occurs in the decision-making plant, the operator comprehensively investigates the large amount of information obtained from sensors and cameras.
It is necessary to quickly and accurately determine what is happening inside the plant. In current driving monitoring systems, data from various sensors and images from cameras are managed independently, making it difficult to correlate and refer to them, placing a heavy burden on the operator.

【０００５】（３）操作 操作は操作盤上のボタンやレバーを用いて行なう。最近
では、グラフィックディスプレイとタッチパネルを組み
合わせて、画面上に表示したメニューや図形を選択する
ことによって、操作を行なえるようなシステムも多くな
ってきた。しかしながら、操作盤上のボタンやレバー、
またディスプレイ上のメニューや図形といったものは、
現場の事物とは切り離された抽象的な形態であり、操作
者がそれらの機能や、操作の結果を想起するのが困難な
場合がある。すなわち、所望の操作がどのレバーを引け
ば可能なのかがすぐわからなかったり、あるボタンを押
すとプラント内のどの機器にどんな操作指令が送られる
のかが直感的につかみにくいといった問題がある。また
、操作盤がカメラなどのモニタとは独立に構成されてい
るため装置が大型化するという問題もある。(3) Operations are performed using buttons and levers on the operation panel. Recently, there have been an increasing number of systems that combine a graphic display and a touch panel and allow operations to be performed by selecting menus and figures displayed on the screen. However, the buttons and levers on the control panel,
Also, items such as menus and graphics on the display,
They are abstract forms that are separated from things in the field, and it may be difficult for operators to recall their functions and the results of operations. That is, there are problems in that it is difficult to immediately know which lever to pull to perform a desired operation, or it is difficult to intuitively understand which operation command will be sent to which device in the plant when a certain button is pressed. Furthermore, since the operation panel is configured independently of a monitor such as a camera, there is also the problem that the device becomes larger.

【０００６】[0006]

【発明が解決しようとする課題】上述のように、従来技
術には下記の問題があった。SUMMARY OF THE INVENTION As mentioned above, the prior art has the following problems.

【０００７】（１）操作盤上のキー，ボタン，レバーに
よる遠隔操作や、画面上のメニューやアイコンを使った
遠隔操作では、現場の臨場感が伝わりにくいため、実際
の操作対象や操作結果を直感的につかみにくく、誤操作
する可能性が高い。(1) Remote control using keys, buttons, and levers on a control panel, or using menus and icons on a screen, does not convey the sense of being on site, so it is difficult to convey the sense of being on site. It is difficult to grasp intuitively, and there is a high possibility of incorrect operation.

【０００８】（２）操作者が直接カメラの切り替や、遠
隔操作をしなければならず、多数のカメラを用いて監視
を行なう場合、見たいところを映してくれるカメラを簡
単に選択できない。また、遠隔にあるカメラを操作して
、見たいところがよく見えるようにするのに手間がかか
る。(2) The operator must directly switch cameras or remotely control them, and when monitoring using a large number of cameras, it is not easy to select the camera that shows the desired area. Additionally, it takes time and effort to operate a remote camera so that you can clearly see what you want to see.

【０００９】（３）ビデオカメラからの映像を映す画面
と、他のデータを参照する画面と、操作するための画面
または装置とが別になっており、全体の装置が大きくな
る、映像と他のデータとの相互参照がやりにくいなどの
問題がある。(3) The screen for displaying images from the video camera, the screen for referencing other data, and the screen or device for operation are separate, increasing the overall size of the device. There are problems such as difficulty in cross-referencing with data.

【００１０】（４）カメラ映像は臨場感を伝える効果は
高いが、情報量が多く、抽象化されていないため、操作
者がカメラ映像内の構造を直感的につかみにくいという
欠点がある。一方、グラフィックスによる表示は、重要
な部分を強調し、不必要な部分を簡略化し、本質的な部
分だけを抽象化して表示することができるが、実際の事
物や事象と切り離された表現となり、操作者がグラフィ
ック表現と実際の事物、事象との関係を容易に想起でき
なくなる恐れがある。(4) Although camera images are highly effective in conveying a sense of reality, they have a drawback in that they contain a large amount of information and are not abstracted, making it difficult for an operator to intuitively grasp the structure within the camera images. On the other hand, graphical displays can emphasize important parts, simplify unnecessary parts, and abstract and display only essential parts, but they are representations that are separated from actual things and events. , there is a risk that the operator will not be able to easily recall the relationship between the graphic representation and the actual thing or event.

【００１１】（５）カメラからの映像情報と、他の情報
（例えば、圧力や温度などのデータ）とが全く独立に管
理されており、相互参照が簡単にできない。このため状
況の総合判断することが難しい。(5) Image information from the camera and other information (for example, data on pressure and temperature) are managed completely independently, and mutual references cannot be easily made. This makes it difficult to make a comprehensive judgment on the situation.

【００１２】本発明の目的は、前記従来技術の問題を解
決し、下記（１）から（６）の少なくとも一つを達成す
ることにある。An object of the present invention is to solve the problems of the prior art described above and to achieve at least one of the following (1) to (6).

【００１３】（１）遠隔運転監視システム等において、
運転員が操作の対象や操作結果を直感的に把握できるよ
うにすること。(1) In a remote operation monitoring system, etc.
To enable an operator to intuitively understand the object of operation and the result of operation.

【００１４】（２）カメラの選択や、カメラの遠隔操作
に煩わされることなく、監視したいところの映像を簡単
に見れるようにすること。(2) To be able to easily view the image of the area to be monitored without having to worry about camera selection or remote control of the camera.

【００１５】（３）遠隔運転監視システムなどの小型化
、省スペース化を図ること。(3) Miniaturization and space saving of remote operation monitoring systems, etc.

【００１６】（４）カメラ映像とグラフィックスそれぞ
れの長所を生かし、短所を補うこと。 （５）異種の情報を素早く相互参照できるようにするこ
と。例えば、カメラ映像で現在監視している部分の温度
をすぐに参照できるようにすることなど。(4) Make use of the strengths of camera images and graphics to compensate for their weaknesses. (5) To enable quick cross-reference of different types of information. For example, it is possible to immediately refer to the temperature of the area currently being monitored using camera images.

【００１７】（６）上記目的を達成するようなマンマシ
ンを簡単に設計、開発できるようにすること。(6) To enable easy design and development of a man-machine that achieves the above objectives.

【００１８】[0018]

【課題を解決するための手段】本発明によれば前記目的
（１）〜（５）は下記ステップを有する方法によって解
決される。According to the present invention, the above objects (1) to (5) are achieved by a method having the following steps.

【００１９】（１）オブジェクト指定ステップ画面上に
表示されたビデオ映像内の事物（以下では、オブジェク
トと呼ぶ）をポインティングデバイス（以下、ＰＤと呼
ぶ）などの入力手段を使って指定する。ビデオ映像は遠
隔に置かれたビデオカメラから入力したり、蓄積媒体（
光ビデオディスク、ビデオテープレコーダ、計算機のデ
ィスクなど）から再生したりする。ポインティングデバ
イスとしては、例えばタッチパネル、タブレット、マウ
ス、アイトラッカ、ジェスチャ入力装置などを用いる。 オブジェクトの指定前に、映像内の指定可能なオブジェ
クトを、グラフィックスの合成表示により明示してもよ
い。(1) Object designation step An object (hereinafter referred to as an object) in the video image displayed on the screen is designated using an input means such as a pointing device (hereinafter referred to as PD). Video images may be input from a remotely located video camera or stored on a storage medium (
optical video discs, video tape recorders, computer discs, etc.). As the pointing device, for example, a touch panel, a tablet, a mouse, an eye tracker, a gesture input device, etc. are used. Before designating an object, designable objects in the video may be made clear by displaying a composite of graphics.

【００２０】（２）処理実行ステップ 前記オブジェクト指定ステップによって指定されたオブ
ジェクトに基づいて処理を実行する。処理の内容には例
えば下記がある。(2) Processing execution step Processing is executed based on the object specified in the object specification step. Examples of the processing contents include the following.

【００２１】・指定されたオブジェクトを動作させるま
たは動作した場合と同様の結果になるような操作指令を
送る。例えば、指定されたオブジェクトがボタンである
場合、実際にそのボタンを押し下げるまたは、押し下げ
られた場合と同様の結果になるような操作指令を送る。- Send an operation command that causes the specified object to operate or produces the same result as if it were operated. For example, if the specified object is a button, an operation command is sent that causes the button to be actually pressed down or to produce the same result as if the button had been pressed down.

【００２２】・指定されたオブジェクトに基づいて映像
を切り替える。例えば、遠隔にあるカメラを操作して、
指定されたオブジェクトがもっとよく見えるようにする
。カメラの向きを動かして、映像の中央に指定されたオ
ブジェクトが映るようにしたり、レンズを制御して指定
されたオブジェクトが大きく映るようにする。他の例で
は、指定されたオブジェクトを別な角度から捉えるカメ
ラの映像に切り替えたり、指定されたオブジェクトに関
連するオブジェクトを映っているカメラ映像に切り替え
たりする。- Switch the video based on the specified object. For example, by operating a remote camera,
Makes the specified object more visible. Move the camera direction so that a specified object appears in the center of the image, or control the lens to make a specified object appear larger. Other examples include switching to a camera image that captures a specified object from a different angle, or switching to a camera image that shows an object related to the specified object.

【００２３】・指定されたオブジェクトが明示されるよ
うに、グラフィックスを映像上に合成表示する。[0023] Graphics are synthesized and displayed on the video so that the specified object is clearly displayed.

【００２４】・指定されたオブジェクトに関連する情報
を表示する。例えば、指定されたオブジェクトのマニュ
アル、メンテナンス情報、構造図などを表示する。-Display information related to the specified object. For example, display manuals, maintenance information, structure diagrams, etc. for the specified object.

【００２５】・指定されたオブジェクトに関して実行可
能な処理の一覧をメニューで表示する。メニューを図形
で表現することもできる。すなわち、いくつかの図形を
映像上に合成表示し、合成表示された図形をＰＤで選択
し、選択された図形に基づいて次の処理を実行する。-Display a list of executable processes for the specified object in a menu. Menus can also be represented graphically. That is, several figures are compositely displayed on the video, the compositely displayed figure is selected by the PD, and the next process is executed based on the selected figure.

【００２６】また、本発明によれば前記目的（２）はテ
キストまたはグラフィックスを入力して探索キー指定す
る探索キー指定ステップと、前記探索キー指定ステップ
によって指定された探索キーに適合する事物が表示され
ているビデオ映像を表示する映像探索ステップを有する
方法によっても解決される。Further, according to the present invention, the object (2) includes a search key designation step of inputting text or graphics to designate a search key, and a search key designation step in which an object matching the search key designated by the search key designation step is specified. The problem is also solved by a method comprising a video search step of displaying the video footage being displayed.

【００２７】本発明によれば前記目的（６）は、ビデオ
カメラから入力された映像を表示する映像表示ステップ
と、前記映像表示ステップによって表示された映像上で
領域を指定する領域指定ステップと、領域指定ステップ
によって指定された領域に処理を定義する処理定義ステ
ップとを有する方法によって解決される。According to the present invention, the object (6) includes: a video display step for displaying a video input from a video camera; an area designation step for designating a region on the video displayed by the video display step; The problem is solved by a method having a process definition step for defining a process in the area specified by the area specification step.

【００２８】[0028]

【作用】画面上のビデオ映像内のオブジェクトを直接指
定して、指定したオブジェクトに操作指令を送る。操作
者はオブジェクトの実写の映像を見ながら、操作指示を
行なう。操作指示によって、オブジェクトに目に見える
ような動きがあれば、その動きはカメラ映像にそのまま
反映される。このように、実写の映像に対して直接操作
を行なうことによって、操作者は実際に現場で作業して
いる感覚で遠隔操作できる。これによって、操作者は操
作の対象や操作の結果を直感的に把握でき、誤操作を減
らすことができる。[Operation] Directly specify an object in the video image on the screen and send operation commands to the specified object. The operator issues operational instructions while viewing a live-action image of the object. If an object moves visibly in response to an operation instruction, that movement is reflected directly in the camera image. In this way, by performing direct operations on live-action images, the operator can perform remote operations with the feeling of actually working on site. This allows the operator to intuitively understand the target of the operation and the result of the operation, thereby reducing erroneous operations.

【００２９】画面上で指定された映像内のオブジェクト
に基づいて、カメラを選択したり、カメラに操作指令を
送る。これによって、映像内のオブジェクトを指定する
だけで、そのオブジェクトを監視するのに最適な映像を
得ることできる。すなわち、操作者は見たいものを指定
するだけでよく、カメラを選択したり、カメラを遠隔操
作したりする必要がない。[0029] Based on the object in the video specified on the screen, a camera is selected or an operation command is sent to the camera. With this, by simply specifying an object in the video, it is possible to obtain the optimal video for monitoring that object. That is, the operator only needs to specify what he or she wants to see, and there is no need to select a camera or remotely control the camera.

【００３０】映像内のオブジェクトに直接操作を加える
際に、映像に適宜グラフィックスを合成表示する。例え
ば、ユーザがオブジェクトを指定したら、どのオブジェ
クトが指定されたのかを明示するようなグラフィックス
表示を行なう。これによって、操作者は自分の意図する
操作が確実に行なわれていることを確認できる。また、
指定したオブジェクトに対して複数の処理を実行可能な
場合は、所望の処理を選択するためのメニューを表示す
る。このメニューは、図形によって構成される場合もあ
る。メニューとして表示された図形を選択することによ
り、操作者は実際にオブジェクトを操作しているという
感覚をより強く持つことができる。[0030] When directly manipulating objects in a video, graphics are displayed in combination with the video as appropriate. For example, when a user specifies an object, a graphic display is performed to clearly indicate which object has been specified. This allows the operator to confirm that the intended operation is being performed reliably. Also,
If multiple processes can be performed on the specified object, a menu is displayed for selecting the desired process. This menu may also be composed of graphics. By selecting a figure displayed as a menu, the operator can have a stronger sense of actually manipulating the object.

【００３１】画面上で指定された映像内のオブジェクト
に基づいて、情報を表示する。これによって、映像内の
オブジェクトに関連する情報を、オブジェクトを指定す
るだけで、参照することができる。映像と他の情報とを
同時に参照しながら、状況判断を下すことが容易にでき
る。[0031] Information is displayed based on the object in the video specified on the screen. With this, information related to an object in a video can be referenced simply by specifying the object. Situation judgments can be easily made while referring to images and other information at the same time.

【００３２】テキストまたは図形を探索キーとして入力
し、前記入力した探索キーに適合する事物が映っている
映像を表示する。テキストは、キーボートなどの文字入
力装置、音声認識装置、手書き文字認識装置などから入
力する。また図形はＰＤを用いて入力するか、すでに何
らかの方法で作成された図形データを入力する。また、
映像内にあるテキストまたは図形を探索キーとして指定
してもよい。探索対象の映像がカメラ映像の場合は、探
索キーに基づいて、カメラを選択し、さらにカメラの向
きやレンズの制御を行ない、探索キーが映るようにする
。探索キーに適合する事物が映っている映像にグラフィ
ックスを適宜合成することによって、探索キーに適合す
る部分が映像内のどこにあるかを明示してもよい。この
ように、探索キーに基づいて映像を表示することにより
、操作者は見たいものを言葉や図形で示すだけで、見た
い映像を得ることができる。[0032] A text or a figure is input as a search key, and an image showing an object matching the input search key is displayed. Text is input from a character input device such as a keyboard, a voice recognition device, a handwritten character recognition device, or the like. In addition, graphics are input using a PD, or graphic data that has already been created by some method is input. Also,
Text or graphics within the video may be specified as the search key. If the image to be searched is a camera image, the camera is selected based on the search key, and the camera direction and lens are controlled so that the search key is displayed. By suitably combining graphics with a video showing an object matching the search key, it may be made clear where in the video the portion matching the search key is located. By displaying the video based on the search key in this way, the operator can obtain the video he or she wants to see simply by indicating what he or she wants to see using words or graphics.

【００３３】映像を表示し、前記映像上で領域を指定し
、前記指定した領域に対して処理を定義することによっ
て、映像内の事物が指定されたときに実行すべき処理の
内容を定義する。これによって、映像内の事物を直接操
作するようなマンマシンを作成できる。[0033] By displaying an image, specifying an area on the image, and defining a process for the specified area, the content of the process to be executed when an object in the image is specified is defined. . This makes it possible to create a man-machine that can directly manipulate things in the video.

【００３４】[0034]

【実施例】本発明の一実施例であるプラント運転監視シ
ステムを図１から図２４までを用いて説明する。Embodiment A plant operation monitoring system which is an embodiment of the present invention will be explained using FIGS. 1 to 24.

【００３５】本実施例の全体構成を図１を用いて説明す
る。図１において、１０はグラフィックスや映像を表示
する表示手段となるディスプレイ、１２はディスプレイ
１０の全面に取付けられた入力手段となる感圧タッチパ
ネル、１４は音声を出力するためのスピーカ、２０は操
作者がプラントの監視、および運転操作を行なうための
マンマシンを提供するマンマシンサーバ、３０は複数の
映像入力および複数の音声入力から一つの映像入力およ
び音声入力を選択するためのスイッチャ、５０はプラン
ト内の機器を制御したり、センサからのデータを収拾す
る制御用計算機、５２は制御用計算機５０と、マンマシ
ンサーバ２０やその他の端末、計算機類とを接続する情
報系ロ−カルエリアネットワ−ク（以下ＬＡＮと称す）
（例えばＩＥＥＥ８０２．３　で規定されるようなＬＡ
Ｎ）、５４は制御用計算機５０と、制御対象である各種
機器、および各種センサとを接続する制御系ＬＡＮ（例
えばＩＥＥＥ８０２．４　で規定されるようなＬＡＮ）
、６０，７０，８０はプラント内の各所に置かれ、被制
御物となるオブジェクトを撮像し、入力するための産業
用ビデオカメラ（以下単にカメラと呼ぶ）、６２，７２
，８２は、制御用計算機５０からの指令に従って、それ
ぞれカメラ６０，７０，８０の向きやレンズを制御する
ためのコントローラ、６４，７４，８４は、それぞれカ
メラ６０，７０，８０に取付けられたマイク、９０，９
２はプラント各部の状態を知るための各種センサ、９４
，９６は制御用計算機５０の指令に従って、プラント内
の各種の機器を制御するアクチュエータである。The overall configuration of this embodiment will be explained using FIG. 1. In FIG. 1, 10 is a display that is a display means for displaying graphics and images, 12 is a pressure-sensitive touch panel that is attached to the entire surface of the display 10 and is an input means, 14 is a speaker for outputting audio, and 20 is an operation 30 is a switcher for selecting one video input and audio input from multiple video inputs and multiple audio inputs; 50 is a switcher for selecting one video input and audio input from multiple video inputs and multiple audio inputs; A control computer that controls equipment in the plant and collects data from sensors; 52 is an information system local area network that connects the control computer 50 with the man-machine server 20 and other terminals and computers; - (hereinafter referred to as LAN)
(For example, LA as specified in IEEE802.3
N), 54 is a control system LAN (for example, a LAN specified by IEEE802.4) that connects the control computer 50 and various devices to be controlled and various sensors.
, 60, 70, 80 are industrial video cameras (hereinafter simply referred to as cameras) 62, 72 placed at various locations within the plant for capturing images of objects to be controlled and inputting the images.
, 82 are controllers for controlling the orientations and lenses of the cameras 60, 70, 80, respectively, according to instructions from the control computer 50, and 64, 74, 84 are microphones attached to the cameras 60, 70, 80, respectively. ,90,9
2 is various sensors for knowing the status of each part of the plant, 94
, 96 are actuators that control various devices in the plant according to commands from the control computer 50.

【００３６】感圧タッチパネル１２はＰＤの一種である
。タッチパネル１２上の任意の位置を指で押すと、押さ
れた位置座標と、押された圧力をマンマシンサーバに報
告する。タッチパネル１２はディスプレイ１０の全面に
取付けられる。タッチパネル１２は透明で、タッチパネ
ル１２の後ろにあるディスプレイ１０の表示内容を見る
ことができる。これにより、操作者はディスプレイ１０
上に表示されたオブジェクトを指で触る感覚で指定する
ことができる。本実施例では、タッチパネル１２の操作
として、（１）軽く押す、（２）強く押す、（３）ドラ
ッグするの３種類を用いる。ドラッグするとは、タッチ
パネル１２を指で押したまま指を動かすことをいう。 本実施例ではＰＤとして感圧タッチパネルを用いたが、
他のデバイスを用いてもよい。例えば、感圧でないタッ
チパネル、タブレット、マウス、ライトペン、アイトラ
ッカ、ジェスチャ入力装置、キーボードなどを用いても
よい。The pressure sensitive touch panel 12 is a type of PD. When an arbitrary position on the touch panel 12 is pressed with a finger, the pressed position coordinates and the pressed pressure are reported to the man-machine server. The touch panel 12 is attached to the entire surface of the display 10. The touch panel 12 is transparent, and the contents displayed on the display 10 behind the touch panel 12 can be seen. This allows the operator to
You can specify the object displayed above by touching it with your finger. In this embodiment, three types of operations on the touch panel 12 are used: (1) lightly pressing, (2) strongly pressing, and (3) dragging. Dragging means moving a finger while pressing the touch panel 12 with the finger. In this example, a pressure-sensitive touch panel was used as the PD, but
Other devices may also be used. For example, a non-pressure sensitive touch panel, tablet, mouse, light pen, eye tracker, gesture input device, keyboard, etc. may be used.

【００３７】カメラ６０，７０，８０で撮影されている
複数の映像は、スイッチャ３０で一つに選択されマンマ
シンサーバ２０を介してディスプレイ１０上に表示され
る。マンマシンサーバ２０はＲＳ２３２Ｃなどの通信ポ
ートを介してスイッチャ３０を制御し、所望のカメラか
らの映像を選択する。本実施例では、映像を選択すると
、同時にマイク６４，７４，８４などからの入力音声も
選択される。すなわち、カメラを選択すると、選択され
たカメラに付随するマイクからの入力に音声も切り替わ
る。マイクから入力された音声はスピーカ１４から出力
される。もちろん、マイクとカメラからの入力を独立に
切り替えることもできる。マンマシンサーバ２０はカメ
ラからの映像にグラフィックスを合成することができる
。また、マンマシンサーバ２０は情報系ＬＡＮ５２を介
して制御用計算機に操作指令を送りカメラの向きやレン
ズの制御を指定する。このカメラの向きやレンズの制御
をカメラワークと呼ぶことにする。A plurality of images taken by the cameras 60, 70, and 80 are selected by the switcher 30 and displayed on the display 10 via the man-machine server 20. The man-machine server 20 controls the switcher 30 via a communication port such as RS232C, and selects an image from a desired camera. In this embodiment, when a video is selected, input audio from the microphones 64, 74, 84, etc. is also selected at the same time. That is, when a camera is selected, the audio is also switched to the input from the microphone associated with the selected camera. Audio input from the microphone is output from the speaker 14. Of course, you can also switch the input from the microphone and camera independently. The man-machine server 20 can synthesize graphics with the video from the camera. Further, the man-machine server 20 sends an operation command to the control computer via the information system LAN 52 to designate the direction of the camera and the control of the lens. This control of camera direction and lens is called camera work.

【００３８】さらに、マンマシンサーバは、操作者の指
令に従って、制御用計算機５０を介して、センサ９０，
９２などからデータを入力したり、アクチュエータ９４
，９６などを遠隔操作する。マンマシンサーバ２０は、
アクチュエータに操作指令を送ることによって、プラン
ト内の各種機器の動きや機能を制御する。Furthermore, the man-machine server controls the sensors 90,
92 etc., input data from the actuator 94, etc.
, 96, etc. remotely. The man-machine server 20 is
By sending operation commands to actuators, the movements and functions of various equipment within the plant are controlled.

【００３９】図２を用いてマンマシンサーバの構成を説
明する。図２において、３００はＣＰＵ、３１０はメイ
ンメモリ、３２０はディスク、３３０はＰＤ、タッチパ
ネル１２，スイッチャ３０などを接続するためのＩ／Ｏ
、３４０はＣＰＵ３００によって生成された表示データ
を格納するグラフィックス用フレームバッファ、３６０
は入力されたアナログの映像情報をデジタル化するデジ
タイザ、３７０はデジタイザ３６０の出力であるデジタ
ル化された映像情報を記憶するビデオ用フレームバッフ
ァ、３８０はグラフィック用フレームバッファ３４０と
ビデオ用フレームバッファの内容を合成してディスプレ
イ１０に表示するブレンド回路である。The configuration of the man-machine server will be explained using FIG. 2. In FIG. 2, 300 is a CPU, 310 is a main memory, 320 is a disk, and 330 is an I/O for connecting a PD, touch panel 12, switcher 30, etc.
, 340 is a graphics frame buffer that stores display data generated by the CPU 300, 360
370 is a video frame buffer that stores the digitized video information output from the digitizer 360; 380 is the contents of the graphic frame buffer 340 and the video frame buffer; This is a blending circuit that synthesizes and displays on the display 10.

【００４０】カメラから入力した映像情報はマンマシン
サーバ２０で生成したグラフィックスと合成した後、デ
ィスプレイ１０に表示する。グラフィック用フレームバ
ッファ３４０にはディスプレイ１０上の各画素に対応し
て、Ｒ，Ｇ，Ｂ各色のデータと、α値と呼ばれるデータ
を持つ。α値は、ビデオ用フレームバッファ３７０内の
映像情報と、グラフィック用フレームバッファ３４０内
のグラフィック表示データとの合成の仕方をディスプレ
イ１０の各画素ごとに指定する。ブレンド回路３８０の
機能は、 ｄ＝ｆ（ｇ，ｖ，α） で表せる。ただし、ｇとαはそれぞれグラフィック用フ
レームバッファ３４０内の一つの画素の色情報とα値で
あり、ｖはビデオ用フレームバッファ３７０内のｇに対
応する画素の色情報、ｄはｇとｖとを合成した結果の画
素の色情報である。本システムでは関数ｆとしては下式
を用いる。The video information input from the camera is displayed on the display 10 after being combined with graphics generated by the man-machine server 20. The graphic frame buffer 340 has R, G, and B color data and data called an α value corresponding to each pixel on the display 10. The α value specifies how to synthesize the video information in the video frame buffer 370 and the graphic display data in the graphic frame buffer 340 for each pixel of the display 10. The function of the blending circuit 380 can be expressed as d=f(g, v, α). However, g and α are the color information and α value of one pixel in the graphics frame buffer 340, respectively, v is the color information of the pixel corresponding to g in the video frame buffer 370, and d is g and v. This is the color information of the pixel as a result of combining the . In this system, the following formula is used as the function f.

【００４１】 ｆ（ｇ，ｖ，α）＝２５５｛αｇ＋（１−α）ｖ｝もち
ろん、関数ｆとして他のものを用いてもよい。f(g,v,α)=255{αg+(1−α)v}Of course, other functions may be used as the function f.

【００４２】グラフィック用フレームバッファ３４０は
いわゆるダブルバッファと呼ばれる構成になっている。 ダブルバッファは、２画面分のバッファをもち、ディス
プレイ１０に表示するバッファを随時選択できる。ディ
スプレイ１０に表示されている方のバッファを表バッフ
ァ、表示されていない方のバッファを裏バッファと呼ぶ
ことにする。表バッファと裏バッファとの切り替えは瞬
時にできる。裏バッファにグラフィックスを描画し、描
画が終了した時点で裏バッファを表バッファに切り替え
ることにより描画時のちらつきをすくなくできる。どち
らのバッファの内容もＣＰＵから随時読み出したり書き
出したりできる。The graphic frame buffer 340 has a so-called double buffer configuration. The double buffer has a buffer for two screens, and the buffer to be displayed on the display 10 can be selected at any time. The buffer that is displayed on the display 10 will be called the front buffer, and the buffer that is not displayed will be called the back buffer. Switching between front and back buffers can be done instantly. By drawing graphics in the back buffer and switching the back buffer to the front buffer when the drawing is finished, flickering during drawing can be reduced. The contents of either buffer can be read or written from the CPU at any time.

【００４３】図３にディスプレイ１０の表示画面構成の
一例を示す。図３において、１００はディスプレイ１０
の表示画面、１１０はシステム全体に関するコマンドを
指定するためのメニュー領域、１５０はセンサからのデ
ータや、プラントに関する様々な資料やデータを表示す
るためのデータ表示領域、１３０はプラント全体や、各
部分の構成図、構造図、設計図面などを表示する図面表
示領域、２００はカメラから入力された映像を表示する
映像表示領域である。FIG. 3 shows an example of the display screen configuration of the display 10. In FIG. 3, 100 is the display 10
110 is a menu area for specifying commands related to the entire system; 150 is a data display area for displaying data from sensors and various materials and data related to the plant; 130 is a display screen for the entire plant and each part; A drawing display area 200 displays a configuration diagram, a structural diagram, a design drawing, etc., and a video display area 200 displays an image input from a camera.

【００４４】図４は図面表示領域１３０の表示形態の一
例である。図４において、１３２はセンサのある位置を
明示するコマンドを発行するためのメニュー、１３４は
操作者が指定した図面上の一つのオブジェクトである。 操作者が図面表示領域１３０に表示された図面内のオブ
ジェクトを選択すると、そのオブジェクトに関連するセ
ンサからの情報がデータ表示領域１５０または映像表示
領域２００上に表示される。例えば、指定したオブジェ
クトに関連するセンサとして、カメラが定義されている
と、そのカメラから入力された映像が映像表示領域２０
０に表示される。また、例えば、指定されたオブジェク
トに関連するセンサとして油圧センサが定義されている
場合には、現在の油圧値を明示するグラフィックスや、
これまでの油圧値の変化を示すトレンドグラフがデータ
表示領域１５０に表示される。タッチパネル１２上を指
で強く押すと、押した位置に表示されている図面上のオ
ブジェクトが指定される。指定したオブジェクトに関連
するセンサが定義されていない場合は何も起こらない。 図４ではオブジェクト１３４の表示位置を指で強く押し
たところを示している。オブジェクトは指で押されると
、オブジェクトが指定されたことを操作者が確認できる
ように強調表示される。図４に示す例では、オブジェク
ト１３４にはオブジェクト１３４を映すカメラ６０と、
オブジェクト１３４の周囲の音を入力するためのマイク
６４が、関連するセンサとして定義されており、オブジ
ェクト１３４が指定されると、映像表示領域２００にオ
ブジェクト１３４を映す映像が表示され、スピーカ１４
からはオブジェクト１３４の周囲の音が出力される。FIG. 4 shows an example of the display format of the drawing display area 130. In FIG. 4, 132 is a menu for issuing a command specifying the position of the sensor, and 134 is an object on the drawing specified by the operator. When the operator selects an object in the drawing displayed in the drawing display area 130, information from a sensor related to the object is displayed on the data display area 150 or the video display area 200. For example, if a camera is defined as a sensor related to a specified object, the video input from that camera will be displayed in the video display area 20.
Displayed as 0. For example, if an oil pressure sensor is defined as a sensor related to a specified object, graphics that clearly indicate the current oil pressure value,
A trend graph showing past changes in oil pressure values is displayed in the data display area 150. When the touch panel 12 is strongly pressed with a finger, the object on the drawing displayed at the pressed position is designated. If no sensor is defined for the specified object, nothing happens. FIG. 4 shows a state in which the display position of the object 134 is strongly pressed with a finger. When an object is pressed with a finger, it is highlighted so that the operator can confirm that the object has been designated. In the example shown in FIG. 4, the object 134 includes a camera 60 that images the object 134;
A microphone 64 for inputting sounds around the object 134 is defined as a related sensor, and when the object 134 is specified, an image of the object 134 is displayed in the image display area 200, and the speaker 14
The sounds surrounding the object 134 are output.

【００４５】図５に、オブジェクト１３４が図面表示領
域１３０上で指定されたときの映像表示領域２００の一
表示形態と、プラント内に配置されたオブジェクト１３
４との対応関係を示す。図５において、２０２〜２１０
は、現在表示されている映像を撮影しているカメラのカ
メラワークを設定するためのメニュー、２２０は映像内
の指定可能なオブジェクトを明示するためのメニューで
ある。２０２はカメラの向きを設定するためのメニュー
である。メニュー２０２を選択することにより、カメラ
を左右にパンさせたり、上下にパンさせたりできる。２
０４はカメラのレンズを制御して映像をズームインする
ためのメニュー、２０６はカメラのレンズを制御して映
像をズームアウトするためのメニュー、２０８はカメラ
ワークを一つ前のカメラワークに設定しなおすためのメ
ニュー、２１０は最初のカメラワークに設定しなおすた
めのメニューである。FIG. 5 shows one display form of the video display area 200 when the object 134 is specified on the drawing display area 130, and the display form of the object 13 placed in the plant.
The correspondence relationship with 4 is shown. In FIG. 5, 202 to 210
220 is a menu for setting the camera work of the camera that is photographing the currently displayed video, and 220 is a menu for specifying objects that can be specified in the video. 202 is a menu for setting the direction of the camera. By selecting menu 202, the camera can be panned left and right or up and down. 2
04 is a menu for controlling the camera lens to zoom in on the image, 206 is a menu for controlling the camera lens and zooming out the image, and 208 is for resetting the camera work to the previous camera work. 210 is a menu for resetting to the initial camera work.

【００４６】４００〜４２４はオブジェクト１３４に付
随する、または周辺にある各種オブジェクトである。４
００はバルブ、４１０，４２０は、オブジェクト１３４
上に書かれた文字表示、４１２は電圧を示すメータ、４
１４は電源を入れるためのボタン、４１６は電源を切る
ためのボタン、４２２は油圧を示すメータ、４２４は油
圧を調節するスライダのつまみである。バルブ４００，
ボタン４１４，４１６、つまみ４２４は実際に手で操作
することのできる操作器であるとともに、マンマシンサ
ーバ２０から操作指令を出すことによって遠隔操作もで
きる操作器である。[0046] 400 to 424 are various objects attached to or in the vicinity of the object 134. 4
00 is a valve, 410, 420 is an object 134
Character display written above, 412 is a meter indicating voltage, 4
14 is a button for turning on the power, 416 is a button for turning off the power, 422 is a meter indicating the oil pressure, and 424 is a slider knob for adjusting the oil pressure. valve 400,
The buttons 414, 416 and the knob 424 are operating devices that can be actually operated by hand, and can also be operated remotely by issuing an operating command from the man-machine server 20.

【００４７】映像表示領域２００内を操作者が指で軽く
押すと、指の位置に表示されているオブジェクトが見や
すくなる用にカメラワークが設定される。図６は、映像
表示領域２００で、メータ４１２に指で軽く触ると、メ
ータ４１２が映像の真ん中にくるようにカメラワークが
設定される様子を示している。図６左図のようにメータ
４１２が操作者に指定されると、メータ４１２が映像の
中央に映るようにカメラ６０の向きが設定され、さらに
メータ４１２がズームインされるようにカメラ６０のレ
ンズが制御され、映像が図６右図に示すように変化する
。操作者は単に画面上でオブジェクトに触れるだけで、
そのオブジェクトがよりはっきり見えるようなカメラワ
ークを設定でき、カメラの遠隔操作に煩わせれることが
ない。図６において、５０２はメータ４１２が指定され
たことを明示するためのグラフィックエコーである。グ
ラフィックエコー５０２は操作者がタッチパネル１２か
ら指をはなすと消去される。このように、カメラ映像上
にグラフィックの表示を合成することにより、マンマシ
ンを改善できる。When the operator lightly presses the inside of the video display area 200 with a finger, camera work is set to make it easier to see the object displayed at the position of the finger. FIG. 6 shows how the camera work is set so that when the meter 412 is lightly touched with a finger in the video display area 200, the meter 412 is placed in the center of the video. When the operator specifies the meter 412 as shown in the left diagram of FIG. The image changes as shown in the right diagram of FIG. 6. The operator simply touches the object on the screen,
You can set up camera work that allows you to see the object more clearly, and you don't have to worry about remote control of the camera. In FIG. 6, 502 is a graphic echo to clearly indicate that the meter 412 has been designated. The graphic echo 502 is erased when the operator removes his finger from the touch panel 12. In this way, man-machine performance can be improved by synthesizing graphic displays on camera images.

【００４８】図７は、映像表示領域２００で、バルブ４
００に指で軽く触ると、バルブ４００が映像の真ん中に
くるようにカメラワークが設定される様子を示している
。 図７左図のようにバルブ４００が操作者に指定されると
、図６右図に示すようにバルブ４００が中央に大きく映
るような映像に変化する。図７において、５０４はバル
ブ４００が指定されたことを明示するためのグラフィッ
クエコーである。グラフィックエコー５０４は操作者が
タッチパネル１２から指をはなすと消去される。他のオ
ブジェクト４１０，４１４，４１６，４２０，４２２，
４２４に関しても同様の操作が可能である。FIG. 7 shows the image display area 200 and the valve 4.
It shows how the camera work is set so that when the bulb 400 is lightly touched with a finger, the bulb 400 is placed in the center of the image. When the valve 400 is designated by the operator as shown in the left diagram of FIG. 7, the image changes to such that the valve 400 appears large in the center as shown in the right diagram of FIG. In FIG. 7, 504 is a graphic echo to clearly indicate that the valve 400 has been designated. The graphic echo 504 is erased when the operator removes his finger from the touch panel 12. Other objects 410, 414, 416, 420, 422,
Similar operations are possible for 424 as well.

【００４９】映像表示領域２００内を操作者が指で強く
押すと、指の位置に表示されているオブジェクトを操作
できる。図８〜図１０にオブジェクトを操作する例を示
す。図８はボタン４１４を操作する例を示している。映
像表示領域２００上で、ボタン４１４が表示されている
位置を指で強く押すと、マンマシンサーバ２０から制御
用計算機５０を介して、遠隔にあるボタン４１４を操作
するアクチュエータに、ボタン４１４を押し下げるとい
う操作指令が送られ、遠隔の現場にあるボタン４１４が
実際に押し下げられる。ボタン４１４が押し下げられ、
その結果としてメータ４１２の針がふれる様子はカメラ
６０によって映像表示領域２００に映しだされる。これ
によって、操作者は画面上で実際にボタンを押し下げた
かのような感覚を得る。When the operator presses the inside of the video display area 200 strongly with a finger, the object displayed at the position of the finger can be manipulated. Examples of operating objects are shown in FIGS. 8 to 10. FIG. 8 shows an example of operating the button 414. When the position where the button 414 is displayed on the video display area 200 is strongly pressed with a finger, the button 414 is pressed down from the man-machine server 20 via the control computer 50 to the actuator that operates the button 414 remotely. This operation command is sent, and the button 414 at the remote site is actually pressed down. button 414 is pressed down,
As a result, the movement of the needle of the meter 412 is displayed on the video display area 200 by the camera 60. This gives the operator the feeling of actually pressing down on a button on the screen.

【００５０】図９はタッチパネル１２上での指のドラッ
グによってスライダのつまみ４２４を操作する例を示し
ている。映像表示領域２００上で、ボタン４１４が表示
されている位置を強く指で押しながら指を横に動かすと
、映像に映しだされているつまみ４２４も指の動きに合
わせて動く。つまみ４２４が動いた結果、メータ４２２
の針も動く。このとき、マンマシンサーバ２０は、指が
動く度に、制御用計算機５０を介してつまみ４２４を制
御するアクチュエータに指令を出し、指の動きにあわせ
てつまみ４２４を実際に動かす。これによって、操作者
は自分の指でつまみ４２４を実際に動かしているような
感覚を得る。FIG. 9 shows an example in which the slider knob 424 is operated by dragging a finger on the touch panel 12. When the user presses strongly the position where the button 414 is displayed on the video display area 200 and moves the finger laterally, the knob 424 displayed on the video also moves in accordance with the movement of the finger. As a result of the movement of the knob 424, the meter 422
The needle also moves. At this time, each time the finger moves, the man-machine server 20 issues a command to the actuator that controls the knob 424 via the control computer 50, and actually moves the knob 424 in accordance with the finger movement. This gives the operator the feeling of actually moving the knob 424 with his or her fingers.

【００５１】図１０は、オブジェクトに対して複数の操
作が可能な場合に、映像上に合成表示した図形を選択す
ることによって、所望の操作を選択する例を示す。図１
０において、５１０，５２０は、操作者がバルブ４００
の表示位置を指で強く押したときに映像に合成表示され
る図形である。操作者が図形５１０を強く指で押すと、
マンマシンサーバ２０は、制御用計算機５０を介して、
アクチュエータに操作指令を出し、バルブ４００を左に
回転させる。逆に、図形５１２を強く指で押すと、マン
マシンサーバはバルブ４００を右に回転させる操作指令
をアクチュエータに送る。バルブ４００の回転する様子
はカメラ６０によって撮影され映像表示領域２００に映
しだされる。バルブ４００の回転に合わせて、図形５１
０，５１２の表示を回転させてもよい。FIG. 10 shows an example in which, when a plurality of operations are possible for an object, a desired operation is selected by selecting a figure synthesized and displayed on a video. Figure 1
0, 510 and 520 indicate that the operator has activated the valve 400.
This is a figure that is synthesized and displayed on the video when you strongly press the display position with your finger. When the operator presses the figure 510 strongly with his finger,
The man-machine server 20, via the control computer 50,
An operation command is issued to the actuator to rotate the valve 400 to the left. Conversely, when the figure 512 is strongly pressed with a finger, the man-machine server sends an operation command to the actuator to rotate the valve 400 to the right. The rotation of the bulb 400 is photographed by the camera 60 and displayed on the video display area 200. In accordance with the rotation of the valve 400, the figure 51
The display of 0,512 may be rotated.

【００５２】図１１に操作可能なオブジェクト明示する
方法を示す。映像に映っている事物すべてが操作可能と
は限らないので、操作可能なオブジェクトを明示する手
段が必要になる。図１１において、５１４〜５２４は、
それぞれオブジェクト４００，４１２，４１４，４１６
，４２２，４２４が操作可能なことを明示するために表
示されたグラフィックスである。本実施例の場合は、オ
ブジェクトの外挿矩形を表示している。もちろん、オブ
ジェクトの明示には、もっと実物に近いグラフィックス
を表示するなど、他にも様々な表示方法が考えられる。FIG. 11 shows a method for specifying operable objects. Since not everything shown in the video can be manipulated, a means is needed to clearly indicate the objects that can be manipulated. In FIG. 11, 514 to 524 are
Objects 400, 412, 414, 416 respectively
, 422, 424 are graphics displayed to clearly show that they can be operated. In this embodiment, the extrapolated rectangle of the object is displayed. Of course, there are various other display methods that can be used to clearly display objects, such as displaying graphics that are more similar to the real thing.

【００５３】図１２に、テキストを入力して、そのテキ
ストが表示されている映像を探索する例を示す。図１２
において、５３０は映像に合成表示されたグラフィック
ス、６００はテキスト探索を実行するための探索シート
、６１０は探索キーによって適合する別の映像を探索す
るための次メニュー、６２０は探索を終了することを指
定するための終了メニュー、６３０は探索キーに入力す
るためのテキスト入力領域である。メニュー領域１１０
で探索を指定するメニューを選択すると、探索シート６
００が表示画面１００上に表示される。テキスト入力領
域６３０にキーボードから探索キーとなるテキストを入
力し、リターンキーを押すと、探索が開始される。マン
マシンサーバは探索キーを含むような事物を映せるカメ
ラを探索し、探索したカメラを探索キーがはっきり見え
るようなカメラワークに設定し、探索したカメラからの
映像を映像表示領域２００に表示する。映像内の探索キ
ーに適合する部分にはグラフィックス５３０を合成表示
して、探索キーに適合する部分を明示する。テキストを
探索キーとした映像探索によって、操作者は言葉によっ
て、監視したい事物を映しだすことができる。この方法
では、カメラを切り替えたり、カメラの遠隔操作をする
ことなく、すばやく監視対象をみつけることができる。 本実施例ではテキストの入力にキーボードを用いている
が、音声認識装置や手書き文字認識装置など他の入力手
段を用いてもよい。また、本実施例では、探索キーとし
てテキストを用いたが、探索キーとして図形を用い、探
索キーの図形と適合するような図形が表示されているよ
うな映像を探索するようにしてもよい。FIG. 12 shows an example of inputting text and searching for a video in which the text is displayed. Figure 12
, 530 is graphics displayed in combination with the video, 600 is a search sheet for executing a text search, 610 is a next menu for searching for another video that matches the search key, and 620 is for ending the search. An end menu 630 is used to specify a search key, and 630 is a text input area for inputting a search key. Menu area 110
When you select a menu to specify a search, search sheet 6
00 is displayed on the display screen 100. When the user inputs text as a search key from the keyboard into the text input area 630 and presses the return key, the search starts. The man-machine server searches for a camera that can display an object that includes the search key, sets the searched camera to camera work such that the search key can be clearly seen, and displays the video from the searched camera in a video display area 200. Graphics 530 is synthesized and displayed on a portion of the video that matches the search key to clearly indicate the portion that matches the search key. By using video search using text as a search key, the operator can use words to project what he or she wants to monitor. This method allows you to quickly find the target without having to switch cameras or remotely control the cameras. In this embodiment, a keyboard is used to input text, but other input means such as a voice recognition device or a handwritten character recognition device may be used. Further, in this embodiment, text is used as the search key, but a graphic may be used as the search key to search for a video displaying a graphic that matches the graphic of the search key.

【００５４】本実施例の実現方法を図１３から図２４を
用いて説明する。本実施例の主たる機能は、映像内のオ
ブジェクトを指定して、そのオブジェクトに基づいた動
作を実行する機能にある。この機能を実現するプログラ
ムの流れ図を図１７に示す。映像表示領域２００上でタ
ッチパネル１２が押されると、その押された位置（操作
者がタッチパネルなどのＰＤを使って指定した画面上の
位置をイベント位置と呼ぶことにする）に映っているオ
ブジェクトを同定する（ステップ１０００）。オブジェ
クトが同定できた場合（イベント位置にオブジェクトが
存在する場合）（ステップ１０１０）、そのオブジェク
トに対応して定義されている動作を実行する（ステップ
１０２０）。A method for implementing this embodiment will be explained using FIGS. 13 to 24. The main function of this embodiment is the function of specifying an object in a video and executing an action based on that object. FIG. 17 shows a flowchart of a program that implements this function. When the touch panel 12 is pressed on the video display area 200, the object displayed at the pressed position (the position on the screen specified by the operator using a PD such as a touch panel is called an event position) is displayed. Identify (step 1000). If the object can be identified (if the object exists at the event position) (step 1010), the action defined for the object is executed (step 1020).

【００５５】イベント位置に映っているオブジェクトは
、撮影対象のモデルとカメラ情報とを参照して同定する
。撮影対象のモデルは、撮影対象となっているオブジェ
クトの形状や、位置に関するデータである。カメラ情報
は、撮影対象のオブジェクトをカメラがどのように撮影
しているか、すなわちカメラの位置、姿勢、画角、向き
などのデータである。The object appearing at the event position is identified by referring to the model to be photographed and the camera information. The model of the object to be photographed is data regarding the shape and position of the object to be photographed. The camera information is data on how the camera photographs the object to be photographed, ie, the position, posture, angle of view, direction, etc. of the camera.

【００５６】撮影対象のモデル化の方法には様々なもの
が考えられる。本実施例では、（１）３次元モデル、（
２）２次元モデルの２つのモデルを併用する。前記２つ
のモデルの概要と、長所，短所を下記にまとめる。Various methods can be considered for modeling the object to be photographed. In this example, (1) a three-dimensional model, (
2) Use two two-dimensional models together. An overview, advantages, and disadvantages of the two models are summarized below.

【００５７】（１）３次元モデル 撮影対象の形状や位置を３次元座標系で定義したモデル
。長所は任意のカメラワークに対応してオブジェクトを
同定できる点。すなわち、カメラを自由に操作しながら
オブジェクトを操作できる。短所は、モデルを３次元空
間で定義しなければならないため、モデルの作成及びオ
ブジェクトの同定処理が２Ｄモデルに比べて複雑になる
点。ただし、最近では、プラントの設計や、プラント内
の装置の設計、配置にＣＡＤを利用する場合も多く、そ
れらのデータを流用すれば３次元モデルの作成を容易に
できる。(1) Three-dimensional model A model in which the shape and position of the object to be photographed are defined in a three-dimensional coordinate system. The advantage is that objects can be identified according to arbitrary camera movements. In other words, objects can be manipulated while freely operating the camera. The disadvantage is that the model must be defined in three-dimensional space, making the process of creating a model and identifying objects more complicated than with a 2D model. However, recently, CAD is often used for plant design and the design and arrangement of equipment within the plant, and if such data is used, three-dimensional models can be easily created.

【００５８】（２）２次元モデル 特定のカメラワークごとに、２次元座標系（ディスプレ
イ平面）でオブジェクトの形状や位置を定義するモデル
。長所はモデルの作成が容易な点。画面上で図形を描く
要領でモデルを定義できる。短所は、あらかじめモデル
を定義してあるカメラワークの映像に対してしか操作で
きない点。カメラ操作の自由度を上げるには、より多く
のカメラワークごとに、対応する平面上でオブジェクト
の形状や位置を定義する必要がある。多くの運転監視シ
ステムでは、あらかじめ監視する場所が何ヶ所かに決っ
ている場合が多い。その場合には、カメラワークも何種
類かに決まるため、２次元モデルの短所は問題にならな
い。(2) Two-dimensional model A model that defines the shape and position of an object in a two-dimensional coordinate system (display plane) for each specific camera work. The advantage is that it is easy to create a model. You can define a model by drawing shapes on the screen. The disadvantage is that it can only be operated on camera work images for which a model has been defined in advance. To increase the degree of freedom in camera operation, it is necessary to define the shape and position of objects on the corresponding plane for each camera work. In many driving monitoring systems, several locations are often determined in advance. In that case, the disadvantages of the two-dimensional model will not be a problem since several types of camera work will be required.

【００５９】３次元モデルに基づいてオブジェクトを同
定する方法を図１３から図１６を用いて説明する。図５
に示したカメラ６０の撮影対象を、３次元直交座標系ｘ
ｙｚ（世界座標系と呼ぶ）でモデル化した例を図１３に
示す。ここでは、各オブジェクトの形状を平面、直方体
、円筒などでモデル化している。もちろん、球や四面体
などより多くの種類の３次元基本形状を用いてもよい。 また、基本形状の組み合せだけでなくより精密な形状モ
デルを用いてもよい。操作対象となるオブジェクト４０
０，４１０，４１２，４１４，４１６，４２０，４２２
，４２４は、モデル上ではそれぞれ平面８００，８１０
，８１２，８１４，８１６，８２０，８２２，８２４と
してモデル化されている。A method for identifying objects based on a three-dimensional model will be explained using FIGS. 13 to 16. Figure 5
The object to be photographed by the camera 60 shown in FIG.
FIG. 13 shows an example modeled using yz (referred to as the world coordinate system). Here, the shape of each object is modeled as a plane, rectangular parallelepiped, cylinder, etc. Of course, more types of three-dimensional basic shapes such as spheres and tetrahedrons may be used. Furthermore, in addition to a combination of basic shapes, a more precise shape model may be used. Object 40 to be operated
0,410,412,414,416,420,422
, 424 are respectively planes 800 and 810 on the model.
, 812, 814, 816, 820, 822, 824.

【００６０】図１４を用いて、カメラによって撮影され
た映像と、３次元モデルとの対応関係を説明する。カメ
ラによる撮影は、３次元空間内に配置されたオブジェク
トを２次元平面（映像表示領域２００）に投影する操作
である。すなわち、映像表示領域２００に表示された映
像は、３次元空間内に配置されたオブジェクトを２次元
平面に透視投影したものである。画面上にとられた２次
元直交座標系ＸｓＹｓを画面座標系と呼ぶことにすると
、カメラによる撮影は、世界座標系上の一点（ｘ，ｙ，
ｚ）を画面座標系上の一点（Ｘｓ，Ｙｓ）へ写像する式
（１）として定式化できる。[0060] Using FIG. 14, the correspondence between an image taken by a camera and a three-dimensional model will be explained. Photographing with a camera is an operation of projecting an object placed in a three-dimensional space onto a two-dimensional plane (video display area 200). That is, the image displayed in the image display area 200 is a perspective projection of an object placed in a three-dimensional space onto a two-dimensional plane. If we call the two-dimensional orthogonal coordinate system XsYs taken on the screen the screen coordinate system, the camera shoots at one point (x, y,
z) to one point (Xs, Ys) on the screen coordinate system.

【００６１】[0061]

【数１】[Math 1]

【００６２】式（１）における行列Ｔをビュー変換行列
と呼ぶ。ビュー変換行列Ｔの各要素は、カメラ情報（カ
メラの位置、姿勢、向き、画角）および映像表示領域２
００の大きさが与えられれば一意に決定される。カメラ
情報は世界座標系で与える。図１４において、カメラの
位置はレンズの中心Ｏｅの座標、カメラの姿勢はベクト
ルＯｅＹｅ、カメラの向きはベクトルＯｅＺｅ、に対応
する。The matrix T in equation (1) is called a view transformation matrix. Each element of the view transformation matrix T includes camera information (camera position, posture, orientation, angle of view) and the video display area 2
If a size of 00 is given, it will be uniquely determined. Camera information is given in the world coordinate system. In FIG. 14, the position of the camera corresponds to the coordinates of the center Oe of the lens, the attitude of the camera corresponds to the vector OeYe, and the direction of the camera corresponds to the vector OeZe.

【００６３】オブジェクトの同定処理は画面座標系上の
一点Ｐが指定されたときに、世界座標系上のどの点が画
面座標系上の点Ｐに投影されたのかを決定する処理であ
る。図１５に示すように、カメラのレンズの中心Ｏｅと
画面座標系上の点Ｐとを結んだ直線の延長線上にある点
は、全て点Ｐに投影される。その直線上の点の内、カメ
ラによって実際に映像表示領域２００上に投影される点
は、レンズの中心Ｏｅに最も近いオブジェクト１と直線
との交点である。図１５においては、オブジェクト１と
直線８４０との交点Ｐ１が、カメラによって、映像表示
領域２００上の一点Ｐに投影される。すなわち、イベン
ト位置がＰであるとすると、オブジェクト１が同定され
ることになる。The object identification process is a process of determining which point on the world coordinate system is projected onto the point P on the screen coordinate system when one point P on the screen coordinate system is specified. As shown in FIG. 15, all points on the extension of the straight line connecting the center Oe of the camera lens and the point P on the screen coordinate system are projected onto the point P. Among the points on the straight line, the point actually projected onto the video display area 200 by the camera is the intersection of the straight line and the object 1 closest to the center Oe of the lens. In FIG. 15, an intersection point P1 between object 1 and straight line 840 is projected onto a point P on video display area 200 by a camera. That is, if the event position is P, object 1 will be identified.

【００６４】カメラ情報からビュー変換行列Ｔを求める
技術や、ビュー変換行列Ｔに基づいて世界座標系で定義
されたモデルを画面座標系に透視投影して表示する技術
はグラフィックス分野ではよく知られた技術である。ま
た、透視投影に当り、カメラに近いオブジェクトの面を
画面に投影し、他のオブジェクトによってカメラから隠
されている面を画面に投影しない処理は、陰面除去（ｈ
ｉｄｄｅｎ　ｓｕｒｆａｃｅｅｌｉｍｉｎａｔｉｏｎ）
または可視面決定（Ｖｉｓｉｂｌｅ−Ｓｕｒｆａｃｅ　
Ｄｅｔｅｒｍｉｎａｔｉｏｎ）と呼ばれ、すでに多くの
アルゴリズムが開発されている。これらの技術は、例え
ば、Ｆｏｌｅｙ．ｖａｎＤａｍ．Ｆｅｉｎｅｒ．Ｈｕｇ
ｈｅｓ著、“Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐ
ｒｉｎｃｉｐｌｅｓ　ａｎｄ　Ｐｒａｃｔｉｃｅ”Ａｄ
ｄｉｓｏｎ　Ｗｅｓｌｅｙ発行（１９９０）や、Ｎｅｗ
ｍａｎ．Ｓｐｒｏｕｌｌ著、“Ｐｒｉｎｃｉｐｌｅｓ　
ｏｆＩｎｔｅｒａｃｔｉｖｅ　Ｃｏｍｐｕｔｅｒ　Ｇｒ
ａｐｈｉｃｓ”、ＭｃＧｒａｗ−Ｈｉｌｌ発行（１９７
３）などに詳しく解説されている。また、多くのいわゆ
るグラフィックワークステーションでは、カメラ情報か
らビュー変換行列の設定、透視投影、陰面除去などのグ
ラフィック機能がハードウエアやソフトウエアによって
あらかじめ組み込まれており、それらを高速に処理する
ことができる。Techniques for determining the view transformation matrix T from camera information and techniques for displaying a model defined in the world coordinate system based on the view transformation matrix T by perspectively projecting it onto the screen coordinate system are well known in the graphics field. It is a technology that Also, in perspective projection, hidden surface removal (h
idden surface elimination)
Or Visible-Surface determination (Visible-Surface determination)
Many algorithms have already been developed. These techniques include, for example, Foley. vanDam. Feiner. Hug
Hes, “Computer Graphics P
rinciples and Practice”Ad
Published by dison Wesley (1990), New
man. “Principles” by Sproul.
ofInteractiveComputerGr
aphics”, published by McGraw-Hill (197
3) is explained in detail. In addition, in many so-called graphics workstations, graphic functions such as setting a view transformation matrix from camera information, perspective projection, hidden surface removal, etc. are pre-installed in hardware or software, and these functions can be processed at high speed. .

【００６５】本実施例ではこれらのグラフィック機能を
利用してオブジェクトの同定処理を行う。３次元モデル
において、操作の対象となるオブジェクトの面をあらか
じめ色分けし、色によってその面がどのオブジェクトに
属するのかを識別できるようにしておく。例えば、図１
３において、平面８００，８１０，８１２，８１４，８
１６，８２０，８２２，８２４にそれぞれ別な色を設定
しておく。オブジェクトごとに設定された色をＩＤ色と
呼ぶことにする。このＩＤ色付３次元モデルを用いた同
定処理の手順を図１６に示す。まず、現在のカメラ情報
を問い合わせ（ステップ１３００）、問い合わせたカメ
ラ情報に基づいてビュー変換行列を設定する（ステップ
１３１０）。マンマシンサーバ２０では常に現在のカメ
ラの状態を管理しておき、カメラ情報の問い合わせがあ
ると、現在のカメラ状態に応じてカメラ情報を返す。も
ちろん、現在のカメラ状態をカメラ制御用コントローラ
で管理するようにしてもよい。ステップ１３２０では、
ステップ１３１０で設定されたビュー変換行列に基づい
て、色分けしたモデルをグラフィック用フレームバッフ
ァ３４０の裏バッファに描画する。この描画では透視投
影および陰面除去処理が行われる。裏バッファに描画す
るため、描画した結果はディスプレイ１０には表示され
ない。描画が終了したら、イベント位置に対応する裏バ
ッファの画素値を読み出す（ステップ１３３０）。画素
値は、イベント位置に投影されたオブジェクトのＩＤ色
になっている。ＩＤ色はオブジェクトと一対一に対応し
ており、オブジェクトを同定できる。In this embodiment, these graphic functions are used to perform object identification processing. In a three-dimensional model, the surfaces of objects to be manipulated are color-coded in advance so that it is possible to identify which object the surface belongs to by color. For example, Figure 1
3, planes 800, 810, 812, 814, 8
Set different colors to 16, 820, 822, and 824, respectively. The color set for each object will be called an ID color. FIG. 16 shows the procedure of the identification process using this ID-colored three-dimensional model. First, current camera information is queried (step 1300), and a view transformation matrix is set based on the queried camera information (step 1310). The man-machine server 20 always manages the current status of the camera, and when an inquiry about camera information is received, camera information is returned according to the current camera status. Of course, the current camera status may be managed by a camera control controller. In step 1320,
Based on the view transformation matrix set in step 1310, the color-coded model is drawn in the back buffer of the graphics frame buffer 340. In this drawing, perspective projection and hidden surface removal processing are performed. Since the drawing is performed in the back buffer, the drawing result is not displayed on the display 10. When drawing is completed, the pixel value of the back buffer corresponding to the event position is read out (step 1330). The pixel value is the ID color of the object projected at the event position. The ID color has a one-to-one correspondence with the object, and the object can be identified.

【００６６】図１８から図２４を用いて、２次元モデル
に基づいてオブジェクトを同定する方法を説明する。２
次元モデルでは、世界座標系から画面座標系に投影され
た後のオブジェクトの位置や形状を定義する。カメラの
向きや画角が変れば、画面座標系に投影されたオブジェ
クトの位置や形状が変化する。従って、２次元モデルで
は、個々のカメラワークごとに、オブジェクトの形状や
位置のデータを持つ必要がある。本実施例では、オブジ
ェクトを矩形領域でモデル化する。すなわち、あるカメ
ラワークにおけるオブジェクトは、画面座標系における
矩形領域の位置と大きさによって表現される。もちろん
、他の図形（例えば、多角形や自由曲線など）を用いて
モデル化してもよい。A method for identifying objects based on a two-dimensional model will be explained using FIGS. 18 to 24. 2
A dimensional model defines the position and shape of an object after it is projected from the world coordinate system to the screen coordinate system. If the direction or angle of view of the camera changes, the position and shape of the object projected on the screen coordinate system will change. Therefore, in a two-dimensional model, it is necessary to have data on the shape and position of an object for each camera work. In this embodiment, an object is modeled as a rectangular area. That is, an object in a certain camera work is expressed by the position and size of a rectangular area in the screen coordinate system. Of course, other figures (for example, polygons, free curves, etc.) may be used for modeling.

【００６７】図１８，図１９，図２０にカメラワークと
２次元モデルとの対応関係を示す。各図の左図に、個々
のカメラワークに対する映像表示領域２００の表示形態
を示す。また、各図の右図に個々のカメラワークに対応
するオブジェクトの２次元モデルを示す。図１８左図に
おいて、映像上のオブジェクト４１０，４１２，４１４
，４１６，４２０，４２２，４２４は、右図の２次元モ
デルではそれぞれ矩形領域７１０，７１２，７１４，７
１６，７２０，７２２，７２４として表現される。一つ
のカメラワークに対応して、オブジェクトをモデル化し
た矩形の集まりを領域フレームと呼ぶ。カメラワーク１
に対応する領域フレーム１は矩形領域７１０，７１２，
７１４，７１６，７２０，７２２，７２４から構成され
る。 図１９，図２０に異なるカメラワークに対する領域フレ
ームの例を示す。図１９において、カメラワーク２に対
応する領域フレーム２は、矩形領域７４０，７４２，７
４６，７４８から構成される。矩形領域７４０，７４２
，７４６，７４８はそれぞれオブジェクト４１２，４１
６，４２４，４２２に対応する。同様に、図２０におい
て、カメラワーク３に対応する領域フレーム３は、矩形
領域７３０から構成される。矩形領域７３０はオブジェ
クト４００に対応する。同じオブジェクトでも、カメラ
ワークが異なれば、別な矩形領域に対応する。例えば、
オブジェクト４１６は、カメラワーク１の時には、矩形
領域７１６に対応し、カメラワーク２の時には７４２に
対応する。FIGS. 18, 19, and 20 show the correspondence between camera work and two-dimensional models. The left side of each figure shows the display form of the video display area 200 for each camera work. In addition, the two-dimensional model of the object corresponding to each camera work is shown on the right side of each figure. In the left diagram of FIG. 18, objects 410, 412, 414 on the video
, 416, 420, 422, and 424 are rectangular areas 710, 712, 714, and 7, respectively, in the two-dimensional model shown on the right.
It is expressed as 16,720,722,724. A collection of rectangles that model objects in response to one camera movement is called an area frame. camera work 1
Area frame 1 corresponding to rectangular areas 710, 712,
It consists of 714, 716, 720, 722, and 724. Examples of area frames for different camera movements are shown in FIGS. 19 and 20. In FIG. 19, area frame 2 corresponding to camera work 2 includes rectangular areas 740, 742, 7
Consists of 46,748. Rectangular areas 740, 742
, 746 and 748 are objects 412 and 41, respectively.
Corresponds to 6,424,422. Similarly, in FIG. 20, area frame 3 corresponding to camera work 3 is composed of a rectangular area 730. Rectangular area 730 corresponds to object 400. Even the same object corresponds to a different rectangular area if the camera work is different. for example,
The object 416 corresponds to the rectangular area 716 during camera work 1, and corresponds to 742 during camera work 2.

【００６８】図２２，図２３，図２４に２次元モデルの
データ構造を示す。図２２おいて、１３００は各カメラ
に対応するデータを格納するカメラデータテーブルであ
る。カメラデータテーブル１３００には、映像内の事物
に対して操作が可能なカメラワークのデータと、個々の
カメラワークに対応す領域フレームのデータが格納され
る。FIGS. 22, 23, and 24 show the data structure of the two-dimensional model. In FIG. 22, 1300 is a camera data table that stores data corresponding to each camera. The camera data table 1300 stores data on camera work that can be operated on objects in a video, and data on area frames corresponding to each camera work.

【００６９】図２３において、１３２０はカメラワーク
のデータである。カメラワークのデータは、カメラの水
平方向の向きである水平角、カメラの垂直方向の向きで
ある垂直角、ズームの度合を表す画角からなる。ここで
は、カメラの姿勢や、カメラの位置は固定であることを
想定している。カメラの姿勢や、カメラの位置を遠隔操
作できる場合は、それらを制御するためのデータもカメ
ラワークデータ１３２０に追加すればよい。カメラワー
クデータ１３２０は、カメラをあらかじめ定義したカメ
ラワークに設定するために使われる。すなわち、マンマ
シンサーバ２０はカメラワークデータをカメラ制御用コ
ントローラに送り、カメラを遠隔操作する。カメラワー
クデータ１３２０はオブジェクトの同定処理に直接必要
な訳ではない。In FIG. 23, 1320 is camera work data. Camera work data consists of a horizontal angle that is the horizontal orientation of the camera, a vertical angle that is the vertical orientation of the camera, and an angle of view that represents the degree of zoom. Here, it is assumed that the posture and position of the camera are fixed. If the posture of the camera and the position of the camera can be controlled remotely, data for controlling these may also be added to the camera work data 1320. Camera work data 1320 is used to set the camera to predefined camera work. That is, the man-machine server 20 sends camera work data to the camera control controller to remotely control the camera. Camera work data 1320 is not directly necessary for object identification processing.

【００７０】図２４に領域フレームのデータ構造を示す
。領域フレームデータは、領域フレームを構成する領域
の個数と、各矩形領域に関するデータからなる。領域デ
ータには、画面座標系における矩形領域の位置（ｘ，ｙ
）、矩形領域の大きさ（ｗ，ｈ）、オブジェクトの活性
状態、動作、付加情報からなる。オブジェクトの活性状
態は、オブジェクトが活性か不活性かを示すデータであ
る。オブジェクトが不活性状態にあるときには、そのオ
ブジェクトは同定されない。活性状態にあるオブジェク
トだけが同定される。動作には、イベント／動作対応テ
ーブル１３４０へのポインタが格納される。イベント／
動作対応テーブル１３４０には、オブジェクトがＰＤに
よって指定された時に、実行すべき動作が、イベントと
対になって格納される。ここで、イベントとは、ＰＤの
操作種別を指定するものである。例えば、感圧タッチパ
ネル１２を強く押した場合と、軽く押した場合ではイベ
ントが異なる。イベントが発生すると、イベント位置に
あるオブジェクトが同定され、そのオブジェクトに定義
してあるイベント／動作対の内、発生したイベントと適
合するイベントと対になっている動作が実行される。 領域フレームの付加情報には、矩形領域としてだけでは
表しきれない、オブジェクトの付加的な情報１３５０へ
のポインタが格納される。付加情報には様々なものがあ
る。例えば、オブジェクトに描かれテキスト，色，オブ
ジェクトの名前，関連情報（例えば、装置のマニュアル
，メンテナンス情報，設計データなど）がある。これに
よって、オブジェクトに描かれたテキストに基づいて、
オブジェクトを検索したり、指定されたオブジェクトの
関連情報を表示したりできる。FIG. 24 shows the data structure of the area frame. The region frame data includes the number of regions constituting the region frame and data regarding each rectangular region. The area data includes the position of the rectangular area in the screen coordinate system (x, y
), the size of the rectangular area (w, h), the activation state of the object, the action, and additional information. The activation state of an object is data indicating whether the object is active or inactive. When an object is in an inactive state, it is not identified. Only objects that are active are identified. A pointer to the event/action correspondence table 1340 is stored in the action. event/
The action correspondence table 1340 stores actions to be executed in pairs with events when an object is designated by a PD. Here, the event specifies the type of operation of the PD. For example, events occur differently depending on whether the pressure-sensitive touch panel 12 is pressed strongly or lightly. When an event occurs, an object at the event location is identified, and an action that is paired with an event that matches the event that has occurred among the event/action pairs defined for that object is executed. The additional information of the area frame stores a pointer to additional information 1350 of the object that cannot be expressed only as a rectangular area. There are various types of additional information. For example, there may be text drawn on the object, color, name of the object, and related information (eg, equipment manuals, maintenance information, design data, etc.). Based on the text drawn on the object,
You can search for objects and display information related to a specified object.

【００７１】図２１に、２次元モデルを使ってオブジェ
クトを同定する手順を示す。まず、現在のカメラワーク
に対応する領域フレームをカメラデータテーブル１３０
０から検索する（ステップ１２００）。次に領域フレー
ムを構成する領域のなかから、イベント位置を含む領域
を検索する。すなわち、領域フレームデータに格納され
ている各領域の位置と大きさのデータと、イベント位置
とを比較し（ステップ１２２０）、イベント位置にある
領域が見つかったらその番号を上位の処理系に返す。上
位の処理系は、見つかった領域が活性状態か否かを調べ
、活性状態だったら、イベントに対応して定義されてい
る動作を実行する。ステップ１２２０は、イベント位置
を含む領域が見つかるか、領域フレーム内の全領域を調
べ終るまで繰り返される（ステップ１２１０）。FIG. 21 shows a procedure for identifying an object using a two-dimensional model. First, the area frame corresponding to the current camera work is stored in the camera data table 130.
Search starts from 0 (step 1200). Next, a region including the event position is searched from among the regions forming the region frame. That is, data on the position and size of each area stored in the area frame data is compared with the event position (step 1220), and if an area at the event position is found, its number is returned to the higher-level processing system. The upper processing system checks whether the found area is active or not, and if it is active, executes the action defined in response to the event. Step 1220 is repeated until a region containing the event location is found or the entire region within the region frame has been examined (step 1210).

【００７２】２次元モデルは２次元モデル定義ツールを
使って定義する。２次元モデル定義ツールは下記機能か
らなる。A two-dimensional model is defined using a two-dimensional model definition tool. The 2D model definition tool consists of the following functions.

【００７３】（１）カメラ選択機能 プラント内に配置してある任意のカメラを選択し、その
カメラからの映像を画面に表示する機能。カメラの選択
方法として、下記がある。(1) Camera selection function A function to select any camera placed in the plant and display the image from that camera on the screen. There are several ways to select a camera:

【００７４】・画面上に表示されたプラントの配置図上
でオブジェクトを指定することにより、そのオブジェク
トを映すカメラを指定する。- By specifying an object on the plant layout diagram displayed on the screen, the camera that will image the object is specified.

【００７５】・画面上に表示されたプラントの配置図上
でカメラの配置されている場所を指定する。- Specify the location where the camera is located on the plant layout diagram displayed on the screen.

【００７６】・カメラの番号や名前などの識別子を指定
する。- Specify an identifier such as a camera number or name.

【００７７】（２）カメラワーク設定機能前記カメラ選
択機能によって、選択されたカメラを遠隔操作して、カ
メラの向きや画角を設定する機能。(2) Camera work setting function A function of remotely controlling the camera selected by the camera selection function to set the direction and angle of view of the camera.

【００７８】（３）図形作画機能 画面上に表示された映像上で、図形を作画する機能。作
画は、矩形，円，折れ線，自由曲線などの基本図形要素
を組み合わせて描く。本機能によって、オブジェクトの
映像を下敷にして、オブジェクトの概形を描く。(3) Graphic drawing function A function to draw a graphic on the image displayed on the screen. Drawing is done by combining basic graphical elements such as rectangles, circles, polygonal lines, and free curves. This function draws the outline of an object using the image of the object as a base.

【００７９】（４）イベント／動作対定義機能図形作画
機能で描いた少なくとも一つの図形を指定して、それに
対してイベント／動作の対を定義する機能。 イベントは、メニューを選択するか、イベント名をテキ
ストとして入力するかして定義する。動作はあらかじめ
定義された動作をメニューから選択するか、記述言語用
いて記述する。こうした記述言語としては例えば、情報
処理学会論文誌、第３０巻、第９号、１２００ページか
ら１２１０ページに記載の「メタユーザインタフェース
を有するユーザインタフェース構築支援システム」に書
かれている記述言語ＵＩＤＬを用いる。(4) Event/action pair definition function A function for specifying at least one figure drawn with the figure drawing function and defining an event/action pair for it. Events are defined by selecting a menu or by entering the event name as text. The motion can be selected from a menu or described using a description language. An example of such a description language is the description language UIDL described in "User Interface Construction Support System with Meta-User Interface" described in Information Processing Society of Japan Transactions, Vol. 30, No. 9, pages 1200 to 1210. use

【００８０】前記２次元モデル定義ツールでは下記手順
により２次元モデルを作成する。The two-dimensional model definition tool creates a two-dimensional model using the following procedure.

【００８１】手順１：カメラおよびカメラワークの指定
前記（１）カメラ選択機能を用いて、カメラを選択し、
画面上にその映像を表示する。次に前記（２）カメラワ
ーク設定機能を用いて、カメラワークを設定し、所望の
場所の映像を得る。Step 1: Specify camera and camera work Use the above (1) camera selection function to select a camera,
Display the image on the screen. Next, use the above (2) camera work setting function to set the camera work and obtain an image of the desired location.

【００８２】手順２：オブジェクトの概形を定義手順１
で表示した映像内の事物の中でオブジェクトとして定義
したいオブジェクトの概形を前記（２）図形作画機能を
用いて作画する。Step 2: Define the outline of the object Step 1
Draw the outline of the object that you want to define as an object among the objects in the video displayed using the above-mentioned (2) graphic drawing function.

【００８３】手順３：イベントと動作の対を定義前記（
４）イベント／動作対定義機能を用いて、手順２で作画
した少なくとも一つの図形を選択して、イベントと動作
の対を定義する。Step 3: Define the pair of event and action (
4) Using the event/action pair definition function, select at least one figure drawn in step 2 and define an event/action pair.

【００８４】手順４：定義内容の保存 必要に応じて定義内容を保存する。定義内容は図２２，
図２３，図２４に示したデータ構造で保存される。他の
カメラや、他のカメラワークに対して２次元モデルを作
成したいときは、手順１から手順４までを繰り返す。Step 4: Saving the definition contents The definition contents are saved as necessary. The definition contents are shown in Figure 22.
The data is saved in the data structure shown in FIGS. 23 and 24. If you want to create a two-dimensional model for another camera or other camera work, repeat steps 1 to 4.

【００８５】オブジェクトのモデルを持つことによって
、あるオブジェクトが映像内のどこにどのように表示さ
れているかがわかる。これによって、オブジェクトに関
連する情報を映像内のオブジェクトの位置や形状に基づ
いてグラフィックスを表示したり、オブジェクトの映像
を検索したりできる。下記に、例を挙げる。By having a model of an object, it is possible to know where and how a certain object is displayed in the video. This allows information related to objects to be displayed in graphics based on the position and shape of the object in the video, and images of objects to be searched. Examples are given below.

【００８６】・オブジェクトの名前，機能，操作マニュ
アル，メンテナンス方法などをオブジェクトの上、また
は付近に合成表示する。例えば、あるコマンドを発行す
ると映像に映っている各機器の名前を表示するなど。- Display the name, function, operation manual, maintenance method, etc. of the object on or near the object. For example, when you issue a certain command, the name of each device shown in the video will be displayed.

【００８７】・グラフィックスで作成したオブジェクト
を実際にカメラで映されているかのように実写の映像に
合成表示する。[0087] Objects created using graphics are displayed in a composite manner with a live-action video as if they were actually being viewed by a camera.

【００８８】・オブジェクトの付加情報を入力されたキ
ーワードに基づいて検索し、該当するオブジェクトを映
すようにカメラやカメラワークを設定する。- Search for additional information on objects based on the input keyword, and set the camera and camera work to show the corresponding object.

【００８９】・カメラでは映すことのできないオブジェ
クト内部の構造を、映像内のオブジェクトに合成表示す
る。例えば、配管内の水流の様子を他のセンサから得ら
れたデータに基づいてシミュレーションし、その結果を
実写の映像に映っている配管の上に合成表示する。同様
に、ボイラの中の火炎の様子（例えば、センサから得ら
れた情報に基づいて作成された温度分布図）を表すグラ
フィックスを映像内のボイラに合成表示する。- The internal structure of an object, which cannot be seen with a camera, is displayed in combination with the object in the video. For example, the state of water flow inside a pipe is simulated based on data obtained from other sensors, and the results are synthesized and displayed on top of the pipe shown in the live video. Similarly, graphics representing the state of the flame inside the boiler (for example, a temperature distribution map created based on information obtained from a sensor) are displayed in a composite manner on the boiler in the video.

【００９０】・現在注目すべきオブジェクトを、グラフ
ィックスにより明示する。例えば、センサによって異常
が検知されたと映像内のオブジェクトにグラフィックス
を合成表示する。また、トレンドグラフに表示されてい
るデータに関連する映像内のオブジェクトにグラフィッ
クスを合成して、データと映像内のオブジェクトの関連
がすぐわかるようにする。[0090] Objects of current interest are clearly indicated by graphics. For example, when an abnormality is detected by a sensor, graphics are displayed in combination with an object in the video. In addition, graphics are combined with objects in the video that are related to the data displayed on the trend graph, so that the relationship between the data and the objects in the video can be easily seen.

【００９１】[0091]

【発明の効果】本発明の効果は、下記（１）から（６）
の少なくとも一つを達成することである。[Effects of the invention] The effects of the present invention are as follows (1) to (6)
The goal is to achieve at least one of the following:

【００９２】（１）遠隔運転監視システムなとにおいて
、運転員が操作の対象や操作結果を直感的に把握できる
ようなり、誤操作が減る。(1) In a remote operation monitoring system, the operator can intuitively grasp the object of operation and the result of operation, which reduces erroneous operations.

【００９３】（２）カメラの選択や、カメラの遠隔操作
に煩わされることなく、監視したいところの映像を簡単
に見ることができる。(2) You can easily view the image of the area you want to monitor without having to worry about camera selection or remote control of the camera.

【００９４】（３）監視用映像上で操作を行なうことが
できる。このため、監視モニタと操作盤とを分ける必要
がなくなり、遠隔運転監視システムの小型化、省スペー
ス化を図ることができる。(3) Operations can be performed on the monitoring video. Therefore, there is no need to separate the monitoring monitor and the operation panel, and the remote operation monitoring system can be made smaller and save space.

【００９５】（４）カメラ映像にグラフィックスを合成
表示することにより、それぞれの長所を生かし、短所を
補うことができる。すなわち、現場の臨場感を伝えなが
ら、重要な部分を強調することができる。(4) By displaying graphics in combination with camera images, the strengths of each can be utilized and the weaknesses can be compensated for. In other words, it is possible to emphasize important parts while conveying a sense of reality at the scene.

【００９６】（５）異種の情報を素早く相互参照できる
表示。例えば、カメラ映像で現在監視している部分を指
定するだけで、その部分に関連するセンサの値を示すト
レンドグラフを表示させることができる。これにより、
現場の状況を総合的に判断できるようになる。(5) Display that allows quick cross-reference of different types of information. For example, simply by specifying the part of the camera image that is currently being monitored, a trend graph showing sensor values related to that part can be displayed. This results in
You will be able to comprehensively judge the situation on-site.

【００９７】（６）映像に対して直接操作を加えるよう
なマンマシンを簡単に設計，開発できるようになる。(6) It becomes possible to easily design and develop a man-machine that directly operates images.

【図面の簡単な説明】[Brief explanation of drawings]

【図１】本発明によるプラント運転監視システムの全体
構成である。FIG. 1 shows the overall configuration of a plant operation monitoring system according to the present invention.

【図２】マンマシンサーバのハードウエア構成である。FIG. 2 shows the hardware configuration of a man-machine server.

【図３】本発明によるプラント運転監視システムの画面
構成例である。FIG. 3 is an example of a screen configuration of a plant operation monitoring system according to the present invention.

【図４】図面表示領域の画面表示形態である。FIG. 4 is a screen display form of a drawing display area.

【図５】映像表示領域の画面表示形態と現場との対応を
示す図である。FIG. 5 is a diagram showing the correspondence between the screen display form of the video display area and the site.

【図６】オブジェクト指定によるカメラワーク設定の一
例を示す図。FIG. 6 is a diagram showing an example of camera work settings based on object specification.

【図７】オブジェクト指定によるカメラワーク設定の一
例を示す図。FIG. 7 is a diagram showing an example of camera work settings based on object specification.

【図８】オブジェクト指定によるボタン操作の一例を示
す図。FIG. 8 is a diagram illustrating an example of button operation by specifying an object.

【図９】オブジェクト指定によるスライダ操作の一例を
示す図。FIG. 9 is a diagram showing an example of slider operation based on object specification.

【図１０】図形選択による操作の一例を示す図。FIG. 10 is a diagram showing an example of an operation by selecting a figure.

【図１１】操作可能オブジェクトの明示例を示す図。FIG. 11 is a diagram showing an example of specifying an operable object.

【図１２】探索キーによる映像探索の例を示す図。FIG. 12 is a diagram showing an example of video search using a search key.

【図１３】３次元モデルの例を示す図。FIG. 13 is a diagram showing an example of a three-dimensional model.

【図１４】３次元モデルと画面上の映像との関係を示す
図。FIG. 14 is a diagram showing the relationship between a three-dimensional model and an image on a screen.

【図１５】画面上の点とオブジェクトとの関係を示す図
。FIG. 15 is a diagram showing the relationship between points on the screen and objects.

【図１６】３次元モデルを用いたオブジェクト同定処理
の手順を示す図。FIG. 16 is a diagram showing the procedure of object identification processing using a three-dimensional model.

【図１７】実施例の実現方法の手順を示す図。FIG. 17 is a diagram illustrating a procedure of an implementation method of the embodiment.

【図１８】２次元モデルとカメラワークとの関係を示す
図。FIG. 18 is a diagram showing the relationship between a two-dimensional model and camera work.

【図１９】２次元モデルとカメラワークとの関係を示す
別な図。FIG. 19 is another diagram showing the relationship between a two-dimensional model and camera work.

【図２０】２次元モデルとカメラワークとの関係を示す
さらに別な図。FIG. 20 is yet another diagram showing the relationship between a two-dimensional model and camera work.

【図２１】２次元モデルを用いたオブジェクト同定処理
の手順を示す図。FIG. 21 is a diagram showing the procedure of object identification processing using a two-dimensional model.

【図２２】カメラデータテーブルの構造を示す図。FIG. 22 is a diagram showing the structure of a camera data table.

【図２３】カメラワークデータの構造を示す図。FIG. 23 is a diagram showing the structure of camera work data.

【図２４】領域フレームのデータ構造を示す図。FIG. 24 is a diagram showing the data structure of an area frame.

【符号の説明】[Explanation of symbols]

１０…ディスプレイ、１２…感圧タッチパネル、１４…
スピーカ、２０…マンマシンサーバ、３０…スイッチャ
、４０…キーボード、５０…制御用計算機、６０…ビデ
オカメラ、６２…カメラ制御用コントローラ、６４…マ
イク、９０，９２…センサ、９４，９６…アクチュエー
タ、１００…表示画面、１３０…図面表示領域、１５０
…データ表示領域、２００…映像表示領域、６００…テ
キスト探索シート。10...Display, 12...Pressure-sensitive touch panel, 14...
Speaker, 20... Man-machine server, 30... Switcher, 40... Keyboard, 50... Control computer, 60... Video camera, 62... Controller for camera control, 64... Microphone, 90, 92... Sensor, 94, 96... Actuator, 100...display screen, 130...drawing display area, 150
...Data display area, 200...Video display area, 600...Text search sheet.

Claims (38)

【特許請求の範囲】[Claims] 【請求項１】表示手段の画面に表示されるビデオ映像を
画面を介して操作するものにおいて、ビデオ映像内のオ
ブジェクトを指定するオブジェクト指定ステップと、指
定されたオブジェクトに対応する処理を実行する処理実
行ステップとを有することを特徴とする映像操作方法。Claim 1: A device for operating a video image displayed on a screen of a display means via the screen, comprising: an object specifying step of specifying an object in the video image; and a process of executing a process corresponding to the specified object. A video manipulation method comprising: an execution step. 【請求項２】請求項１において、上記オブジェクト指定
ステップがポインティングデバイスを用いてオブジェク
トを指定するステップを含むことを特徴とする映像操作
方法。2. The video manipulation method according to claim 1, wherein the object specifying step includes the step of specifying the object using a pointing device. 【請求項３】請求項１または請求項２において、上記オ
ブジェクト指定ステップがビデオカメラから入力されて
いる映像に映っているオブジェクトを指定するステップ
を含むことを特徴とする映像操作方法。3. A video manipulation method according to claim 1 or claim 2, wherein said object specifying step includes a step of specifying an object appearing in a video input from a video camera. 【請求項４】請求項１から請求項３のいずれかにおいて
、上記処理実行ステップが、指定されたオブジェクトに
基づいてビデオ映像を変更する処理を実行するステップ
を含むことを特徴とする映像操作方法。4. A video manipulation method according to claim 1, wherein the process execution step includes a step of executing a process of changing the video image based on a designated object. . 【請求項５】請求項３において、上記処理実行ステップ
が、指定されたオブジェクトに基づいてビデオカメラを
操作する処理を実行するステップを含むことを特徴とす
る映像操作方法。5. A video manipulation method according to claim 3, wherein said processing execution step includes the step of performing processing for operating a video camera based on a designated object. 【請求項６】請求項３において、上記処理実行ステップ
が、指定されたオブジェクトを操作する処理を実行する
ステップを含むことを特徴とする映像操作方法。6. The video manipulation method according to claim 3, wherein said processing execution step includes the step of performing processing for manipulating a designated object. 【請求項７】請求項１から請求項３のいずれかにおいて
、上記処理実行ステップが、指定されたオブジェクトに
対応するグラフィックスを前記映像上に合成表示し、ど
のオブジェクトが指定されたかを明示するステップを含
むことを特徴とする映像操作方法。7. In any one of claims 1 to 3, the processing execution step displays graphics corresponding to the designated object on the video image to clearly indicate which object has been designated. A video manipulation method characterized by including steps. 【請求項８】請求項１から請求項３のいずれかにおいて
、上記処理実行ステップは、実行可能な処理の一覧をメ
ニュー表示し、実行すべき処理を選択できうるステップ
を含むことを特徴とする映像操作方法。8. According to any one of claims 1 to 3, the step of executing the process includes a step of displaying a menu of executable processes so that a process to be executed can be selected. Video operation method. 【請求項９】請求項１から請求項３のいずれかにおいて
、上記処理実行ステップは、グラフィックスを前記ビデ
オ映像上に合成表示するグラフィックス表示ステップと
、グラフィックスの構成要素を選択するグラフィック要
素選択ステップと、前記グラフィック要素選択ステップ
によって選択された構成要素に基づいた処理を実行する
実行ステップとを有することを特徴とする映像操作方法
。9. In any one of claims 1 to 3, the processing execution step includes a graphics display step of displaying graphics in a composite manner on the video image, and a graphics element of selecting graphics components. A video manipulation method comprising: a selection step; and an execution step of executing processing based on the component selected by the graphic element selection step. 【請求項１０】請求項１から請求項９のいずれかにおい
て、上記オブジェクト指定ステップは、映像内の指定可
能なオブジェクトを明示するオブジェクト明示ステップ
を有することを特徴とする映像操作方法。10. The video manipulation method according to claim 1, wherein the object specifying step includes an object clarifying step of specifying a designable object within the video. 【請求項１１】請求項１から請求項３のいずれかにおい
て、上記処理実行ステップは、上記指定されたオブジェ
クトに関連する情報を表示する処理を実行するステップ
を含むことを特徴とする映像操作方法。11. A video manipulation method according to any one of claims 1 to 3, wherein said processing execution step includes a step of executing processing for displaying information related to said specified object. . 【請求項１２】ビデオ映像を画面に表示する表示手段と
、該表示手段の画面に表示されるビデオ映像内のオブジ
ェクトを指定するオブジェクト指定手段と、指定された
オブジェクトに対応する処理を実行する処理実行手段と
を有することを特徴とする映像操作装置。12. Display means for displaying a video image on a screen, object specifying means for specifying an object in the video image displayed on the screen of the display means, and processing for executing a process corresponding to the specified object. A video operation device comprising: execution means. 【請求項１３】請求項１２において、上記オブジェクト
指定手段がポインティングデバイスを用いてオブジェク
トを指定する手段を含むことを特徴とする映像操作装置
。13. The video operation device according to claim 12, wherein said object designation means includes means for designating an object using a pointing device. 【請求項１４】請求項１２または請求項１３において、
上記オブジェクト指定手段がビデオカメラから入力され
ている映像に映っているオブジェクトを指定する手段を
含むことを特徴とする映像操作装置。Claim 14: In claim 12 or claim 13,
A video operation device characterized in that the object designation means includes means for designating an object shown in a video input from a video camera. 【請求項１５】請求項１２から請求項１４のいずれかに
おいて、上記処理実行手段が、指定されたオブジェクト
に基づいてビデオ映像を変更する処理を実行する手段を
含むことを特徴とする映像操作装置。15. The video manipulation device according to claim 12, wherein the processing execution means includes means for executing processing for changing a video image based on a designated object. . 【請求項１６】請求項１４において、上記処理実行手段
が、指定されたオブジェクトに基づいてビデオカメラを
操作する処理を実行する手段を含むことを特徴とする映
像操作装置。16. The video operation device according to claim 14, wherein said processing execution means includes means for executing processing for operating a video camera based on a designated object. 【請求項１７】請求項１４において、上記処理実行手段
が、指定されたオブジェクトを操作する処理を実行する
手段を含むことを特徴とする映像操作装置。17. The video manipulation device according to claim 14, wherein said processing execution means includes means for executing processing for manipulating a specified object. 【請求項１８】請求項１２から請求項１４のいずれかに
おいて、上記処理実行手段が、指定されたオブジェクト
に対応するグラフィックスを前記映像上に合成表示し、
どのオブジェクトが指定されたかを明示する手段を含む
ことを特徴とする映像操作装置。18. In any one of claims 12 to 14, the processing execution means synthesizes and displays graphics corresponding to the designated object on the video image,
A video manipulation device characterized by including means for clearly indicating which object is designated. 【請求項１９】請求項１２から請求項１４のいずれかに
おいて、上記処理実行手段は、実行可能な処理の一覧を
メニュー表示し、実行すべき処理を選択できうる手段を
含むことを特徴とする映像操作装置。19. In any one of claims 12 to 14, the processing execution means includes means for displaying a menu of executable processes and allowing selection of a process to be executed. Video operation device. 【請求項２０】請求項１２から請求項１４のいずれかに
おいて、上記処理実行手段は、グラフィックスを前記ビ
デオ映像上に合成表示するグラフィックス表示手段と、
グラフィックスの構成要素を選択するグラフィック要素
選択手段と、前記グラフィック要素選択手段によって選
択された構成要素に基づいた処理を実行する実行手段と
を有することを特徴とする映像操作装置。20. In any one of claims 12 to 14, the processing execution means includes graphics display means for displaying graphics on the video image in a composite manner;
A video operation device comprising: a graphic element selection means for selecting a graphics element; and an execution means for executing processing based on the element selected by the graphic element selection means. 【請求項２１】計算機を用いてビデオ映像を探索し、表
示するものにおいて、テキストまたは図形を入力して探
索キー指定する探索キー指定ステップと、前記探索キー
指定ステップによって指定された上記テキストまたは図
形に適合する事物が表示されているビデオ映像を表示す
る映像探索ステップとを有することを特徴とする映像探
索方法。21. In an apparatus for searching and displaying video images using a computer, a search key specifying step of inputting text or figures to specify a search key, and the text or figures specified by the search key specifying step. A video search method comprising: a video search step of displaying a video image in which an object matching the above is displayed. 【請求項２２】請求項２１において、上記映像探索ステ
ップが、上記探索キーに基づいてビデオカメラを選択す
るステップを有することを特徴とする映像探索方法。22. The video search method according to claim 21, wherein said video search step includes the step of selecting a video camera based on said search key. 【請求項２３】請求項２１、または請求項２２において
、上記映像探索ステップが、探索キーに基づいてビデオ
カメラを操作するステップを有することを特徴とする映
像探索方法。23. The video search method according to claim 21 or 22, wherein the video search step includes the step of operating a video camera based on a search key. 【請求項２４】請求項２１から請求項２３のいずれかに
おいて、上記映像探索ステップが、探索した映像上にグ
ラフィックスを合成表示することにより、探索キーに適
合する事物を明示するステップを有することを特徴とす
る映像探索方法。24. According to any one of claims 21 to 23, the video searching step includes the step of displaying graphics on the searched video in a composite manner to clearly indicate an object that matches the search key. A video search method featuring: 【請求項２５】請求項２１から請求項２４のいずれかに
おいて、上記探索キー入力ステップが、音声によって探
索キーを入力するステップを有することを特徴とする映
像探索方法。25. The video search method according to claim 21, wherein the search key input step includes the step of inputting the search key by voice. 【請求項２６】計算機を用いてビデオ映像を探索し、表
示するものにおいて、テキストまたは図形を入力して探
索キー指定する探索キー指定手段と、前記探索キー指定
手段によって指定された上記テキストまたは図形に適合
する事物が表示されているビデオ映像を表示する映像探
索手段とを有することを特徴とする映像探索装置。26. An apparatus for searching and displaying video images using a computer, comprising: search key designation means for inputting text or graphics to designate a search key; and said text or graphics designated by said search key designation means. 1. A video search device comprising video search means for displaying a video image in which an object matching the above is displayed. 【請求項２７】請求項２６において、上記映像探索手段
が、上記探索キーに基づいてビデオカメラを選択する手
段を有することを特徴とする映像探索装置。27. A video search device according to claim 26, wherein said video search means includes means for selecting a video camera based on said search key. 【請求項２８】請求項２６、または請求項２７において
、上記映像探索手段が、探索キーに基づいてビデオカメ
ラを操作する手段を有することを特徴とする映像探索装
置。28. A video search device according to claim 26 or 27, wherein said video search means includes means for operating a video camera based on a search key. 【請求項２９】請求項２６から請求項２８のいずれかに
おいて、上記映像探索手段が、探索した映像上にグラフ
ィックスを合成表示することにより、探索キーに適合す
る事物を明示する手段を有することを特徴とする映像探
索装置。29. In any one of claims 26 to 28, the video search means includes means for displaying graphics on the searched video in a composite manner to clearly indicate an object that matches the search key. A video search device featuring: 【請求項３０】請求項２６から請求項２９のいずれかに
おいて、上記探索キー入力手段が、音声によって探索キ
ーを入力する手段を有することを特徴とする映像探索装
置。30. The video search device according to claim 26, wherein said search key input means includes means for inputting a search key by voice. 【請求項３１】ビデオカメラから入力された映像を表示
手段の画面上に表示する映像表示ステップと、上記映像
表示ステップによって表示された画面上で領域を指定す
る領域指定ステップと、上記領域指定ステップによって
指定された領域に処理を定義する処理定義ステップと、
を有する映像処理定義方法。31. A video display step of displaying a video input from a video camera on the screen of a display means; an area designation step of designating an area on the screen displayed by the video display step; and the area designation step. a process definition step that defines a process in the area specified by;
A video processing definition method having the following. 【請求項３２】ビデオカメラから入力された映像を画面
上に表示する表示手段と、上記表示手段によって表示さ
れた画面上で領域を指定する領域指定手段と、上記領域
指定手段によって指定された領域に処理を定義する処理
定義手段と、を有する映像処理定義装置。32. Display means for displaying an image input from a video camera on a screen, area designation means for designating an area on the screen displayed by the display means, and an area designated by the area designation means. A video processing definition device, comprising: processing definition means for defining processing. 【請求項３３】被制御物となるオブジェクトを撮像する
入力ステップと、該撮像されたオブジェクトを表示する
表示ステップと、請求項１から請求項１１のいずれかに
記載される映像操作方法とを具備することを特徴とする
遠隔運転監視方法。33. An input step for capturing an image of an object to be controlled; a display step for displaying the imaged object; and an image manipulation method according to any one of claims 1 to 11. A remote operation monitoring method characterized by: 【請求項３４】被制御物となるオブジェクトを撮像する
ビデオカメラと、該ビデオカメラによって撮像されたオ
ブジェクトを表示する表示手段と、請求項１２から請求
項２０のいずれかに記載される映像操作装置とを具備す
ることを特徴とする遠隔運転監視システム。(34) a video camera for capturing an image of an object to be controlled; display means for displaying the object imaged by the video camera; and a video operating device according to any one of (12) to (20). A remote operation monitoring system comprising: 【請求項３５】被制御物と、該被制御物を撮像するビデ
オカメラと、該ビデオカメラによって撮像された被制御
物を表示する表示手段と、該表示手段に表示される被制
御物を画面上で指定する指定手段と、該画面上で指定さ
れた被制御物に対応する所望の処理を実行する実行手段
とを具備することを特徴とする遠隔運転監視システム。35. A controlled object, a video camera for taking an image of the controlled object, a display means for displaying the controlled object imaged by the video camera, and a screen for displaying the controlled object displayed on the display means. 1. A remote operation monitoring system comprising: a specifying means for specifying on the screen; and an execution means for executing a desired process corresponding to the controlled object specified on the screen. 【請求項３６】被制御物と、該被制御物を撮像するビデ
オカメラと、該ビデオカメラによって撮像された被制御
物を表示する表示手段と、該表示手段に表示される被制
御物を画面上で指定する指定手段と、該画面上で指定さ
れた被制御物に対応する所望の処理を定義する定義手段
と、該画面上で指定された被制御物に対応する上記所望
の処理を実行する実行手段とを具備することを特徴とす
る遠隔運転監視システム。36. A controlled object, a video camera for capturing an image of the controlled object, a display means for displaying the controlled object imaged by the video camera, and a screen for displaying the controlled object displayed on the display means. A specifying means specified above, a definition means defining a desired process corresponding to the controlled object specified on the screen, and executing the desired process corresponding to the controlled object specified on the screen. 1. A remote operation monitoring system, comprising: execution means for executing. 【請求項３７】請求項３５、または請求項３６において
、上記所望の処理は、上記ビデオカメラを操作する処理
であることを特徴とする遠隔運転監視システム。37. The remote driving monitoring system according to claim 35 or 36, wherein the desired process is a process of operating the video camera. 【請求項３８】請求項３５、または請求項３６において
、上記所望の処理は、上記画面上で指定された被制御物
を操作する処理であることを特徴とする遠隔運転監視シ
ステム。38. The remote operation monitoring system according to claim 35 or 36, wherein the desired process is a process of operating a controlled object specified on the screen.