JP2022104410A - 装置、方法及びプログラム - Google Patents

装置、方法及びプログラム Download PDF

Info

Publication number
JP2022104410A
JP2022104410A JP2020219611A JP2020219611A JP2022104410A JP 2022104410 A JP2022104410 A JP 2022104410A JP 2020219611 A JP2020219611 A JP 2020219611A JP 2020219611 A JP2020219611 A JP 2020219611A JP 2022104410 A JP2022104410 A JP 2022104410A
Authority
JP
Japan
Prior art keywords
unit
area
work
operator
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020219611A
Other languages
English (en)
Other versions
JP7347409B2 (ja
Inventor
征世 秋定
Yukiyo Akisada
康樹 櫻井
Yasuki Sakurai
梓 竹中
Azusa TAKENAKA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2020219611A priority Critical patent/JP7347409B2/ja
Priority to US17/457,673 priority patent/US20220207453A1/en
Priority to EP21215333.2A priority patent/EP4020353B1/en
Priority to CN202111611026.6A priority patent/CN114697613A/zh
Publication of JP2022104410A publication Critical patent/JP2022104410A/ja
Application granted granted Critical
Publication of JP7347409B2 publication Critical patent/JP7347409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】プラントの保全管理を行う装置、方法及びプログラムを提供する。【解決手段】保全管理システム1において、判定装置は、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶部と、作業者が見た領域をそれぞれ検出する検出部と、記憶部により記憶された各領域が検出部に検出されたか否かを判定する判定部と、を備える。【選択図】図1

Description

本発明は、装置、方法及びプログラムに関する。
特許文献1には、「電子機器は、ユーザの視線を検出する視線検出部を備え、制御部は、視線検出部から取得したユーザの視線情報に基づいて、ユーザが注目したウェブページ内の領域を取得してもよい」と記載されている。
特許文献1 特開2015-191551号公報
本発明の第1の態様においては、装置が提供される。装置は、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶部を備えてよい。装置は、作業者が見た領域をそれぞれ検出する検出部を備えてよい。装置は、記憶部により記憶された各領域が検出部に検出されたか否かを判定する判定部を備えてよい。
判定部は、作業ごとに、当該作業に対応する領域が検出部に検出されたか否かを判定してよい。
装置は、複数の作業のそれぞれに対し、作業者から作業完了の入力操作を受ける入力部を備えてよい。装置は、複数の作業のそれぞれについて、当該作業に対応する領域が検出されたと判定部に判定されたことに応じて、入力部による入力を承認する入力制御部を備えてよい。
記憶部は、複数の作業のそれぞれに対し、当該作業を行うべき順番をさらに記憶してよい。入力制御部は、複数の作業のそれぞれについて、当該作業よりも先に完了すべき他の作業が完了しており、かつ、当該作業に対応する領域が検出されたと判定部に判定されたことに応じて、入力部による入力を承認してよい。
装置は、記憶部により記憶された複数の領域のうち、検出部に検出されていない領域を抽出する抽出部を備えてよい。装置は、抽出部により抽出された領域に対応する作業が行われていないことを作業者に報知する報知部を備えてよい。
作業者が見るべき領域は、機器の設置領域であってよい。
本発明の第2の態様においては、方法が提供される。方法は、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶段階を備えてよい。方法は、作業者が見た領域をそれぞれ検出する検出段階を備えてよい。方法は、記憶段階で憶された各領域が検出段階で検出されたか否かを判定する判定段階を備えてよい。
本発明の第3の態様においては、プログラムが提供される。プログラムは、コンピュータを、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶部として機能させてよい。プログラムは、コンピュータを、作業者が見た領域をそれぞれ検出する検出部として機能させてよい。プログラムは、コンピュータを、記憶部により記憶された各領域が検出部に検出されたか否かを判定する判定部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る保全管理システム1を示す。 判定装置17を示す。 判定装置17の動作を示す。 表示画面を示す。 本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る保全管理システム1を示す。保全管理システム1は、プラントの保全管理を行うものであり、複数の機器11と、保全用端末12と、運転制御装置15と、インタフェース装置16と、判定装置17と、資源管理装置18とを備える。
ここで、プラントとしては、化学等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等がある。複数の機器11のうちの一部と、保全用端末12は、プラントにおいてプロセスが実行される現場に配置されてよい。例えば、現場には、被測定流体を流す配管及び配管に設置されて流体の流量を測定する流量計等が存在する。運転制御装置15と、複数の機器11のうちの他の一部と、インタフェース装置16と、判定装置17と、資源管理装置18とは、プラントの管理センタに配置されてよい。
複数の機器11は、器具、機械又は装置であり、例えば、プラントのプロセスにおける圧力、温度、pH、速度、流量等の物理量を測定するセンサでもよいし、いずれかの物理量を制御するバルブ、流用制御弁、開閉弁、ポンプ、ファン、モータ、加熱装置、冷却装置等のアクチュエータでもよいし、プラント内の異音等を収集したり警報音等を発したりするマイク、スピーカ等の音響機器でもよいし、各機器11の位置情報を出力する位置検出機器でもよいし、流体を流す配管であってもよいし、管理センタ等の室内に配置されたスイッチ、カメラ、PC(Personal computer)等であってもよいし、その他の機器でもよい。複数の機器11における各機器11は互いに異種でもよいし、少なくとも一部の2以上の機器11が同種でもよい。
複数の機器11のうちの少なくともいくつかは、制御用ネットワーク100を介して有線又は無線で運転制御装置15に接続されてよい。制御用ネットワーク100内の通信は、デジタル通信でもよいし、アナログ信号(4~20mA信号等)にデジタル信号を重畳したハイブリッド通信でもよく、1000bps~10000bps程度(一例として1200bps、2400bps)の速度でよい。制御用ネットワーク100内の通信は、例えばISA(International Society of Automation:国際計測制御学会)の無線通信プロトコルで行われてよく、一例としてISA100、HART(Highway Addressable Remote Transducer)(登録商標)、BRAIN(登録商標)、FOUNDATION Fieldbus、PROFIBUS等で行われてよい。
各機器11は、固有の識別情報(機器固有情報とも称する)を有してよい。機器固有情報は、機器11を一意に識別するための情報であり、本実施形態では一例として、通信プロトコル(一例としてHART)によって機器11に付与されたシリアル番号、機器11の製造業者により設定されたシリアル番号、及びユーザが付与した機器IDの少なくとも1つでよい。
保全用端末12は、複数の機器11のうちのいくつかの設定パラメータにアクセスし、設定パラメータの値の参照、設定及び変更等を行う。保全用端末12は、現場作業者が携帯するハンドヘルドターミナル(HHT)(一例としてスマートフォン又はタブレットPC)でもよいし、据え置き型のPCでもよい。保全用端末12がハンドヘルドターミナルである場合には、保全用端末12は機器11に対して着脱可能に接続されてよい。
運転制御装置15は、複数の機器11のうちのいくつかと通信してプロセスを制御する。例えば、運転制御装置15は、センサである機器11から測定データであるプロセス値を取得し、アクチュエータである機器11を駆動させる。そして、運転制御装置15は、プロセス値をインタフェース装置16に供給し、インタフェース装置16からプロセス値の目標値を受信してよい。なお、本実施形態では一例として保全管理システム1には運転制御装置15が1つ具備されて複数の機器11を制御することとして説明するが、運転制御装置15が複数具備されて、それぞれ一部の機器11を分散制御してもよい。運転制御装置15は、一例としてFCS(Field Control Station)でよい。
インタフェース装置16は、プラントにおける種々のデータを表示画面に表示して、作業者とプラントとのインタフェースを行う。インタフェース装置16は、作業者による操作に応じ、運転制御装置15を介してプラントのプロセスを制御してよい。例えば、インタフェース装置16は、運転制御装置15からプロセス値を受信し、プロセス値の目標値を運転制御装置15に供給してよい。また、インタフェース装置16は、運転制御装置15を介して機器11の設定パラメータの値を変更してよい。また、インタフェース装置16は、少なくとも一部の機器11に対応付けて当該機器11の設定パラメータの値を記憶してよい。インタフェース装置16は、一例としてHIS(Human Interface Station)でよく、PC等で構成されてよい。
判定装置17は、装置の一例であり、プラントにおける作業についての各種の判定を行う。例えば、判定装置17は、作業者が見た領域を検出して、プラントにおける作業者が予め定められた作業を行ったか否かを判定してよい。判定装置17は、一例として、アイトラッカー等の視線検出機能を有するウェアラブルデバイス、PC、カメラ等で構成されてよい。判定装置17は、本実施形態ではプラントの機器11、資源管理装置18、インタフェース装置16、運転制御装置15、及び保全用端末12等(以下、外部装置とも称する)と通信可能に接続されているが、外部装置と接続されていなくてもよい。
資源管理装置18は、プラントのオンライン監視及び集中管理を行う。例えば、資源管理装置18は、運転制御装置15が取得した機器11のデータ(一例として設定パラメータの値やプロセス値)等を管理してよい。資源管理装置18は、一例としてPC等で構成されてよい。
図2は、判定装置17を示す。判定装置17は、入力部171と、記憶部172と、決定部173と、撮像部174と、検出部175と、判定部176と、抽出部177と、報知部178と、入力制御部179とを有する。
入力部171は、作業者又は外部装置から、作業に関する入力を受ける。入力部171は、複数の作業のそれぞれに対し、作業者から作業完了の入力操作を受けてよい。入力部171は、作業者から、作業又はプラントに関する所定の状況を示す入力を受けてよい。入力部171は、プラント内に存在する外部装置から、有線又は無線で各種のデータを受け取ってよい。入力部171は、キーボード、タッチパネル、通信端末、及びボタン等の少なくとも1つを含んでよい。入力部171は、入力内容を決定部173に供給してよい。
ここで、状況は、所定の空間(一例として管理センタ等の建物や部屋)における作業者の出入り、予め定められた時刻になったこと、及びプラントの機器11のプロセス値の異常が検出されたこと等の少なくとも1つを含んでよい。
作業は、各状況において作業者が行うべき動作であってよい。作業は、一例として、機器11の電源をオフ又はオンにする、窓を開ける又は閉める、予め定められた領域から出る、予め定められた領域に入る、機器11の各種の操作、機器11の表示画面の少なくとも1部の領域をチェックする、及びこれらの動作を行ったか否かの確認のうちの少なくとも1つを含んでよい。
記憶部172は、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき1又は複数の領域(要注目領域とも称する)を記憶する。記憶部172は、予め作業者等から入力部171を介して入力されたデータを記憶してよい。当該データは、作業を行うべき状況をそれぞれ示す状況データ、作業をそれぞれ示す作業データ、及び要注目領域をそれぞれ示す領域データを含んでよい。記憶部172は、複数の作業のそれぞれに対し、当該作業を行うべき順番をさらに記憶してよい。記憶部172は、状況、作業、作業の順番、及び作業毎の要注目領域を関連付けて記憶してよい。記憶部172は、当該関連付けのためのテーブルを有してよい。
ここで、要注目領域は、プラントに存在する機器11の設置領域、管理センタ等の室内の座標範囲で囲まれる領域、又は外部装置若しくは判定装置の表示画面の座標範囲で囲まれる領域であってよい。要注目領域の領域データは、座標範囲、及び機器11の機器固有情報の少なくとも1つであってよい。また、要注目領域は、表示画面内の複数のウィンドウのうちの何れかのウィンドウであってもよい。この場合には、要注目領域の領域データは、表示画面内での座標範囲を示してもよいし、何れかのウィンドウを示してもよい。
決定部173は、作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を決定する。決定部173は、入力部171から入力された状況に基づいて複数の作業を決定してよい。決定部173は、記憶部172から、複数の作業を示す作業データ及び要注目領域を示す領域データを取得してよい。決定部173は、領域データを判定部176に供給し、作業データ及び領域データを抽出部177に供給してよい。決定部173は、入力部171の入力内容と共に、各種データを抽出部177に供給してよい。
撮像部174は、作業者を撮像する。撮像部174は、作業者の一部(眼球、頭等)を撮像してよい。撮像部174は、めがね型のウェアラブルデバイス、判定装置17若しくは外部装置の表示画面の外周部に設けられるカメラ、又は管理センタ等の天井や壁に設けられる監視カメラ等であってよい。撮像部174は、撮像したデータを検出部175に供給する。
検出部175は、作業者が見た領域(視認領域とも称する)をそれぞれ検出する。検出部175は、作業者の視線を検出することにより作業者が見た領域を検出してよい。検出部175は、撮像部174から供給される画像を解析することによって視線を検出してよい。検出部175は、眼球の画像から両目の注視位置を検出し、両目の中間点と、作業者の注視位置とを結ぶ直線を作業者の視線として検出してよい。検出部175は、作業者の眼、鼻、口等の位置から、作業者の頭の向きを検出して、検出された向きの直線を作業者の視線として検出してもよい。検出部175は、検出した視線上の領域を視認領域としてよい。検出部175は、さらに作業者の位置をGPSや画像から検出して、当該位置から視認領域を検出してよい。
検出部175は、機器11の表示画面内の作業者が見ている領域をさらに検出してよい。検出部175は、作業者の視線と表示画面との交差点を、表示画面内で作業者が見ている位置として検出し、この位置を含む領域を視認領域として検出してよい。検出部175は、視認領域を示す領域データを判定部176に供給してよい。検出部175が供給する領域データは、記憶部172に記憶された要注目領域の領域データと同じ形式のものであってよい。
ここで、視認領域は、座標範囲で囲まれる領域であってよい。また、視認領域は、外部装置又は判定装置の表示画面において複数のウィンドウが表示される場合には、何れかのウィンドウであってもよい。この場合には、視認領域の領域データは、表示画面内での座標範囲を示してもよいし、何れかのウィンドウを示してもよい。視認領域は、要注目領域よりも狭い領域であってもよいし、要注目領域と同じ広さの領域であってもよいし、要注目領域よりも広い領域であってもよい。
判定部176は、記憶部172により記憶された各要注目領域が検出部175に検出されたか否かを判定する。判定部176は、作業ごとに、当該作業に対応する要注目領域が検出部175に検出されたか否かを判定してよい。判定部176は、検出部175から供給された視認領域の少なくとも1部が、要注目領域の少なくとも1部と一致する場合に、要注目領域が検出部175に検出されたと判定してよい。判定部176は、検出部175に検出された要注目領域(検出済み要注目領域とも称する)を示す判定結果を抽出部177に供給してよい。例えば、判定部176は、検出済み要注目領域の領域データを抽出部177に供給してよい。
抽出部177は、記憶部172により記憶された複数の要注目領域のうち、検出部175に検出されていない領域(未検出の要注目領域とも称する)を抽出する。抽出部177は、未検出の要注目領域の領域データ及び当該未検出の要注目領域に対応する作業の作業データの少なくとも一方を報知部178に供給してよい。抽出部177は、未検出の要注目領域のデータを報知部178に供給した後に、当該未検出の要注目領域の領域データを判定部176から受け取った場合(すなわち、判定部176が当該未検出の要注目領域が作業者により見られたと判定した場合)、当該未検出の要注目領域に対応する作業が行われたことを示す信号を報知部178に供給してよい。抽出部177は、作業毎に又は状況毎に、全ての要注目領域が検出されたことを示す信号を入力制御部179に供給してよい。
報知部178は、抽出部177により抽出された領域に対応する作業が行われていないことを作業者に報知する。報知部178は、抽出部177から受け取った未検出の要注目領域に対応する作業を作業者に報知してよい。報知部178は、音声、表示、及び振動等の少なくとも1つにより作業者に報知してよい。例えば、報知部178は、表示画面を有してよく、当該表示画面に未検出の要注目領域又は未検出の要注目領域に対応する作業を表示してよい。
入力制御部179は、判定部176の判定結果に応じて入力部171を制御する。入力制御部179は、複数の作業のそれぞれについて、当該作業に対応する領域が検出されたと判定部176に判定されたことに応じて、入力部171による作業完了の入力を承認する。入力制御部179は、複数の作業のそれぞれについて、当該作業よりも先に完了すべき他の作業が完了しており、かつ、当該作業に対応する領域が検出されたと判定部176に判定されたことに応じて、入力部171による入力を承認してよい。入力制御部179は、状況毎に又は作業毎に、全ての要注目領域が検出された場合に、入力部171による入力を承認してよい。一例として、入力制御部179は、1つの状況における複数の作業の要注目領域の全て又は1部が検出済みと判定されると、入力部171に承認信号を送信して、次の入力を承認してよい。
図3は、判定装置17の動作を示す。判定装置17は、ステップS11~S21の処理を行うことにより、プラントの保全管理を支援する。なお、この動作はプラントの始動に応じて開始されてよい。
ステップS11において判定装置17は、判定開始の条件を満たすか否かを判断する。判定装置17は、作業者から、所定の状況の入力が入力部171を介して行われると、判定動作を開始してよい。また、判定装置17は、プラント内に存在する外部装置から、入力部171を介して判定開始を指示する信号を受信すると、判定動作を開始してよい。また、判定装置17は、予め定められた時刻になった場合又は判定装置17の電源がオンになった場合に判定動作を開始してもよい。判定開始の条件を満たす場合(ステップS11;Y)にはステップS13に処理が移行してよい。判定開始の条件を満たさない場合(ステップS11;N)には、当該条件が満たされるまで待機してよい。
ステップS13において決定部173は、要注目領域を決定する。決定部173は、一例として、プラントの「B棟」の「aルーム」からの退室の状況を示すデータを入力部171から受け取ると、記憶部172にアクセスして、当該退室に対応付けられた1又は複数の作業データ及び領域データを取得する。この場合、作業は、一例として、aルームの機器11(照明、PC等)の電源をオフにする、作業者がaルームのドアを閉める、及びaルーム内の機器11の表示画面の特定の領域を見るであってよい。当該作業に対応する要注目領域は、電源をオフにする機器11の設置領域、aルームのドア、表示画面内の特定のウインドウであってよい。
ステップS15において検出部175は、撮像部174から供給されるデータから、作業者の視線を検出して視認領域を検出する。
ステップS17において判定部176は、要注目領域が作業者により見られているか否かを判定する。本実施形態においては一例として、判定部176は、要注目領域と、視認領域とが一致しているか否かを判定してよい。判定部176は、1つの要注目領域について複数回視認領域と一致した場合、一致する度に当該要注目領域が検出されたことを抽出部177に示してよい。
本実施形態においては一例として、要注目領域が見られているとは、現時点までの第1の基準時間幅(一例として1分間)において少なくとも一度、要注目領域が見られていることであってよい。要注目領域が一度、見られているとは、要注目領域に視線が位置する状態が第2の基準時間幅(一例として0.5秒間)に亘って継続することであってよい。このような第2の基準幅は、複数の要注目領域のそれぞれで異なる期間であってよく、この場合、記憶部172は、要注目領域と対応付けて第1の基準幅を記憶してよい。
要注目領域が複数ある場合には、判定部176は、当該複数の要注目領域がそれぞれ見られているか否かを判定してよい。複数の要注目領域がそれぞれ見られているとは、現時点までの第1の基準時間幅において各要注目領域が少なくとも一度、見られていることであってよい。
ステップS19において抽出部177は、未検出の要注目領域に対応する作業を抽出する。抽出部177は、決定部173から受け取った複数の要注目領域の領域データと、判定部176から受け取った検出済み要注目領域とを比較して、検出部175に検出されていない要注目領域を抽出してよい。
抽出部177は、一例として、状況の入力(判定動作開始)から第3の基準幅(一例として10分)までの期間に、当該状況に対応する複数の要注目領域のうち未検出である要注目領域を抽出してよい。抽出部177は、1つの状況の入力から第3の基準幅の期間が過ぎた後に、未検出の要注目領域の領域データ(又は当該領域データに対応する作業データ)を報知部178に供給してよい。抽出部177は、未検出の要注目領域の領域データを報知部178に供給した後に、判定部176から当該未検出の要注目領域が検出された(作業者により見られた)ことを示す信号(領域データ)を受け取った場合に、報知部178に当該未検出の要注目領域が検出されたことを示す信号を供給してよい。ここで、第3の基準幅は、第1の基準幅と同じであっても異なってもよい。第3の基準幅は、状況毎に異なる期間であってもよく、この場合、記憶部172は、各状況と対応付けて第3の基準幅を記憶してよい。
また、抽出部177は、作業毎又は状況毎に複数の作業を行うべき順番で行われているかを判断してよい。抽出部177は、複数の作業を行うべき順番で、当該作業に対応する要注目領域が検出されたかを判断してよい。抽出部177は、異なる順番で検出された要注目領域については、未検出と判断してよい。一例として、3つの作業A,B,Cの順で行うべき場合、判定部において作業Aに対応する要注目領域a,作業Cに対応する要注目領域c,作業Bに対応する要注目領域bの順で検出されたと判定されると、抽出部177は、要注目領域cは未検出としてよい。
また、抽出部177は、複数の状況が入力部171に入力されると、状況の入力順に又は状況について予め定められた順に、1又は複数の作業が行われているかを判断してよい。一例として、抽出部177は、2つの状況I、IIが順に入力部171に入力されると、最初の状況Iに対応する全ての作業が完了した(すなわち、全ての作業に対応する要注目領域が検出された又は全ての作業について作業完了の入力があった)後に検出された要注目領域について、状況IIについての未検出の要注目領域の抽出を行ってよい。
抽出部177が、入力された状況に対応する要注目領域の全てが検出されたと判断した場合(ステップS19;Y)にはステップS11に処理が移行してよい。要注目領域の少なくとも1部が検出されていないと判断した場合(ステップS19;N)には、ステップS21に処理が移行してよい。
ステップS21において報知部178は、抽出部177により抽出された未検出の要注目領域があること、未検出の要注目領域の範囲、及び未検出の要注目領域に対応する作業の少なくとも1つを、判定装置17又はプラントの外部装置の表示画面に表示してよい。
未検出の要注目領域が判定装置17の表示画面又は外部装置の表示画面の特定の領域である場合、一例として、報知部178は、当該表示画面の各領域の表示位置、表示色、明るさ、表示サイズ、各領域内のテキストの文字修飾、表示色、又は、表示サイズの少なくとも1つを変更して、未検出の要注目領域を示してもよい。報知部178は、要注目領域の表示態様が変更されている場合に、要注目領域と視認領域とが一致したことに応じて、要注目領域の表示態様を変更前の状態に戻してよい。
報知部178は、抽出部177から未検出の要注目領域が検出されたことを示す信号を受信したことに応じて、又は入力部171に作業者が作業完了の入力を行うことに応じて、報知動作を終了してよい。
ステップS21において入力制御部179は、抽出部177から状況毎に又は作業毎に全ての要注目領域が検出されたことを示す信号を受信すると、作業者による作業完了の入力を承認する。入力制御部179は、当該信号を受信するまで、入力部171からの入力ができないようにしてよい。入力制御部179は、一例として、当該信号を受信すると、入力部171における作業完了ボタンを非表示から表示に切り替えることで又は作業完了ボタンを強調表示することで、入力を承認してよい。
判定装置17は、ステップS15に戻り、報知部178による報知後又は報知継続中に、視認領域を検出してよい。
以上の動作によれば、状況に応じて決められた作業を作業者が行ったか否かを視線により判定して、作業者に確実に作業を行わせることができる。
図4は、要注目領域の一例である表示画面180を示す。表示画面180は、判定装置17の表示画面又はプラント内の外部装置の表示画面であってよい。この場合、撮像部174は、表示画面180の端部に設けられて、視線検出のために、表示画面180を見ている作業者の眼等を撮像してよい。
表示画面180には、プラント内の各機器11のうち、作業者により選択される一部の機器11のプロセス値が表示されてよい。例えば、表示画面180には、プラント内の機器11の設置領域を選択するための選択領域1641と、選択された設置領域に属する各機器11のプロセス値を表示するデータ表示領域1642とが設けられてよい。何れかの機器11のプロセス値に異常が生じ、判定装置17が、見るべき領域を作業者が見ていないと判定した場合には、報知部178は、当該プロセス値のデータ表示領域1642の表示態様を変更してよい。
本図では一例として、選択領域1641には、機器11の設置領域の選択肢としてプラント内の建物や部屋が表示されて、「B棟」の「aルーム」が選択されており、当該設置領域に設置された「機器(1)」~「機器(4)」のプロセス値の履歴がデータ表示領域1642(1)~1642(4)に表示されている。また、「機器(1)」のプロセス値に異常が生じて、そのデータ表示領域1642(1)が要注目領域とされた状態で、作業者の視認領域1643がデータ表示領域1642(2)内に位置するため、報知部178による制御で、データ表示領域1642(1)の背景色が変更されている。
なお、撮像部174は、作業者(例えば、頭、肩等)に取り付けられ、作業者が向いている方向を撮像してよい。例えば、撮像部174は、機器11に取り付けられたコード(一例として、バーコード、QRコード(登録商標))等を撮像して、検出部175は、当該コードにより機器11を認識し、判定部176は、当該機器11に対応する要注目領域が検出部175に検出されたと判定してよい。
また、判定装置17は、撮像部174を有さなくてよく、この場合、検出部175は、作業者の視線を検出するためのデータを外部のデバイス(例えば、ウェアラブルデバイス、カメラ等)から受け取ってよい。
また、判定装置17は、プラントの機器11、資源管理装置18、インタフェース装置16、運転制御装置15、又は保全用端末12の一部であってもよい。
また、本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階又は(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階及びセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図5は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の1又は複数のセクションとして機能させることができ、又は当該操作又は当該1又は複数のセクションを実行させることができ、及び/又はコンピュータ2200に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、及びディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、及びICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230及びキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230及びRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等又はそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ2226は、プログラム又はデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、及び/又はコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201又はICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、又はROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ2200の使用に従い情報の操作又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200及び外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、又はICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ2200上又はコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 保全管理システム
11 機器
12 保全用端末
15 運転制御装置
16 インタフェース装置
17 判定装置
18 資源管理装置
100 制御用ネットワーク
171 入力部
172 記憶部
173 決定部
174 撮像部
175 検出部
176 判定部
177 抽出部
178 報知部
179 入力制御部
180 表示画面
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード

Claims (8)

  1. 作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶部と、
    前記作業者が見た領域をそれぞれ検出する検出部と、
    前記記憶部により記憶された各領域が前記検出部に検出されたか否かを判定する判定部と、
    を備える、装置。
  2. 前記判定部は、作業ごとに、当該作業に対応する領域が前記検出部に検出されたか否かを判定する、請求項1に記載の装置。
  3. 前記複数の作業のそれぞれに対し、前記作業者から作業完了の入力操作を受ける入力部と、
    前記複数の作業のそれぞれについて、当該作業に対応する領域が検出されたと前記判定部に判定されたことに応じて、前記入力部による入力を承認する入力制御部と、
    をさらに備える、請求項1又は2に記載の装置。
  4. 前記記憶部は、前記複数の作業のそれぞれに対し、当該作業を行うべき順番をさらに記憶し、
    前記入力制御部は、前記複数の作業のそれぞれについて、当該作業よりも先に完了すべき他の作業が完了しており、かつ、当該作業に対応する領域が検出されたと前記判定部に判定されたことに応じて、前記入力部による入力を承認する
    請求項3に記載の装置。
  5. 前記記憶部により記憶された複数の領域のうち、前記検出部に検出されていない領域を抽出する抽出部と、
    前記抽出部により抽出された領域に対応する作業が行われていないことを前記作業者に報知する報知部と、
    をさらに備える、請求項1から4の何れか一項に記載の装置。
  6. 前記作業者が見るべき領域は、機器の設置領域である、請求項1から5の何れか一項に記載の装置。
  7. 作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶段階と、
    前記作業者が見た領域をそれぞれ検出する検出段階と、
    前記記憶段階で記憶された各領域が前記検出段階で検出されたか否かを判定する判定段階と、
    を備える方法。
  8. コンピュータを、
    作業者が行うべき複数の作業のそれぞれに対し、当該作業を行う場合に作業者が見るべき領域を記憶する記憶部と、
    前記作業者が見た領域をそれぞれ検出する検出部と、
    前記記憶部により記憶された各領域が前記検出部に検出されたか否かを判定する判定部と、
    として機能させるためのプログラム。
JP2020219611A 2020-12-28 2020-12-28 装置、方法及びプログラム Active JP7347409B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020219611A JP7347409B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム
US17/457,673 US20220207453A1 (en) 2020-12-28 2021-12-06 Apparatus, method, and recording medium
EP21215333.2A EP4020353B1 (en) 2020-12-28 2021-12-16 Apparatus, method, and program
CN202111611026.6A CN114697613A (zh) 2020-12-28 2021-12-27 装置、方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020219611A JP7347409B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022104410A true JP2022104410A (ja) 2022-07-08
JP7347409B2 JP7347409B2 (ja) 2023-09-20

Family

ID=79270278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020219611A Active JP7347409B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20220207453A1 (ja)
EP (1) EP4020353B1 (ja)
JP (1) JP7347409B2 (ja)
CN (1) CN114697613A (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282151A1 (en) * 2010-12-22 2013-10-24 Susanne Timsjo Method And System For Monitoring An Industrial System Involving An Eye Tracking System
WO2017119127A1 (ja) * 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017167978A (ja) * 2016-03-17 2017-09-21 Kddi株式会社 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム
JP2017204094A (ja) * 2016-05-10 2017-11-16 富士通株式会社 視線特定プログラム、視線特定装置、及び視線特定方法
JP2018049421A (ja) * 2016-09-21 2018-03-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
JP2019109844A (ja) * 2017-12-20 2019-07-04 グレイステクノロジー株式会社 作業支援システム及び作業支援プログラム
JP2020035280A (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP2020154569A (ja) * 2019-03-19 2020-09-24 株式会社日立製作所 表示装置、表示制御方法、及び表示システム
JP2020197878A (ja) * 2019-05-31 2020-12-10 株式会社日立ビルシステム 点検支援システムおよび点検支援方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2015191551A (ja) 2014-03-28 2015-11-02 株式会社ニコン 電子機器
US20160094705A1 (en) * 2014-09-30 2016-03-31 Ringcentral, Inc. Message Read Confirmation Using Eye Tracking
JP2016133904A (ja) * 2015-01-16 2016-07-25 富士通株式会社 既読判断装置、既読判断方法及び既読判断プログラム
NL2019927B1 (en) * 2017-11-16 2019-05-22 Joa Scanning Tech B V A computer controlled method of and apparatus and computer program product for supporting visual clearance of physical content.
US20200265363A1 (en) * 2019-02-15 2020-08-20 Wipro Limited Method and system for determining working condition of a worker performing qualitative evaluation of products
CN112036892A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 审核任务的校验方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282151A1 (en) * 2010-12-22 2013-10-24 Susanne Timsjo Method And System For Monitoring An Industrial System Involving An Eye Tracking System
WO2017119127A1 (ja) * 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017167978A (ja) * 2016-03-17 2017-09-21 Kddi株式会社 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム
JP2017204094A (ja) * 2016-05-10 2017-11-16 富士通株式会社 視線特定プログラム、視線特定装置、及び視線特定方法
JP2018049421A (ja) * 2016-09-21 2018-03-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
JP2019109844A (ja) * 2017-12-20 2019-07-04 グレイステクノロジー株式会社 作業支援システム及び作業支援プログラム
JP2020035280A (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP2020154569A (ja) * 2019-03-19 2020-09-24 株式会社日立製作所 表示装置、表示制御方法、及び表示システム
JP2020197878A (ja) * 2019-05-31 2020-12-10 株式会社日立ビルシステム 点検支援システムおよび点検支援方法

Also Published As

Publication number Publication date
EP4020353B1 (en) 2024-05-08
JP7347409B2 (ja) 2023-09-20
CN114697613A (zh) 2022-07-01
US20220207453A1 (en) 2022-06-30
EP4020353A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
CN102419578B (zh) 显示过程控制信息的方法和装置
CN106843193A (zh) 用于显示过程控制装置信息的方法及装置
JP7347409B2 (ja) 装置、方法及びプログラム
JP7283462B2 (ja) 装置、方法およびプログラム
US11093779B2 (en) Apparatus, method and recording medium
JP7222388B2 (ja) 装置、方法及びプログラム
JP7327370B2 (ja) 装置、方法およびプログラム
JP2022104018A (ja) 装置、方法およびプログラム
US10928791B2 (en) Model-based human machine interface (HMI)
JP7243691B2 (ja) 装置、システム、方法およびプログラム
EP3803224B1 (en) A method of generating for a user augmented reality information related to an hvac component
JP2020187637A (ja) 表示制御方法、表示制御装置およびプログラム
DK180665B1 (en) Augmented Reality Maintenance System
JP7347468B2 (ja) 装置、方法およびプログラム
JP7222387B2 (ja) 装置、方法およびプログラム
JP7452563B2 (ja) 装置、方法およびプログラム
JP2023149013A (ja) データ処理装置、データ処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7347409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150