JP6763206B2 - 撮像装置、撮像装置の作動方法及び撮像プログラム - Google Patents

撮像装置、撮像装置の作動方法及び撮像プログラム Download PDF

Info

Publication number
JP6763206B2
JP6763206B2 JP2016120962A JP2016120962A JP6763206B2 JP 6763206 B2 JP6763206 B2 JP 6763206B2 JP 2016120962 A JP2016120962 A JP 2016120962A JP 2016120962 A JP2016120962 A JP 2016120962A JP 6763206 B2 JP6763206 B2 JP 6763206B2
Authority
JP
Japan
Prior art keywords
information
unit
display unit
main body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016120962A
Other languages
English (en)
Other versions
JP2017221597A (ja
Inventor
邦雄 大塚
邦雄 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016120962A priority Critical patent/JP6763206B2/ja
Priority to US15/620,927 priority patent/US20170366868A1/en
Publication of JP2017221597A publication Critical patent/JP2017221597A/ja
Application granted granted Critical
Publication of JP6763206B2 publication Critical patent/JP6763206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17DPIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00Protection or supervision of installations
    • F17D5/02Preventing, monitoring, or locating loss
    • F17D5/06Preventing, monitoring, or locating loss using electric or acoustic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、外部機器と通信可能な撮像装置、撮像装置の作動方法及び撮像プログラムに関する。
一般に、産業機器や配管などの被検査物(対象物)の内部領域の検査において、この内部領域に挿入されて該内部領域の被写体を撮像する撮像装置としての内視鏡が広く用いられている。この種の工業用内視鏡では、撮像画像により内部領域の被写体の傷や腐食の有無が観察されている(例えば、特許文献1参照)。また、医療用の内視鏡の分野では、撮像した画像をヘッドマウントディスプレイに表示させる技術も開示されている(例えば、特許文献2参照)。
特開2000−162510号公報 特開平08−131399号公報
ところで、従来、被検査物の内部領域検査をする場合、検査作業員は、紙に検査手順が記載された検査手順書を用いて、この検査手順書に規定された各工程の作業内容に従って内視鏡を操作していた。このため、検査の工程が進むたびに、都度、検査手順書を手に取って工程の作業内容を確認する必要があり、その分検査作業の負担が増していた。
本発明は、上記に鑑みてなされたものであって、手順書に示された情報や撮像された画像情報が表示部に表示されることで、各工程や過去の結果を容易に確認することができ、検査作業の負担の軽減を図った撮像装置、撮像装置の作動方法及び撮像プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、対象物を撮像する撮像部と撮像された画像情報を表示する本体表示部とを備えた撮像装置であって、表示部を有する外部機器とネットワークを介して通信する本体通信部と、撮像された画像情報と検査の手順を示す手順書情報とを記憶する記憶部と、手順書情報を表示部又は本体表示部に表示させる表示制御部と、を備え、記憶部は、表示部又は本体表示部に表示された手順書情報と、手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、表示制御部は、画像情報と対応づけられた手順書情報が表示部又は本体表示部に表示されている場合に、手順書情報に対応した画像情報を表示部又は本体表示部に表示させることを特徴とする。
上述した課題を解決し、目的を達成するために、本発明は、対象物を撮像する撮像部と撮像された画像情報を表示する本体表示部とを備えた撮像装置の作動方法であって、本体通信部が表示部を有する外部機器とネットワークを介して通信する本体通信ステップと、記憶部が撮像された画像情報と検査の手順を示す手順書情報とを記憶する記憶ステップと、表示制御部が手順書情報を表示部又は本体表示部に表示させる表示制御ステップと、を備え、記憶ステップでは、記憶部が、表示部又は本体表示部に表示された手順書情報と、手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、表示制御ステップでは、表示制御部が、画像情報と対応づけられた手順書情報が表示部又は本体表示部に表示されている場合に、手順書情報に対応した画像情報を表示部又は本体表示部に表示させることを特徴とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像プログラムは、対象物を撮像する撮像部と撮像された画像情報を表示する本体表示部とを備えた撮像装置で実行されるプログラムあって、表示部を有する外部機器とネットワークを介して通信する本体通信ステップと、撮像された画像情報と検査の手順を示す手順書情報とを撮像装置が備える記憶部に記憶する記憶ステップと、手順書情報を表示部又は本体表示部に表示させる表示制御ステップと、を撮像装置に実行させ、記憶ステップでは、記憶部が、表示部又は本体表示部に表示された手順書情報と、手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、表示制御ステップでは、画像情報と対応づけられた手順書情報が表示部又は本体表示部に表示されている場合に、手順書情報に対応した画像情報を表示部又は本体表示部に表示させることを特徴とする。
本発明によれば、手順書に示された情報や撮像された画像情報が表示部に表示されるため、各工程や過去の結果を容易に確認することができ、従って、検査作業の負担を軽減することができる。
図1は、本実施形態に係る内視鏡を含む検査装置の機能構成図である。 図2は、手順書情報と対応づけて画像を記憶する手順を示すフローチャートである。 図3は、対応づけ処理の手順を示すフローチャートである。 図4は、検査動作の手順を示すフローチャートである。 図5は、判定部の動作手順を示すフローチャートである。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
図1は、本実施形態に係る内視鏡を含む検査装置の機能構成図である。検査装置1は、図1に示すように、撮像装置としての内視鏡10と、この内視鏡10に、例えば、ローカルエリアネットワーク(LAN)等のネットワーク11を介して通信可能に接続されるヘッドマウントディスプレイ(外部機器)4とを備える。検査装置1は、発電機、エンジン等の産業機器やタービン、各種配管等の被検査物(対象物)の内部領域に、内視鏡10を挿入することにより、この内部領域の検査を行うものである。
内視鏡10は、長尺な管状に形成された内視鏡挿入部2と、この内視鏡挿入部2の各種操作及び制御を行うコントロールユニット3とを備える。内視鏡挿入部2は、被検査物の内部領域(不図示)に挿入されるヘッド部21と、このヘッド部21に連結され、該ヘッド部21の向きを変更自在に湾曲する湾曲部22と、この湾曲部22に連結される長尺の可撓管部23とを備える。ヘッド部21は、樹脂や金属等のある程度の硬性を有する材料で形成され、先端に設けられたレンズ24と撮像部25とを備える。撮像部25は、挿入された内部領域で被写体の画像を撮像する。撮像する画像は静止画であっても動画であってもよい。なお、本実施形態ではヘッド部21の先端にレンズ24を設ける構成としたが、ヘッド部21の先端には透明な物質(例えばアクリルやガラス)で形成される透明窓を設け、透明窓と撮像部25との間にレンズ24を設ける構成にしてもよい。また、ヘッド部21は、レンズ24の外周部に少なくとも1つの照明部(不図示)を備えてもよく、ヘッド部21の先端に透明窓を設ける構成であっては、ヘッド部21の内部に照明部を備える構成にしてもよい。
湾曲部22は、例えば、多数の関節コマを順次連結して構成され、先端側の関節コマには複数のワイヤ(不図示)が所定角度間隔で固定されている。これら所定角度間隔に配置されたワイヤを適宜引張ることにより、このワイヤに相当する所定方向に湾曲させることができる。本実施形態では、湾曲部22は、ヘッド部21を360°いずれの方向にも湾曲させることができる。また、湾曲させる際の角度は90°以上となっている。
可撓管部23は、可撓性を有する中空筒状体であり、内部にはヘッド部21の撮像部25に接続される信号線や電源線、湾曲部22の関節コマに接続される複数のワイヤ等が収容される。
コントロールユニット3は、本体操作部31、本体表示部32、本体通信部33、本体制御部34及び記憶部35を備える。本体操作部31は、内視鏡挿入部2の動作の各種操作を行う機能を有し、例えば、ジョイスティックや操作スイッチ等の物理的な操作部やタッチパネル等の電子的な操作部を備えて構成される。本実施形態では、内視鏡挿入部2の湾曲部22を所定方向に湾曲させる操作等を行う。また、本体操作部31は、ヘッドマウントディスプレイ4の表示に関する操作を行う機能を有してもよい。
本体表示部32は、各種情報を表示する表示機能を有し、撮像部25が撮像した画像情報等を表示する。本体通信部33は、上記したネットワーク11と接続されて、該ネットワーク11に接続されたヘッドマウントディスプレイ4と各種情報の通信を行う。本実施形態では、本体通信部33は、ネットワーク11に無線通信手段(例えば、WiFiやBluetooth(登録商標))によって通信を行っているが、有線通信手段により各種情報の通信を行ってもよい。さらに、本体通信部33はネットワークアクセスポイントである中継機(不図示)を介して、各種情報の通信を行ってもよい。この場合には、本体通信部33と中継機とは有線通信手段により、中継機とヘッドマウントディスプレイ4とは無線通信手段により、通信を行ってもよい。
本体制御部34は、コントロールユニット3の全体の動作を制御するものであり、表示制御部36と判定部37とを備える。表示制御部36は、撮像部25が撮像した画像情報等に基づき、本体表示部32に表示される表示内容を制御する。また、表示制御部36は、ネットワーク11に接続されたヘッドマウントディスプレイ4に表示される表示内容を制御する。判定部37は、所定期間をあけて、同一の被写体を撮像した複数の画像情報に基づき、時間経過に伴い、被写体に傷や腐食等の損傷が生じているか否かを判定する。
記憶部35は、本体制御部34の制御下、各種情報を記憶するものであり、特に画像記憶部38と、手順書記憶部39とを備える。手順書記憶部39は、被検査物に対して行われる検査の手順を規定した検査手順書に基づいた手順書情報を記憶する。検査手順書とは、被検査物の検査手順を工程ごとに示すものであり、各工程における作業内容(例えば内視鏡10の操作事項、確認事項または注意事項等)が規定されている。手順書情報とは、ヘッドマウントディスプレイ4に表示することを目的とした上記の検査手順書の内容を示す情報(所定の情報)である。例えば、検査手順書の内容を、ヘッドマウントディスプレイ4に表示できる程度のテキストにしたテキスト情報であり、または映像にした映像情報である。なお、手順書情報は工程ごとに用意してもよいし、または複数の工程ごとに用意してもよい。このため、これらの検査手順の工程、及び各工程の作業内容が規定された検査手順書を用いることにより、検査作業員が熟練者でなくても、一定基準を上回る検査を行うことができる。
また、画像記憶部38は、撮像部25が撮像した画像情報を記憶する。本実施形態では、検査手順書の検査手順の工程と、この工程で撮像された画像情報と、該工程が実施された日時とを対応づけて記憶している。画像記憶部38への記憶は、本体制御部34の制御下、検査作業員の確認操作に基づき行われる。このように、検査の工程と撮像された画像及び撮像日時とが対応づけられて記憶されるため、同一の工程における画像情報の履歴を容易に管理することができる。
ヘッドマウントディスプレイ4は、検査作業員の頭部に装着される情報機器である。ヘッドマウントディスプレイ4は、表示部41、操作部42、制御部43及び通信部44を備える。表示部41は、ヘッドマウントディスプレイ4を装着した際に、検査作業員の眼前に配置され、検査作業員に与える各種情報が表示される。本実施形態では、表示部41への表示内容は、上記したコントロールユニット3の表示制御部36によって制御され、表示制御部36は、手順書情報に基づき、検査手順の工程及び作業内容を工程ごとに表示部41に表示する。これによれば、検査手順の工程が表示部41に順次表示されるため、検査作業員は各工程を容易に確認することができる。従って、検査作業員の検査作業の負担を軽減することができ、検査作業員は、検査作業に集中することができる。また、本実施形態では、ヘッドマウントディスプレイ4の表示部41に検査手順の工程が順次表示されるため、検査作業員は、両手で内視鏡10を操作しつつ、各工程の確認を行うことができ、検査作業を効率的に行うことができる。
操作部42は、ヘッドマウントディスプレイ4を操作するものであり、例えば、ジョイスティックや操作スイッチを含む。本実施形態では、操作部42は、ネットワーク11を介して、コントロールユニット3への操作を可能する。具体的には、操作部42として、音声認識部(不図示)を備えており、検査作業員が発した声(音声コマンド)によって、この声(音声コマンド)に対応する操作コマンドをコントロールユニット3へ発信する。この構成により、例えば、撮像した画像情報を工程と対応づけて画像記憶部38へ記憶する際の確認操作を、検査作業員の発した声(音声コマンド)によって可能としている。また、操作部42は、ヘッドマウントディスプレイ4の表示に関する操作を行う機能を有してもよい。
制御部43は、コントロールユニット3の本体制御部34と連携してヘッドマウントディスプレイ4及びコントロールユニット3の動作を制御する。通信部44は、上記したネットワーク11と接続されて、該ネットワーク11に接続されたコントロールユニット3と各種情報の通信を行う。通信部44は、コントロールユニット3と同様に無線通信手段または有線通信手段により各種情報の通信を行ってもよく、また中継機を介してもよい。
次に、検査装置1による手順書情報と対応づけて画像を記憶する手順について説明する。図2は、手順書情報と対応づけて画像を記憶する手順を示すフローチャートである。
まず、本体操作部31又は操作部42による指示に基づき、制御部43は、手順書記憶部39から手順書情報を読み出し、表示部41に手順書情報を表示する(ステップSa1)。なお、操作部42による指示に基づく場合には、通信部44から本体通信部33へ指示するための信号を送信し、その信号に基づき制御部43は手順書情報を表示する。ここで表示する手順書情報は、例えば、テキスト情報であり、制御部43は、表示部41に「第1工程:内視鏡のヘッド部を配管内に下方に50cm挿入する。挿入完了?」と表示する。
続いて、本体操作部31又は操作部42による指示に基づき、本体制御部34は撮像部25により撮像された画像を画像記憶部38へ記憶する動作を開始する(ステップSa2)。例えば、画像としては、配管の内部を被写体として撮像された画像が挙げられる。
本体操作部31又は操作部42により、本体制御部34は表示部41に表示されている手順書情報を他の手順書情報へ変更する指示があったか否かを判定する(ステップSa3)。より具体的には、表示部41に表示されている手順書情報である「第1工程:内視鏡のヘッド部を配管内に下方に50cm挿入する。挿入完了?」を、他の手順書情報である「第2工程:内視鏡のヘッド部を配管内で右方に90°湾曲させ、この状態で被写体を撮像する。確認完了?」へ変更する指示である。
ステップSa3の判定において、手順書情報を他の手順書情報へ変更する指示があった場合(ステップSa3;Yes)、本体制御部34は、後述する対応づけ処理を実行し(ステップSa4)、この対応づけ処理を実行した後に、表示部41に表示されている手順書情報を他の手順書情報へ変更する(ステップSa5)。その後、本体制御部34は、再び画像記憶部38への画像の記憶動作を開始する。
一方、手順書情報を他の手順書情報へ変更する指示がなかった場合(ステップSa3;No)、本体制御部34は、引き続き画像記憶部38への画像の記憶を継続しつつ、本体操作部31又は操作部42により、画像記憶部38への画像の記憶を終了する指示があったか否かを判定する(ステップSa6)。
ステップS6の判定において、画像記憶部38への画像の記憶を終了する指示があった場合(ステップS6;Yes)には、本体制御部34は、後述する対応づけ処理を実行し(ステップSa7)、画像記憶部38への画像の記憶を終了する。一方、ステップS6の判定において、画像記憶部38への画像の記憶を終了する指示がない場合(ステップS6;No)には、引き続き画像記憶部38への画像の記憶を継続する。
次に、上記したステップSa4,Sa7で実行される対応づけ処理について説明する。図3は、対応づけ処理の手順を示すフローチャートである。まず、本体制御部34は、画像記憶部38への画像の記憶の開始から対応づけ処理の実行が開始される前にまでに記憶された画像により画像記憶部38に画像情報を生成する(ステップSb1)。例えば、画像情報は、動画のファイルである。
本体制御部34は、生成された画像情報に、各画像情報を識別する画像識別子を付与する(ステップSb2)。より具体的には、本体制御部34は、記憶部35を参照することで、所定の規則に従った画像識別子を付与する。所定の規則とは、各画像情報を識別するために個別に画像識別子が付与される規則をいう。記憶部35には、その所定の規則及びすでに付与された画像識別子が判別できる情報が記憶されている。例えば、画像識別子として「00A1」がある画像情報に付与され、次の画像情報には画像識別子として「00A2」が付与される。なお、画像情報のヘッダー部分に画像識別子を格納することで、画像識別子を付与することができる。
次に、本体制御部34は、対応づけ処理が実行される際に表示部41に表示されていた手順書情報から各手順書情報を識別する情報識別子を読み出す(ステップSb3)。ここで、情報識別子は、手順書情報ごとに用意される識別子であり、予め手順書情報に付与されている。例えば、第1の手順書情報には、情報識別子として「00B1」が付与されており、第2の手順書情報には、情報識別子として「00B2」が付与されている。
本体制御部34は、画像識別子と情報識別子とを対応づけたテーブルを作成し、このテーブルを記憶部35に記憶する(ステップSb4)。より具体的には、生成された画像情報に付与された画像識別子である「00A1」と、表示部41に表示されていた手順書情報から読み出した情報識別子である「00B1」とを対応づけたテーブルを作成し、このテーブルを記憶部35に記憶する。
なお、上述の対応づけ処理では、付与した画像識別子と読み出した情報識別子とを対応づけたテーブルを作成したが、画像のファイル名と手順書情報のファイル名とを対応づける構成にしてもよい。その場合には、画像識別子の格納及び情報識別子の読み出しに代えて、各ファイル名を格納及び読み出せばよい。
次に、上記した検査装置1を用いた検査動作の手順について説明する。図4は、検査動作の手順を示すフローチャートである。なお、本実施形態では、上述の通り、情報識別子と画像情報識別子とを対応づけたテーブルが作成された後の検査動作の手順を例示して説明する。まず、本体操作部31による指示に基づき、本体制御部34は、手順書情報を選択する(ステップSc1)。具体的には、本体表示部32に各手順書情報が選択可能な選択画面を表示し、本体操作部31の指示により、いずれかの手順書情報を選択する。この例においては、手順書情報である「第1工程:内視鏡のヘッド部を配管内に下方に50cm挿入する。挿入完了?」を示す項目を選択する。
本体制御部34は、選択された手順書情報を手順書記憶部39から読み出すとともに、その手順書情報の情報識別子を読み出す(ステップSc2)。本体制御部34は、記憶部35に記憶されたテーブルを参照し、読み出された情報識別子と対応する画像識別子を特定したか否かを判定する(ステップSc3)。ステップSc3の判定において、対応する画像識別子が特定された場合(ステップSc3;Yes)には、本体制御部34は、その画像識別子が付与された画像情報を画像記憶部38から読み出す(ステップSc4)。一方、対応する画像識別子が特定されない場合(ステップSc3;No)には、操作完了の信号を受信しているか否かを判定するステップSc7に進む。
続いて、本体制御部34は、読み出した手順書情報及び画像情報を、本体通信部33及び通信部44を介してヘッドマウントディスプレイ4に送信するとともに、制御部43へ、この手順書情報及び画像情報を表示部41に表示する指示を信号にして送信する(ステップSc5)。制御部43は、その信号に基づき、読み出した手順書情報及び画像情報を表示部41に表示する(ステップSc6)。なお、手順書情報及び画像情報の表示は、表示部41が二つの表示部を有する場合には、一方の表示部に手順書情報を表示し、他方の表示部に画像情報を表示する構成でもよく、または一方の表示部に手順書情報及び画像情報を表示する構成にしてもよい。また、表示部全体に表示する必要はなく、表示部の一部の領域に表示する構成でもよい。
具体的には、「第1工程:内視鏡のヘッド部を配管内に下方に50cm挿入する。挿入完了?」の手順書情報を読み出すとともに、その手順書情報に付与された情報識別子「00B1」を読み出す。記憶部35はテーブルを参照し、情報識別子「00B1」と対応する画像識別子「00A1」を特定し、その画像識別子が付与された画像情報を画像記憶部38から読み出す。その後、手順書情報、画像情報及び表示を指示する信号をヘッドマウントディスプレイ4に送信し、ヘッドマウントディスプレイの表示部41の第1の領域に「第1工程:内視鏡のヘッド部を配管内に下方に50cm挿入する。挿入完了?」を表示し、第2の領域に画像情報を表示する。なお、本体表示部32には、内視鏡10により撮像中である画像を表示する。
次に、本体制御部34は、本体通信部33,通信部44を通じて、ヘッドマウントディスプレイ4から操作完了の信号を受信しているか否かを判定する(ステップSc7)。検査作業員は、表示部41に表示された手順書情報に従って、内視鏡挿入部2のヘッド部21を配管内に入口から50cmの距離まで下方に挿入する。そして、検査作業員は、挿入が完了すると、「はい」や「OK」などの音声コマンドを発することで、操作完了の信号を発信する。本体制御部34は、操作完了の信号を受信していない場合(ステップSc7;No)には、受信するまで待機する。一方、操作完了の信号を受信した場合(ステップSc7;Yes)、本体制御部34は、表示されている手順書情報に対して次の手順書情報があるか否かを判定する(ステップSc8)。なお、次の手順書情報とは、表示されている手順書情報と予め関連づけられた手順書情報である。
この判定において、次の手順書情報がなければ(ステップSc8;No)、処理を終了する。一方、次の手順書情報があれば(ステップSc8;Yes)、次の工程に移行(ステップSc9)し、処理をステップSc3に戻す。
再び、ステップSc3に戻った場合の具体例としては、表示制御部36は、表示部41の第1の領域(不図示)に「第2工程:内視鏡のヘッド部を配管内で右方に90°湾曲させ、この状態で被写体を撮像する。確認完了?」といった次の手順書情報を表示する。また、表示制御部36は、この手順書情報と対応する画像情報を、上述の通りに読み出し、表示部41の第2の領域(不図示)に画像情報を表示する。この構成によれば、検査作業員は、撮像対象となる被写体の過去の画像情報が表示部41に表示されるため、この表示された画像情報を参考にして、今回の撮像操作を容易に行うことができる。
また、画像情報を表示部41の所定の領域に表示する場合、表示制御部36は、画像情報が記憶されてから現時点までに経過した時間情報を合わせて表示する。この構成によれば、検査作業員は、前回の検査の有効期間が所定の法定期間を満たしているか否かを容易に判別することができる。
被写体を撮像し、かつ、撮像された画像情報の確認が完了すると、検査作業員は、「はい」や「OK」などの音声コマンドを発することで、操作完了の信号を発信する。この場合、画像記憶部38は、本体制御部34の制御により、手順書情報の情報識別子と画像情報の画像識別子とを対応づけたテーブル、若しくは画像情報に、撮像日時情報を対応づけて記憶する。このため、同一の工程における画像情報の履歴を容易に、かつ、正確に管理することができる。
また、同一の手順書情報に、複数の画像情報が対応づけられた場合においては、その手順書情報の情報識別子が読み出されたときに、該情報識別子に対応するすべて又は複数の画像識別子を読み出し、読み出した画像情報をサムネイル形式にして表示部41の所定の領域又は本体表示部32に表示してもよい。
本実施形態では、検査作業員の確認操作を、音声コマンドを発することで行っているため、これら確認操作を容易に行うことができる。なお、上記した確認操作は、コントロールユニット3に設けられた本体操作部31の操作により行ってもよい。
次に、上記した判定部37の動作について説明する。図5は、判定部の動作手順を示すフローチャートである。この判定部37は、上述したように、同一の手順書情報に複数の画像情報が対応づけられた場合に、その複数の画像情報に基づき、被写体に傷や腐食等の損傷(変化点)が生じているが否かを判定するものである。この判定動作は、図4に示す手順とは別個独立に行うことができる。
選択された手順書情報について、例えば、検査作業員もしくは検査管理者の判定開始指示があると(ステップSd1)、判定部37は、記憶部35に記憶されたテーブルを参照し、選択された手順書情報の情報識別子と対応づけられた複数(例えば2つ)の画像識別子から、複数の画像情報を画像記憶部38から読み出す(ステップSd2)。この場合、過去に記憶された画像情報を含むことが好ましい。
次に、判定部37は、読み出した2つの画像情報を画像処理によりマッチング等の手法で比較する(ステップSd3)。この場合、予め比較する対象部位を設定しておいてもよいし、画像情報から変化の大きな部位を判定部37が抽出して比較してもよい。
次に、判定部37は、比較した対象部位に損傷が生じているか否かを判定する(ステップSd4)。例えば、複数の画像情報に基づき、対象部位の一部の画像の変化が大きくなっている部分が抽出された場合には、損傷が生じていると判定する。この判定において、損傷が生じていない場合(ステップSd4;No)には処理を終了する。また、損傷が生じている場合(ステップSd4;Yes)には、選択された手順書情報とともに、損傷部位がある旨を、手順書記憶部39に記憶する(ステップSd5)。この場合、判定部37は、選択された手順書情報において、損傷部位がある旨を表示制御部36に出力し、表示制御部36は、判定結果として、上記損傷部位がある旨を本体表示部32に表示する。なお、損傷が生じている場合には損傷部位がある旨を手順書記憶部39に記憶する構成としたが、判定結果の表示に基づき、検査作業員もしくは検査管理者の操作によって損傷部位がある旨を手順書記憶部39に記憶させてもよい。
上述した構成により、次回の検査において、ヘッドマウントディスプレイ4の表示部41に損傷部位がある旨が表示される。このため、検査作業員は、この損傷部位に注目して、検査作業を行うことができるため、検査精度の向上を容易に図ることができる。
なお、本実施例では、表示部41には、手順書情報及び対応づけられた画像情報を表示し、本体表示部32には、内視鏡10により撮像中である画像を表示する構成としたが、それらの情報をいずれの表示部に表示させても構わない。
以上、説明したように、本実施形態に係る内視鏡10は、対象物を撮像する撮像部25と撮像された画像情報を表示する本体表示部32とを備え、表示部41を有するヘッドマウントディスプレイ4とネットワーク11を介して通信する本体通信部33と、撮像された画像情報と被検査物の検査手順を規定した手順書情報とを記憶する記憶部35と、手順書情報を表示部41又は本体表示部32に表示させる表示制御部36とを備えるため、検査手順の工程に対応する手順書情報や撮像された画像情報を表示部41に順次表示される。このため、検査作業員は、各工程の作業内容や過去の検査結果を容易に確認することができ、従って、検査作業員の検査作業の負担を軽減することができる。
また、本実施形態によれば、画像記憶部38は、表示部41に表示された検査手順の所定の工程における手順書情報と、該手順書情報が表示さえている際に、該工程で撮像された画像情報とを対応づけて記憶するため、同一の工程における画像情報の履歴を容易に管理することができる。
また、本実施形態によれば、表示制御部36は、検査手順の所定の工程における手順書情報が表示部41に表示されている場合、この手順書情報に対応づけられた画像情報を本体表示部32に表示させるため、検査作業員は、本体表示部32に表示された画像情報を参考にして、被写体の撮像操作を容易に行うことができる。
また、本実施形態によれば、表示制御部36は、検査手順の所定の工程における手順書情報が表示部41に表示されている場合、手順書情報に対応づけられた画像情報に加え、この画像情報が画像記憶部38に記憶されてから経過した時間情報を合わせて表示部41に表示するため、検査作業員は、前回の検査の有効期間が所定の法定期間を満たしているか否かを容易に判別することができる。
また、本実施形態によれば、内視鏡10は、検査手順における所定の工程における手順書情報に対応づけて記憶された過去の複数の画像情報に基づき、被写体の対象部位に損傷が生じているか否かを判定する判定部37を備え、損傷が生じている場合、手順書記憶部39は、手順書情報とともに損傷部位がある旨を記憶するため、損傷部位がある旨と手順書情報とが、次回の検査において、対応する工程に達した際に、ヘッドマウントディスプレイ4の表示部41に表示される。これにより、検査作業員は、この損傷部位に注目して、検査作業を行うことができるため、検査精度の向上を容易に図ることができる。
また、本実施形態によれば、ヘッドマウントディスプレイ4の表示部41に検査手順の工程が順次表示されるため、検査作業員は、両手で内視鏡10を操作しつつ、各工程の確認を行うことができ、検査作業を効率的に行うことができる。
以上、本発明の一実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本実施形態では、外部機器として、ヘッドマウントディスプレイ4を用いた構成について説明したが、情報を表示する表示部を備え、検査作業員が携帯できるものであれば、例えば、腕時計型のウェアラブル端末や、タブレット端末、スマートフォンなどの携帯情報端末を用いることもできる。タブレット端末、スマートフォンなどの携帯情報端末を用いる場合には、検査作業員の腕などに装着できるケースを用いることが好ましい。また、本実施形態では、手順書情報及び画像情報をヘッドマウントディスプレイ4の表示部41に表示する構成を説明したが、これに限るものではなく、これら手順書情報及び画像情報を本体表示部32に表示させてもよい。
1 検査装置
2 内視鏡挿入部
3 コントロールユニット
4 ヘッドマウントディスプレイ(外部機器)
10 内視鏡
11 ネットワーク
21 ヘッド部
25 撮像部
32 本体表示部
33 本体通信部
35 記憶部
36 表示制御部
37 判定部
38 画像記憶部
39 手順書記憶部
41 表示部
42 操作部

Claims (6)

  1. 対象物を撮像する撮像部と前記撮像された画像情報を表示する本体表示部とを備えた撮像装置であって、
    表示部を有する外部機器とネットワークを介して通信する本体通信部と、
    撮像された画像情報と検査の手順を示す手順書情報とを記憶する記憶部と、
    前記手順書情報を前記表示部又は前記本体表示部に表示させる表示制御部と、
    を備え、
    前記記憶部は、前記表示部又は前記本体表示部に表示された前記手順書情報と、前記手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、
    前記表示制御部は、前記画像情報と対応づけられた前記手順書情報が前記表示部又は前記本体表示部に表示されている場合に、前記手順書情報に対応した前記画像情報を前記表示部又は前記本体表示部に表示させることを特徴とする撮像装置。
  2. 前記表示制御部は、前記手順書情報が前記表示部又は前記本体表示部に表示されている場合、前記手順書情報に対応づけられた前記画像情報に加え、前記画像情報が前記記憶部に記憶されてから経過した時間情報を合わせて前記表示部又は前記本体表示部に表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記手順書情報に対応づけて記憶された複数の画像情報に基づき、前記対象物の部位に損傷が生じているか否かを判定する判定部を備え、
    前記記憶部は、損傷が生じている場合、前記手順書情報とともに部位に損傷がある旨を記憶し、
    前記表示制御部は、前記手順書情報が前記表示部又は前記本体表示部に表示されている場合に、部位に損傷がある旨を前記表示部又は前記本体表示部に表示させることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記外部機器は、ヘッドマウントディスプレイであることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
  5. 対象物を撮像する撮像部と前記撮像された画像情報を表示する本体表示部とを備えた撮像装置の作動方法であって、
    本体通信部が表示部を有する外部機器とネットワークを介して通信する本体通信ステップと、
    記憶部が撮像された画像情報と検査の手順を示す手順書情報とを記憶する記憶ステップと、
    表示制御部が前記手順書情報を前記表示部又は前記本体表示部に表示させる表示制御ステップと、
    を備え、
    前記記憶ステップでは、前記記憶部が、前記表示部又は前記本体表示部に表示された前記手順書情報と、前記手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、
    前記表示制御ステップでは、前記表示制御部が、前記画像情報と対応づけられた前記手順書情報が前記表示部又は前記本体表示部に表示されている場合に、前記手順書情報に対応した前記画像情報を前記表示部又は前記本体表示部に表示させることを特徴とする撮像装置の作動方法。
  6. 対象物を撮像する撮像部と前記撮像された画像情報を表示する本体表示部とを備えた撮像装置で実行されるプログラムあって、
    表示部を有する外部機器とネットワークを介して通信する本体通信ステップと、
    撮像された画像情報と検査の手順を示す手順書情報とを前記撮像装置が備える記憶部に記憶する記憶ステップと、
    前記手順書情報を前記表示部又は前記本体表示部に表示させる表示制御ステップと、
    前記撮像装置に実行させ
    前記記憶ステップでは、前記記憶部が、前記表示部又は前記本体表示部に表示された前記手順書情報と、前記手順書情報が表示されている際に撮像された画像情報とを対応づけて記憶し、
    前記表示制御ステップでは、前記画像情報と対応づけられた前記手順書情報が前記表示部又は前記本体表示部に表示されている場合に、前記手順書情報に対応した前記画像情報を前記表示部又は前記本体表示部に表示させることを特徴とする撮像プログラム。
JP2016120962A 2016-06-17 2016-06-17 撮像装置、撮像装置の作動方法及び撮像プログラム Active JP6763206B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016120962A JP6763206B2 (ja) 2016-06-17 2016-06-17 撮像装置、撮像装置の作動方法及び撮像プログラム
US15/620,927 US20170366868A1 (en) 2016-06-17 2017-06-13 Imaging device, imaging method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016120962A JP6763206B2 (ja) 2016-06-17 2016-06-17 撮像装置、撮像装置の作動方法及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2017221597A JP2017221597A (ja) 2017-12-21
JP6763206B2 true JP6763206B2 (ja) 2020-09-30

Family

ID=60659844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016120962A Active JP6763206B2 (ja) 2016-06-17 2016-06-17 撮像装置、撮像装置の作動方法及び撮像プログラム

Country Status (2)

Country Link
US (1) US20170366868A1 (ja)
JP (1) JP6763206B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7097197B2 (ja) * 2018-03-07 2022-07-07 三菱重工業株式会社 検査システムおよび検査方法
US11415260B2 (en) * 2019-11-06 2022-08-16 Saudi Arabian Oil Company Robotic inspection device for tank and pipe inspections
US11526168B2 (en) 2019-11-14 2022-12-13 Saudi Arabian Oil Company Robotic inspection of in-service tanks through lower wall
JP7148938B2 (ja) * 2020-11-30 2022-10-06 株式会社 情報システムエンジニアリング 状態判定システム、状態判定方法、及び状態判定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002287815A (ja) * 2001-03-26 2002-10-04 Mitsubishi Heavy Ind Ltd 現場支援システム
JP4966056B2 (ja) * 2007-03-12 2012-07-04 株式会社東芝 タービン内部構造物の検査装置及びこの装置を用いた検査方法
JP5099182B2 (ja) * 2010-06-24 2012-12-12 日本電気株式会社 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
US20130296682A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
US20160000300A1 (en) * 2014-07-07 2016-01-07 Integrated Medical Systems International, Inc. System and Method for Wirelessly Transmitting Operational Data From an Endoscope to a Remote Device
FR3033046B1 (fr) * 2015-02-23 2019-06-14 Safran Aircraft Engines Procede et dispositif de controle de l'etat d'un moteur d'aeronef a distance

Also Published As

Publication number Publication date
JP2017221597A (ja) 2017-12-21
US20170366868A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6763206B2 (ja) 撮像装置、撮像装置の作動方法及び撮像プログラム
EP2888991B1 (en) Endoscope system
JP5247854B2 (ja) 集荷システムおよび集荷方法
JP5530225B2 (ja) 内視鏡装置およびプログラム
EP2732752B1 (en) Medical system
US20100201795A1 (en) Endoscope apparatus
JP2012152016A (ja) ケーブル接続作業支援装置
CN105979903B (zh) 机械手装置的控制方法
CN111295127A (zh) 检查支持装置、内窥镜装置、检查支持方法及检查支持程序
JP2007319622A (ja) 内視鏡装置
JP2006218027A (ja) 内視鏡装置
JP6017198B2 (ja) 内視鏡装置およびプログラム
JP2005338551A (ja) 工業用内視鏡装置
WO2021111879A1 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
WO2017033539A1 (ja) 作業支援装置、作業支援方法及びプログラム
JP5186286B2 (ja) 計測用内視鏡装置およびプログラム
US20180296063A1 (en) Endoscope apparatus, endoscope system and endoscope image display control method
US8979743B2 (en) Endoscope device and endoscopic image distortion correction method
JP5153381B2 (ja) 内視鏡装置
JP2016095458A (ja) 内視鏡装置
WO2014038322A1 (ja) 医療装置
JP2005077832A (ja) 工業用内視鏡システム
JP2016209460A (ja) 内視鏡システム
JP2005173336A (ja) 工業用内視鏡装置及びこれを用いた形状寸法測定方法
JP5101089B2 (ja) 内視鏡装置及び内視鏡装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6763206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150