以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。なお説明上、適宜、符合とは別にX,Y等の記号を用いる。
<概要等>
本実施の形態の目視検査装置1(図1等)を含んで成る目視検査システムは、プラント2の対象物20を撮影した撮影動画と、撮影動画に対する画質改善処理を含む動画処理によって生成される画質改善動画とを含む、複数の動画データを扱う、動画処理部による画質改善処理機能を有する。また本目視検査装置1は、それらの動画データの伝送先ないし出力先として、モニタ16及び保存部17を含む複数の動画データ受理手段15を有する。本目視検査装置1は、GUI画面でのユーザである検査員の操作に応じて、各動画データを、選択された動画データ受理手段15に対し伝送・出力する機能を、GUI制御部11及び伝送選択部12などにより提供する。
また目視検査装置1は、GUI画面でのユーザの操作に基づき、上記の複数の動画データ、画質改善処理、その条件やパラメータ、及び複数の伝送先などの要素を、関係付けて情報管理する機能、及び、上記画質改善処理の条件・パラメータ等を容易に調整・設定することができる機能を、特に条件調整部18により提供する。
また目視検査装置1は、上記伝送選択などにおける、複数の要素の関係の把握が容易となるように、GUI画面でのユーザの操作に応じて、各伝送先の動画ごとに、検査情報などの任意の文字を付与することができる機能を、特に文字付与部14により提供する。
本目視検査装置1は、上記撮影動画及び画質改善動画を含む複数の動画データを、前記伝送選択に応じて、動画データ受理手段に対し、例えば並列で伝送・出力する。
<実施の形態1>
図1〜図5を用いて、本発明の実施の形態1の目視検査システムについて説明する。実施の形態1では基本構成を示し、実施の形態2以降は実施の形態1を前提として構成要素の追加や処理内容を変更した構成となる。
実施の形態1では、目視検査のために画質改善処理などの動画処理ないし画像処理を導入する際に生じる課題などに対する解決手段を提供する。課題の1つは、前述のように、多様な画質改善処理の条件・パラメータ等の把握や調整などが検査員にとって容易ではないこと等である。本解決手段として、検査員を含むユーザによる目視検査の作業を支援する特有のGUI画面及びその制御処理などの機能を提供する。これにより、画質改善処理の条件・パラメータ等の調整・把握などを容易化でき、どの動画にどのような画質改善処理を施してどの伝送先へ出力するかといった柔軟な選択とその管理ができる。
[システム(1)]
図1に、実施の形態1の目視検査システムの全体の構成を示している。本システムは、目視検査装置1とプラント2とを含む。図1では、目視検査装置1は、プラント2の外部に配置され、撮影部21のみ、プラント2内に配置されている。撮影部21と目視検査装置1の動画処理部13とがケーブル22で接続されている。なお目視検査装置1がプラント2内部に配置されてもよい。また目視検査装置1を操作するユーザとして検査員Uを有する。検査員Uは、対象物20の撮影動画またはその画質改善動画をモニタ16の画面に表示して目視検査を行う。
プラント2は、本実施の形態では原子力プラントであり、目視検査の対象物20と、撮影部21とが配置されている。対象物20は、プラント2の各種の構成要素であり、例えば管や板などの構造物、あるいは燃料などの各種の物質がある。本実施の形態では、対象物20は、放射線量が多い原子炉である場合を含む。そのため、撮影部21のみを対象物20の近くに配置して撮影し、その他の要素である目視検査装置1を、放射線量が多い環境であるプラント2の外に出して配置している。
撮影部21は、プラント2内の対象物20の表面などを撮影してその動画(撮影動画と称する)を取得する動画取得部であり、光学カメラ等で構成される。また撮影部21は、前述のように、撮影に係わる照明装置や駆動装置を備えてもよい。撮影部21の種類として、例えば、撮像管、CCD、CMOSなどを内蔵した光学カメラを用いることができる。撮影部21は、カラーまたはグレースケールの動画を撮像できる。撮影部21で撮影した動画はケーブル22を介して動画処理部13に伝送される。なお有線のケーブル22の代わりに無線によって伝送する形態としてもよい。その場合はそのための無線通信インタフェース装置などが設けられる。
また撮影部21は、プラント2内部の対象物2を撮影できる位置に設置される。目視検査の場合、当該撮影部21のカメラを対象物20に比較的近付けて撮影する。撮影部21は、固定のカメラに限らず、外部、即ち検査員Uや目視検査装置1からの遠隔制御により駆動装置を通じて当該カメラの位置の移動や動作の制御が可能である。撮影部21は、上記遠隔制御に従い、対象物20の所望の箇所を中心として所望の角度及び距離から撮影することができる。上記遠隔制御は、目視検査装置1のコンピュータ自動制御としてもよいし、検査員Uによる手動制御としてもよい。
また撮影部21は、プラント2が原子力プラントである場合、前述のように放射線の影響を受け、撮影動画の画像には放射線ノイズが重畳する。そのため、放射線への耐久性を優先する場合、微細な半導体素子・集積回路などを含んで成る高分解能/広ダイナミックレンジのカメラ等は殆ど使用せず、比較的単純な光学カメラ等が使用される。よって、当該光学カメラで得られる動画は、比較的に低分解能で狭ダイナミックレンジとなる。また、プラント2内の対象物20の付近には通常照明が無いので暗い。目視検査時には、対象物20の箇所に対して撮影部21のカメラと共に検査用の照明装置を近付け、対象物20を照明しながら撮影する。またプラント2内は立体的で複雑な構造である場合が多く、撮影部21のカメラを設置できる領域・位置や検査用の照明が届く範囲が限られるので、部分的に照明不足や過剰となる場合がある。よって撮影動画は、検査員Uにとって視認性が悪くなる場合も多い。本システムでは、対象物20の目視検査において、上記放射線や照明などの各種の要因にも対処でき好適な目視検査による高い信頼性などを実現するための機能を提供する。
目視検査装置1は、基本制御部10、GUI制御部11、動画処理部13、文字付与部14、複数の動画データ受理手段15を有する構成である。GUI制御部11は、伝送選択部12、文字付与部14を含む。複数の動画データ受理手段15は、複数のモニタ16、複数の保存部17を含む。なお撮影部21は目視検査装置1の一部と捉えてもよい。
基本制御部10は、目視検査装置1のコンピュータとしての基本的な制御を行う。基本制御部10は、ソフトウェアプログラム処理あるいは専用回路などにより、GUI制御部11及び動画処理部13を含む各部を実現する。
GUI制御部11は、基本制御部10による制御に基づき、目視検査装置1のユーザ(U)に対するGUI(グラフィカルユーザインタフェース)画面を提供する制御処理を行う。GUI制御部11は、GUIの一部の機能として実現する処理部として、伝送選択部12と文字付与部14とを含む。GUI制御部11は、GUI画面データを生成し、モニタ16へ送信して表示させる。GUI制御部11は、GUI画面でのユーザ(U)の入力情報を受け取り、それに応じた制御処理を行い、その結果情報をGUI画面に出力する。なおモニタ16自体がディスプレイとコンピュータを含んで成る場合は、モニタ16のコンピュータでGUI制御部11を実装してもよい。また検査員U用のモニタ16とは別に、GUI画面専用のディスプレイ、例えば目視検査装置1に備えるディスプレイに表示させることもできる。
伝送選択部12は、ユーザ(U)によるGUI画面での操作に従い、撮影部21での各撮影動画、及び動画処理部13での処理後の画質改善動画を含む、複数の各動画の伝送先ないし出力先となる動画データ受理手段15を選択する。そして当該伝送選択に従い、動画処理部13から伝送先へ動画データを伝送する制御処理を行う。ユーザ(U)は、GUI画面でどの動画をどのように動画処理してどの動画データ受理手段15へ伝送するかを選択して設定可能である。実施の形態1では、伝送選択部12での選択に従い、動画処理部13から、複数の動画データを、指定された複数の伝送先のデータ受理手段15へ、並列で伝送する(後述図2,図4等)。なお複数の動画データは、並列に限らず順列で伝送することもできる。例えば2つの動画を同時に再生表示したい場合など、並列で伝送する場合には、同期処理で伝送することができる。
動画処理部13は、ユーザ(U)によるGUI画面での操作に従い、撮影部21から入力・取得した動画データである撮影動画に対して、必要に応じて画質改善処理を施し、処理後の動画データである画質改善動画を生成する。動画処理部13は、ユーザ(U)に指定された動画データに対して指定された条件・パラメータ等による画質改善処理を施す。そして、動画処理部13は、撮影動画及び画質改善動画を、ユーザ(U)に指定された伝送先となる動画データ受理手段15へ伝送する処理を行う。
文字付与部14は、ユーザ(U)によるGUI画面での操作に従い、動画処理部13における撮影動画及び画質改善動画を含む複数の各々の動画データに対して、任意の文字を付与する処理を行う。ユーザ(U)は、どの伝送先の動画データに対して文字を付与するかを指定することができる。文字付与部14で付与する文字は検査情報などである。検査情報などの付与文字が、対象の動画の画像フレームに上書きされる。当該動画に付与された文字は、モニタ16での当該動画の再生表示の際には、画像フレーム上に重ねて表示されることになる。検査情報とは、撮影や目視検査に係わる日時や箇所、画質改善処理の内容などを示す情報、その他ユーザ(U)が任意に決めることができる名称などの情報である。ユーザ(U)は、動画に付与する文字を任意に入力可能である。また、検査情報は、撮影部21や目視検査装置1の基本的な機能として自動的に取得できる例えば日時などの情報がある場合は、それを利用し、ユーザ(U)の手動入力を省略する。
動画データ受理手段15は、動画処理部13から伝送される動画データを受理する手段であり、複数のモニタ16、及び複数の保存部17を含む。図1では、少なくとも2つずつのモニタ16(16a,16b)及び保存部17(17a,17b)を有する。なお“#1”等は複数を区別する番号である。なおモニタ16や保存部17は、目視検査装置1内に限らず、通信ケーブルなどを通じて目視検査装置1外に接続されてもよい。複数の動画データ受理手段15(16,17)において、複数の同じ又は異なる動画データを並列で保存や表示が可能である。
モニタ16は、少なくともディスプレイを含んで成る表示部であり、動画処理部13から伝送された動画データ、及びGUI制御部11によるGUI画面を表示することができる。検査員Uは、モニタ16のGUI画面を見て操作しながら目視検査を行う。
なおモニタ16がディスプレイのみで成る場合、GUI制御部11で生成したGUI画面データをモニタ16へ出力する。モニタ16がディスプレイに加えコンピュータ機能を有する場合、モニタ16内にGUI制御部11が構成されても構わない。また、目視検査用のGUI画面及びモニタとは別に、管理・設定用のGUI画面及びそのモニタを同様に設けてもよい。
保存部17は、データ記憶装置を含んで成り、動画処理部13から伝送された動画データを後で利用可能なように保存する。検査員Uは、保存部17の動画データの内容を後で確認することや、読み出して再度処理を行って再度目視検査を行うことも可能である。保存部17は、例えばHDD、DVD、その他の各種メモリなどで構成可能である。
[システム(2)]
図2は、図1の目視検査装置1の詳しい機能ブロック構成や伝送選択例などを示している。本構成では、GUI制御部11は、伝送選択部12、文字付与部14、条件調整部18、及び設定部19などの各部を有し、動画処理部13は、複数の画質改善処理部13a〜13c等を有する。各部は例えばソフトウェアプログラム処理で実現できる。また、ユーザとして複数の検査員U(例:U1,U2)がいる。各検査員U(U1,U2)は、自分に対応付けられるモニタ16(16a,16b)を使用して目視検査を行う。GUI制御部11によるGUI画面50は、各モニタ16(16a,16b)内に同様に表示される。また図2の構成では、第1の保存部(#1)17aはHDDで構成され、第2の保存部(#2)17bはDVDで構成されるとする。
基本制御部10は、例えば、CPU等の演算部、ROMやRAM等の記憶部、通信インタフェース部、入力デバイス・出力デバイス・入出力インタフェース部を含んで成る入出力部、バス、及びそれらの上で稼動するOS、等の公知の要素で成る。
動画処理部13は、撮影部21からの撮影動画(X)に対して、選択された画質改善処理部13a等による画質改善処理を施して得た画質改善動画(Y)を、選択された保存部17やモニタ16に伝送・出力する。また動画処理部13は、撮影部21から伝送されてきた動画データだけでなく、保存部17に保存されている動画データを読み出して同様に処理が可能である。動画処理部13は、例えば入力の動画Aに対し、各画質改善処理部13a〜13cによる画質改善処理を施して各画質改善動画A1〜A3を得る。
各画質改善処理部13a等は、ユーザ(U)により選択・設定された条件・パラメータ等による処理を行う。各画質改善処理部13a等は、別の処理内容・アルゴリズム等によるプログラム等としてもよいし、同じプログラム等でその条件・パラメータ等を変えるものとしてもよい。
条件調整部18(パラメータ調整部ともいう)は、動画処理部13の各画質改善処理部13a等の処理に適用する条件・パラメータ等をGUI画面50でのユーザ(U)の操作に従い調整・設定する処理などを行う。
文字付与部14は、ユーザ(U)の操作に従い、動画処理部13の各撮影動画(X)及び画質改善動画(Y)に対してそれぞれ文字を付与する処理を行う。例えば各動画A1〜A3に対して検査情報の文字が付与される。
伝送選択部12は、ユーザ(U)の操作に従い、動画処理部13の各撮影動画(X)及び画質改善動画(Y)に対してそれぞれの伝送先を選択する。伝送選択部12での選択状態に従い、例えば動画A1を2つの保存部17a(#1:HDD),17b(#2:DVD)に並列で保存する。また例えば動画A2を保存部17b(#2:DVD)とモニタ16aの画面(#1)に並列で出力する。また例えば動画A3を2つのモニタ16a,16bの画面(#1,#2)に並列で表示する。また例えば複数の動画(例:A2,A3)を1つのモニタ16の画面内に並列で表示する。
設定部19は、本システムの目視検査装置1の初期動作条件や、各機能の必要な設定値などを、GUI画面50でユーザ(U)により設定する機能を提供する。例えば、撮影及び目視検査の開始時、まだユーザ(U)が細かい伝送選択などの作業をしていない時点で、どのように自動制御するかを設定可能である。例えば、最初、所定の対象物20の撮影条件などが設定され、所定の撮影動画を入力する設定となる。入力の撮影動画に対し、所定の画質改善処理を使用し、伝送選択として、モニタ#1のみに表示し、保存部#1のみに保存する、といった初期設定となる。ユーザ(U)は、このような初期設定に基づき、適宜、処理内容や伝送先などについての詳しい設定が可能である。また複数の設定(例えば後述図4)を保存しておき、それらから適宜選択して利用可能である。
[伝送選択]
実施の形態1での目視検査及び伝送選択の例などについて以下である。従来、プラントの対象物の目視検査では、用いる動画をモニタに表示すると共に、記録用として保存部に保存する必要がある。また動画処理部での画質改善処理による動画を目視検査に用いる場合、その画質改善度合い等をパラメータで調整することが一般的である。しかしながら、パラメータの調整具合によっては、画質改善処理後の動画において十分な視認性が得られない場合もある。このため、撮影動画や、パラメータ調整によって得られる異なる複数の画質改善動画のうち、どの動画を表示し保存することが適切かについては、一意には決められない。
そこで、本実施の形態1では、撮影動画(X)と画質改善動画(Y)との両方の動画データを、複数の動画データ受理手段15における複数のモニタ16及び複数の保存部17のいずれに伝送し出力するかを、検査員Uなどのユーザが必要に応じて自由に選択できる機能を設けている。即ち、伝送選択部12により、GUI画面50でユーザ(U)が各動画データの伝送先ないし出力先を選択できる機能を有する。
実施の形態1で、伝送選択の機能による、動画と伝送先との組合せとして採り得る選択肢ないしパターンとして例えば以下(a)〜(d)が挙げられる。ユーザ(U)はこれらの組合せを適宜利用できる。図4には、例(a)〜(d)に対応する伝送選択の概要を示す。X:撮影動画、Y:画質改善動画を示す。
(a) 第1に、目視検査装置1は、撮影部21からの撮影動画XをHDDである保存部#1(17a)に出力し、撮影動画Xの画質改善動画YをDVDである保存部#2(17b)と、モニタ16例えばモニタ#1(16a)とに出力する。
上記(a)の場合、以下の効果(a1)〜(a3)等が挙げられる。(a1)まず画質改善処理のパラメータ調整が不十分な場合に対応可能である。例えば、撮影動画Xに対する画質改善動画Yの生成の画質改善処理のパラメータ調整が不十分であったために、当該画質改善動画Yの目視検査で良い視認性が得られなかった場合がある。この場合、当該目視検査後、撮影動画Xに対する画質改善処理のパラメータをユーザ(U)により再調整して、再度、画質改善処理を施すことができ、その画質改善動画Y´を用いて再度目視検査が可能である。即ちそのような目視検査の作業が容易化され負担が軽減される。またパラメータ調整により目視検査の信頼性を高める。
(a2)また画質改善処理のパラメータをより良いパラメータへ変更・調整可能である。例えば、一旦目視検査した後、より良いパラメータが見つかった場合、当該パラメータへ変更して画質改善処理を施して再度目視検査が可能である。
(a3)また動画における場面即ち時間軸上の画像ごとの画質の違いに対応可能である。例えば、動画における場面ごとに画質が異なる場合、単一のパラメータ調整では全場面の画質を最適にすることは困難である。そこで、本構成によれば、目視検査後に、画質改善が足りないそれぞれの場面について、個別にパラメータを再調整して、再度画質改善処理を施して、全場面の画質を最適にすることが可能である。
(b) 第2に、目視検査装置1は、撮影動画XをDVD(保存部#2)とモニタ16(例えば#1)に出力し、撮影動画Xの画質改善動画YをDVD(保存部#2)とモニタ16(#1)に出力する。
上記(b)の場合、以下の効果が挙げられる。例えば同じモニタ16(#1)の画面内に撮影動画Xとその画質改善動画Yとを並列で再生表示することで、ユーザ(U)がそれらを同時並行的に確認可能である。例えば目視検査の作業内容に応じて適した動画は異なる。例えば対象物20の表面のひびの有無の確認作業においては、画質改善処理として、信号強調処理を施すことで、ひびを見易くした動画が適している。一方、ひびの寸法計測においては、上記信号強調処理を施さず、ひびの元の寸法を保存した動画の方が適している。そこで、本構成によれば、例えば上記信号強調処理を施した画質改善動画Yでひび有無を確認し、上記信号強調処理を施さない撮影動画Xで信号強調の無い状態でひび寸法計測が可能である。
(c) 第3に、目視検査装置1は、撮影動画Xに対する第1の画質改善処理(例えば#1(13a))を施した第1の画質改善動画Y1をDVD(保存部#2)とモニタ16(例えば#1)に出力し、同Xに対する第2の画質改善処理(#2)を施した第2の画質改善動画Y2をDVD(#2)とモニタ16(#1)に出力し、同Xに対する第3の画質改善処理(#3)を施した第3の画質改善動画Y3をDVD(#2)とモニタ16(#1)に出力する。また、3つの動画の処理に限らず、2つの動画の処理でも4つ以上の動画の処理でも、同様に可能である。
上記(c)の場合、以下の効果が挙げられる。例えば動画処理部13の画質改善処理の条件・パラメータ等が異なる複数の画質改善動画Y1〜Y3をモニタ16(#1)でユーザ(U)が並行確認可能である。例えば目視検査の作業内容に応じて適した画質改善処理条件が異なる場合がある。例えば微細なひびの強調において最適な画質改善処理の条件と、照明が届かない暗部領域に存在する構造物のコントラスト強調において最適な画質改善処理の条件とで異なる。そこで本構成によれば、例えば上記各条件で画質改善処理を施した2つの画質改善動画(例:Y1,Y2)を生成してモニタ16(#1)に表示することで、検査員Uは、上記微細なひびと暗部領域の構造物との両方を最適な条件による画質で観察が可能となる。
同様に、画質改善処理の条件・パラメータ等が異なる3つの動画(Y1〜Y3)や4つ以上の動画を並行確認可能である。例えば、撮影動画Xにおける場面、即ち時間軸上の画像に応じて、放射線ノイズ量が異なる場合がある。その場合、ノイズ除去度合いが異なる3つの画質改善処理条件の動画(Y1〜Y3)を生成してモニタ16(#1)で表示する。それによりユーザ(U)がそれら動画を同時並行あるいは場面順で、場面に応じて最も視認性の良い動画で目視検査が可能となる。
(d) 第4に、目視検査装置1は、撮影動画Xに対する第1の画質改善処理による第1の画質改善動画Y1をDVD(保存部#2)とモニタ16(例えば#1)に出力し、撮影動画Xに対する複数の各々の画質改善処理による複数の各々の画質改善動画Y2〜YnをHDD(保存部#1)に出力する。また例えば第1の画質改善動画Y1をモニタ(#1)に出力してもよい。
上記(d)の場合、以下の効果が挙げられる。画質改善処理の条件・パラメータ等が異なる複数(n)の画質改善動画(Y1〜Yn)を保存してユーザ(U)が確認可能である。例えば多数の画質改善動画(Y1〜Yn)を生成する場合、それらを一人の検査員Uが同時に確認することは難しい。そのため、それらのうちまず1つの動画(Y1)をDVD(#2)に保存してモニタ16(#1)でリアルタイムに確認する。そして残りの複数の動画(Y2〜Yn)をHDD(#1)に保存しておき、それぞれ後で確認が可能となる。
実施の形態1で上記(a)〜(d)に限らずそれらの組合せ等も可能である。なお図4の組合せにおける出力先のモニタ16を例えばモニタ#1(16a)としているが、動画データ受理手段15における複数のモニタ16から適宜1つ以上を選択可能である。例えばある動画データに関して、複数のモニタ16を出力先として並列で伝送してもよい。例えば複数の動画データに関して、それぞれ関係付ける複数のモニタ16を出力先として伝送してもよい。また動画処理部13から複数のモニタ16や保存部17へ伝送・出力する場合、複数の動画データを並列で同時的に伝送してもよいし、1つずつ時間順で伝送してもよい。
また例えば一人の検査員Uのモニタ16(例えば#1)のGUI画面50に、2つ以上の動画を同時に再生表示して目視検査・確認が可能である。また複数の検査員U(例:U1,U2)のモニタ16(#1,#2)のGUI画面50に、それぞれ個別に担当するように関係付けられる動画を再生表示して目視検査・確認が可能である。また複数の検査員Uで目視検査する場合、同じ動画を出力してもよいし、異なる動画を出力してもよい。
[文字付与(1)]
文字付与部14による文字付与の機能について以下である。上記のように画質改善処理の条件・パラメータの調整などをしながら複数の伝送先への複数の動画データを用いて検査員Uによる目視検査の作業を行う。この場合、動画、画質改善処理、及び伝送先などの多様な各情報の関係などの把握・管理や操作が課題になる。即ち、各動画データ(X,Y)がいつどこでどのような条件で撮影・処理・検査などしたものかを表す情報(「検査情報」)を管理することが必要及び有用である。
そこで、本実施の形態1では、文字付与部14及び条件調整部18などを用いて、検査員UがGUI画面50を見ながら目視検査を行う際に上記のような検査情報を容易に把握や設定ができる機能を提供する。即ち、本目視検査装置1は、文字付与部14等を用いて、GUI画面50で、検査員Uの操作に基づいて、各動画データの画像フレームに、上記検査情報の文字を任意に付与することができ、これにより書き込まれるデータ情報を管理する機能を有する。これにより、検査員UがGUI画面50で各動画を再生表示して目視検査する際にも、その動画の画像フレーム内に、付与文字である検査情報が含まれる形で表示される。よって、検査員Uは、その検査情報を見ることで、その動画がいつどこでどのような条件で撮影・処理・検査などしたものか等を、容易に把握できる。また、各伝送先の動画に対する文字付与の作業についても、GUI画面50内でまとめて、付与有無や付与内容などをわかりやすく設定することができるので、作業負荷も軽減される。
また上記文字付与の第1の方式として、本実施の形態1,2等では、動画の画像フレームに、付与文字を書き込むことで、文字が画像の一部として含まれた動画データを得る。そして、文字付与済みの動画データを情報管理する方式である。なお説明上、この第1の方式を上書きの方式ともいう。
[文字付与(2)]
ただし、上記第1の方式で動画の画像フレームに検査情報の付与文字を書き込む場合、単純にすべての動画に検査情報を付与すると不便な場合も考えられる。例えば、ある撮影動画に撮影時の条件などを表す検査情報の文字を付与して保存部17に保存し、その後、その文字付きの撮影動画に対して画質改善処理を施してその画質改善動画を用いて目視検査する場合を考える(詳しくは実施の形態2参照)。この場合のように、処理対象の動画データの画像フレーム中に既に検査情報の文字が書き込まれていると、画質改善処理の際に妨げになり、正しい又は良好な画質改善処理による良好な視認性などが実現できない可能性もある。他の例として、ある条件で画質改善処理を施した画質改善動画にその検査情報の文字を付与して保存部17に保存し、その後、再度、調整した条件による画質改善処理を施した画質改善動画を用いて目視検査する場合が挙げられる。この場合も上記同様に、画像中に既に書き込まれている文字が妨げになる可能性がある。
そこで、本実施の形態1,2等においては、文字付与部14の機能として、GUI画面50で、検査員Uによる各伝送先の動画データ(X,Y)に対する検査情報の文字の任意・選択的な書き込みを可能とする機能を提供している。これにより、本システムでは、各伝送先の動画データとその検査情報の付与文字とを関連付けて情報管理すると共に、撮影動画や画質改善動画を用いた再処理・再検査なども可能となる。例えば図4の(a)などの伝送選択において、ユーザ(U)が文字を付与しないように指定してその撮影動画(X)を保存部17に保存しておくことで、後でその撮影動画(X)を読み出して画質改善処理を施す際に、画像フレーム内に文字が書き込まれていないので、正しく又は良好に画質改善処理が可能となる。
また、上記文字付与の第1の方式に限らず、別の方式として、以下の第2の方式を用いてもよい。GUI画面50でユーザ(U)により文字付与が選択・指定された場合に、文字付与部14は、当該動画の画像フレームには付与文字を書き込まないようにし、付与文字が情報として分離されて関連付けられた形の動画データを得る。即ち当該動画データと付与文字データ情報とを関連付けて情報管理する。この動画データをモニタ16で再生表示する際には、情報管理している制御情報などに基づいて、動画の画像フレーム上に付与文字情報を重ね合わせて表示するように制御する。即ち表示上は第1の方式と同じ見た目となるように制御する。この動画データに対して画質改善処理を施す場合、画像フレーム内には付与文字が直接には含まれていないので、妨げなく、正しく又は良好に画質改善処理が可能となる。GUI画面50でこれらの方式をユーザ(U)が選択設定可能としてもよい。
[GUI画面]
図3は、実施の形態1におけるGUI制御部11によるモニタ16へのGUI画面50の表示例を示す。ユーザ(U)として例えば検査員U1用のモニタ#1(16a)に本GUI画面50を表示する場合である。また伝送選択の状態(例えば図4の(b))に応じて1画面内に2つの動画(X,Y)を同時に再生表示する例である。検査員U1は本GUI画面50を見て適宜操作入力しながら、動画(X,Y)を対象に目視検査を行う。なお本GUI画面50でユーザ(U)により入力された情報は、GUI制御部11での制御を通じて、伝送制御部12や文字付与部14などで処理される。伝送制御部12や文字付与部14での設定情報は、目視検査装置1内にテーブル等で保存し、後で再現・再利用可能である。
本GUI画面50では、第1の動画出力(#1)である撮影動画(X)を表示する領域301と、第2の動画出力(#2)である画質改善動画(Y)を表示する領域302と、伝送選択部12による伝送選択の領域303と、文字付与部14による文字付与の領域304と、対象動画を指定する領域310等とを有する。
動画出力の領域301には、動画処理部13から伝送された撮影動画(X)が再生表示される。動画出力の領域302には、動画処理部13から伝送された画質改善動画(Y)が再生表示される。なおユーザ(U)の操作に応じて、保存部17から読み出した動画も同様に表示可能である。また本例では、図示する画面内の所定の位置に2つの動画出力(#1,#2)の領域301,302を設けている。これに限らず、この出力の領域については、ユーザ(U)の操作・設定により、その数の増減や、位置の変更などを可能としてもよい。なお2つ以上の動画出力は、リアルタイムの再生表示の場合、時間的に同期処理して表示される。また保存部17から読み出した動画の再生表示の場合、一時停止や再生開始などの操作も公知技術により可能である。
破線枠で示すg1は、文字付与部14により動画の画像フレーム上に付与され表示される検査情報の例を示す。例えば対象物20が「ポンプ」であり、撮影日時が2012年9月9日であり、画質改善処理の条件が「条件1」であることを表している。g2は、撮影動画Xにおけるノイズを含んだ画像フレーム例を示す。g3は、撮影動画Xに対する画質改善動画Yにおける画質改善処理によりノイズが除去された画像フレーム例を示す。g4は各出力動画の情報であり、例えば名称、種類、IDなどを示す。
対象動画の領域310は、301(#1),302(#2)で表示する対象となる動画、並びに、303の伝送選択、及び304の文字付与で対象となる動画を、ユーザ(U)により指定可能とする。候補となる複数の動画(X,Y)がある場合にはリスト等から選択可能である。例えば複数の異なる画質改善動画がある場合も選択可能である。同様に、撮影部21からの動画の入力、保存部17からの動画の入力などを選択可能としてもよい(詳しくは実施の形態3)。
伝送選択の領域303では、動画データである撮影動画(X)と画質改善動画(Y)とのそれぞれについて、複数の動画データ受理手段15の中から、伝送先ないし出力先をユーザ(U)により選択する機能を提供する。即ち、どの動画をどのモニタ16や保存部17へ伝送ないし出力するかを、331の項目で選択できる。例えば331のように、各モニタ16(モ1,モ2)への伝送(即ち表示)の有無を選択するチェックボックスと、各保存部17(ホ1,ホ2)への伝送(即ち保存)の有無を選択するチェックボックスとを有する。例えば「モ1」はモニタ#1(16a)を示す。ユーザ(U)は例えばマウスやキーボード等の入力デバイスの操作、あるいはタッチパネル画面へのタッチ操作などにより、動画の伝送先として選択するチェックボックスにチェックを入れる。この領域303でのチェック即ち伝送選択の状態は伝送選択部12で設定情報として管理される。この状態に従い、各動画データは、動画処理部13から伝送先の動画データ受理手段15へ伝送される。
文字付与の領域304では、動画データ(X,Y)のそれぞれについて、任意の検査情報の文字をユーザ(U)により付与する機能、及びどの伝送先の動画に対して文字を付与するか否かを指定する機能を提供する。検査情報の入力の項目(341)では、付与する検査情報の文字をユーザ(U)が入力・指定することができる。本例では直接的に任意の文字を入力する形式を示すが、これに限らず、例えば予め設定される付与文字項目を用意しておいて、ユーザ(U)がその付与文字項目のオン/オフを選択する形式などにしてもよい。付与文字項目は、例えば対象物名称、撮影日時、画質改善処理条件名称などが挙げられる。
検査情報の付与の項目(342)では、331と同様に、各伝送先の動画データ(X,Y)ごとに、341で入力する検査情報の文字を付与するか否かをチェックボックス等で指定可能である。領域304での入力・指定の状態は、同様に、文字付与部14により情報管理される。この状態に従い、各動画データに対して、付与文字が書き込まれる。
領域304で文字付与が指定されている場合、例えばg1のように、画像フレーム内の例えば四隅などの所定の位置に、付与文字が表示される。なお画像フレーム内で付与文字を表示する位置をユーザ(U)が可変に指定できる項目などを設けてもよい。
領域304では、指定された各伝送先の動画に対して、一挙に同じ文字の付与が可能である。これに限らず、個別に指定された伝送先の動画ごとに異なる文字の付与を可能としてもよい。例えば文字付与の対象動画及び伝送先を選択する項目などを設けてもよい。
また、各機能の領域(303,304)は、モニタ16のGUI画面50内に出力動画の領域(301,302)と一緒に並列で表示してもよいし、別に表示してもよい。例えば出力動画用のモニタ16と、各機能用のモニタ16とで分けて表示してもよい。また各機能はGUI画面50内でのGUI部品により操作可能としているが、これに限らず、例えば各機能を専用の操作卓などのハードウェアによるインタフェースとして実装してもよい。例えばボタンごとに伝送先を設定しておき、ボタンのオン/オフで伝送先を選択できる等。
なお更に例えば領域303で、前述の文字付与の方式、即ち上書き有無を、ユーザ(U)によりボタン等で選択・設定する項目などを設けてもよい。例えば上書きを選択した状態では前述の第1の方式で処理される。また上記設定は設定部19による画面で別に行うようにしてもよい。
[データ情報例]
図5は、補足として、実施の形態1での伝送選択などにおける、各データ情報の要素の関係の例を示す。動画処理部13において、例えば、入力の撮影動画Xに対し、伝送選択部12による伝送選択に応じて、そのまま撮影動画X1として、モニタ16や保存部17などの選択された伝送先1へ出力し、また、撮影動画X2として、文字M0を付与したものを、伝送先2へ出力する。また、動画処理部13において、入力の撮影動画Xに対し、画質改善処理部13aによる第1の画質改善処理#1を施して成る画質改善動画Y1を生成し、文字M1を付与し、伝送先3へ出力する。画質改善処理部13aによる第1の画質改善処理#1の条件・パラメータ群は、条件調整部18により所定の条件・パラメータ群1として調整・設定される。同様に、撮影動画Xに対し、画質改善処理部13bによる条件・パラメータ群2での第2の画質改善処理#2を施して成る画質改善動画Y2を生成し、文字M2を付与し、伝送先4へ出力する。同様に、撮影動画Xに対し、画質改善処理部13cによる条件・パラメータ群3での第3の画質改善処理#3を施して成る画質改善動画Y3を生成し、文字M3を付与し、伝送先5へ出力する。また、複数の画質改善処理部13a〜13cの使用に限らず、1つの画質改善処理部のみを使用してそのパラメータ値を変えた処理を適用してもよい。
[効果等]
以上のように、実施の形態1では、目視検査に画質改善処理を導入する際に生じる前述の課題、即ち、複数の動画、画質改善処理、及び伝送先などに関する把握や調整などが検査員Uにとって負担になる課題などを解決する枠組みとして、特有のGUIなどの手段を提供している。プラント2を対象とした目視検査装置1のシステムにおいて、検査員Uによる、多様で複雑な動画、画質改善処理の条件・パラメータ等、及び伝送先などの調整や把握などの作業を支援して容易化・効率化することができる。
<実施の形態2>
図6,図7を用いて、本発明の実施の形態2の目視検査システムについて説明する。実施の形態2は、実施の形態1で示した枠組みを前提とし多くの構成要素を共通とする構成であり、実施の形態1の枠組みの中の特徴的な構成要素についてより詳しく有効な構成例を示す。実施の形態2は、実施の形態1との主な違いとして、文字付与部14は、動画データに応じて選択的に文字を付与する機能、例えば撮影動画(X)には文字を付与せず画質改善動画(Y)には文字を付与して伝送する機能を有する。ユーザ(U)はGUI画面50で上記機能の設定ができ、当該設定に従い文字付与部14が自動的に処理を行う。
実施の形態2のシステム構成は、実施の形態1の図1等と概略同様であるので図示省略する。実施の形態2では、動画データ受理手段15として、1つのモニタ16、及び2つの保存部17、例えばHDD(#1)、DVD(#2)を有する。
実施の形態2では、文字付与部14により、目視検査装置1で取り扱う複数の動画データ(X,Y)のうち、撮影動画(X)に対しては検査情報の文字を付与せず、画質改善動画(Y)に対しては検査情報の文字を付与する。付与文字である検査情報は前述同様にユーザ(U)が任意に入力・選択できる。また、撮影部21からの撮影動画(X)については、動画データ受理手段15のうち、HDD等の保存部#1(17a)に伝送・保存する。また例えば保存部17から読み出した撮影動画(X)を元に生成した画質改善動画(Y)については、文字を付与して、DVD等の保存部#2(17b)に伝送・保存し、それと共にモニタ16に伝送・表示する。
効果的な目視検査を実現するためには、検査員Uにより画質改善動画(Y)をリアルタイムで確認できることが必要または有効であり、また、検査の記録を残すために当該動画データを保存することも必要である。また一旦目視検査後に、画質改善処理の条件・パラメータ等を変えて再処理・検査を行う場合がある。それを考慮すると、撮影動画(X)を保存しておくことが必要または有効である。上記の場合、動画データに関する検査情報を記録し管理することも必要であるが、上記再処理・検査を考慮した動画データ(例えば保存部17に保存する撮影動画X)に対して検査情報の文字を前述の上書きで書き込んでいた場合、当該動画データを用いて再度画質改善処理及び目視検査を行う際に、当該付与文字が画質改善処理の妨げとなる場合がある。
そこで、実施の形態2では、実施の形態1(図4)で挙げた伝送選択の組合せのうちの(a)等と同様に、撮影動画(X)と画質改善動画(Y)との両方を保存する。そして、文字付与部14の機能により、画質改善動画(Y)には検査情報の文字を書き込み、動画再生が容易なDVD(#2)等に保存し、かつリアルタイムで目視確認可能なようにモニタ16に表示する。一方、対応する撮影動画(X)には検査情報の文字を書き込まず、再処理を施すことが容易なようにHDD(#1)等に保存する。
図6に、実施の形態2の目視検査装置1での上記伝送選択及び文字付与の概要及び例を示す。動画処理部13において、撮影部21から伝送されてきた撮影動画X(Xaとする)には、検査情報の文字(Mとする)が付与され、HDD(#1)に保存される。また撮影動画Xを元に画質改善処理を施した画質改善動画Y1には、その条件などの検査情報の文字(M)が付与され、DVD(#2)及びモニタ16に出力される。また特に、動画処理部13において、上記で一旦HDD(#1)に保存された撮影動画X(Xa)を読み出した撮影動画X(Xbとする)に対し、条件・パラメータ等を変えて画質改善処理を施した画質改善動画Y2には、その条件などの検査情報の文字(M)が付与され、DVD(#2)及びモニタ16に出力される。
図7は、実施の形態2でのモニタ16へのGUI画面50−2の表示例を示す。図7のGUI画面50−2は、図3のGUI画面50と異なる点として、伝送選択の領域703及び文字付与の領域704における選択の形式が異なる。またGUI画面50−2内の1つの出力動画の領域302において画質改善動画Yのみをリアルタイムで表示して目視検査する場合である。尚ここでのリアルタイム表示とは、動画の画像フレームを時間軸上で撮影時のレートで再生することである。なお保存部17から読み出した動画データを処理して再生表示する場合は、コンピュータ制御可能であるため、その再生表示レートを、ユーザ(U)の指定に応じた可変制御、及び任意フレームでの停止・再生や繰り返し等も、公知技術に従い可能である。なお実施の形態2でも前述同様に1画面内で複数の動画の並列表示可能である。
対象動画の領域710では、前述同様に、領域302に表示する撮影動画Xや画質改善動画Yをユーザ(U)が選択・指定可能である。
伝送選択の領域703では、前述同様に、撮影動画X及び画質改善動画Yのそれぞれについて伝送先及び伝送有無を選択できるチェックボックス等の項目を有する。システム構成に対応して、伝送先として、モニタとHDD(保存部#1)とDVD(保存部#2)との3つを有する場合である。図7のチェック状態は、図4の(a)の例と対応している。
文字付与の領域704では、前述同様に、検査情報の入力の項目や、各動画(X,Y)の伝送先ごとの検査情報の付与指定の項目などを有する。検査情報の付与指定の項目では、選択的な文字付与の機能に対応して、各動画(X,Y)の伝送先(モニタ,HDD,DVD)ごとに付与指定がチェックボックス等で可能である。図7のチェック状態では、画質改善動画Yのみ文字付与する設定に対応して、Xについてはすべてチェック無し、Yについては例えばモニタとDVDでチェック有りの状態である。文字付与部14は、当該設定状態に従い、撮影動画Xには文字を付与せず、モニタ16とDVD(#2)に出力する画質改善動画Yには文字を付与する。そして動画処理部13から、撮影動画XをHDD(#1)に伝送・保存し、文字付与済みの画質改善動画Yをモニタ16とDVD(#2)に伝送・出力する。文字付与部14は、上記文字付与の領域304でユーザ(U)により入力・設定された情報、即ちX、Y、及び付与文字などの関連付けの情報を、目視検査装置1内のテーブル等に管理し、後で再現・再利用する。
また、上記のように個別にチェックして指定する形式に限らず、例えば領域304内の741の項目のように、文字付与の対象を、XまたはYまたはX,Y両方といった選択肢からユーザ(U)が選択設定可能としてもよい。また例えばYのみの設定の場合で、全画質改善動画(Y)に対して自動的に文字を付与するようにしてもよいし、全画質改善動画(Y)のうち個別に指定された動画のみに文字を付与するようにしてもよい。その他、図示する以外でも、個別の伝送先の動画ごとに付与文字を入力する項目を設ける形式などとしてもよい。
以上のように、実施の形態2によれば、実施の形態1の図4の(a)等の組合せに関して、選択的な文字付与の機能により、図6のように撮影動画Xを用いて付与文字の妨げ無く再処理が可能であるため、2回目以降の再処理・検査が容易となり、信頼性を高くできる。
実施の形態2では、選択的な文字付与の機能として、撮影動画Xには文字を付与せずに画質改善動画Yには文字を付与する構成を示したが、これに限らず、撮影動画Xに文字を付与して画質改善動画Yには文字を付与しないようにする構成なども同様に可能である。
<実施の形態3>
図8〜図10を用いて、本発明の実施の形態3の目視検査システムについて説明する。実施の形態3では、更に、各種の動画の処理時間などを考慮した同期処理などの機能を提供する。実施の形態1,2のように、画質改善処理の導入及びGUI提供などにより、目視検査の視認性の向上や作業の容易化などが可能になるが、一方、画質改善処理などの動画処理にかかる時間が無視できない大きさになってしまう場合が懸念される。当該処理時間は、画質改善処理の条件・パラメータ等の調整によっても増減する可能性がある。また撮影動画(X)に対する画質改善処理は、特にリアルタイムでモニタ16に表示する場合には、その処理時間にかかわらず、撮影動画(X)に対して遅れなく同期をとって施す必要がある。
前述のように再処理・検査を考慮した場合、撮影動画(X)として、撮影部21からケーブル22を通じて動画処理部13へ伝送されてきた未保存の動画データ(Xa)と、一旦保存部17に保存されて読み出した動画データ(Xb)との2種類がある。
そこで、実施の形態3における動画処理部13は、それら伝送元が異なる2種類の動画(Xa,Xb)に対し、当該動画の種類に応じて処理時間の許容値を自動的に切り替えて画質改善処理を施す。これにより例えば撮影部21からの撮影動画X(Xa)をリアルタイムでモニタ16に伝送・表示する場合に、必要な処理時間の許容値内で遅れなく同期して画質改善処理を施して伝送・表示する。言い換えると、動画(X,Y)の処理のレートを適切に調整する。また実際の画質改善処理で、必要な処理時間の許容値を超えてしまう場合には、例えば動画の画像フレームを適宜飛ばして画質改善処理を施すことで、同期処理を優先して全体的な処理時間が長くならないようにする。
図8は、実施の形態3でのモニタ16へのGUI画面50の表示例を示す。本GUI画面50−3では、前述同様の要素の他、動画の種類の領域801を有する。この領域801では、動画処理部13の画質改善処理の入力・処理対象とする撮影動画(X)の種類を、ユーザ(U)によりラジオボタン等で選択・指定可能である。この種類として、本例では、撮影部21から入力される「撮影動画」(Xa)と、保存部17からの読み出しによる撮影動画である「保存動画」(Xb)とのいずれを用いるかをユーザ(U)が選択できる。領域801での設定状態に従い、動画処理部13で画質改善処理などを行う。なお併せて前述同様に個別の動画を指定する項目などを設けてもよい。
図9は、実施の形態3での動画データ処理及び同期処理の機能の概要を示す。まず(a)で、撮影部21からのリアルタイムでの伝送・入力の撮影動画Xaと、それとは別の、保存部17(例えばHDD)から読み出す撮影動画Xbとを示す。それぞれ(Xa,Xb)の伝送のフレームレートをRa,Rbとする。Raは、撮影部21の撮影・伝送のレートなどに依存した固定値である。Rbは、目視検査装置1のコンピュータ処理制御による可変値である。
(b)で、上記撮影動画Xaに対して動画処理部13の画質改善処理(例えば13aによる処理#1)を施した画質改善動画をYaとし、上記撮影動画Xbに対して同様の画質改善処理(#1)を施した画質改善動画をYbとする。Xaの画質改善処理の処理時間の許容値をKaとし、Xbの同処理の処理時間の許容値をKbとする。
Xaの許容値Kaについては、固定の伝送レートRaよりも小さい所定値に予め設定しておく(Ka<Ra)。またXbの許容値Kbについては、可変の伝送レートRbに応じて任意値に設定されるか、又は設定する必要が無い。上記許容値などについては例えば設定部19で予め設定可能である。
(c)で、本同期処理の機能における制御処理内容として、撮影動画Xaの画質改善処理におけるフレームあたりの処理時間の計測値をT2としたとき、T2が、Xaに対応した許容値Ka以下となる場合(T2≦Ka)、処理する画像フレームを飛ばすこと無く、高精細な画質改善処理を施す。また、T2がKaを超える場合(T2>Ka)、処理する画像フレームを適宜飛ばして画質改善処理を施すことで、同期処理を優先して、処理時間を短縮し、高速化する。
一方、保存動画Xbの場合、Xbの画質改善処理におけるフレームあたりの処理時間の計測値をT5としたとき、Xbに対応した許容値Kbは任意設定値なので、T5の値にあわせるように、保存部17からの保存動画Xbの読み出し・伝送のレートを調整する。
図10は、図9に対応した、実施の形態3での各動画の処理のタイムチャート例を示す。(a)は、撮影部21から伝送・入力される撮影動画Xaを示す。f1等は画像フレームを示し、T1は、Xaの固定の伝送レートRaに対応した1フレーム時間である。(b)と(c)は、(a)の撮影動画Xaに対する画質改善処理であり、同期処理の必要がある。T2,T2´は、Xaの画質改善処理におけるフレームあたりの処理時間の計測値である。T3は、Xaの処理時間の許容値Kaの設定値である。(b)はT2>T3(Ka)の場合の例であり、(c)はT2≦T3(Ka)の場合の例である。なおT3(Ka)は、フレーム飛ばし無しで処理するために必要な時間に相当する。
処理対象がXaの場合、Xaの伝送速度ないし伝送レートRa(T1)は、撮像部21の撮影のレートなどに依存して固定値である。そのため、Xaの処理時間の許容値Kaを、当該レート(Ra,T1)よりも小さい所定の値(T3)に予め設定しておく。例えば、T3(Ka)=30msである。
(b)で、動画処理部13は、撮影部21からの撮影動画Xaに対して画質改善処理を施す場合、Xaのフレームあたりの処理時間T2を計測し、当該処理時間T2が、許容値Ka(T3)を超える場合(T2>Ka)、(a)の撮像部21からのフレームに追いつくまで画像フレームを飛ばして画質改善処理を施す。例えば図示のようにf1の処理後、f2を飛ばして、次のf3を処理するようにする。
また(c)で、動画処理部13は、Xaのフレームあたりの処理時間T2´が、許容値Ka(T3)内に収まる場合(T2≦Ka)、処理するフレームを飛ばす必要なく、画質改善処理を施すことができる。
(d)は、保存部17から読み出し・伝送される撮影動画である保存動画Xbを示す。T4は、Xbの可変の伝送レートRbに対応した1フレーム時間である。
(e)は、(d)の保存動画Xbに対する画質改善処理であり、例えば同期処理を行う。T5は、Xbのフレームあたりの処理時間である。
処理対象がXbの場合、Xbの伝送速度ないし伝送レートRbは、動画処理部13が可変に制御可能である。そのため、Xbの処理時間の許容値Kbを、Ra(T1)とは無関係に、所望の値に予め設定しておくか、あるいはKbを設ける必要が無い。
動画処理部13は、Xbの画質改善処理に要したフレームあたりの処理時間T5に合わせるように、保存部17からのXbの伝送・読み出しのレートT4を可変に調整する。T4>T5である。これにより、フレームを飛ばすこと無く画質改善処理が可能である。
以上のように、実施の形態3では、動画の種類(Xa,Xb)にかかわらず、適切に同期処理での画質改善処理を施すことができ、全体的に処理時間が長くなってしまうことを防止することができ、効率的な目視検査が可能である。
なお上記同期処理を行わないことも可能である。例えば保存部17から読み出す撮影動画Xbのデータをメモリ上にバッファし、当該データに対して比較的長い時間をかけて高精度の画質改善処理を施し、処理後の動画を所望のレートで再生するといった場合である。
<実施の形態4>
図11〜図13を用いて、本発明の実施の形態4の目視検査システムについて説明する。実施の形態4は、特に、実施の形態1(図2)等のGUI制御部11のうちの条件調整部18についての詳細な構成を示す。GUI画面50でのユーザ(U)の操作による動画処理部13の画質改善処理の条件・パラメータ等の調整・把握を、より効果的に支援する機能を提供する。
前述のように、画質改善処理を導入する場合、処理による画質改善の度合い等をパラメータで調整することが一般的である。画質改善処理は、多くの処理を組み合わせた複雑なアルゴリズムとなっていることが多く、調整用の複数のパラメータを備えていることが多い。しかし前述のように、それら多様で複雑な画質改善処理の条件・パラメータ等を調整・把握することは、特に画像処理を熟知していない検査員U等にとっては容易ではなく負担が大きい。特に、多様な動画及び伝送先に応じて多様な画質改善処理、例えば輝度強調処理やノイズ除去処理などが存在し、それらの条件・パラメータ数が増加するほど、容易ではなくなる。
一方、原子力プラント等で想定される目視検査用の動画の視認性の低下の要因は複数存在する。またそれぞれの要因は検査時に常に生じているとは限らない。ある要因が生じていない動画に対して、その視認性の低下の調整に感度を持つパラメータを調整することは難しい。例えば、原子力プラントを対象とした目視検査の場合、ワイヤを用いた校正用ターゲットを撮影したワイヤ動画を用いて視認性を確認する方法がある。このワイヤ動画には放射線ノイズは殆ど無い。このワイヤ動画を用いて超解像処理や輝度強調処理などのパラメータ調整を行うことは有効であるが、このワイヤ動画を用いてノイズ除去処理のパラメータ調整を行うことは適切ではない。その結果、画質改善処理後の動画の画質が不十分となる、即ち視認性が低下する可能性がある。
上記画質改善処理の条件・パラメータ等の調整においては、当該条件・パラメータ等に応じて適切な調整用動画を用いて、その視認性を検査員Uが確認しながら行うことが望ましいと言える。
そこで、実施の形態4では、条件調整部18として、上記各視認性低下要因に対応する画質改善処理の条件・パラメータ、及び調整用動画などの関係付けを、検査員U等によりGUI画面50で容易に設定することができる機能を提供する。
図11は、実施の形態4での処理概念などを示す。まず、動画処理部13は、撮影部21から例えば撮影動画X1を入力し、例えば画質改善処理部13aの画質改善処理#1を施すことで、画質改善動画Y1を得る。そして画質改善動画Y1に検査情報の文字(M1)が付与され、選択された伝送先へ出力される。画質改善処理#1の条件を「条件1」で示す。条件は、複数の画質改善処理パラメータ(Pとする)のセットと関係付けられる。例えば条件1は、パラメータP1〜Pmから成るパラメータ群G及びその値と関係付けられる。
実施の形態4では、条件調整部18は、GUI画面50でのユーザ(U)の操作に応じて、画質改善処理の条件を構成するパラメータのセットを、複数のパラメータ群(G)に分割して設定する。例えば図示のように、画質改善処理に関する条件1は、パラメータ群G1〜G3に分割して設定される。この分割は、目視検査の際の視認性低下要因ごとに、その調整に感度があるパラメータ群への分割として行うことができる。そして条件調整部18は、GUI画面50でのユーザ(U)の操作に応じて、上記分割されたパラメータ群ごとに、視認性低下要因に応じた適した異なる動画を、調整用として関係付ける設定ができる。例えば、分割のパラメータ群G1〜G3ごとに、それぞれ異なる動画A1〜A3が調整用として設定される。例えば条件1のパラメータ群G1による画質改善処理に関して、ある視認性低下要因a(例えば放射線ノイズ)を考慮して、それに適した調整用の動画A1を設定できる。このように適した調整用動画を用いて画質改善処理の条件を調整し、視認性低下に対処した画質改善動画を用いて効果的な目視検査ができる。
なお図11では1つの条件1に対して3つの分割されたパラメータ群G1〜G3を設定しているが、分割されたパラメータ群ごとに個別の条件として捉えて情報管理するようにしても主旨は同様である。その場合例えばパラメータ群G1は条件1、G2は条件2、といったように関係付けて管理する形になる。
図12は、実施の形態4でのモニタ16へのGUI画面50の表示例を示す。本GUI画面50−4では、前述の要素の他、条件調整の領域401、条件指定の領域402、条件・パラメータの詳細の領域403、等を有する。条件調整部18は、GUI制御部11を通じて、これらの領域で提供する機能に関する処理を行い、また設定情報を目視検査装置1内のテーブル等に管理する。
条件調整の領域401では、画質改善処理の条件またはパラメータ群または個別パラメータを、ユーザ(検査員U)により選択可能とする項目(411)と、その選択された条件/パラメータ群/パラメータにおける値をユーザにより可変に調整して設定する項目(412)とを有する。411の項目では、例えばリストから条件/パラメータ群/パラメータの名称やIDなどをユーザ(U)が選択できる。412の項目では、例えば調整ゲージ等でパラメータ値を可変に調整できる。これに限らず、数値入力欄などを設けてもよい。本例では、領域401で調整する条件/パラメータ群/パラメータとして、ノイズ除去処理パラメータを選択してそのパラメータ値を調整する場合を図示している。これに限らず、同様に複数の項目を設けて複数のそれぞれの条件・パラメータ等をユーザ(U)により調整可能としてもよい。領域401で入力・設定された情報は、条件調整部18により管理される。
条件指定の領域402では、目視検査装置1内に保存・設定されている画質改善処理の条件の情報の中から、適用する条件を、ユーザ(U)により選択・指定することができる。例えばリストから条件の名称やIDなどを選択して適用ボタン等で適用することができる項目(421)を有する。
また領域402で選択及び適用された条件は、動画処理部13の画質改善処理に反映されると共に、文字付与部14による付与文字として反映することもできる。例えば409のように、自動的に対象動画に検査情報の付与文字として反映させることもできる。
なお条件の調整や適用の対象となる動画をユーザ(U)により選択する項目などを前述の310等と同様に設けてもよい。
また条件・パラメータの詳細の領域403では、401,402の条件/パラメータ群/パラメータなどに関する詳細情報を、一覧などの形式で表示し、ユーザ(U)による確認が可能である。また領域403で各パラメータ値を可変に調整可能としてもよい。
また、図11の分割の設定についても、例えば下記図13のようなテーブルをGUI画面50−4に表示してユーザ(U)により設定可能としてもよい。
図13は、実施の形態4での条件調整部18による、画質改善処理の条件・パラメータ等の調整の情報管理のテーブル例を示す。例えば、条件調整部18は、GUI画面50−4でユーザ(U)により分割・調整される図11のような各パラメータ群などの情報を、図13のテーブルに管理する。
図13のテーブル構成では、レコードで関係付ける情報項目として、条件、パラメータ群、パラメータ、画質改善処理、調整用動画、及び検査情報などを有する。「条件」は、画質改善処理の条件の名称やIDを示す。「パラメータ群」は、条件を構成するパラメータ群(G)の名称やIDを示す。「パラメータ」は、パラメータ群(G)を構成する1つ以上の各パラメータ(P)を示す。「画質改善処理」は、動画処理部13の13a等の画質改善処理の名称やID、あるいは対応する視認性低下要因の情報などを示す。「調整用動画」は、当該画質改善処理に適用する調整用動画の名称やIDなどを示す。「検査情報」は、当該調整用動画などに関連付けられる検査情報を示す。
上記テーブルの各項目における名称などは、ユーザ(U)が自身にとってわかりやすい名称などを入力・設定できる。また「検査情報」は、前述の文字付与の情報として管理してもよい。また「調整用動画」に関連付けられる「検査情報」は、例えば動画ファイルのプロパティ情報などの形で持つ情報を動画処理部13で処理して得てもよい。また図2の複数の画質改善処理部13a等ごとに、上記各情報を関連付けるようにしてもよい。
図13の設定例では、動画処理部13の画質改善処理部13a等による画質改善処理の条件1を構成する複数のパラメータについて、図11と同様に、例えば群A〜群Cに分割して設定する場合を示す。例えば群Aは、パラメータ(P1,P2,…)等から成り、ノイズ除去処理のパラメータとし、その調整用動画として、放射線ノイズ動画(撮影動画X1)を用いる。群B(Pa,Pb,…)は、群Aとは異なるパラメータ群であり、例えば、信号強調処理のパラメータとし、その調整用動画として、微細構造撮影動画(撮影動画X2)を用いる。同様に、群Cは、例えば照明不足に対応した画質改善処理のパラメータとし、その調整用動画として、暗動画(撮影動画X3)を用いる。
例えば原子力プラントの場合に想定される視認性低下要因の例として下記(1)〜(3)が挙げられる。(1)放射線が撮影部21のカメラの画素にあたることによって動画の画像にノイズが生じること、即ち放射線ノイズが重畳された画像となること。(2)目視検査で見つけるべき対象として微細な筋状のひびがあり、撮影の仕方によって、ひびのエッジが不鮮明となること。(3)プラント内が立体的で複雑な構造であるため、対象物20への照明の届く範囲が限られ、部分的に照明不足となり輝度が低くなること。
上記(1)の要因については、図13の設定例のように、ノイズ除去処理のパラメータ群Aと、放射線ノイズが重畳された画像を含んだ撮影動画である放射線ノイズ動画(X1)とを用いる。(2)の要因については、信号強調処理のパラメータ群Bと、対象物20の微細構造のエッジが不鮮明となっている撮影動画である微細構造撮影動画(X2)とを用いる。(3)の要因については、照明不足に対応した画質改善処理のパラメータ群Cと、照明不足によって暗くなっている箇所を含む撮影動画である暗動画(X3)とを用いる。
以上のように、実施の形態4によれば、検査員Uは、GUI画面50−4を用いることで、多様な動画、画質改善処理の条件・パラメータ、及び伝送先などを扱う場合にも、視認性低下要因ごとに条件・パラメータ等を容易に調整・把握することができる。また、検査員U以外のユーザも同様に本GUI画面50−4を用いて設定ができるので、複数の人の共同作業も容易となる。
<実施の形態5>
図14を用いて、本発明の実施の形態5の目視検査システムについて説明する。実施の形態5は、実施の形態4の枠組みにおける条件調整部18の機能の中の、パラメータ群の分割設定などの要素について、特に有効な詳細構成を示す。
前述のように、従来の原子力プラント等を対象とした目視検査においては、ワイヤを用いた校正用ターゲットを撮影したワイヤ動画を用いて視認性を確認することも行われている。これに対応して、上記視認性の確認に用いられているワイヤ動画を、前述の画質改善処理の条件・パラメータ等の調整に用いることが好ましい。
しかしながら、上記ワイヤ動画には、放射線ノイズが殆ど無く、即ち放射線ノイズの重畳によるノイズ画像は殆ど見られない。この放射線ノイズが殆ど無い動画を用いてノイズ除去処理用のパラメータ群を調整することは困難である。
一方、上記ワイヤ動画は、微細なワイヤを撮影した動画であるため、当該画像におけるワイヤのエッジは不鮮明なものとなっている。そのため、このワイヤ動画を信号強調処理用のパラメータの調整に用いることは有効である。
そこで、実施の形態5の目視検査装置1では、条件調整部18は、前述のGUI画面50を通じたユーザ(U)の操作に基づいて、画質改善処理の条件を構成するパラメータのセットを、ノイズ除去処理用のパラメータ群である第1の群と、それ以外の少なくとも信号強調処理用のパラメータを含むパラメータ群である第2の群とに分割して設定する。そして、後者のパラメータ群の調整用には、ワイヤ動画を用いるように関係付ける。
実施の形態5でのGUI画面50は、図示しないが、実施の形態4のGUI画面50−4と同様の領域401,402などを有し、上記パラメータ群の分割設定についても例えば下記図14のテーブルを表示して同様にユーザ(U)により設定可能とする。
図14は、実施の形態5での条件調整部18による上記画質改善処理の条件・パラメータ等の情報管理のテーブル構成例を示す。図14のテーブル構成は、図13と概略同様である。条件調整部18は、ユーザ(U)の操作に基づき、本テーブルに、画質改善処理の条件の複数のパラメータを、ノイズ除去処理用のパラメータ群(例えば群A)と、それ以外の、信号強調処理用のパラメータを含むパラメータ群(例えば群B)とに分割して設定する。そして、ノイズ除去処理用のパラメータ群(群A)については、前述同様に所定の調整用動画(X1)を用いるように設定し、それ以外の、信号強調処理用のパラメータを含むパラメータ群(群B)については、ワイヤ動画(X2)を用いるように設定する。動画処理部13は、本設定に従い、ワイヤ動画(X2)を用いて信号強調処理用のパラメータを調整する。
上記のように、実施の形態5によれば、検査員Uは、GUI画面50で、画質改善処理の条件・パラメータ等を容易に調整することができ、特に、放射線ノイズ除去処理用のパラメータや、エッジの不鮮明に対処するためのパラメータを容易に調整することができる。これにより、目視検査の信頼性を高くできる。
<実施の形態6>
図15,図16を用いて、本発明の実施の形態6の目視検査システムについて説明する。実施の形態6では、実施の形態4等を前提とした構成であり、特に、動画処理部13の詳しい機能を示す。実施の形態6では、まず前述の動画処理部13での画像処理ないし画質改善処理の条件が複数設定される。そして、動画処理部13は、処理対象の撮影動画に対して、上記複数の条件を、時間軸上で所定時間毎に自動的に切り替えて、各条件ごとの処理を順に実行することで、複数の画質改善動画を生成する。上記自動切り替えの機能により、動画やその場面ごとに適した画質を実現すると共に、ユーザ(U)の作業の負担を軽減できる。実施の形態6は、言い換えると複数の画質改善処理の一括自動実行機能を有する。
前述の実施の形態4等のように、条件調整部18等を用いて、画質改善処理の条件・パラメータ等を適宜調整・設定することで、複数の条件を持ち使い分けることが可能となる。その場合、どの動画に対してどの条件の画質改善処理を施したか等を適切に管理・把握して目視検査に使用できることが必要または有効である。
画質改善処理の条件ないしパラメータは、目視検査の前の調整段階で予め調整する分にはユーザ(U)により自由に調整が可能である。しかし、目視検査の段階で使用する画質改善処理の条件については、目視検査の前または後の確認段階で、対応する動画での視認性を検査員Uにより確認しておくことが必要または有効である。
原子力プラント等における目視検査用の動画の画質は、場面すなわち画像フレーム毎に異なる可能性がある。当該動画に対して一律な条件の画質改善処理を施した場合、当該動画中の任意の場面を適切な画質にすることは困難である。例えば前述のように原子力プラント内でカメラを移動させながら対象物を撮影した場合、プラント内の場所などによって放射線強度が異なるため、撮影動画に重畳される放射線ノイズ量も異なる。この撮影動画に対して一律なノイズ除去処理を施した場合、例えば放射線ノイズ量が多い場面ではノイズが十分除去されない可能性があり、画質が不十分になる場合がある。
一方、上記目視検査の段階で使用する可能性のある画質改善処理の条件・パラメータ等の全てについて、目視検査の前または後の確認段階で検査員Uにより確認や調整することは、検査員Uにとって困難または大きな負担になる。特に複数の条件を設けた場合、どの動画に対しどの条件による処理を施してどの画質改善動画か得られたか等についての把握が、数が多いほど大きな負担となる。
そこで、実施の形態6では、動画処理部13での複数の条件の自動切り替えの機能などを提供する。目視検査の前の調整段階で、ユーザ(U)によりGUI画面50で調整された複数の条件を前述のテーブル等に保存・設定しておく。そして、目視検査の前または後の確認段階では、動画処理部13は、上記複数の条件を読み出し、時間軸上で自動的に切り替えて、各条件の画質改善処理を順に実行し、複数の画質改善動画を生成する。例えば動画中の場面などに応じて数秒程度などの一定時間ごとに条件を切り替えて処理するようにしてもよい。なお複数の動画を対象にして複数の条件を切り替えて処理することもできるし、1つの動画のうちの複数の場面ごとの動画を対象にして複数の条件を切り替えて処理することも同様に可能である。
また、上記のように複数の条件の処理及び動画などの把握を容易化するため、実施の形態6での文字付与部14は、ユーザ(U)の設定に基づいて、上記生成される複数の各画質改善動画に適用された複数の各条件を表す文字を自動的に付与する機能を有する。
図15は、実施の形態6での動画処理部13の自動切り替えの機能などの処理概念を示す。動画処理部13において、例えばプラント2の同じ対象物20を撮影した1つの撮影動画Xを入力する。撮影動画Xに対し、上記条件調整部18で設定される複数の条件、例えば条件1(パラメータ群a),条件2(パラメータ群b),条件3(パラメータ群c)を適用する。動画処理部13は、上記複数の条件の自動的な切り替えの制御をしながら、画質改善処理、例えば13a〜13cの処理を順に実行する。これにより、対応する複数の画質改善動画(例えばY1〜Y3)を生成する。そして、当該複数の画質改善動画に対して、文字付与部14は、上記複数の各条件を表す検査情報の文字(例えばM1〜M3)を自動的に付与する。ユーザ(U)は事前に設定しておけば、個別の画質改善動画ごとに文字を付与する作業は必要無い。そして、各画質改善動画は、動画処理部13から、伝送選択の状態に従い、対応する伝送先(例えば伝送先1〜3)へ出力される。上記は1つの撮影動画Xの中の場面ごとに適した条件で画質改善処理する例であるが、複数の撮影動画を対象として処理する場合も上記同様に可能である。また1つの画質改善処理のパラメータを変えながら処理する場合も上記同様に可能である。また条件及び場面ごとに生成された複数の画質改善動画を、取り扱い易いように1つに統合して出力するようにしてもよい。
図16は、実施の形態6でのモニタ16へのGUI画面50の表示例を示す。本GUI画面50−6では、上記動画処理部13の自動切り替えの機能などの処理内容をユーザ(U)により指定・設定可能である。本GUI画面50−6では、条件指定の領域402において、422の項目で、撮影動画X等の動画ごとに、それぞれの画質改善処理の条件をユーザ(U)が指定・適用することができる。なお図16では同じ撮影動画Xを対象とした例を示しているが、異なる動画を前述同様にユーザ(U)により指定可能としてもよい。423の項目では、422で指定された複数の条件について、上記自動切り替えの機能による自動的な処理を実行するかどうかを設定可能な自動ボタンを有する。自動ボタンが押された場合、動画処理部13は、図15と同様に、対象の動画に対して、画質改善処理の複数の条件などを自動的に切り替えて順に処理を実行し、各画質改善動画を生成する。そして、上記適用された各条件の情報が、例えば409のように、各画質改善動画の画像フレームに付与される。
以上のように、実施の形態6によれば、検査員Uは、GUI画面50で、目視検査の段階で使用する複数の画質改善処理の条件の全てを、目視検査の前または後の確認段階で容易に確認及び設定することができる。また複数の条件の画質改善処理を用いた作業の負担を軽減できる。
<実施の形態7>
図17,図18を用いて、本発明の実施の形態7の目視検査システムについて説明する。実施の形態7は、実施の形態1〜6等に対し、更に追加的な以下の要素を備える構成である。原子力プラント内を対象として目視検査を行う場合、前述のように、例えば撮影部の光学カメラあるいはそれに接続される目視検査装置などにおいて、放射線による放射性物質が付着する可能性がある。この対策として、放射性物質の付着防止または除去の容易化などの手段として、下記の防塵フィルタ74等を設ける構成である。
図17は、実施の形態7のシステム構成を示す。実施の形態7の目視検査装置1は、プラント2内に配置される。実施の形態7の目視検査装置1は、筐体であるユニット71内に、前述の動画処理部13等の部位が電子回路基板70などで実装されている。電子回路基板70は公知のプロセッサやメモリ等を含んで成る。
そして、ユニット71内において、電子回路基板70の後ろの位置にファン72が備え付けられている。またユニット71におけるファン72の後ろの吸気口73に、防塵フィルタ74が設けられる。ユニット71には、冷却用の空気を取り込む吸気口73が開いている。ユニット71の吸気口73を覆うように、例えば外側からネジなどの取り付け具75で防塵フィルタ74が固定される。
実施の形態7の目視検査装置1では、動画処理部13等を含む電子回路基板70及びファン72は、吸気口73を覆う防塵フィルタ74を有するユニット71の中に収容されている。防塵フィルタ74は、ユニット71の外側で取り付け具75により取り外し・取り替えが可能になっている。
前述の動画処理部13では、例えば多様で高速な画質改善処理を実現するためには、高性能なプロセッサ等を搭載した電子回路基板70等が必要であり、またそのプロセッサ等を冷却するファン72等も必要である。
一方、原子力プラント等のプラント2の場合、上記防塵フィルタ74等の対策を設けない場合、放射性物質を含む塵をファン72が吸い込むことで、動画処理部13を含む電子回路基板70に付着する可能性がある。一旦付着すると、除去しない限り、プラント2からは持ち出せない。
そこで、実施の形態7では、上記のように動画処理部13等を含む電子回路基板70及びファン72をユニット71に収容し、吸気口73を覆う防塵フィルタ74等を設ける。冷却用のファン72が稼動すると、たとえ放射性物質を含む塵が存在したとしても、電子回路基板70には付着せず、防塵フィルタ74に付着される。防塵フィルタ74は、ユニット71の外側での取り外し機構により、防塵フィルタ74のみを容易に取り外すことができるので、放射性物質の付着防止及び除去容易化が可能である。
図18には、実施の形態7の変形例として、目視検査装置1の別の構造例を示す。異なる点として、防塵フィルタ74は、筐体であるユニット71の吸気口73をその内側から覆うように内部に取り付けられている。また防塵フィルタ74は、ユニット71の例えば上側のフィルタ取り外し穴76を貫通するフィルタ固定具77を介して、ユニット71の外側からネジなどの取り付け具75により上記のように内部に固定される。これにより、同様に、放射性物質の付着防止及び除去容易化が可能である。
実施の形態7によれば、目視検査装置1を原子力プラント等のプラント2内に配置及び使用することができ、放射線の影響を低減した目視検査が実現できる。
なお更に、実施の形態7の目視検査装置1のユニット71に対して、別のケーブルを通じて、プラント2の外部などに検査員U用のコンピュータ端末装置などを遠隔で接続してもよい。その場合、そのコンピュータ端末装置に、前述のGUI制御部11などを実装してもよく、プラント2内の目視検査装置1の動画処理部13等の部位と通信・連携して、前述同様に機能を実現できる。
<効果等>
以上説明したように、各実施の形態によれば、プラント2等を対象とした目視検査システムにおいて、目視検査用の効果的なGUI画面50を提供する目視検査装置1を提供し、検査員Uによる、多様で複雑な動画、画質改善処理の条件・パラメータ、及び出力先などの調整や把握などの作業を支援して容易化・効率化することができる。本システムでは、各種の動画データ、調整可能な各画質改善処理の条件・パラメータ等、付与する検査情報、及び伝送先などを関連付けて管理することができる。画質改善処理の導入による画質改善動画を用いて目視検査を検査員Uにより行う際に、条件・パラメータ等を容易に調整して、視認性を向上でき、目視検査の信頼性を高めることができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。例えば検査対象として原子力プラントに限らず適用可能である。