JP2003187223A - 画像診断装置，画像診断システム及び画像診断方法 - Google Patents

Abstract

(57)【要約】 【課題】診断の対象を撮影した画像から表面の色分布を
精度良く抽出し、抽出した色分布から対象の状態を診断
すること。 【解決手段】画像診断装置は、カメラ等で診断対象を撮
影した画像データを蓄積する画像データ蓄積部１と、診
断対象の３次元ＣＡＤデータを蓄積するＣＡＤデータ蓄
積部１２と、画像データに対して、３次元ＣＡＤデータ
を用い、光源位置・強度から画像データ上の輝度ノイズ
を除去する輝度ノイズ除去部と、ノイズ除去された画像
を３次元ＣＡＤデータ上に貼り付けて表示する３次元画
像表示部４からなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像診断装置，画
像診断システム及び画像診断方法並びに技術支援システ
ム，技術支援方法，保守支援システム，保守支援方法に
関わり、特に、３次元ＣＡＤデータを用いて診断対象の
表面状態に及ぼす影響を除去する画像診断装置，画像診
断システム及び画像診断方法並びに技術支援システム，
技術支援方法，保守支援システム，保守支援方法に関す
る。

【０００２】

【従来の技術】金属材料・油などの劣化状態，患者の健
康状態診断等、専門家が経験に基づき実物を見ることで
判断している分野は多い。これらを分析すると、専門家
は主に診断対象の色情報を処理して総合的に判定してい
ると考えられる。

【０００３】一例として、火力タービンの動翼などの高
温材料の劣化診断方法に注目すると、これらの金属材料
の表面は、高温で運転されるため熱酸化や腐食などの現
象が起こり、それにより金属自体の表面色が変化したり
凹凸が発生したりする。従来、定期点検時に材料表面の
色や凹凸を検査委員が判定し、運転温度や、それにより
推定される余寿命などを判断していた。

【０００４】また、金属材料の寿命を監視する技術とし
ては、例えば、特開平９−304131号公報記載の「高温機
器の寿命監視装置」のように、材料の劣化や損傷計測情
報及び粗さ変化傾向の情報に基づいて使用中の温度及び
応力条件の変化を推定し、材料の損傷率及び余寿命を評
価する公知例は従来にもあった。また本公知例では、表
面粗さの計測結果から推定した温度を表面の色調から推
定した「簡易的な温度分布」で補正する、という実現手
段も含んでいる。

【０００５】

【発明が解決しようとする課題】火力タービンの定期点
検で従来行われている判定方法では、一つ一つの動翼
を、検査員が目視により材料表面状態を判定していたた
め、判定作業に時間がかかる課題があった。また、目視
によって得た色の情報は、定量化できないため他者と共
有が難しく、再現性がないという課題がある。また目視
による判断に頼るため、検査員が検査のたびに現場に出
向かなくてはならないという課題があった。

【０００６】また、人間の目視による色認識技術の自動
化については、画像を撮影する場所の明るさや光の種類
などで画像上の色は容易に変わってしまう等の課題があ
る。色の評価を行うためには、環境によらず画像の色を
精度良く評価する必要がある。

【０００７】前述の特開平９−３０４１３１号公報は、
自動で表面色調を計測する手段を備えた構成になってい
るが、上記の課題を解決するための手段についての記載
はみられない。

【０００８】本発明の一つの目的は、対象の３次元形状
の情報を用いて、対象の表面状態の情報を処理する処理
装置を提供することにある。

【０００９】本願発明の他の目的は、診断の対象を撮影
した画像から表面の色分布を精度良く抽出し、抽出した
色分布から対象の状態を診断できる画像診断装置，画像
診断システム又は画像診断方法を提供することである。

【００１０】本願発明の上記以外の目的は、明細書の記
載により、説明される。

【００１１】

【課題を解決するための手段】本発明の一つの特徴は、
対象の３次元形状の情報から、対象の表面状態の情報に
及ぼす影響を除去する除去処理部と、前記３次元形状の
情報に対象の表面状態の情報を重畳する処理部とを有す
る処理装置にある。

【００１２】また、本発明は、診断対象の表面状態の画
像情報から診断対象の状態を診断する画像処理装置にお
いて、診断対象の表面状態の画像情報と診断対象の３次
元形状の情報から、診断対象の表面状態に及ぼす影響を
除去する除去処理部と、該３次元形状の上に診断対象を
撮影した画像を重畳する処理部を有することを特徴とす
る。

【００１３】また、本発明は、表面状態から診断対象の
状態を診断する画像診断装置において、診断対象の３次
元形状から、表面状態に及ぼす影響を除去し、該３次元
形状の上に診断対象を撮影した画像を貼り付けて表示す
ることを特徴とする。

【００１４】また、本発明は、表面状態に及ぼす影響を
除去した上で、診断対象の状態を推定することを特徴と
する。

【００１５】また、本発明は、複数の異なる角度から診
断対象を撮影した画像のそれぞれについて、診断対象の
３次元形状から、表面状態に及ぼす影響を除去すること
を特徴とする。

【００１６】また、本発明は、診断の一例として色から
対象の物理的状態を診断することがある。

【００１７】また、本発明は、診断対象の３次元形状
と、画像を撮影する環境の照明の位置，照明の強度か
ら、対象の表面に及ぼす光の影響を算出し、画像上の色
から、対象がもつ色と、光の輝度の影響を分離すること
を特徴とする。

【００１８】また、本発明は、画像を撮影する環境の照
明の位置や強度が不明の場合、対象を撮影した画像上の
色分布から、色の明らかな境界を抽出して、抽出した色
の境界より影の位置候補領域を設定し、該候補領域から
照明の位置と強度を推定することを特徴とする。

【００１９】また、本発明は、対象を屋外で撮影し、撮
影時の太陽の位置を撮影時刻，撮影地点の緯度・経度か
ら求めることを特徴とする。

【００２０】また、本発明は、撮影した対象の表面を、
３次元の形状に基づき領域分割し、領域毎の画像から得
られる特徴量を対象の属性として採用することを特徴と
する。

【００２１】また、本発明は、画像領域から得られる特
徴量として該画像領域の色の平均値，分散，モード値の
いずれか、もしくはそれらの組み合わせの情報を採用す
ることを特徴とする。

【００２２】また、本発明は、画像領域から得られる特
徴量として、該画像領域表面を、色の近い領域毎にグル
ーピングし、領域毎の色の情報と共に領域の表面積を算
出して物体の特徴量とすることを特徴とする。

【００２３】また、本発明は、診断対象となる部品の表
面に表示されている固体番号と３次元ＣＡＤデータをリ
ンクさせておき、対象を撮影する際に該固体番号を画像
上から読み取り可能なように撮影し、画像診断装置で固
体番号を読み取ることで３次元ＣＡＤデータを参照する
ことを特徴とする。

【００２４】また、本発明は、画像を３次元形状に投影
し、画像上の各画素と３次元形状上の各点との対応をと
った結果、画像上における評価対象の輪郭と、３次元形
状における輪郭の位置を比較し、そこに生じた差を材料
の形状の変化とすることを特徴とする。

【００２５】また、本発明は、対象を撮影するのと同時
に、レーザ計測等の手段で対象の３次元形状を計測し、
該３次元形状を表面状態の推定に用いることを特徴とす
る。

【００２６】また、本発明は、評価対象を撮影した過去
の画像もしくは画像から得られる特徴量等の情報を蓄積
しておき、該過去の情報と新規に入力した画像の情報と
の比較で表面状態の推定を行うことを特徴とする。

【００２７】また、本発明は、評価対象を、実際に運転
している現場で撮影し、その画像情報のみをインターネ
ット等の通信手段を使って伝送し、該画像診断システム
で診断することを特徴とする画像診断システムを提供す
ることを特徴とする。

【００２８】本願発明の上記特徴及びその他の特徴は、
以下の記載により更に説明される。

【００２９】

【発明の実施の形態】次に、図１〜図１９を参照して、
画像診断装置，画像診断システム及び画像診断方法の実
施例を説明する。

【００３０】《実施例１》図１は、本発明による画像診
断装置の実施例１の構成を示すブロック図である。

【００３１】図１の画像診断装置は、カメラ等の撮影部
で診断対象を撮影した画像データを蓄積する画像データ
蓄積部１と、診断対象の３次元ＣＡＤデータを蓄積する
CADデータ蓄積部２と、画像データ蓄積部１の画像デー
タに対して、３次元ＣＡＤデータを用い、光源位置・強
度から画像データ上の輝度ノイズを除去する輝度ノイズ
除去処理部３と、ノイズ除去された画像を３次元ＣＡＤ
データ上に貼り付けて表示する３次元画像表示部４から
なる。画像データは、画像データ蓄積部１に蓄積され、
処理時に読み出されてもよいし、外部から入力され画像
データ蓄積部１を経由又は経由しないで、輝度ノイズ除
去処理部３へ入力されて良い。また、３次元ＣＡＤデー
タは、ＣＡＤデータ蓄積部２に蓄積され、処理時に読み
出されてもよいし、外部から入力されＣＡＤデータ蓄積
部２を経由又は経由しないで、輝度ノイズ除去処理部３
へ入力されて良い。以下同様であるが、蓄積部として
は、蓄積対象の容量に対応して種々の記憶装置が使用で
きる。例えば、半導体等を用いた固体メモリ、光及び／
又は磁気を用いたＤＶＤ，ＣＤ記億装置などを用いるこ
とができる。また、輝度ノイズ除去処理部３等の処理部
は、ハードウエアとしてマイクロプロセッサ又はパーソ
ナルコンピュータ(ＰＣ)等の演算装置などを用いること
ができる。また、３次元画像表示部４等の表示部は、パ
ーソナルコンピュータ(ＰＣ)等の演算装置とＣＲＴモニ
ター，ＬＣＤモニター，プリンタなどの出力装置を用い
ることができる。また、ノイズ除去された画像を３次元
ＣＡＤデータ上に貼り付けて表示することは、ノイズ除
去された画像情報と３次元ＣＡＤデータとを重畳する重
畳処理の一態様と考えられ、重畳した情報を表示する代
りに出力情報として出力したり、この出力情報を他の処
理に用いても良い。

【００３２】画像データ蓄積部１の画像データは、診断
する対象を撮影した画像データである。画像の形式は何
でも良いが、本実施例の構成では画像をデジタルの情報
として入力する必要があるため、例えばＣＣＤカメラか
ら直接入力する場合には、本入力部にＡ／Ｄ変換処理を
備え、アナログ信号をデジタル信号として変換する処理
が必要となる。デジタルカメラで撮影した画像や、スチ
ルカメラで撮影した画像をスキャナ等のデジタル化機器
で変換した画像を直接取り込むことも出来る。

【００３３】但し、本発明の目的を考慮すると、出来る
だけ評価対象を直接撮影した状態のままで入力する方が
よく、スキャナ等は介さない状態の方が望ましい。

【００３４】デジタル画像のデータ形式は、例えば画像
の大きさが２２０画素×２５６画素の例であると、画面
はｘ方向に２５６個、ｙ方向に２２０個の画素の集合体
からなり、それぞれの画素毎に、Ｒ（赤），Ｇ（緑），
Ｂ（青）の３つの値で決まる色の情報を持っている（色
についての詳細は後述）。

【００３５】次に、ＣＡＤデータ蓄積部２の３次元ＣＡ
Ｄデータは、診断対象の３次元の形状を記述したデータ
であり、３次元空間の中の任意の位置、向きに置いた場
合の座標が得られる。

【００３６】ここで対象としている３次元形状は、一つ
の光源により表面上に影ができる形状を意味する。ま
た、表面が曲面や平面で不規則に構成されており、表面
上の任意の点の特定がしにくい形状である場合に更に効
果が期待できる。

【００３７】次に、輝度ノイズ除去処理部３の処理につ
き説明する。輝度ノイズ除去処理部３は、診断対象の３
次元ＣＡＤデータと、光源の位置から、診断対象の表面
に及ぼす陰影の影響を算出し、実際の入力画像上の輝度
を補正する処理である。

【００３８】輝度ノイズ除去処理部３の流れにつき図２
を用いて説明する。処理２１では、入力画像の色情報を
３次元形状上との対応をとる。処理２２では、３Ｄの形
状の表面に投影した画像の座標Ｐ（ｘ，ｙ）について、
順に参照し処理２３以下の処理を行う。処理２３では、
部品の３Ｄ形状，光源の位置・強度から画素Ｐ（ｘ，
ｙ）の物体自体の色Ｉ′（Ｒｘｙ，Ｇｘｙ，Ｂｘｙ）を
計算する。処理２４では、全ての画素に関する計算が終
了したかを判定する。以上の処理により、３Ｄの形状に
投影した画像上の色情報から、光の影響による輝度の影
響を補正することができる。

【００３９】処理２１の、画像の色情報を３次元形状に
投影する処理は、３Ｄ形状の表面の各座標と、画像上の
座標との対応をとり、画像上の座標系にのっている色情
報を３Ｄ形状の表面の座標系に対応させることである。
カメラと物体の位置や角度の関係、およびカメラパラメ
ータが既知であれば両方の座標の対応は容易にとること
ができる。また、カメラと物体の位置や角度の関係が既
知でなくても、たとえば昭晃堂刊「三次元画像計測」の
９１ページから９９ページに記載のあるように、対象と
なる物体の３次元形状と撮影画像の間で、最低６個以上
の対応点を取り（３次元形状上の点（Ｘ，Ｙ，Ｚ）が、
画像上の点（ｘ，ｙ）に対応している）、それにより３
次元形状上の座標と画像上の座標の変換式を求める方法
等が採用できる。

【００４０】画像は３次元の対象をある視点から見た二
次元情報であるので、足りない情報は補完することで全
ての表面座標に対応する色情報を設定する。また、不足
する色情報を最小限にとどめるため、入力画像として異
なる角度から撮った複数の画像を用いることもできる。
また、例えばガスタービンの動翼などの場合は、劣化す
ることにより材料の表面が削れて形状が変化することが
考えられる。このような場合は画像上の色情報を３次元
形状に投影する際に、部品の性質を考慮しできるだけ形
状が変化しにくい点を対応点として選択することが必要
である。また、あらかじめ画像上の評価対象の輪郭線の
座標を求めておくと、３次元形状の輪郭と画像の輪郭が
一致しない部分を部品の形状が変化したとして差分情報
を劣化の診断材料として採用することもできる。

【００４１】次に処理２３に該当する物体自体の持つ色
の計算方法については更に詳しく説明する。照明の存在
する状況下での３次元物体表面の色情報を算出する方法
については、各種文献に記載のあるレイ・トレーシング
と呼ばれる方法であるが、例えば日経マグロウヒル社刊
「ＣＧ実験室」の４７ページから１０８ページまでに記
載があるように、３次元の物体の位置と、照明の位置か
ら、物体の表面の色を計算する方法である。具体的に
は、図３と数１により説明される。図３において、評価
対象の物体を３１、照明の位置を３３、視点（カメラ位
置）を３７とし、対象３１上の点３２における法線ベク
トルを３５とする。

【００４２】照明の影響を考慮した場合の対象の輝度の
計算方法は、例えば対象１上の点３２における輝度は、
数１のように表される。

【００４３】 Ｃ＝（ｓ＊ｋｄ＊cosα＋ｋｅ）＊Ｃｓ＋ｓ＊ｋｓ＊cosβ＊Ｃｗ…（数１） 但し cosα＝−Ｌ＊Ｎ cosβ＝２（Ｌ＊Ｎ＊Ｎ＊Ｖ）−Ｌ＊Ｖ ｓ ：入射光の強さ ｋｄ：拡散反射係数 Ｃｓ：光を考慮しないときの物体の表面色 ｋｅ：環境反射係数 ｋｓ：鏡面反射係数 Ｃｗ：白（値２５５） 数１は、物体自体の持つ色Ｃｓを既知とし、所定の照明
条件の下で見える色Ｃを物体自体のもつ色を基準として
算出する方法である。

【００４４】本発明は、所定の照明の下での物体の色
が、画像上の色として既知である場合に、物体自体のも
つ色を算出するのが目的であるので、数１より Ｃｓ＝(Ｃｓ＊ｋｓ＊cosβ＊Ｃｗ)／(ｓ＊ｋｄ＊cosα＋ｋｅ)…（数２） となり、処理３においては数２を用いることで物体自体
のもつ色を算出する。

【００４５】以上の処理を画像上の対象物体の全ての画
素につき求め、求めた物体自体のもつ色で画像を変換す
ることで評価対象について、照明に影響されない色に変
換することができる。

【００４６】なお、対象となる画像がカラーの場合は、
数２のＣｗについてそれぞれ対象となる表面上の点Ｐ
（ｘ，ｙ）のＲｘｙ，Ｇｘｙ，Ｂｘｙの値をそれぞれ求
める。

【００４７】３次元画像表示部４は、輝度ノイズ除去処
理部３で対応を取り、物体自体の持つ色に変換した画像
を３次元形状上に貼り付けて表示する。これは３次元Ｃ
ＡＤを表示する際に、３次元ＣＡＤデータの表面上の各
点の色情報として、輝度ノイズ除去処理部で対応をとっ
た画像上の点の色情報を採用することで実現できる。

【００４８】以上が本発明による画像診断装置の第一の
実施例を示すものである。この構成をとることにより、
診断対象の２次元画像を撮影するだけで、光の影響を除
去した３次元画像を作成することができ、現地に行かな
くても検査員が対象の状態診断を遠隔で行うことができ
る。

【００４９】《実施例２》図４は、本発明による画像診
断装置の実施例２の構成を示すブロック図である。

【００５０】図４の画像診断装置は、実施例１の画像デ
ータ蓄積部１と、ＣＡＤデータ蓄積部２と、輝度ノイズ
除去処理部３と、材料劣化診断部５と、劣化診断結果デ
ータ６からなる。

【００５１】本実施例の構成は、輝度ノイズ除去処理部
３で物体自体の持つ色に変換した画像を入力とし、画像
処理機能を用いて劣化診断を行う構成である。

【００５２】図４の材料劣化診断部５の処理につき説明
する。本処理部は、評価対象を撮影した画像から劣化状
態を判定するものであり、様々な実施形態が考えられ
る。材料劣化診断部５の第一の実施例を次に説明する。

【００５３】説明の便宜のため、ここでは評価対象とし
てガスタービンの動翼を例にとる。対象の形状や、運転
の状態により、表面の受ける熱応力の分布はある程度決
まってくると考えられる。例えば動翼の先端部は最も高
温になりやすく劣化しやすい等。これらの知見より、予
め、評価対象の表面を、劣化状況が均一になりやすい領
域に分割しておく。そして領域毎に、表面の色情報を抽
出し、領域別色情報データとして固体別に情報を持たせ
る方法である。これと運転時間や温度等の環境条件を１
レコードとしてデータベース化しておき、新規に対象の
画像が入力された場合には同様に領域分割し、特徴量を
算出し、データベース中から類似の特徴量を持った画像
を検索して、状態判定を行う方法である。

【００５４】図５を用いて材料劣化診断部５の第一の実
施例の処理の流れを次に説明する。４１の診断対象別特
徴量格納手段は、動翼など特定の形状の対象について、
予め決めた領域毎に色に関する情報を抽出し、それを運
転時間等の環境条件と共に格納しておく手段である。具
体的な格納のフォーマットの例を図６に示す。

【００５５】図６の表は、診断対象別特徴量格納手段の
格納フォーマットの例であり、51ａ，５１ｂ，５１ｃ
は、ある条件の下で運転された部品を撮影した画像であ
る。これら５１ａ，５１ｂ，５１ｃの画像はそれぞれ表
中のレコード５２ａ，５２ｂ，５２ｃに対応しており、
各画像は、それぞれの対応するレコードから参照可能と
する。表中の５３から６０は、各画像に関する属性情報
である。５３から５６は既知の運転環境に関する情報
で、例えば部品種類，プラント名，材料，運転時間など
である。５７は推定された、もしくは得られる場合には
実測の温度条件である。５８，５９は画像から得られた
領域別特徴量である。特徴量については後述する。６０
は各画像についての診断結果であり、例えばガスタービ
ンの動翼の場合は推定される運転温度や寿命などであ
る。これらの属性情報をレコードとしてデータベースを
蓄積していくと、５３〜５６のような属性情報により類
似の属性にある部品群が特定でき、またそれらの部品群
の画像から類似性が抽出できる。

【００５６】以上の診断対象別特徴量格納手段１のフォ
ーマットをふまえ、図５の処理の流れを説明する。処理
４２は、３Ｄ形状より表面上の領域を分割する処理であ
る。処理４３は、領域別に特徴量を算出する処理であ
る。処理４４は、処理３で算出された特徴量から、診断
対象別特徴量格納手段４１を参照し、特徴量が類似して
いるレコードを抽出してその内容から状態判定を行う処
理である。処理４５は、処理４４で判定した画像に関す
る情報をＤＢに登録する処理である。処理４６は、処理
４４の判定結果を出力する手段である。以上の処理によ
り、動翼など形状の決まった部品を撮影した画像から、
その表面状態に対して同じ基準で特徴量を抽出し、表面
状態が類似したデータをデータベースから容易に検索し
て状態判定を行うことができる。

【００５７】処理４２の、表面上の領域を分割する方法
について次に説明する。図７は動翼の表面の領域の分割
方法の例である。図中の６１ａ，６１ｂ，６１ｃ，６１
ｄがそれぞれ表面上の領域境界線を表し、各境界線に囲
まれた領域が分割された個々の領域を表す。３Ｄの形状
に基づき定義できるため、画像がいかなる角度で撮影さ
れた場合でも常に同じ領域を定義することができる。３
Ｄ形状の情報がないと、図７に示すように表面上の曲面
を考慮した形で領域分割をすることは難しい。領域の分
割方法は、その部品の劣化の特徴を最も表し易く、か
つ、検索等の便宜を考慮して多くなりすぎないよう適切
に決める必要がある。決定の基準としては、検査員が目
視で判断する際に、部品の表面上のどの領域をどのよう
な順番で見て判断しているかを考慮して決めるのが適切
である。

【００５８】また、検索等の処理の負荷を許容するとす
れば、領域の大きさをある程度小さめに設定し（例えば
３cm角など）一定にしておき各領域の特徴量を求めるこ
とで類似度を求めることも可能である。

【００５９】次に、処理４３の内容につき更に詳しく説
明する。ここで扱う領域別特徴量は、処理２で分割され
た各領域に関する色情報を抽出し、色情報の平均値，分
散，最頻度値などの情報を用い、該領域の色彩上の特徴
を表す数値データを算出する処理である。

【００６０】本処理は、該当する領域の座標の範囲を
（Ｘ０，Ｙ０）…（Ｘｉ，Ｙｊ）とすると、そこに含ま
れる全ての画素の色情報につき平均，分散を計算し、ま
た分布情報などを取り、最頻度値を計算する処理であ
る。

【００６１】ここで、説明の便宜のため、色の情報の数
値化について概要を説明する。デジタル化された画像に
おける色の表現は、通常、画素毎にＲ（赤），Ｇ
（緑），Ｂ（青）の３つの値で一意に定義される値とし
て表される。ＲＧＢの各色要素につき０から２５５まで
の値を取り、(０，０，０)は黒、(２５５，２５５，２
５５)は白，赤（２５５，０，０），緑（０，２５５，
０），青(０，０，２５５)となる。

【００６２】このＲＧＢ表色系を基準とし、例えばＸＹ
Ｚ系はＲＧＢの線形変換式で表せるし、Ｌａｂ，ＨＳＢ
等の表示系もＸＹＺの値から変換式を使って表せる。

【００６３】 Ｘ＝０.４１２＊Ｒ＋０.３５８＊Ｇ＋０.１８０＊Ｂ Ｙ＝０.２１３＊Ｒ＋０.７１５＊Ｇ＋０.０７２＊Ｂ Ｚ＝０.０１９＊Ｒ＋０.１１９＊Ｇ＋０.９５０＊Ｂ …（数３） Ｌ＝１１６.０＊(Ｙ／１００)^(1/3)−１６ ａ＝５００＊（ＸＸｎ−ＹＹｎ） ｂ＝２００＊（ＹＹｎ−ＺＺｎ） …（数４） 但し Ｘ／９５.０４＞０.００８８５６のとき ＸＸｎ＝(Ｘ／９５.０４)^(1/3) Ｘ／９５.０４≦０.００８８５６のとき ＸＸｎ＝７.７８７＊(Ｘ／９５.０４）＋１６／１１６ Ｙ／１００.０＞０.００８８５６のとき ＹＹｎ＝(Ｙ／１００)^(1/3) Ｙ／１００.０≦０.００８８５６のとき ＹＹｎ＝７.７８７＊（Ｙ／１００）＋１６／１１６ Ｚ／１０８.８９＞０.００８８５６のとき ＺＺｎ＝(Ｚ／１０８.８９)^(1/3) Ｚ／１０８.８９≦０.００８８５６のとき ＺＺｎ＝７.７８７＊（Ｚ／１０８.８９）＋１６／１１６ ＲＧＢは３つのベクトルのそれぞれの数値の大きさで一
意に定義された色を表現するのに対し、Ｌａｂ表色系
は、色の明るさをＬ、色の赤−緑成分をａ、色の黄−青
成分をｂとして分離して表現できるため、比較的照明の
変動に強く、またａとｂの２軸で、色味の変化を表現し
易い。

【００６４】このように、色を数値化するにあたり表現
系は基本的にどれを用いても良いが、色の表現系により
様々な特徴があるため、材料毎にきまる色の変化特性を
より的確に表現できる表現系を選択するのが良い。ここ
では例としてＬａｂを用いる。

【００６５】図５の処理４３では領域毎の色の平均値・
分散等を算出するが、以上に述べたように色は３次元の
値で表されるため、平均・分散等も各数値毎に独立に算
出する。

【００６６】特徴量として平均値を用いるか、該当する
色の画素数が最も多いモード値を用いるかは、二つの値
がかけ離れている場合は考慮が必要である。ここでの目
的は領域ごとの色彩上の特徴を最もよくあらわす値を選
ぶことであるので、一例としては領域の大きさ毎に分散
のしきい値を決めておき、分散がしきい値以上の場合は
平均値の信頼性が低いとしてモード値を用いるなど切り
かえるのも一方法である。

【００６７】次に、処理４４について更に詳しく説明す
る。処理４４は、処理４３で抽出した特徴量に対して、
診断対象別特徴量格納手段４１に予め格納してある画像
特徴量データから類似のものを検索する手段である。類
似度の判定方法としては、最も単純な方法としては、領
域別特徴量の値の誤差の総和が最も小さくなるようなも
のを選出する方法が挙げられる。また、該当する部品
を、検査員が目視検査する際に、表面のどの部位をどの
ような順序で見るかにより、各特徴量の誤差に重み付け
をして総和をとる方法も考えられる。また、誤差の計算
をする際に、色の３つの値（ＲＧＢ，Ｌａｂなど）の３
つ全てを使うので無く、たとえばＬａｂ表色系を使う場
合、ａとｂの値の誤差のみで評価を行う方法もある。こ
の場合は色自体の輝度に関わらず、色味のみで類似度を
判定できる効果がある。

【００６８】また、類似度の高いデータを必ずしも１つ
に限定するばかりでなく、類似度の高いものをＮ件、も
しくは、類似度を判定する誤差の値にしきい値を設けて
おき、しきい値以下になるものを全て候補として選出
し、それらの中から画像を直接見ることで最終的な判定
はユーザにさせる方法をとることもできる。

【００６９】以上、図５の処理により、輝度ノイズ処理
部３で３次元形状に色の情報を投影し、ノイズを除去し
た３次元の位置情報を持った画像情報から、入力した画
像の撮影角度の違いに関わらず同じ基準で部品表面の特
徴量を抽出し、類似度を比較することができる。

【００７０】次に、図４の材料劣化診断部５の第二の実
施例の処理の流れを説明する。

【００７１】第二の実施例は、予め、加熱温度や時間等
の環境条件が既知の試験片を撮影し、その画像から色情
報を抽出することで、外的環境と材料表面色のデータベ
ースを作成しておき、それを基に、図４の輝度ノイズ処
理部からの出力である、３次元の位置情報を持ち、輝度
ノイズも除去した画像の色から、評価対象の受けた環境
条件を推定する方法である。

【００７２】図８を用いて、具体的な処理の流れを説明
する。図８の７１は、材料表面色データ格納手段であ
る。この手段は、予め評価対象となる材料につき、評価
する物理的特性と、その場合の表面色との関係を、推定
の必要なランク別に格納したものである。

【００７３】格納形式の例を図９に示す。ある材料Ｘに
ついて運転時間がわかっており、そのとき材料が運転さ
れている環境の運転温度が知りたい場合を例にとる。例
えば温度の識別の必要な範囲が５００度以下，５００度
〜１０００度，１０００度以上、の３つのランクにわか
れているとすると、それぞれのランクで表面色の色評価
値がどのような値を取っているかを図９のように定義す
る。

【００７４】図９から、例えば材料が４００度から５０
０度の間で運転されていたとすると、ａ値は８から１
５、ｂ値は１０から３０の値を取る。また５０１度から
1000度で運転されていたとするとａ値は２から５、ｂ値
は−３から１０の値を取る。１０００度以上であった場
合、Ｌの値が４０以下となる。この例では簡単のためラ
ンクを３つとしたが、実際の材料毎に、その物理的特性
の変化を知る必要のあるランクの数だけ適宜分類するも
のとする。

【００７５】また、カメラ等で撮影される物体の色は、
撮影する照明の種類により異なってくるため、材料表面
色データ格納手段２で定義する色は、予め定めた基準と
なる光源の下で撮影した場合の値を定義すると良い。例
えば、物体の色を偏り無く表示し易い白色光源などを用
いると良い。このように、材料の物理的特性のランク別
に、その状態で呈する色をいずれかの色表現系（Ｌａ
ｂ，ＸＹＺなど）の値で整理するのが材料表面色データ
格納手段２である。

【００７６】処理７２は、図４の輝度ノイズ除去処理部
３からの出力の３Ｄ形状画像データを入力する処理であ
る。処理７３は、入力した対象の画像から、材料表面色
データ格納手段３に格納された物理的特性ランク別に領
域を抽出する手段である。この処理については後でさら
に詳しく説明する。処理７４は処理７３で抽出された色
ランク別の領域情報から、評価対象の状態を推定する手
段である。この処理についてもあとで詳しく説明する。
処理７５は処理７４で判定した評価対象の状態を出力す
る手段である。以上の処理により、材料劣化診断部４の
第二の実施形態が実現できる。

【００７７】処理７３について、更に詳しい処理の流れ
を図１０に示す。この例では、画像の色情報はＲＧＢで
持っており、物理的特性ランクはＬａｂ表色系で格納し
ていることを仮定して説明する。

【００７８】処理９１は、画像から画素Ｉの色評価値Ｒ
ＧＢを読み出す処理である。処理９２は、処理１で読み
出した画素Ｉの色評価値を、数４を用いＬａｂ表色系に
変換する。処理９３は、処理２で変換したＬａｂ表色系
での色評価値を、材料特性格納手段３に格納した値と照
合し、画素Ｉの色評価値が図９の１，２，３のいずれの
ランクに所属するかを決定する。処理９４は、処理３で
決定したランクを格納する処理である。ｘ，ｙの画素値
とランク値を対応させて格納する。処理９５は、Ｉの値
に１をプラスし評価対象とする画素値を一つ先へ進め
る。処理９６は、全画素について上記の処理が終了した
かをチェックする。Ｉの値が画像全画素数より小さけれ
ば処理１へ戻り、画像全画素数以上なら以上の処理を終
了する。

【００７９】以上の処理により対象となる画像をランク
分けする。すなわち画素毎に、その色の値からしきい値
を決め多値化するようなものである。

【００８０】図１１は、タービンの動翼を撮影した画像
のイメージを例示した図である。１はタービンの動翼
で、２，３，４はそれぞれ表面色が異なる領域である。
この例で２の領域は色が一様でなくムラがある。しかし
図８で説明した条件別色抽出７３の処理を用いると、図
中の２で囲まれた領域の全ての画素のＬａｂ評価値の値
は、図９のランク２に分類される領域に入っており、結
果的にタービンの表面上の色を画素別にランク分けした
結果は図１２のようになる。

【００８１】次に図８の処理７４につき更に詳しく説明
する。ここでの状態判定は、処理７３からの出力である
色ランク別領域情報から、材料の物理的情報に関する状
態判定結果を出力する手段である。最も単純な出力とし
ては、ランク分けの結果最も高温の影響を受けている領
域の座標に関する情報である。図１２では１１４の動翼
先端部にあたる。この領域座標を３Ｄの形状で提示され
ることで、ユーザは部品の最も劣化の深刻な部位に関す
る情報を得ることができる。

【００８２】また、更に別の状態判定の方法としては、
ランク別の面積情報を算出して提示する方法である。画
像上の各画素のランクが既知であるので、部品の３Ｄ形
状の表面積情報とランク別画素数からランク別の面積を
算出することは可能である。

【００８３】このような劣化の状態別の面積情報は、劣
化の程度を判定するのに有効に用いることができる。撮
影した２次元の画像のみからでは３次元物体の表面積の
情報は正確に得ることができない。３次元ＣＡＤデータ
を用いることで、これらのような効果も劣化診断を行う
上で得ることができる。

【００８４】以上の実施例は、評価対象の画像を撮影す
る環境における照明の位置や強度が既知の場合を想定し
ているが、実際にはそれらを測る手段が無かったり、情
報の精度が低かったりする可能性がある。

【００８５】そのような場合には、画像上の色の境界が
明らかな部分を影の候補領域と仮定し、影の候補領域の
エッジ部分と対象の３次元形状座標から逆に照明の位置
を推定することが可能である。例えば図１３の１２１，
１２２のような立体形状があり、その表面に１２３のよ
うな、周辺と色の異なる領域がある。この領域を表面上
に映った影と仮定し、３次元の形状から影候補領域のエ
ッジ部分と、３次元形状から推定される突起部分とを結
ぶ線１２４ａ，１２４ｂ等を作成し、その延長上に照明
の位置１２５を推定する。

【００８６】また、評価対象の表面の色自体が暗く、光
による陰影の影響が出にくい場合には、評価対象と一緒
に長さが既知の棒を垂直に立てるなどして、その影から
照明の位置を推定する方法をとることもできる。

【００８７】また、照明の強度については、影領域１２
６の輝度と影以外の領域１２７の輝度の差が照明５の影
響で発生していると仮定し、数２に、影領域６の色をＣ
ｓ、影以外領域７の色をＣとして代入することで、光の
強さｓが求まる。

【００８８】照明の位置や強度を予め求め難い場合は以
上のような方法を用いれば良いが、他の方法としては屋
外で撮影する方法がある。屋外の場合は太陽が照明光で
あり、撮影時刻と撮影地点の緯度経度がわかっていれば
太陽の緯度経度は既知であるので、同様に数２を用いて
求めることができる。

【００８９】≪実施例３≫次に、本発明による画像診断
装置の実施例３を説明する。

【００９０】図１４は、実施例３の構成を示すブロック
図である。これは実施例２の構成に、固体番号照合部７
を加えた構成である。

【００９１】タービン動翼などの部品には、通常固体別
管理のため表面に固体番号が刻印されている。固体番号
照合部７は、評価対象の画像を撮影する際に、これら固
体番号も共に撮影し、画像を入力した際にまず固体番号
を画像処理で読み取ることで撮影対象の固体番号を識別
し、固体番号をキーに３次元ＣＡＤデータを検索し該当
するデータを抽出する処理である。

【００９２】この構成を用いることで、画像を撮影する
際に固体番号を意識したり、また画像データと共に固体
番号情報を送ったりする必要が無くなり、画像撮影現場
での作業量の削減，省情報量化を図ることができる。

【００９３】≪実施例４≫次に、本発明による画像診断
装置の実施例４を説明する。

【００９４】図１５は、実施例４の構成を示すブロック
図である。これは実施例２の構成に、過去画像データ８
の蓄積部を加えた構成である。過去画像データ８は、評
価対象の画像を輝度ノイズ除去処理部３で３次元形状に
投影し、輝度ノイズを除去して物体自体の持つ色に変換
した画像データ、もしくは図５で説明した特徴量データ
などである。

【００９５】本実施例の構成では、材料劣化診断部５
で、過去画像データと、今回新規に入力された画像デー
タとを比較することで時系列の表面状態の変化を定量的
に評価することができる。例えば、３次元に投影した画
像の表面の各画素ごとに色の差分をとり、色の変化量の
分布を算出する。これにより、色の変化が大きい部分が
劣化の度合いが高いと仮定すると、劣化の進行の速い部
分を特定することができる。

【００９６】≪実施例５≫次に、本発明による画像診断
装置の実施例５を説明する。

【００９７】図１６は、実施例５の構成を示すブロック
図である。これは実施例２の構成に、照明影響除去処理
部９を加えた構成である。照明影響除去処理部９は、不
明の照明の下で撮影した対象の色情報を、基準となる照
明の下で撮影した色情報に変換する手段である。

【００９８】照明の影響につき図１７を用いて説明す
る。図中の１７１の枠で囲んだ環境は、基準照明の下で
対象を撮影する環境、１７２の枠で囲んだ環境は条件が
不明な照明の下で対象を撮影する環境である。図中の１
７３ａ，１７３ｂは同一の撮影対象である。１７４ａ，
１７４ｂは同一のカメラであり、１７５は基準光源、１
７６は条件が不明の光源である。１７７ａは基準光源１
７５の下で対象２ａをカメラ１７４ａで撮影した画像、
１７７ｂは不明な光源１７６の下で対象173ｂをカメラ
１７４ｂで撮影した画像である。

【００９９】すなわち環境１７１，環境１７２では照明
条件を変えて対象を撮影しているため、それぞれの条件
の下で撮影した画像である１７７ａ，１７７ｂから抽出
した色情報は照明の影響で異なっていると考えられる。
対象を撮影した画像から色情報を抽出し、材料劣化診断
部５で評価を行うため、照明条件を基準照明の下で撮影
したものを用いる必要がある。

【０１００】そこで、照明影響除去処理部９は、現場な
ど撮影条件不明の光源の下で撮影した画像１７７ｂを、
基準光源の下で撮影した画像１７７ａに変換する手段で
ある。

【０１０１】照明の影響を補正する手段としては、例え
ば特開２００１−６９３６３号に記載のような、パッチ
画像を用いて画像の色を補正する方法などを用いること
ができる。この手法は、色の評価値（ＲＧＢなど）が既
知の複数の色見本を、評価対象を撮影すると同一の環境
（照明条件等）で撮影した画像から、各色見本の色の評
価値を抽出し、各色見本の既知の色と画像上の色のずれ
から、撮影環境での色と実際の（基準光源の下での）色
を推定する方法である。

【０１０２】この手法は色の３成分（ＣＭＹ）の各成分
の値を均等間隔に区切った結果の複数色を色見本として
採用した方法であり、全ての色分布を総合的に補正する
ことを考慮した補正方法である。

【０１０３】この方法では、色見本として用いる色の数
が多いほど、色の再現精度は上がることになるが、考え
られる色の組み合わせは２５６³ ＝１６７７７２１６通
り（ＲＧＢ各値が０−２５５の値を取るため）となるた
め、色見本としてとれる色の数も限られることになる。

【０１０４】以上を考慮し、本発明に用いる照明影響除
去処理部の第一の実施例は、サンプルの色見本に選定す
る色として、評価の対象とする材料の色の変化する範囲
の色サンプルを多く取り、その範囲の色の再現精度を上
げる方法である。

【０１０５】本発明では、図９で説明したように、材料
により、表面色の変化する範囲が限定できる。従って公
知例の特開２００１−６９３６３号のように、色を全体
として精度良く再現するのでなく、評価対象の特性に応
じて表面色の色再現精度を上げる方法である。

【０１０６】また、照明影響除去処理部の第二の実施例
は、評価対象の材料において図９のように材料の物理的
状態をランク付けしているのを利用し、各ランクの色評
価値の中間値・最大値・最小値を算出して、各ランクの
平均の色を再現した色見本をつくり、その色見本を評価
対象物と共に撮影する。撮影した画像中の色見本領域の
画素から抽出した色の数値は、対象部品を評価する環境
下での各ランクの色評価値であるから、各ランクの色の
範囲はこの中間値を中心に平行移動したと仮定して、図
９における各ランク別色評価値を、そのまま対象を撮影
する不明環境下における評価値として換算することがで
きる。

【０１０７】すなわち、照明影響除去処理部の第二の実
施例は、撮影した画像でなく、材料の特性別に格納した
色の値を変換することで、材料の状態を評価する条件を
そろえる作用となる。

【０１０８】以上二つの実施例は、考え方は同じである
が実施の形態が異なるため、処理時間の制約等に応じ使
い分けるとよい。

【０１０９】次に、図１８を用いて、本発明による画像
診断システムの実施形態を説明する。

【０１１０】図中の１４６ａ，１４６ｂ…等は、評価の
対象となる部品を使用している現場である。１５１は、
これら複数の現場１４６ａ，１４６ｂ…で運転されてい
る部品の３次元ＣＡＤデータや、過去の運転実績デー
タ，劣化状況データなどの管理保全に関わるデータを保
持している拠点である。これら１４６ａ，１４６ｂ…等
の現場と、１５１の拠点は、電話回線などの通信手段１
５０で結ばれており、データの送受信が可能な状態であ
る。

【０１１１】現場１４６ａ，１４６ｂ…等では、カメラ
１４７ａ，１４７ｂ…で動翼等の評価対象１４８ａ，１
４８ｂ…を撮影し、撮影した画像および、評価対象の運
用されている現場のプラント名等、評価対象を特定する
のに必要な付加情報１５２ａ，１５２ｂ…をデータ入力
装置１４９ａ，１４９ｂ…に入力し、入力した画像は伝
送手段１５０を介して拠点１５１に送られる。拠点１５
１では既に実施例をあげて説明した画像診断装置を有
し、伝送手段１５０から伝送された画像データを入力と
し、３次元ＣＡＤデータから輝度ノイズを除去し画像診
断を行う。このときの画像診断の手法については既出の
実施例のうちどれを用いても良い。

【０１１２】これら１４６ａ，１４６ｂ…の現場と、１
５１の拠点は、伝送手段１５０で結ばれているため、世
界中の様々な場所に現場が分布していても、現場から伝
送手段経由で画像を送るだけで拠点において画像診断を
行える効果がある。

【０１１３】次に、図１９を用いて、本発明による技術
支援システムの実施形態を説明する。

【０１１４】図１９の実施形態は、不特定多数の現場
と、それらの現場に対する技術支援を行う技術支援セン
タをインターネットで接続し、技術支援を行う技術支援
システムの一部として本発明を採用したものである。

【０１１５】図１９の技術支援システムは、図１８の画
像診断システムの構成に更に技術支援センタ１５３、お
よび１５４，１５５は個別の技術のソリューションを持
つ部門もしくはシステムを付加した構成である。

【０１１６】１４６ａ，１４６ｂ…の複数の現場と、１
５３の技術支援センタは１５０の通信手段で接続してい
る。１５３の技術支援センタは、１４６ａ，１４６ｂ…
の現場からの技術的な問い合わせを受け、それに対応す
る部署やシステムに問い合わせを配信し、問い合わせに
対する答えを返信する部門である。技術的な問い合わせ
の例としては、異常運転に関する原因解析，機器の性能
評価などがある。

【０１１７】図中１５１，１５４，１５５…は１５３の
技術支援センタからの個別の問い合わせを受け、該問い
合わせに対する回答を作成するシステムもしくは部門で
ある。１５１は、このうち、現場で撮影した部品の劣化
の程度の問い合わせに対して診断を行うシステムとして
位置付けられ、現場１４６ａ，１４６ｂ…から入力され
た画像情報、および画像に関する付加情報１５２ａ，１
５２ｂ…を受けて、１５３の技術支援センタから画像デ
ータが入力される。診断システム１５１はＣＡＤデータ
蓄積部２の３次元ＣＡＤデータから輝度ノイズを除去し
画像診断を行う。このときの画像診断の手法については
既出の実施例のうちどれを用いても良い。診断システム
１５１からの出力である診断結果は、技術支援センタ１
５３に送られ、技術支援センタ１５３から問い合わせの
あった現場１４６ａ，146ｂ…へ診断結果を送付する。

【０１１８】このようにインターネット経由で現場から
の問い合わせに回答する技術支援システムの一部として
本診断システムを採用することで、効率のよいサービス
を行うことができる。また不特定多数の現場に対するソ
リューションを並行して行うことができる。

【０１１９】以上が、本発明による画像処理装置および
システムの実施例である。これら実施例ではガスタービ
ン動翼を例にあげて説明してきたが、評価の対象として
は、色などの表面状態から物理的診断を行うものに適用
可能である。例えば医療分野における患者の皮膚の状態
の遠隔診断や、また、内臓等内視鏡を介さないと見るこ
とのできない対象を３次元形状に貼り付けて評価する場
合にも用いることができる。ただし人体等の対象物は３
次元ＣＡＤ情報をあらかじめ持たないので、レーザ計
測，ＣＴスキャンなどの３次元計測手段を併用し、３次
元ＣＡＤデータを作成する必要がある。

【０１２０】以上によれば、対象となる材料の画像を現
場で撮影するだけで、材料の表面色を解析し、運転温度
などの物理的特性を推定することが出来る。これにより
従来のように検査員が直接出向かなくても画像情報を送
るだけで状態診断が行える効果がある。

【０１２１】

【発明の効果】本発明によれば、対象の３次元形状の情
報を用いて、対象の表面状態の情報を処理する処理装置
を提供することができる。

【０１２２】また、本発明によれば、診断の対象を撮影
した画像から表面の色分布を精度良く抽出し、抽出した
色分布から対象の状態を診断できる画像診断装置，画像
診断システム又は画像診断方法を提供することができ
る。

【図面の簡単な説明】

【図１】本発明による画像診断装置の実施例１の構成を
示すブロック図である。

【図２】輝度ノイズ除去処理部の流れの一例を説明する
図である。

【図３】３次元の物体の位置と、照明の位置から、物体
の表面の色を計算する方法の一例を説明するための図で
ある。

【図４】本発明による画像診断装置の実施例２の構成を
示すブロック図である。

【図５】材料劣化診断部の第一の実施例の処理の流れの
一例を説明するための図である。

【図６】診断対象別特徴量格納手段の格納フォーマット
の例である。

【図７】動翼の表面の領域の分割方法の例を示した図で
ある。

【図８】材料劣化診断部の第二の実施例の処理の流れを
説明するための図である。

【図９】材料表面色データ格納手段の格納形式の例を示
す図である。

【図１０】図７の処理７３の処理の流れについて、更に
詳しく説明するための図である。

【図１１】タービンの動翼を撮影した画像のイメージを
例示した図である。

【図１２】タービンの表面上の色を画素別にランク分け
した結果の例を示した図である。

【図１３】影の候補領域のエッジ部分と対象の３次元形
状座標から逆に照明の位置を推定する方法の一例を説明
するための図である。

【図１４】本発明の実施例３の構成を示すブロック図で
ある。

【図１５】本発明の実施例４の構成を示すブロック図で
ある。

【図１６】本発明の実施例５の構成を示すブロック図で
ある。

【図１７】照明の影響の一例を説明するための図であ
る。

【図１８】本発明による画像診断システムの実施形態の
構成の一例を示す図である。

【図１９】本発明による技術支援システムの実施形態の
構成の一例を示す図である。

【符号の説明】

１…画像データ蓄積部、２…ＣＡＤデータ蓄積部、３…
輝度ノイズ除去処理部、４…３次元画像表示部、５…材
料劣化診断部、６…劣化診断結果データ、７…固体番号
照合部、８…過去画像データ、９…照明影響除去処理
部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ａ６１Ｂ 5/107 Ｇ０１Ｊ 3/50 ５Ｌ０９６ Ｇ０１Ｊ 3/50 Ｇ０６Ｔ 3/00 ３００ Ｇ０６Ｔ 3/00 ３００ 7/00 １００Ｃ 7/00 １００ 17/40 Ａ 17/40 Ａ６１Ｂ 5/10 ３００Ｑ (72)発明者 高田 将年 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 児島 慶享 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 Ｆターム(参考） 2G020 AA08 DA02 DA03 DA04 DA22 DA31 DA34 DA35 DA52 DA66 4C038 VB22 VC05 4C061 HH51 NN10 SS21 5B050 AA04 BA06 BA09 BA13 CA05 CA08 DA04 DA07 EA04 EA06 EA09 EA15 EA19 EA26 FA02 FA06 5B057 AA01 CA01 CA08 CA13 CB01 CB08 CB13 CE02 CE08 CE16 DA08 DA16 DB03 DB06 DB09 DC22 DC25 5L096 AA02 AA06 AA09 BA03 CA02 DA01 EA05 FA06 FA14 FA15

Claims (34)

【特許請求の範囲】
1. 【請求項１】対象の３次元形状の情報から、対象の表面
   状態の情報に及ぼす影響を除去する除去処理部と、前記
   ３次元形状の情報に対象の表面状態の情報を重畳する処
   理部とを有する処理装置。
2. 【請求項２】診断対象の表面状態の画像情報から診断対
   象の状態を診断する画像処理装置において、 診断対象の表面状態の画像情報と診断対象の３次元形状
   の情報から、診断対象の表面状態に及ぼす影響を除去す
   る除去処理部と、該３次元形状の上に診断対象を撮影し
   た画像を重畳する処理部を有することを特徴とする画像
   処理装置。
3. 【請求項３】表面状態から診断対象の状態を診断する画
   像診断装置において、 診断対象の３次元形状から、表面状態に及ぼす影響を除
   去する除去処理部と、該３次元形状の上に診断対象を撮
   影した画像を貼り付けて表示する表示部を有することを
   特徴とする画像診断装置。
4. 【請求項４】表面状態から診断対象の状態を診断する処
   理装置において、 診断対象の３次元形状から、表面状態に及ぼす影響を除
   去する除去処理部と、診断対象の状態を推定する診断部
   を有することを特徴とする処理装置。
5. 【請求項５】表面状態から診断対象の状態を診断する画
   像処理装置において、 診断対象の３次元形状から、表面状態に及ぼす影響を除
   去する除去処理部と、診断対象の状態を推定する診断部
   を有することを特徴とする画像処理装置。
6. 【請求項６】表面状態から診断対象の状態を診断する画
   像診断装置において、 診断対象の３次元形状から、表面状態に及ぼす影響を除
   去する除去処理部と、診断対象の状態を推定する診断部
   を有することを特徴とする画像診断装置。
7. 【請求項７】請求項１又は請求項４において、複数の異
   なる角度から診断対象を撮影した画像のそれぞれについ
   て、診断対象の３次元形状から、表面状態に及ぼす影響
   を除去する除去処理部を有することを特徴とする処理装
   置。
8. 【請求項８】請求項１，請求項４又は請求項７におい
   て、色から対象の物理的状態を診断する診断部を有する
   ことを特徴とする処理装置。
9. 【請求項９】請求項２又は請求項５において、色から対
   象の物理的状態を診断する診断部を有することを特徴と
   する画像処理装置。
10. 【請求項１０】請求項３又は請求項６において、色から
    対象の物理的状態を診断する診断部を有することを特徴
    とする画像診断装置。
11. 【請求項１１】請求項１，請求項４，請求項７又は請求
    項８において、 診断対象の３次元形状と、画像を撮影する環境の照明の
    位置，照明の強度から、対象の表面に及ぼす光の影響を
    算出し、画像上の色から、対象がもつ色と、光の輝度の
    影響を分離する影響除去処理部を有することを特徴とす
    る処理装置。
12. 【請求項１２】請求項２，請求項５又は請求項９におい
    て、 診断対象の３次元形状と、画像を撮影する環境の照明の
    位置，照明の強度から、対象の表面に及ぼす光の影響を
    算出し、画像上の色から、対象がもつ色と、光の輝度の
    影響を分離する影響除去処理部を有することを特徴とす
    る画像処理装置。
13. 【請求項１３】請求項３，請求項６又は請求項１０にお
    いて、 診断対象の３次元形状と、画像を撮影する環境の照明の
    位置，照明の強度から、対象の表面に及ぼす光の影響を
    算出し、画像上の色から、対象がもつ色と、光の輝度の
    影響を分離する影響除去処理部を有することを特徴とす
    る画像診断装置。
14. 【請求項１４】請求項１，請求項４，請求項７，請求項
    ８又は請求項１１において、 画像を撮影する環境の照明の位置や強度が不明の場合、
    対象を撮影した画像上の色分布から、色の明らかな境界
    を抽出して、抽出した色の境界より影の位置候補領域を
    設定し、該候補領域から照明の位置と強度を推定する診
    断部を有することを特徴とする処理装置。
15. 【請求項１５】請求項１，請求項４，請求項７，請求項
    ８，請求項１１又は請求項１４において、 対象を屋外で撮影し、撮影時の太陽の位置を撮影時刻，
    撮影地点の緯度・経度から求める診断部を有することを
    特徴とする処理装置。
16. 【請求項１６】請求項４，請求項７，請求項８，請求項
    １１，請求項１４又は請求項１５において、 撮影した対象の表面を、３次元の形状に基づき領域分割
    し、領域毎の画像から得られる特徴量を対象の属性とし
    て採用する診断部を有することを特徴とする処理装置。
17. 【請求項１７】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５又は請求項１６におい
    て、 画像領域から得られる特徴量として、該画像領域の色の
    平均値，分散，モード値のいずれか、もしくはそれらの
    組み合わせの情報を採用する診断部を有することを特徴
    とする処理装置。
18. 【請求項１８】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５又は請求項１６におい
    て、 画像領域から得られる特徴量として、該画像領域表面
    を、色の近い領域毎にグルーピングし、領域毎の色の情
    報と共に領域の表面積を算出して物体の特徴量とする診
    断部を有することを特徴とする処理装置。
19. 【請求項１９】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５，請求項１６，請求項１
    ７又は請求項１８において、 対象を撮影する際に該固体番号を画像上から読み取り可
    能なように撮影する撮影部と、診断対象となる部品の表
    面に表示されている固体番号と３次元ＣＡＤデータをリ
    ンクさせ、固体番号に対応した３次元ＣＡＤデータを参
    照する照合部を有することを特徴とする処理装置。
20. 【請求項２０】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５，請求項１６，請求項１
    ７，請求項１８又は請求項１９において、 画像を３次元形状へ投影する撮影部と、該画像上の各画
    素と３次元形状上の各点との対応をとり、該画像上にお
    ける評価対象の輪郭と、３次元形状における輪郭の位置
    を比較し、そこに生じた差を材料の形状の変化とする診
    断部を有することを特徴とする処理装置。
21. 【請求項２１】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５，請求項１６，請求項１
    ７，請求項１８又は請求項１９において、 対象を撮影する撮影部と、対象の３次元形状をレーザ計
    測等で計測する計測部と、該３次元形状を表面状態の推
    定に用いる診断部を有することを特徴とする処理装置。
22. 【請求項２２】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５，請求項１６，請求項１
    ７，請求項１８，請求項１９，請求項２０又は請求項２
    １において、 評価対象を撮影した過去の画像もしくは画像から得られ
    る特徴量等の情報を蓄積する蓄積部と、該過去の情報と
    新規に入力された画像の情報との比較で表面状態の推定
    を行う診断部を有することを特徴とする処理装置。
23. 【請求項２３】請求項４，請求項７，請求項８，請求項
    １１，請求項１４，請求項１５，請求項１６，請求項１
    ７，請求項１８，請求項１９，請求項２０又は請求項２
    １において、 評価対象を撮影した過去の画像もしくは画像から得られ
    る特徴量等の情報を蓄積する蓄積部と、該過去の情報と
    新規に入力された画像の情報との比較で表面状態の推定
    を行う診断部を有することを特徴とする画像処理装置。
24. 【請求項２４】請求項３，請求項６，請求項１０又は請
    求項１３において、 評価対象を撮影した過去の画像もしくは画像から得られ
    る特徴量等の情報を蓄積する蓄積部と、該過去の情報と
    新規に入力された画像の情報との比較で表面状態の推定
    を行う診断部を有することを特徴とする画像診断装置。
25. 【請求項２５】評価対象を、実際に運転している現場で
    撮影する撮影部と、その画像情報をインターネット等の
    通信手段を使って伝送する伝送部と、その画像情報を診
    断する請求項３，請求項６，請求項１０，請求項１３又
    は請求項２４のいずれかに記載の画像診断装置とを有す
    ることを特徴とする画像診断システム。
26. 【請求項２６】表面状態から診断対象の状態を診断する
    画像診断方法であって、 診断対象の３次元形状から、表面状態に及ぼす影響を除
    去し、該３次元形状の上に診断対象を撮影した画像を貼
    り付けて表示することを特徴とする画像診断方法。
27. 【請求項２７】請求項２６において、複数の異なる角度
    から診断対象を撮影した画像のそれぞれについて、診断
    対象の３次元形状から、表面状態に及ぼす影響を除去す
    ることを特徴とする画像診断方法。
28. 【請求項２８】請求項２７において、色から対象の物理
    的状態を診断することを特徴とする画像診断方法。
29. 【請求項２９】請求項２６，請求項２７、又は請求項２
    ８において、 診断対象の３次元形状と、画像を撮影する環境の照明の
    位置，照明の強度から、対象の表面に及ぼす光の影響を
    算出し、画像上の色から、対象がもつ色と、光の輝度の
    影響を分離することを特徴とする画像診断方法。
30. 【請求項３０】評価対象を、実際に運転している現場で
    撮影し、その画像情報をインターネット等の通信手段を
    使って伝送し、伝送された画像情報に基づいて請求項２
    ６乃至請求項２９のいずれかに記載の画像診断方法で診
    断することを特徴とする画像診断方法。
31. 【請求項３１】複数の現場と、技術支援センタをインタ
    ーネット等の通信手段で接続し、現場からの技術情報の
    問い合わせに対し回答を行う技術支援システムにおい
    て、 評価対象を、実際に運転している現場で撮影する撮影部
    を有し、また技術支援センタの中に請求項３，請求項
    ６，請求項１０，請求項１３又は請求項２４のいずれか
    に記載の画像診断装置を有し、 現場から評価対象の画像が通信手段を介して送られてき
    た場合に該画像診断装置が診断を行い、回答を作成する
    ことを特徴とする技術支援システム。
32. 【請求項３２】複数の現場と、技術支援センタをインタ
    ーネット等の通信手段で接続し、現場からの技術情報の
    問い合わせに対し回答を行う技術支援方法において、 評価対象を、実際に運転している現場で撮影する撮影部
    を有し、また技術支援センタの中に請求項３，請求項
    ６，請求項１０，請求項１３又は請求項２４のいずれか
    に記載の画像診断装置を有し、 現場から評価対象の画像が通信手段を介して送られてき
    た場合に該画像診断装置が診断を行い、回答を作成する
    ことを特徴とする技術支援方法。
33. 【請求項３３】複数の現場と、技術支援センタをインタ
    ーネット等の通信手段で接続し、現場からの技術情報の
    問い合わせに対し回答を行う保守支援システムにおい
    て、 評価対象を、実際に運転している現場で撮影する撮影部
    を有し、また技術支援センタの中に請求項４乃至請求項
    ２４のいずれかに記載の画像診断装置を有し、 現場から評価対象の画像が通信手段を介して送られてき
    た場合に該画像診断装置が診断を行い、回答を作成する
    ことを特徴とする保守支援システム。
34. 【請求項３４】複数の現場と、技術支援センタをインタ
    ーネット等の通信手段で接続し、現場からの技術情報の
    問い合わせに対し回答を行う保守支援方法において、 評価対象を、実際に運転している現場で撮影する撮影部
    を有し、また技術支援センタの中に請求項３，請求項
    ６，請求項１０，請求項１３又は請求項２４のいずれか
    に記載の画像診断装置を有し、 現場から評価対象の画像が通信手段を介して送られてき
    た場合に該画像診断装置が診断を行い、回答を作成する
    ことを特徴とする保守支援方法。