本発明の各実施形態について、図面を参照して詳細に説明する。各図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、本発明を限定的に解釈させるためのものではない。また、各図面に図示される各要素は、本発明の理解を深めるために誇張して記載されているので、実際の各要素の間隔および大きさとは異なる。
以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能等は当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。
〔実施形態1〕
本発明の実施形態1について、図面に基づき以下に説明する。
本実施形態では、多数の撮像画像の中から代表画像を選択することにより、車輪の損傷が視認し易い画像データを出力する。このとき、車輪踏面を分割して撮影する画像に重複領域が存在する場合、同一の損傷が複数の画像に存在する可能性がある。車輪踏面は円柱の側面に相当し、車輪踏面の位置により歪みが発生するため、検出した損傷の視認性に異なりがある。したがって、同一の損傷が複数の画像に存在する場合、適切な代表画像を選択する必要がある。以下に、その選択方法について説明する。
以下では、鉄道車両の場合について説明する。
(装置構成)
図1は、本実施形態に係る画像データ生成装置(画像処理装置)1の構成を示す機能ブロック図である。図1に示すように、画像データ生成装置1は、損傷領域検出部(検出部)2、代表画像選択部(選択部)3、および、出力画像生成部(出力部)4を備えている。
図1に示すように、画像データ生成装置1は、複数の撮影画像データと、カメラ配置情報を取得する。損傷領域検出部2は、各撮影画像上の車輪踏面(以下、踏面ともいう)の損傷領域を算出する。代表画像選択部3は、カメラ配置情報と、各損傷領域の位置とに基づいて、代表画像データを作成するために用いる撮影画像データを選択する。出力画像生成部4は、代表画像データを生成する。
詳細には、損傷領域検出部2は、線路上を走行する車輪11の踏面15をカメラ(撮像装置)12によって連続的に撮像した複数の撮像画像から、車輪11の損傷に対応する損傷領域を検出する。代表画像選択部3は、各撮像画像内における損傷領域の位置に基づいて一つの撮像画像を選択する。出力画像生成部4は、一つの撮像画像に基づいて、代表画像を出力する。上記の構成によれば、車輪11の踏面15の損傷が確認し易い画像を、代表画像としてユーザに提示することができる。
ここで、カメラ配置情報は、撮影対象に対する撮像手段の位置と向きの情報であり、その一例について、図面を用いて説明する。
図2は、撮影時のカメラ12および車輪11を鉛直方向上側から見た状態を示す図である。ここで、図2は、カメラ12のある位置を原点とし、z方向が車輪11の進行方向(レール方向)であり、x方向がレール10の枕木方向(レール方向に直交する水平な方向)であるように設定した座標系である。レール10の上を移動する車輪11を、カメラ12が撮影する場合、安全性およびメンテナンスの利便性の観点から、カメラ12はレール10から一定距離だけ離して設置される。カメラ12の設置後、車輪11がカメラ12の水平画角13に含まれるように、水平方向における、カメラ12の光軸14の向きが設定される。水平方向における光軸14の向きと、z方向とのなす角度を、カメラ12の水平方向角度αとする。なお、レール10上を走行する車輪11を分割撮影する場合には、全撮影時において、車輪11が水平画角13に含まれるように、カメラ12の位置および向きを調整する。次にカメラ12の垂直方向の位置および向きを調整する。
図3は、撮影時のカメラ12および車輪11を水平方向から見た状態を示す図である。原点およびz方向は図2と同様である。y方向はレール方向および枕木方向に対し垂直方向である。ここで、例えば、カメラ12をレール10の上面に設置し、カメラ12の垂直方向の向きを上側に傾ける。垂直方向における光軸14の向きと、z方向とのなす角度を、カメラ12の垂直方向角度βとする。
最後に、カメラ12の傾き(光軸14を中心軸とする回転位置、ロール方向)を、例えば、撮影画像においてレール10が水平になるように調整する。
図4は、カメラ12により撮影される画像(撮影画像)の一例を示す図である。図4に示すように、レール10上にある車輪11と、その側面である車輪踏面15とが撮影される。
なお、撮影時に光量が足りない場合は、別途照明装置が配置されてもよい。
車輪11を撮影する場合には、物体を検知するセンサを用いてもよい。これにより、車輪11の通過を検知して、撮影範囲内に撮影対象の車輪11が存在するタインミングで撮影することができる。例えば、レール10の側方に光電センサを配置して、カメラの画角内を車輪が横切った際、撮影を行うようにしてもよい。
また、車両の移動速度が高速であったり、カメラ12のフレームレートが低かったり、画角が狭かったりする場合、複数のカメラ12を設置して、車輪踏面15の全周を撮影してもよい。この場合、損傷領域の取り逃しを防止するため、または、画素分解能を確保するために、撮影される車輪踏面15が隣接する2つの撮影画像間で、車輪踏面15の同じ領域の一部が重畳するようなタイミングで撮影する。
(損傷領域検出部2)
損傷領域検出部2は、車輪踏面の損傷領域を検出する。損傷領域の検出方法は、画像のエッジを利用した汎用的な方法を用いればよく、例えば。Sobelやcanny法などのエッジ検出手法を用いて車輪踏面領域内のエッジを検出し、8近傍ラベリングなどの手法を用いて、ラベリング処理を行い、ラベリングされた領域のうち、所定の大きさ以上の領域の、撮影画像上の位置と、サイズとを損傷領域として出力する。
ここで、撮影画像から損傷領域を検出するときに、撮影画像中の車輪踏面領域を検出し、検出された車輪踏面領域において損傷領域を検出すると、誤検出を低減することができる。
車輪踏面領域を検出するには、例えば、図5において、hough変換を用いて、レール10の上部の線16を検出する。Sobelやcanny法などのエッジ検出手法を用いて画像内のエッジを検出し、線16に接点17で接する円弧18を構成するエッジを抽出する。車輪11の進行方向側の円弧18の側面にある車輪踏面15を、周辺との輝度差を用いて抽出する。これにより、車輪踏面領域を検出することができる。なお、車輪踏面領域は、ユーザが外部から入力してもよい。
(代表画像選択部3)
代表画像選択部3は、カメラ配置情報と、検出された損傷領域の位置とから、代表画像を選択する。代表画像選択部3は、代表画像として、カメラ12の撮像面に対して正対に近い位置に損傷が存在する画像を優先して選択する。
詳細には、代表画像選択部3は、各撮像画像における損傷領域の位置と、踏面15における法線方向がカメラ12の光軸方向に略平行な正対位置と、の間の距離に基づいて一つの撮像画像を選択する。代表画像選択部3は、当該正対位置を特定するために、カメラ12の光軸方向を用いてもよい。換言すれば、代表画像選択部3は、カメラ12の光軸方向に少なくとも基づいて一つの撮像画像を選択してもよい。
図6は、撮影時のカメラ12および車輪11を水平方向から見た状態を示す図である。図6は、図3と同様のカメラ配置とする。複数の位置で損傷領域が検出された場合、各損傷領域は車輪11の円周方向の位置が異なるため、代表画像選択部3は、図6に示すカメラ12の方向から見たときの損傷位置を考慮して、代表画像を選択する。したがって、代表画像選択部3は、車輪踏面15上の法線が、カメラ12の光軸14と平行となる位置を正対位置として扱う。
図6に示すように、車輪踏面15は曲線形状であり、図6における車輪踏面15の各位置の法線の方向は位置によって異なる。さらに、車輪11のレール10上の位置が変化すると、同じ垂直位置(y座標)であっても法線の方向が変化する。ここで、車輪踏面15上の法線の向きが、カメラ12の光軸14の向きと異なる度合いが大きいほど、車輪踏面15を斜めから撮影していることになるため、画像上における車輪踏面15の歪みが大きくなる。
したがって、観察する車輪11、および、車輪踏面15の位置によって、歪みが少なく、かつ、ユーザが観察し易い、カメラ12に最も正対する画像は異なることになる。例えば、1つのカメラ12で1つの動く車輪11を複数回撮影する場合、同一のカメラ12、同一の車輪11でありながら、撮影タイミングが異なると車輪11が撮影される位置が異なるため、正対する位置は変化する。
以下では、正対位置を、垂直方向のみに関する正対位置として説明する。
図6において、垂直方向に関して、車輪11上で、カメラ12の撮像面に最も正対する位置は、接線19が、光軸14と直交する点20の位置になる。したがって、代表画像選択部3は、点20の位置に最も近い位置に損傷が映る画像を代表画像として選択する。
次に、点20の座標の算出方法について説明する。
yz平面において、車輪11の輪郭を円形状であるとみなし、車輪11の外側の輪郭(車輪踏面15)は、式1で表すことができる。
ここで、a、b、cは、それぞれ、原点から車輪11の中心までのx軸方向、y軸方向、z軸方向の距離であり、rは車輪11の半径を示す。カメラ12の高さがレール10の上面である場合、bはrと等しくなる。また、cは車輪11とレール10との接点位置と等しく、カメラ12の位置が固定である場合、撮影画像における車輪11とレール10との接点位置の座標から、カメラ12と車輪11との間の距離は一意に決まる。そのため、画像上の接点位置の座標からcの値を算出することができる。
次に車輪踏面15の法線ベクトルについてyz平面で説明する。車輪11の輪郭上の点20のyz平面における位置を(p、q)とすると、その法線ベクトルは(p−b、q−c)となる。
従って、カメラ12に正対する点20としては、カメラ12の光軸14のyz平面の向きと、この法線ベクトルとが平行であり、かつ、車輪11の左側の輪郭上にある点を求めればよい。
例えば、法線ベクトルと水平線とのなす角が、カメラの垂直方向の傾き角βと等しくなるような位置(p、q)を求め、カメラ座標系に変換することにより、画像上の垂直方向の正対位置を求めることができる。
図7および図8は、本実施形態に係る撮影画像の一例を示す図である。図7では、カメラ12の撮像面に対して正対位置となる点20の下に損傷21が存在する。図8では、カメラ12と正対位置の点20と同じ高さに損傷21が存在する。図7の画像は、図8の画像と比べ、正対位置の点20から離れた位置に損傷21が存在し、カメラ12の撮影方向と法線方向とが異なる分だけ斜めから撮影されており、損傷21が歪んで撮影される。損傷21は何れの画像でも検出および確認することが可能だが、ユーザが目視で確認する場合には、図8の画像の方が図7の画像よりも、損傷の歪みが少なく確認し易い。そのため、代表画像選択部3は、図7の画像ではなく、図8の画像を代表画像として選択する。
図9は、カメラ12の垂直方向の角度を0にした場合の、カメラ12および車輪11を水平方向から見た状態を示す図である。このときの正対位置を示す点は点22である。
図10および図11は、このとき撮影される画像の一例を示す図である。図10および図11の損傷23の位置は、何れも正対位置である点22には存在しない。しかしながら、図10の損傷位置と図11の損傷位置とを比較すると、図10の損傷位置の方が点22に近く、より正対に近い。そのため、代表画像選択部3は、図11の画像ではなく、図10の画像を代表画像として選択する。
また、図12は、カメラ12の垂直方向の角度を大きくした場合の、カメラ12および車輪11を水平方向から見た状態を示す図である。このときの正対位置を示す点は、光軸14より下側にある点24である。
図13および図14は、このとき撮影される画像の一例を示す図である。図13および図14の損傷25の損傷位置は、何れも正対位置である点24には存在しない。しかしながら、図13の損傷位置と図14の損傷位置とを比較すると、図13の損傷位置の方が点24に近く、より正対に近い。そのため、代表画像選択部3は、図14の画像ではなく、図13の画像を代表画像として選択する。
このような方法により、代表画像を選択することができる。ここで、本実施形態では、車輪踏面15でのyz面における正対位置を、入力される、カメラ12の角度に基づいて算出したが、車輪踏面15の状態に基づいて代表画像を選択してもよい。例えば、カメラ12の位置および角度が固定であって、撮影する車輪11の位置が固定である場合、yz面における正対位置も固定になるため、最適な位置を予め算出してテーブル化しておくことで、検出された損傷の位置に基づいて代表画像を決定することができる。また、上記では、同一の損傷が2つの画像で検出された場合を説明したが、3以上の画像にも適用することができる。さらに、上記では、同一の損傷を説明したが、異なる損傷に本方法を適用することも可能である。
選択された代表画像は、車輪踏面15の検査結果を表示するときに優先してユーザに通知することができる。すなわち、複数の撮影画像のうち1枚のみを表示したり、複数の撮影画像のうち1枚のみを拡大表示したりする場合に、視認性のよい代表画像を使用することができる。
(出力画像生成部4)
出力画像生成部4は、代表画像選択部3が選択した代表画像を用いて、出力画像データを生成し、出力する。このとき、代表画像上に、損傷の位置が分かる表示をした画像を生成してもよい。例えば、損傷位置周辺にマークを付けたり、損傷位置の色を変えたりした画像を生成してもよい。また、代表画像をそのまま出力してもよい。
(全体的な処理の流れ)
図15は、本実施形態に係る画像データ生成装置1が実行する処理の一例を示すフローチャートである。ここで、画像データ生成装置1は、車輪11毎に撮影された画像の中から、代表画像を生成する。以下では、同一の車輪11を分割で撮影した複数の撮影画像に対する処理について説明する。
画像データ生成装置1は、撮影画像とカメラ配置情報とを取得すると、処理を開始する。
画像データ生成装置1において、まず、損傷領域検出部2は、撮影画像のエッジ情報を解析するなどの画像処理を行うことにより、損傷を検出する(ステップS1)。
次に、代表画像選択部3は、検出された損傷領域の位置と、カメラ配置情報とに基づいて、垂直方向の正対位置を算出する(ステップS2)。
次に、画像データ生成装置1は、取得した全ての撮影画像に対して損傷を検出する処理を終えたか否かを判定する(ステップS3)。全ての撮影画像を処理していない場合(ステップS3のNO)、画像データ生成装置1は、ステップS1の処理を再度実行する。全ての撮影画像を処理した場合(ステップS3のYES)、画像データ生成装置1は、ステップ4の判定を実行する。
ステップS4において、損傷領域検出部2は、対象とする車輪11の全ての撮影画像に対して、損傷画像の有無を判定する。ここで、損傷画像とは、損傷が検出された撮影画像を示す。損傷がある場合(ステップS4のYES)、ステップS5の処理を実行する。損傷がない場合(ステップS4のNO)、ステップS6の処理を実行する。
ステップS5において、代表画像選択部3は、損傷位置および正対位置の情報に基づいて、最も正対位置に近い位置に損傷が存在する損傷画像を代表画像として選択する。
ステップS6において、代表画像選択部3は、所定の画像を代表画像として選択する。所定の画像は、例えば、対象車輪の撮影時刻が最も前の撮影画像としてもよいし、ユーザが指定した撮影画像としてもよい。
出力画像生成部4は、ステップS5またはS6で選択された代表画像を用いて出力画像データを生成し、出力し、処理を終了する(ステップS7)。
ここで、ステップS5について図面を用いて詳細に説明する。
図16は、図15のステップS5の処理の詳細を示すフローチャートである。
まず、代表画像選択部3は、第2の所定の画像を代表画像として設定する(ステップS100)。ここで、第2の所定の画像は、例えば、撮影時刻が最も前の損傷画像としてもよい。
次に、代表画像選択部3は、現在の損傷画像の損傷位置が、代表画像の損傷位置よりも正対位置に近いか否かを判定する(ステップS101)。
このとき、1枚の損傷画像に複数種類の損傷が検出された場合には、最も大きいサイズの損傷の位置を損傷位置として判定に用いてもよい。このときのサイズは損傷の実寸とする。損傷のサイズは、撮影画像上のレール10上の車輪11の位置と、車輪踏面15上の位置とに応じた、シミュレーションまたは実測に基づいて、予め設定した車輪踏面15上の画素分解能を適用することにより求めることができる。
このようにして、出力画像生成部4は、最も大きいサイズの損傷の映る画像を代表画像として生成することによって、損傷の程度がより大きく、かつ歪のより少ない損傷が存在する画像を代表画像として出力する。これにより、ユーザは、適切に車輪踏面15の状態を把握することができる。
現在の損傷画像の損傷位置が、代表画像の損傷位置よりも正対位置に近い場合(ステップS101のYES)、代表画像選択部3は、現在の損傷画像を代表画像として選択する(ステップS102)。現在の損傷画像の損傷位置が、代表画像の損傷位置よりも正対位置に近くない場合(ステップS101のNO)、代表画像選択部3は、ステップS102の処理をスキップする。
次に、代表画像選択部3は、検出した全ての損傷画像に対して処理を行ったか否かを判定する(ステップS103)。全ての損傷画像に対して処理を行った場合(ステップS103のYES)、処理を終了する。全ての損傷画像に対して処理を行っていない場合(ステップS103のNO)、ステップS101に戻る。
上述した本実施形態に係る画像データ生成装置1によれば、カメラ12の撮像面に対して垂直方向で最も正対となる位置に近い画像を代表画像として生成する。これにより、歪みが少ない損傷画像を代表画像として選択して生成するため、ユーザは損傷の状態を確認し易くなる。
また、ステップS101では、代表画像選択部3が、損傷の位置および正対位置に基づき、代表画像を選択したが、損傷のサイズや、明るさも参照し、代表画像を選択してもよい。すなわち、代表画像選択部3は、損傷領域の大きさに基づいて一つの撮像画像を選択してもよいし、損傷領域の画素値に基づいて一つの撮像画像を選択してもよい。
例えば、各損傷画像の損傷が同じ大きさであり、かつ損傷の位置と正対位置との間に距離が等しい場合、損傷の明るさが大きい損傷の損傷位置を判定に用いてもよい。一般的に、車輪踏面15の損傷は、光の反射率が大きく、明るく撮影される。特にカメラ12および照明を同方向に配置した場合等では、損傷部分は、他の領域と比べ、明るく撮影される。このようにして、大きく、かつ明るい損傷画像を代表画像として生成することによって、ユーザは車輪踏面15の損傷の状態をより正確に把握することができる。
別の一例として、損傷位置と正対位置との間の距離と、損傷の大きさと、明るさとをパラメータとし、損傷位置と正対位置との間の距離が小さい程、損傷の大きさが大きい程、損傷の明るさが明るい程、値が大きくなる評価値を算出し、評価値が最も大きい損傷の位置を判定に用いても構わない。このようにして、歪と、大きさと、明るさとの3つの要素を総合的に判断して、代表画像として生成することによって、ユーザは車輪踏面15の損傷の状態をより正確に把握することができる。また、評価値を算出する際、各パメータに異なる重みづけをしても構わず、この場合、ユーザが重要視するパラメータに合わせた、代表画像の選択が可能となる。
また、ステップS4で述べた損傷画像を抽出する処理において、抽出する損傷に制約条件を設けても構わない。
例えば、損傷が所定領域にある損傷画像のみを用いても構わない。このときの所定領域について図面を用いて説明する。所定領域は、検査装置が検査の対象とする車輪踏面範囲であり、画素分解能や周辺部品による遮蔽により決定される。例えば、カメラの撮影方向と、車輪踏面の法線方向の差が大きくなると、車輪踏面を斜めから撮影することになるため、正対して撮影する場合より画素分解能が低下する。そのため、所望の画素分解能以上の検査をする場合、ある一枚の撮影画像において、所望の画素分解能以上となる領域を所定領域に設定し、それ以外の領域の車輪踏面は、車輪が回転して他の位置で撮影された別の画像を検査対象とする。
このとき、代表画像選択部3は、同一の損傷に対応する損傷領域の位置に基づいて一つの撮像画像を選択してもよい。すなわち、隣接する車輪11の踏面15の撮影画像で所定領域が重複する場合、複数の画像で同一の損傷領域が検出される可能性がある。従って、代表画像選択部3は、重複する領域にある損傷の位置やサイズから同一の損傷であるかを判定し、同一の場合は、その位置がより正対に近い位置にあるものを代表画像の候補にしておいてもよい。
これにより、各撮影画像で同一の損傷がある場合には、より歪の少ない正対に近い位置の画像が選択されるため、ユーザは損傷形状を正しく把握することができる。車輪11の撮影位置が決まっている場合、重複する領域があるとき、何れの領域がより正対であるかが一意に決まるため、判定に関する処理量の削減も可能である。
また、車輪11の周辺に部品が存在すると、車輪踏面15が遮蔽されて画像で確認できない場合がある。そこで、遮蔽領域を除く車輪踏面15を所定領域とすることで、適切な損傷検出処理が可能となる。つまり、部品領域での損傷の誤検出を低減し、部品領域の損傷検出処理分だけ処理量を低減することができる。
図17および図18は、所定領域を説明するための図である。例えば、図17において、所望の画素分解能となる領域26が所定領域として設定される。また、周辺部品28により、車輪踏面15の領域の上部が遮蔽により見えなくなる場合では、図18に示すように、周辺部品28で遮蔽された領域を除外した領域29が、所定領域として設定される。この場合、周辺部品28の位置および大きさは予め取得されているものとする。そして、所定領域内で、正対位置に最も近い位置に損傷のある損傷画像が代表画像として選択される。ここで、損傷位置は、例えば検出した損傷の領域の外接矩形の中心座標としてもよいし、外接矩形の境界の上下左右のいずれかの座標や、検出した損傷の領域から算出した損傷領域の重心の座標としてもよい。
図19は、損傷が所定領域にある損傷画像から代表画像を選択する際に、画像データ生成装置1が実行する処理の一例を示すフローチャートである。このフローチャートは、図15のフローチャートに対し、ステップS4の代わりに、ステップS110を挿入したものであり、ステップS110以外は同様の処理内容となるため、ステップS110のみを説明する。
ステップS110において、代表画像選択部3は、損傷のある撮影画像のうち、損傷が所定領域にある画像を、損傷画像として選択する。ステップS5以降において、代表画像選択部3は、ステップS110で選択された損傷画像を用いて、同様に代表画像を選択する。
以上のように、所望の分解能を満たさない領域に損傷がある画像や、周辺部品による遮蔽領域に損傷がある画像を除外して代表画像を生成する。これにより、所望の分解能を有し車輪踏面15が視認し易い画像を代表画像として選択することができる。特に周辺部品による遮蔽領域を考慮した領域を用いることで、周辺部品の有無にかかわらず、同じ位置に損傷が表示されるため、異なる車輪の損傷の度合いを比較する場合になお有用である。
なお、本実施形態に係る画像データ生成装置1は、外部の、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置や、フラッシュメモリ、ハードディスクなどの記憶装置に接続することができる。これにより、画像データ生成装置1で生成した画像データを、表示装置に表示したり、画像データファイルとして記憶媒体に記憶したり、記憶媒体に記憶された画像を読み込んで、表示装置に表示したりすることができる。
本実施形態の各処理は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)によるソフトウェア処理、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)によるハードウェア処理によって実現することができる。
また、本実施の形態で説明した機能を実現する方法は、プログラムとして提供することもできる。プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませたり、インターネットからダウンロードしたりして実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
〔実施形態2〕
本発明の実施形態2について説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
移動する車輪踏面を分割で連続撮影する際、最も近い時刻に撮影された2枚の撮影画像において、損傷が大きい場合、各撮影画像の踏面の上端または下端に損傷の一部がかかり、かつ、いずれの撮影画像にも損傷の一部しか映らない可能性がある。この場合について図面を用いて説明する。
図20及び図21は、走行中の鉄道車両の車輪踏面102を連続で撮影した画像の一例を示す図である。このとき、車両は右から左に移動しているものとする。図20に示すように、周辺部品103は、車輪上部のカバーである。周辺部品104は、ブレーキである。レール100上にある車輪101の車輪踏面102は、周辺部品104に遮蔽される。なお、車輪踏面102上の、点線105より下側、かつ、点線106より上側の領域は別の撮影画像と重複しない領域とする。図20では、損傷107は、上側に存在し、その一部が周辺部品104により遮蔽されている。一方、図21では、車輪101は左側に移動しており、損傷107の一部が、レール100で遮蔽されている。
このような遮蔽される位置の違いに加え、損傷の踏面上の垂直方向の位置が異なることでカメラ12の撮像面に対する正対の度合いも異なり、その度合いに応じた歪が発生するため、同じ損傷であっても状態が異なって撮影される。このような場合、提示可能な複数の撮影画像が存在するが、ユーザが損傷の状態を確認し易い適切な画像を提示する必要がある。
そこで、本実施形態に係る画像データ生成装置(画像処理装置)108では、各撮影画像にまたがる損傷画像の有無を検出し、そのような画像が存在した場合に、車輪踏面上の損傷位置に基づき、より歪の少ない画像を選定し、ユーザに提示する。例えば、重複しない領域の長さだけ車輪踏面102が移動する毎に撮影する。さらに、同時に、一つの車輪に対する全撮影画像を用いて、一枚の踏面の全周画像を合成して、ユーザに提示する。これにより、ユーザは車輪踏面全体の状態を把握することができる。
(装置構成)
図22は、本実施形態に係る画像データ生成装置108の構成を示す機能ブロック図である。本実施形態に係る画像データ生成装置108は、損傷領域検出部2、全周画像生成部(生成部)109、代表画像選択部(入力部、選択部)110、および、出力画像生成部4を備えている。損傷領域検出部2および出力画像生成部4は、画像データ生成装置1と同様の構成であるため、その説明は省略し、全周画像生成部109および代表画像選択部110について、以下に説明する。
(全周画像生成部109)
本実施形態に係る全周画像生成部109は、各撮影画像の車輪踏面の領域の歪を補正して、車輪踏面の全周画像を生成する処理を行う。すなわち、全周画像生成部109は、複数の撮像画像を合成して踏面の全周画像を生成する。そして、全周画像生成部109は、各撮像画像内における損傷領域の位置に基づいて選択した1以上の撮像画像を優先的に合成する。
図23は、車輪踏面領域の歪を補正した画像の例を示す図である。図23の(a)は、図21の撮影画像の車輪踏面の歪を補正した画像を示す。図23の(b)は、図21の撮影画像の車輪踏面の歪を補正した平面画像を示す。
このときの平面画像について説明する。カメラ12が固定であり、車輪の大きさが決まっている場合、撮影画像におけるレール上の車輪位置から幾何学的に踏面の3次元位置が求まり、その情報に基づき、車輪踏面の領域の歪を補正して平面に展開する。展開した平面画像において、水平方向は車輪の幅に相当し、垂直方向は未重複領域の縦方向の長さに相当する。このときの歪補正の方法は、汎用的な手法であってもよい。例えば、誤差が小さい場合には、簡易的に、画像上で検出された踏面領域を単純に平面画像に展開する方法であってもよい。
ここで、図23の(a)の領域111と、図23の(b)の領域112が、他の撮影画像と重複しない未重複領域であり、図23の(a)の領域113と、図23の(b)の領域114が重複領域となる。
通常の場合、全周画像生成部109は、それぞれの未重複領域を合成して、図24の(a)に示すような合成画像を生成する。しかし、重複領域が発生する場合に、全周画像生成部109は、図24の(b)に示すように、損傷の位置が正対位置により近い画像の重複領域113を用いて合成する。このように、損傷が隣接する撮影画像に映り込み、重複する領域がある場合に、全周画像生成部109は、より正対位置に近い画像を優先的に合成する。これによって、分解能が高く、かつ歪の少ない損傷の合成画像を生成することができる。また、上記では、正対位置に近いか否かの判定を損傷単位で行ったが、重複領域の画素毎に判定してもよい。これにより、より分解能が高く、かつ歪の少ない損傷の合成画像を生成することができる。
次に、全周画像生成部109は、全撮影画像に対して、同様の合成処理を行い、図25に示すような車輪踏面の全周画像を生成する。ここで、全周画像115上に、損傷107および損傷116の2つの損傷が存在している。なお、全周画像を合成する際、各撮影画像で重複する領域に対しては、両方の画像を所定の比率でブレンディングして作成してもよい。このとき正対位置に近い方の画像の比率を、他方より大きくしてもよく、また、双方の画像の同一の損傷の形状が大きく異なる場合には、正対位置に近い方の画像の合成比率をさらに上げてもよい。
(代表画像選択部110)
本実施形態に係る代表画像選択部110は、全周画像上の指定領域の入力を受け付ける。そして、代表画像選択部110は、指定領域を含む撮像画像から、一つの撮像画像を選択する。
すなわち、代表画像選択部110は、ユーザに車輪踏面の全周画像を提示し、ユーザが指定する指定領域の入力を受け付け、指定領域が、カメラに対して正対位置となる撮影画像を用いて代表画像を選択する。
以下に、このときの処理について説明する。
(全体的な処理の流れ)
図26は、本実施形態に係る画像データ生成装置108が実行する処理の一例を示すフローチャートである。図26のフローチャートは、図15のフローチャートに対して、ステップS3の後に、ステップS300からステップS303が追加された内容であるため、追加されたステップについて説明する。
全周画像生成部109は、隣接する損傷画像の組み合わせに関して、同一の損傷が存在するか否かを判定する(ステップS300)。
同一の損傷が存在する場合(ステップS300のYES)、図24の(b)に示すように、全周画像生成部109は、損傷が正対位置に近い方にある画像は重複領域を含めた領域を、損傷が正対位置に近い方にない画像は、前記重複領域を除いた領域が合成されるように、合成位置を設定する(ステップS301)。
同一の損傷が存在しない場合(ステップS300のNO)、図24の(a)で示したように、全周画像生成部109は、それぞれの未重複領域が合成されるように、合成位置を設定する(ステップS302)。
そして、全周画像生成部109は、全ての合成位置を求めたか否かを判定する(ステップS303)。
全ての合成位置を求めた場合(ステップS303のYES)、全周画像生成部109は、合成位置を用いて各撮影画像を切り出し、それらを平面画像に展開し、それらを撮影順に並べて全周画像を生成する(ステップS304)。同一の損傷が存在しない場合(ステップS300のNO)、全周画像生成部109は、ステップS300の判定に戻る。
次に、代表画像選択部110は、ユーザの指定する領域の入力を受け付け、ユーザ指定領域がカメラの正対位置に最も近い撮影画像データを用いて代表画像を生成する(ステップS305)。そして、処理を終了する。
このときの代表画像選択部110の処理の詳細について図面を用いて説明する。図27は、図26のステップS305の処理の詳細を示すフローチャートである。
代表画像選択部110は、全周画像生成部109で生成した車輪踏面の全周画像をユーザに提示し、ユーザの表示したい指定領域の外部入力を受け付ける(ステップS306)。例えば、ユーザはマウス、フリック等の外部入力を通じて、提示された画像のうち、表示したい領域を指定する。なお、全周画像の提示には、画像データ生成装置108に内蔵された、または、外付けされた液晶ディスプレイ等の、画像を表示できるデバイスを用いることができる。
次に、代表画像選択部110は、損傷領域検出部2が算出した、損傷検出の結果を参照して、ユーザの指定領域における損傷が存在するか否かを判定する(ステップS307)。指定領域に損傷が存在する場合(ステップS307のYES)、代表画像選択部110は、その損傷が最も正対位置に近い画像を用いて代表画像を生成する(ステップS308)。指定領域に損傷が存在しない場合(ステップS307のNO)、代表画像選択部110は、損傷の代わりに指定領域が最も正対な位置にある画像を用いて代表画像を生成する(ステップS309)。そして、処理を終了する。
このように、最も歪が少なくなるようにして作成した車輪踏面の全周画像に基づき、ユーザが注目する損傷の位置を指定し、指定された損傷の位置が最も正対に近い位置の撮影画像を用いて代表画像を生成することによって、ユーザは車輪踏面の注目する領域の状態を正確に把握することができる。
また、車輪踏面の全周画像を提示するため、ユーザは車輪踏面の全領域における損傷の状態を把握することができる。特に、車輪踏面の全領域に複数の損傷がある場合では、車輪全体における損傷の割合や、各損傷の位置関係を把握することができる。
また、撮影タイミングが遅れたり、車両の走行速度が想定より速かったりしたなどの理由により、本来と異なるタイミングで撮影してしまう場合がある。このような場合、全周画像生成部109で車輪踏面の全周画像を生成時に、撮影画像の車輪位置と、予め想定した撮影タイミングにおける車輪の位置比較し、そのずれ幅を車輪踏面の値に換算し、予め設定していた撮影画像の未重複領域をずらすことにより調整して生成すればよい。なお、撮影タイミングが遅すぎたり、撮影できなかったりした場合では、いずれの撮影画像にも映らない領域が発生した場合は、全周画像上で、撮影ミスで有ることを示す別の画像として、例えば黒塗りの画像等を用いて、全周画像を生成してもよい。これにより、撮影ミスなどで全周画像が撮影できなかった場合、ユーザは、車輪踏面上で撮影された領域とそうでない領域を把握することができ、例えば、撮影できなかった領域のサイズが、所定のサイズよりも小さい場合では、損傷の判定に特に影響が無いと判断してもよい。
また、ユーザは撮影画像を直接指定し、その指定に基づき、代表画像選択部110は、代表画像を生成しても構わない。このとき、代表画像に対応する領域を強調表示した全周画像を同時に生成しても構わない。これにより、現在表示されている撮影画像が、車輪踏面上のどの傷であるのか、ユーザは正確に把握することができる。
また、全周画像生成部109で生成する全周画像を提示する際は、全周のうちの所定の範囲の画像でも構わない。例えば、全周画像の短辺方向に分割し、分割した画像を上下に並べて提示しても構わない。これにより、ディスプレイの表示エリアの形状に合わせた表示ができ、全周画像のサイズを大きくして見ることが可能となる。
図28は、本実施形態に係る出力画面の一例を示す図である。出力画面の右側には、代表画像が表示される。出力画面の左側には複数の撮影画像が表示される。代表画像は、複数の撮影画像から選択された画像である。
〔ソフトウェアによる実現例〕
画像データ生成装置1、108の制御ブロック(損傷領域検出部2、代表画像選択部3、出力画像生成部4、全周画像生成部109、代表画像選択部110)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、画像データ生成装置1、108は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る画像処理装置は、線路上を走行する車輪の踏面を撮像装置によって連続的に撮像した複数の撮像画像から、前記車輪の損傷に対応する損傷領域を検出する検出部と、各撮像画像内における前記損傷領域の位置に基づいて一つの撮像画像を選択する選択部と、前記一つの撮像画像に基づいて、代表画像を出力する出力部と、を備えている。
上記の構成によれば、各撮像画像内における損傷領域の位置に基づいて、損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様2に係る画像処理装置は、前記態様1において、前記選択部が、前記損傷領域の位置と、前記踏面における法線方向が前記撮像装置の光軸方向に略平行な正対位置と、の間の距離に基づいて前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、踏面における撮像装置の正対位置との距離に基づいて、損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様3に係る画像処理装置は、前記態様1または2において、前記選択部が、前記撮像装置の光軸方向に基づいて前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、撮像装置の光軸方向に基づいて損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様4に係る画像処理装置は、前記態様1〜3において、前記選択部が、前記損傷領域の大きさにさらに基づいて前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、損傷領域の大きさにさらに基づいて損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様5に係る画像処理装置は、前記態様1〜4において、前記選択部が、前記損傷領域の画素値にさらに基づいて前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、損傷領域の画素値にさらに基づいて損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様6に係る画像処理装置は、前記態様1〜5において、前記選択部が、同一の損傷に対応する損傷領域の位置に基づいて前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、同一の損傷に対応する損傷領域の位置に基づいて損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様7に係る画像処理装置は、前記態様1〜6において、前記複数の撮像画像を合成して前記踏面の全周画像を生成する生成部をさらに備え、前記生成部が、各撮像画像内における前記損傷領域の位置に基づいて選択した1以上の撮像画像を優先的に合成することとしてもよい。
上記の構成によれば、車輪の踏面の全周を含む、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様8に係る画像処理装置は、前記態様7において、前記全周画像上の指定領域の入力を受け付ける入力部をさらに備え、前記選択部が、前記指定領域を含む撮像画像から、前記一つの撮像画像を選択することとしてもよい。
上記の構成によれば、ユーザの指定領域に応じて、車輪の損傷が視認し易い画像データを出力することができる。
本発明の態様9に係る画像処理方法は、画像処理装置が、線路上を走行する車輪の踏面を撮像装置によって連続的に撮像した複数の撮像画像から、前記車輪の損傷に対応する損傷領域を検出し、画像処理装置が、各撮像画像内における前記損傷領域の位置に基づいて一つの撮像画像を選択し、前記一つの撮像画像に基づいて、代表画像を出力することを包含する。
上記の構成によれば、各撮像画像内における損傷領域の位置に基づいて、損傷領域の撮像画像を選択するので、車輪の損傷が視認し易い画像データを出力することができる。
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。