JP6564738B2 - 図面作成装置及び図面作成方法 - Google Patents

図面作成装置及び図面作成方法 Download PDF

Info

Publication number
JP6564738B2
JP6564738B2 JP2016125536A JP2016125536A JP6564738B2 JP 6564738 B2 JP6564738 B2 JP 6564738B2 JP 2016125536 A JP2016125536 A JP 2016125536A JP 2016125536 A JP2016125536 A JP 2016125536A JP 6564738 B2 JP6564738 B2 JP 6564738B2
Authority
JP
Japan
Prior art keywords
floor slab
image
unit
rectangular frame
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016125536A
Other languages
English (en)
Other versions
JP2017228208A (ja
Inventor
與那覇 誠
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016125536A priority Critical patent/JP6564738B2/ja
Publication of JP2017228208A publication Critical patent/JP2017228208A/ja
Application granted granted Critical
Publication of JP6564738B2 publication Critical patent/JP6564738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Bridges Or Land Bridges (AREA)

Description

本発明は図面作成装置及び図面作成方法に係り、特に橋梁等の床版の図面を簡便に作成する技術に関する。
橋梁等の社会インフラ構造物は、定期的に点検を行う必要がある。橋梁の点検時には、橋梁の設計図等の図面が必要であるが、古い橋梁では、図面が散逸している場合もある。また、図面が存在していても、橋梁の形状及びサイズが不正確な場合がある。
床版の図面が不正確あるいは存在しないと、床版の点検調書の作成に支障がある。また、床版を撮影するための自動撮影ロボットの移動等で問題が発生する。
特許文献1には、構造物の構造パラメータ及び構造物の撮影写真を登録する登録部と、構造物の3D(three-dimensional)モデルを構造パラメータを用いて作成する3Dモデル作成部と、3Dモデルの部材寸法を撮影写真を用いて更新し、更新後の部材寸法を用いて3Dモデルを再構成する3Dモデル再構成部と、を備えた構造物管理用図面作成装置が開示されている。
特許文献1に記載の構造物管理用図面作成装置では、登録部により構造物の3Dモデルの構造パラメータの登録が行われる。例えば、構造物が橋梁の場合、橋梁3Dモデルは、柱、縦梁、横梁、及び床版などの各部材の3Dモデルから構成され、登録部により各部材のサイズ、配置関係(間隔)などの構造パラメータが入力(登録)される。3Dモデル作成部は、登録された構造パラメータから構造物の初期3Dモデルを作成する。3Dモデル再構成部は、初期3Dモデルの部材寸法を構造物の撮影写真を用いて更新する。ここで、構造物の撮影写真は、ステレオ撮影写真であり、写真上で部材両端をマウスカーソルで指示することにより、指示された2点の位置を自動的に探索して部材寸法を測定し、測定した部材寸法にて初期3Dモデルの部材寸法を更新し、3Dモデルを再構成する。
また、3Dモデル再構成部は、撮影写真を用いて3Dモデルを再構成する際、更新の対象部材が隣接している他部材との関係を考慮し、他の部材の位置及び寸法も自動的に更新し、3Dモデルを変形して再構成する。
特開2011−192270号公報
特許文献1には、橋梁3Dモデル(初期3Dモデル)の部材寸法を、橋梁を撮影した撮影写真を用いて更新する記載があるものの、ここで使用される撮影写真は、撮影写真内の部材両端の2点を指定することにより、指定した部材の寸法を測定するこができるステレオ撮影写真に限られる。
また、特許文献1には、撮影写真を用いて3Dモデルを再構成する際、更新の対象部材が隣接している他部材との関係を考慮し、ある部材の寸法を更新すると、その部材の寸法の更新の影響を受ける隣接する部材の位置及び寸法も自動的に更新し、3Dモデルを変形する記載があるが、実際の構造物と一致するように3Dモデルを正しく変形させることができるとは限らない。
例えば、特許文献1の段落[0064]及び図18には、2つの部材の寸法を更新した場合に、これらの部材に隣接している各種部材を自動的に変形させ、長方形の橋梁の床版部の形状を矩形形状(台形)に変形させる記載があるが、2つの部材の寸法(床版部の長方形の隣接する2辺に相当する寸法)を更新しても、更新後の床版部の形状は一義的には定まらないため、3Dモデルを正しく変形させることができない。
即ち、構造物の各部材の寸法を撮影写真を用いて正しい寸法に更新しても、寸法のみで3D形状が定まらない構造物の場合、その構造物の3Dモデルを正しく再構築することができないという問題がある。
本発明はこのような事情に鑑みてなされたもので、橋梁等の床版の図面を簡便に作成することができる図面作成装置及び図面作成方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る図面作成装置は、撮像装置により点検対象である床版を撮像して取得した床版画像であって、床版に配列された格間毎の床版画像を取得する床版画像取得部と、床版を示す第1の図面であって、少なくとも床版の複数の格間の概略の矩形枠情報を含む第1の図面を取得する図面取得部と、床版画像から得られる格間の第1の矩形枠により、第1の図面の対応する格間の第2の矩形枠を第1の矩形枠と相似形に変形させ、第1の図面を第2の図面に修正する図面修正部と、床版画像取得部により取得した格間毎の床版画像のうちの少なくとも1つの床版画像中の基準被写体の実寸サイズ情報を取得し、取得した実寸サイズ情報に基づいて床版の実寸サイズ情報を取得する実寸サイズ情報取得部と、を備える。
本発明の一の態様によれば、点検対象である床版を撮像して取得した床版画像であって、床版に配列された格間毎の床版画像を取得する。床版の点検は、通常、格間単位で行われており、点検作業において撮影した床版画像を床版の図面作成に用いる。また、床版を示す第1の図面を取得する。第1の図面は、床版の概略の図面でよく、格間の概略の矩形枠情報(例えば、格間の数、配置、及び格間の一般的な寸法等)を含むものとすることができる。このような第1の図面は、床版の計測が不要であり、容易に準備することができる。尚、第1の図面としては、床版の図面が存在している場合には、その図面でもよく、図面の精度は問わない。
そして、取得した床版画像から得られる格間の矩形枠(第1の矩形枠)により、第1の図面の対応する格間の矩形枠(第2の矩形枠)を変形させ、第1の図面を第2の図面に修正する。第2の矩形枠の変形は、第1の矩形枠と相似形になるように行う。修正された第2の図面は、点検対象の床版(格間)の形状を反映したものになるが、実寸サイズ情報を有していない。第2の図面の実寸サイズ情報は、床版画像中の基準被写体の実寸サイズ情報を取得し、取得した実寸サイズ情報に基づいて床版の実寸サイズ情報を取得する。これにより、床版の図面(第2の図面)と実寸サイズ情報とを取得すること(即ち、床版の図面を簡便に作成すること)ができる。
本発明の他の態様に係る図面作成装置において、床版画像取得部は、撮像装置により格間を複数回に分割して撮像した複数の分割画像を取得し、取得した複数の分割画像を合成して格間毎に1枚の床版画像を取得することが好ましい。
床版画像に基づいて床版のひび割れ等の損傷部を精度良く測定するためには、格間を複数回に分割して撮像する必要がある。即ち、1回の撮影領域を格間よりも狭くし、ひび割れ等の測定の精度に要求される解像度で撮像する必要がある。一方、ひび割れ等の損傷部は、格間単位で測定されるため、格間単位の画像が必要である。したがって、格間を複数回に分割して撮像した画像(分割画像)を合成することにより、格間毎に1枚の床版画像を取得するようにしている。
本発明の更に他の態様に係る図面作成装置において、撮像装置により床版を撮像して取得した床版画像を射影変換する変換部を有し、床版画像取得部は、変換部により射影変換された床版画像を取得することが好ましい。床版を正対して撮像することが好ましいが、障害物の存在等により床版を正対して撮像することができない場合もある。そこで、床版に正対せずに撮像された床版画像の場合には、その床版画像を射影変換し、正対して撮像された床版画像と同様に床版の形状を精度よく反映した画像にする。
本発明の更に他の態様に係る図面作成装置において、取得した格間毎の床版画像と取得した第1の図面とを表示する表示部と、表示部に表示された床版画像及び第1の図面を操作する手動操作部と、を備え、図面修正部は、表示部に表示された床版画像を、表示部に表示された第1の図面内の床版画像に対応する格間に手動操作部による手動操作で移動させて割り当てる割り当て部と、割り当て部により割り当てられた床版画像の格間を示す第1の矩形枠に沿って、第1の図面の対応する格間の第2の矩形枠を手動操作部による手動操作により一致させる位置合わせ部と、を有することが好ましい。
本発明の更に他の態様によれば、図面修正部の割り当て部は、撮像して得た床版画像を、床版を示す第1の図面内の対応する格間に割り当てる(紐付ける)。また、位置合わせ部は、床版画像の格間を示す矩形枠(第1の矩形枠)に、第1の図面の対応する格間の矩形枠(第2の矩形枠)を一致させる位置合わせを行い、特に割り当て部による割り当て、及び位置合わせ部による位置合わせは、表示部に表示された格間毎の床版画像と床版を示す第1の図面とを見ながら手動操作部での操作により行われる。
本発明の更に他の態様に係る図面作成装置において、図面修正部は、取得した格間毎の床版画像を、第1の図面内の床版画像に対応する格間に自動的に割り当てる割り当て部と、割り当て部により割り当てられた床版画像の格間を示す第1の矩形枠を画像処理により認識し、認識した第1の矩形枠に基づいて第1の図面の対応する格間の第2の矩形枠を第1の矩形枠に自動的に一致させる位置合わせ部と、を有することが好ましい。
本発明の更に他の態様によれば、図面修正部の割り当て部は、撮像して得た床版画像を、第1の図面内の対応する格間に自動的に割り当てる。撮像して得た格間毎の床版画像には、床版の図面内のいずれの格間に対応する画像かを示す情報がすでに紐付けされている場合があり、この場合、自動的に割り当てることができる。また、図面修正部の位置合わせ部は、割り当てられた床版画像の格間を示す第1の矩形枠を画像処理により認識し、認識した第1の矩形枠に第1の図面の対応する格間の第2の矩形枠を自動的に一致(変形)させる。
本発明の更に他の態様に係る図面作成装置において、取得した格間毎の床版画像と取得した第1の図面とを表示する表示部と、表示部に表示された床版画像を操作する手動操作部と、を備え、図面修正部は、表示部に表示された床版画像を、表示部に表示された第1の図面内の床版画像に対応する格間に手動操作部による手動操作で移動させて割り当てる割り当て部と、割り当て部により割り当てられた床版画像の格間を示す第1の矩形枠を画像処理により認識し、認識した第1の矩形枠に基づいて第1の図面の対応する格間の第2の矩形枠を第1の矩形枠に自動的に一致させる位置合わせ部と、を有することが好ましい。
本発明の更に他の態様によれば、図面修正部の割り当て部による割り当ては、表示部に表示された格間毎の床版画像と床版の第1の図面とを見ながら手動操作部での操作により行われ、図面修正部の位置合わせ部による位置合わせは、画像処理により自動的に行われる。
本発明の更に他の態様に係る図面作成装置において、床版画像中の基準被写体は、格間内の損傷部であり、実寸サイズ情報取得部は、床版画像取得部により取得した床版画像から損傷部の実寸サイズ情報を取得し、取得した実寸サイズ情報に基づいて床版の実寸サイズ情報を算出することが好ましい。床版画像中の損傷部の実寸サイズは、通常、点検時に計測される。そして、計測された損傷部の実寸サイズを示す実寸サイズ情報を取得することにより、損傷部の実寸サイズと床版画像の損傷部の画像サイズとの関係が得られるため、格間を含む床版の実寸サイズ情報を算出することができる。
本発明の更に他の態様に係る図面作成装置において、床版画像中の基準被写体は、格間の少なくとも一辺を示す縁部であり、実寸サイズ情報取得部は、床版画像取得部により取得した床版画像から格間の少なくとも一辺を示す縁部の実寸サイズ情報を取得し、取得した実寸サイズ情報に基づいて床版の実寸サイズ情報を算出することが好ましい。床版画像に含まれる格間の少なくとも一辺を示す縁部の実寸サイズ情報を取得することにより、格間の実寸サイズ情報が分かり、その結果、複数の格間が配列されている床版の実寸サイズ情報を算出することができる。
本発明の更に他の態様に係る図面作成装置において、実寸サイズ情報取得部により取得した床版の実寸サイズ情報を、第2の図面に付加する実寸サイズ情報付加部を備えることが好ましい。
本発明の更に他の態様に係る図面作成装置において、床版画像取得部により取得した格間毎の床版画像から第1の矩形枠に沿って格間画像を切り出すトリミング部と、トリミング部により切り出した格間画像を連結し、床版の全体の床版画像を生成する床版画像生成部と、を更に備えることが好ましい。これにより、床版の図面を作成しつつ、床版の全体の床版画像を生成することができる。
本発明の更に他の態様に係る図面作成方法は、撮像装置により点検対象である床版を撮像して取得した床版画像であって、床版に配列された格間毎の床版画像を取得するステップと、床版を示す第1の図面であって、少なくとも床版の複数の格間の概略の矩形枠情報を含む第1の図面を取得するステップと、床版画像から得られる格間の第1の矩形枠により、第1の図面の対応する格間の第2の矩形枠を第1の矩形枠と相似形に変形させ、第1の図面を第2の図面に修正するステップと、取得した格間毎の床版画像のうちの少なくとも1つの床版画像中の基準被写体の実寸サイズ情報を取得し、取得した実寸サイズ情報に基づいて床版の実寸サイズ情報を取得するステップと、を含む。
本発明の更に他の態様に係る図面作成方法において、床版画像を取得するステップは、撮像装置により格間を複数回に分割して撮像した複数の分割画像を取得し、取得した複数の分割画像を合成して格間毎に1枚の床版画像を取得することが好ましい。
本発明の更に他の態様に係る図面作成方法において、取得した床版の実寸サイズ情報を、第2の図面に付加するステップを含むことが好ましい。
本発明によれば、橋梁等の床版の点検に使用される格間毎の床版画像の情報(格間画像の矩形枠)を用いて、床版の複数の格間の概略の矩形枠情報を含む図面(第1の図面)を修正し、かつ床版画像中の基準被写体の実寸サイズ情報を与えることで、床版の図面が存在しない場合、又は存在していても形状及びサイズが不正確な場合でも、正確な床版の図面(第2の図面)を作成することができる。
本発明に係る図面作成装置の第1の実施形態を示すブロック図 表示部52の画面に表示された床版画像及び床版を示す第1の図面の一例を示す図 表示部52の画面に表示された床版画像100及び床版を示す図面200の一例を示す図 図3に示した床版画像100を示す図 本発明に係る図面作成装置の第2の実施形態を示すブロック図 床版に正対せずに撮像された床版画像200−1及び床版画像200−1を射影変換した床版画像200−2を示す図 3枚の分割画像301、302及び303から1つの格間画像を含む1枚の床版画像304を合成する様子を示す図 本発明に係る図面作成装置の第3の実施形態を示すブロック図 本発明に係る図面作成方法の実施形態を示すフローチャート
以下、添付図面に従って本発明に係る図面作成装置及び図面作成方法の実施の形態について説明する。
[図面作成装置]
<第1の実施形態>
図1は、本発明に係る図面作成装置の第1の実施形態を示すブロック図である。
図1に示すように図面作成装置1−1は、橋梁等の床版の図面を作成する装置であり、主として画像入力部12、画像DB(DB:database)14、床版画像取得部20、図面修正部30、図面入力部40、図面DB42、図面取得部44、手動操作部50、表示部52、実寸サイズ情報取得部60、及び実寸サイズ情報付加部70から構成されている。
図面作成装置1−1は、例えば、パーソナルコンピュータ(PC:Personal Computer)により構成され、画像入力部12は、PCの入力インターフェースに相当し、画像DB14及び図面DB42は、PCの1又は複数のハードディスク装置に相当する。床版画像取得部20、図面修正部30、図面取得部44、実寸サイズ情報取得部60、及び実寸サイズ情報付加部70は、PCの1又は複数のCPU(Central Processing Unit)と、CPUのワーキングメモリと、ハードディスク装置等に記憶され、メモリ上に展開された図面作成用プログラムとにより構成され、CPUが図面作成用プログラムを実行することにより各部の機能を担う。図面入力部40及び手動操作部50は、それぞれPCのマウス及び/又はキーボードに相当し、表示部52は、PCのモニタ装置に相当する。
ここで、橋梁は、橋台や橋脚の間に渡された主桁と、橋梁の長手方向に設けられた主桁と直交する方向に設けられ、主桁間を連結する横桁と、風、地震等の横荷重に抵抗するために主桁を相互に連結する対傾構及び横構とを含む各種の部材から構成され、主桁等の上部には、車輌等が走行するための床版が打設されている。床版は、鉄筋コンクリート製のものが一般的である。
床版は、通常、主桁と横桁とにより画成された矩形形状の格間が基本単位となっており、床版の損傷(ひび割れ、遊離石灰、コンクリートの剥離、及び鉄筋露出等)を点検する場合、格間単位で行われる。
図1において、画像入力部12は、外部機器から近距離無線通信、外部機器と接続されるケーブル又はネットワークを介して画像データ等を入力する部分であり、本例では、橋梁の点検対象である床版を撮像した撮像装置10から床版画像を示す画像データを、撮像毎に、又は複数の床版画像(複数部分の床版画像)の撮像終了後に一括して入力する。尚、画像入力部12は、撮像装置10のメモリカードから画像データを読み出すカードリーダでもよい。
尚、撮像装置10は、全地球測位システム(GPS:Global Positioning System)(以下、「GPS装置」という)を備えていることが好ましい。GPS装置を備えた撮像装置10は、GPS装置により撮像装置10の現在の緯度、経度及び高度によって特定される位置情報(GPS情報)を取得し、撮像した画像の画像ファイルにGPS情報を付属情報として付加することができる。GPS情報は、床版を撮像した画像と、実際の橋梁の床版(格間)との対応付けに使用することができる。
撮像装置10から画像入力部12を介して入力した床版画像を示す画像データは、画像DB14に格納され、ここで管理される。
床版画像取得部20は、画像DB14から格間毎の床版画像を示す画像データを取得し、取得した画像データを図面修正部30に出力する。ここで、床版画像取得部20は、格間毎の床版画像を示す画像データを、格間の配列順に対応付けられた順番にしたがって取得することが好ましい。この場合、画像ファイルのファイル名が、格間の配列順に対応づけて付されている場合、ファイル名に基づいて順番に画像ファイル(床版画像を示す画像データ)を画像DB14から読み出すことができる。また、画像ファイルに付加されたGPS情報は、格間毎の撮影位置に対応するため、GPS情報に基づいて画像DB14から読み出す画像データを決定することができる。
尚、本例の床版画像取得部20は、画像DB14から床版画像を示す画像データを取得しているが、撮像装置10の画像記録部(メモリカード)から直接取得するようにしてもよい。
図面入力部40は、床版の複数の格間の概略の矩形枠情報を含む第1の図面を示す図面情報を入力する部分であり、例えば、橋梁の長手方向の格間の数、及び橋梁の幅方向の格間の数を入力する。また、床版の複数の格間の概略の矩形枠情報は、例えば、格間の形状が長方形であり、かつ格間の短辺及び長辺の長さを示す格間のサイズ情報(複数の格間に共通の格間のサイズ情報)を含めることができる。格間の概略の矩形枠情報に含まれる格間のサイズ情報は、図面入力部40にて手動で適当なサイズ情報を入力してもよいし、予め設定されたサイズ情報(例えば、3m×5m)でもよい。
橋梁の長手方向の格間の数、橋梁の幅方向の格間の数、及び格間の概略の矩形枠情報から床版の図面(第1の図面)が決定される。この第1の図面は、床版の実際の形状及び実寸サイズを示す図面ではなく、概略の図面である。即ち、格間のサイズ情報は、実寸サイズ情報ではないため、第1の図面に含まれるサイズ情報は、実寸サイズ情報ではなく、また、実際の床版の複数の格間の形状は、一律ではなく(長方形ではなく、例えば、台形の場合もあり)、第1の図面に含まれる床版の形状は、実際の床版の形状ではない。
図面DB42は、複数の橋梁(床版を含む)の図面(CAD(computer-aided design)図)を保存及び管理する部分である。図面DB42には、点検対象の橋梁の図面が管理されているとは限らず、古い橋梁の場合、図面が散逸していることがあり、また、管理されている図面が不正確な場合もある。
図面取得部44は、図面入力部40により入力された点検対象である床版の第1の図面を取得し、又は図面DB42により管理されている図面の中から点検対象である床版の図面(第1の図面)を取得する。図面取得部44は、点検対象である床版の第1の図面が、図面DB42に存在する場合には、図面DB42に存在する第1の図面を優先して取得することが好ましい。
図面取得部44により取得した点検対象である床版の第1の図面は、図面修正部30に出力される。
図面修正部30は、図面取得部44から入力した床版の第1の図面を、格間毎の床版画像の情報を用いて修正する部分であり、割り当て部32と位置合わせ部34とを備えている。
図面修正部30は、床版画像取得部20から入力する格間毎の床版画像を示す画像データに基づいて床版画像を表示部52に表示させるとともに、図面取得部44から入力する第1の図面を示す図面データに基づいて床版を示す図面を表示部52に表示させる表示制御部としての機能を有する。
図2は、表示部52の画面に表示された床版画像及び床版を示す第1の図面の一例を示す図である。
図2において、床版画像100には、主桁の一部を示す画像102、104と、横桁の一部を示す画像112、114と、床版の一部(主桁と横桁とにより画成された格間)の画像(格間画像)120とが含まれている。
ここで、床版画像100の格間を示す矩形枠(第1の矩形枠)は、格間画像120の矩形の輪郭に対応し、床版画像100の床版を示す平面と、主桁を示す画像102、104の主桁の平面及び横桁を示す画像112、114の横桁の平面との交線(4つの交線)により画成された輪郭をいう。
図2において、点線で示した床版の図面200は、修正前の第1の図面であり、本例では3つの主桁と5つの横桁とに対応する図面である。Mg01〜Mg03は、それぞれ主桁(Mg:Main girder)の部材番号であり、Cr01〜Cr05は、それぞれ横桁(Cr:Cross beam)の部材番号である。尚、1画面に橋梁の床版全体の図面を適切に表示することができない場合(橋梁の全長が長い場合)には、床版の一部の図面を表示し、床版の図面をスクロールできるようにすることが好ましい。
図面修正部30の割り当て部32は、入力した床版画像100を、図面200内の床版画像100に対応する格間に割り当てる(紐付ける)部分である。本例では、図2に示した画面を使用し、手動操作部50により床版画像100を図面200内の床版画像100に対応する格間の矩形枠に移動させる操作が行われると、割り当て部32は、床版画像100を、移動先の図面200内の格間に割り当てる。
図面修正部30の位置合わせ部34は、割り当て部32により割り当てられた床版画像100の格間を示す矩形枠(第1の矩形枠)に沿って、図面200の対応する格間の矩形枠(第1の図面の対応する格間の第2の矩形枠)を手動操作部50による手動操作により変形させ、第1の図面の対応する格間の第2の矩形枠を、床版画像100の格間を示す第1の矩形枠に一致させる。また、位置合わせ部34は、床版画像100の格間を示す第1の矩形枠と第1の図面の対応する格間の第2の矩形枠とを一致させるべく、手動操作部50による手動操作により床版画像100を並進移動させ、又は床版画像100を回転させることが可能である。
図3は、表示部52の画面に表示された床版画像100及び床版を示す図面200の一例を示す図であり、特に床版画像100を床版の図面200の対応する格間の位置に移動させた後、床版画像100を基準にして拡大(図2の要部を拡大)した図である。
図3に示す画面には、並進移動を示す移動ボタン150と、回転移動を示す回転ボタン152とが表示されており、手動操作部50により図示しないカーソルを移動ボタン150又は回転ボタン152に移動させ、移動ボタン150又は回転ボタン152を選択(クリック)することにより、画面内の床版画像又は図面を並進移動又は回転移動を可能にする。
例えば、移動ボタン150を選択した後、床版画像又は図面の線をドラッグすることにより床版画像又は図面の線を並進移動させることができ、回転ボタン152を選択した後、床版画像又は図面の線を回転方向にドラッグすることにより床版画像又は図面の線を回転移動させることができる。
図3は、格間画像120の輪郭に対応する第1の矩形枠の一方の短辺120Aと、床版を示す図面中の横桁(部材番号Cr01に対応する横桁)とが一致している場合に関して示している。例えば、手動操作部50での操作により床版画像100を並進及び回転させることで、格間画像120の輪郭に対応する第1の矩形枠の一方の短辺120Aと、床版を示す図面の格間の対応する一辺(部材番号Cr01に対応する横桁)とを一致させることができる。
一方、図3において、格間画像120の輪郭に対応する第1の矩形枠の他の3辺(符号120B,120C,及び120Dで示す辺)と、床版を示す図面中の対応する格間の3辺(部材番号Mg01に対応する主桁、部材番号Cr01に対応する横桁、及びMg02に対応する主桁を示す辺)とは一致していない。床版を示す第1の図面は、概略の図面だからである。
図3において、部材番号Mg01に対応する主桁の図面を、格間画像120の第1の矩形枠のうちの主桁に対応する枠(辺120B)に一致させる場合(修正する場合)には、主桁に対応する図面の線を回転方向にドラッグし、回転移動させる。同様に、手動操作部50により第1の図面に対応する図面の線を、並進移動及び/又は回転移動させることにより、部材番号Mg02に対応する主桁の図面、及び部材番号Cr02に対応する横桁の図面を、それぞれ格間画像120の第1の矩形枠の辺120D及び120Cに一致させることができる。
このように床版画像から得られる格間の第1の矩形枠に、第1の図面の対応する格間の矩形枠(第2の矩形枠)を沿わせることで、第2の矩形枠を第1の矩形枠と相似形に変形させる。
図面修正部30では、床版画像取得部20から格間毎の床版画像を示す画像データが新たに入力されると、図2及び図3に示したように格間毎の床版画像を、第1の図面内の床版画像に対応する格間に割り当て、床版画像から得られる格間の第1の矩形枠により、第1の図面の対応する格間の第2の矩形枠を第1の矩形枠と相似形に変形させる。
全ての格間の床版画像を入力し、入力した床版画像を用いて、第1の図面の全ての格間の第2の矩形枠が変形させられると、床版全体の形状が決定する。従って、図面修正部30は、床版画像を用いた第1の図面の修正により、修正後の図面(第2の図面)を取得することができる。
尚、修正後の第2の図面は、実際の床版(格間)の形状を反映したものになるが、実寸サイズ情報を有していない。
図1において、実寸サイズ情報取得部60は、床版画像取得部20により取得した格間毎の床版画像のうちの少なくとも1つの床版画像中の基準被写体の実寸サイズ情報54を取得し、取得した実寸サイズ情報に基づいて床版(第2の図面)の実寸サイズ情報を取得する。
図4は、図3に示した床版画像100を示す図である。図4に示すように床版画像100中の基準被写体は、格間画像120から測定される格間内の損傷部(ひび割れ160、遊離石灰170等)、又は格間画像120から測定される格間(格間の第1の矩形枠)の少なくとも一辺(例えば、第1の矩形枠の短辺)を示す縁部である。
実寸サイズ情報取得部60は、これらの基準被写体のうちの少なくとも1つの基準被写体の実寸サイズ情報54を、手動入力により取得する。尚、格間内のひび割れ160の実寸サイズ情報(ひび割れの長さ)、及び遊離石灰170の縦横の長さは、床版の点検時に測定された実寸サイズ情報を利用することができる。
表示部52に表示される床版画像100と、その床版画像100内の基準被写体の実寸サイズ情報54とから、表示部52の画面の1画素ピッチ当たりの実寸サイズを求めることができる。従って、実寸サイズ情報取得部60は、表示部52に表示された第1の図面の画面上のサイズと、画面の1画素ピッチ当たりの実寸サイズとに基づいて、床版(修正後の第2の図面)の実寸サイズ情報を算出(取得)することができる。
実寸サイズ情報付加部70は、図面修正部30により修正された第2の図面に、実寸サイズ情報取得部60により取得した実寸サイズ情報を付加する。実寸サイズ情報付加部70による実寸サイズ情報の付加は、第2の図面内に実寸サイズ情報を追記し、又は第2の図面の図面ファイルに、実寸サイズ情報が記録されたテキストファイルを紐付けることにより行うことができる。
実寸サイズ情報付加部70による実寸サイズ情報が付加された第2の図面は、図面DB42に保存され、適宜利用される。
<第2の実施形態>
図5は、本発明に係る図面作成装置の第2の実施形態を示すブロック図である。尚、図5において、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図5に示す第2の実施形態の図面作成装置1−2は、図1に示した第1の実施形態に対して変換部16、トリミング部22、及び床版画像生成部24が追加され、かつ床版画像取得部20−2及び図面修正部30−2の機能が異なる点で相違する。
変換部16は、画像DB14から入力する床版画像を射影変換し、射影変換した床版画像を床版画像取得部20−2に出力する。
画像DB14から入力する床版画像は、床版に正対して撮像された画像とは限らない。変換部16は、入力する床版画像が、床版に正対せずに撮像された床版画像の場合には、の床版画像を射影変換し、正対して撮像された床版画像と同様の画像に変換する。
図6に示す床版画像200−1は、床版に正対せずに撮像された床版画像の一例を示している。床版の格間の形状が本来、長方形の場合、正対せずに撮像された床版画像から得られる格間の第1の矩形枠は、長方形にはならない。この場合、変換部16は、床版画像200−1を射影変換し、図6に示すように格間画像(格間の第1の矩形枠)が長方形となる床版画像200−2を取得する。
床版画像200−1を床版画像200−2になるように射影変換するためには、床版の平面の法線方向と、撮像装置10の撮影方向(光軸の方向)との成す角度を検知する必要がある。
いま、床版の平面が水平と仮定すると、撮像装置10の撮影方向を示す方位情報を取得することにより、床版の平面の法線方向と撮像装置10の撮影方向との成す角度を検知することができる。撮像装置10の撮影方向を示す方位情報は、撮像装置10に搭載された方位センサにより取得することができ、取得した方位情報は、画像ファイルに付加することができる。方位センサは、ジャイロセンサ、地磁気センサ等により構成することができる。
また、床版画像中に既知の形状(平行四辺形、正多角形又は真円等)の外形を有する部材が存在する場合、その部材の既知の形状と床版画像中の対応する部材の形状とから、射影変換するための射影変換パラメータを求めることができる。本例の場合、床版に対面する主桁及び横桁のフランジ部は、それぞれ平行である。従って、床版画像中のフランジ部が平行でない場合には、全てのフランジ部が平行になるように射影変換する射影変換パラメータを求め、射影変換すればよい。
床版画像取得部20−2は、画像合成部を含み、1つの格間が複数回に分割して撮像された複数の分割画像を取得した場合、画像合成部により複数の分割画像を合成し、格間毎に1枚の床版画像を取得する。
図7は、3枚の分割画像301、302、及び303から1つの格間画像を含む1枚の床版画像304を合成(パノラマ合成)する様子を示す図である。
画像合成部は、分割画像301、302、及び303の互いに重複する領域(斜線で示した領域)の特徴点(部材の輪郭線、床版の模様、汚れ、又は損傷部等)が一致するように、分割画像間の拡縮及び位置合わせを行い、分割画像の合成を行う。尚、分割画像の枚数は、図7に示した実施形態に限らない。
トリミング部22は、入力する床版画像から格間を示す第1の矩形枠に沿って格間画像を切り出す部分であり、切り出した格間画像を図面修正部30−2に出力する。格間を示す第1の矩形枠は、格間画像の輪郭(主桁及び横桁の画像の内側の輪郭)に相当し、床版画像を画像処理することにより認識することができる。従って、トリミング部22は、床版画像から格間画像の輪郭を自動認識し、格間画像を自動的に切り出すことができる。尚、床版画像を表示部52に表示させ、ユーザが表示部52の画面上で格間画像の輪郭(トリミング枠)を指定し、トリミング部22は、指定されたトリミング枠に沿って格間画像を切り出すようにしてもよい。
図面修正部30−2は、位置合わせ部34−2が、床版画像の格間を示す第1の矩形枠に基づいて第1の図面の対応する格間の第2の矩形枠を第1の矩形枠に自動的に一致させる点で、第1の実施形態の図面修正部30と相違する。
即ち、図面修正部30−2の位置合わせ部34−2は、入力する床版画像の格間を示す第1の矩形枠を画像処理により認識する。本例の場合、図面修正部30−2が格間画像を入力するため、格間画像の外形の輪郭を認識することにより格間を示す第1の矩形枠を自動的に取得することができる。
位置合わせ部34−2は、認識した格間を示す第1の矩形枠のうちの一辺が、第1の図面の対応する格間の一辺と一致するように第1の図面に対して格間画像の位置合わせを自動的に行い、その後、第1の矩形枠の他の3辺に対して、第1の図面の対応する格間の第2の矩形枠を構成する線を並進移動及び/又は回転移動させ、位置合わせを自動的に行う。
尚、本例では、図面修正部30−2が格間画像を入力しているが、格間画像を含む床版画像を入力する場合にも、位置合わせ部34−2は、床版画像中の第1の矩形枠を認識し、認識した第1の矩形枠に基づいて第1の図面の対応する格間の第2の矩形枠を、第1の矩形枠に自動的に一致させることができる。
床版画像生成部24は、図面修正部30−2での図面作成に使用された格間画像であって、第1の図面の対応する格間への割り当て、及び位置合わせが完了した位置情報を持つ格間画像を連結し、床版全体の床版画像を生成する。床版画像生成部24により生成された床版全体の床版画像は、画像DB14に保存される。画像DB14に保存される床版画像は、図面DB42に保存した床版画像に対応する床版の図面と紐付けて保存することが好ましい。
<第3の実施形態>
図8は、本発明に係る図面作成装置の第3の実施形態を示すブロック図である。尚、図8において、図1及び図5に示した第1の実施形態及び第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図8に示す第3の実施形態の図面作成装置1−3は、主として図面修正部30−3が第1の実施形態及び第2の実施形態と相違する。
図面修正部30−3は、割り当て部32−2と位置合わせ部34−2とを備えている。図面修正部30−3の割り当て部32−2は、トリミング部22から入力した格間画像を、第1の図面内の格間画像に対応する格間に割り当てる部分であり、特に自動的に割り当てる点で、第1及び第2の実施形態の割り当て部32と相違する。
撮像装置10により撮像された格間毎の床版画像(格間画像)には、床版の図面内のいずれの格間に対応する画像かを示す情報がすでに紐付けされている場合がある。割り当て部32−2は、格間画像に紐付けられている情報を使用して、入力した格間画像を第1の図面内の格間画像に対応する格間に自動的に割り当てる。
位置合わせ部34−2は、割り当て部32−2により自動的に割り当てられた格間画像を用いて、第2の実施形態と同様に格間画像の第1の矩形枠に第1の図面の対応する格間の第2の矩形枠を自動的に一致(変形)させる。
第3の実施形態の図面修正部30−3は、格間画像の割り当て及び第1の図面の修正をそれぞれ自動的に行うため、第3の実施形態の図面作成装置1−3には、第1の実施形態等では必要とされていた手動操作部50及び表示部52が設けられていない。
尚、本例の図面修正部30−3は、トリミング部22から格間画像を入力しているが、格間画像を含む床版画像を入力する場合も同様に、格間画像の割り当て及び第1の図面の修正をそれぞれ自動的に行うことができる。
[図面作成方法]
図9は、本発明に係る図面作成方法の実施形態を示すフローチャートである。
図9において、床版画像取得部20−2(図5)は、1つの格間を複数回に分割して撮像した複数の分割画像を取得し(ステップS10)、取得した複数の分割画像を合成し、格間毎に1枚の床版画像を作成(取得)する(ステップS12)。
図面取得部44は、図面入力部40により入力された点検対象である床版の第1の図面を取得し、又は図面DB42により管理されている図面の中から点検対象である床版の図面(第1の図面)を取得する(ステップS14)。
図面修正部30(図1)は、ステップS12で取得した床版画像を用いて、ステップS14で取得した第1の図面を第2の図面に修正する(ステップS16)。即ち、図面修正部30は、床版画像を、第1の図面内の床版画像に対応する格間に割り当て、割り当てた床版画像の格間を示す第1の矩形枠に沿って、第1の図面の対応する格間の第2の矩形枠を一致させる修正(位置合わせ)を行う。
一方、実寸サイズ情報取得部60は、床版画像内のひび割れ等の基準被写体の実寸サイズ情報に基づいて床版(修正後の第2の図面)の実寸サイズ情報を算出する(ステップS18)。
実寸サイズ情報付加部70は、ステップS16で取得した修正後の第2の図面に、ステップS18で算出した床版の実寸サイズ情報を付加する(ステップS20)。
このようにして作成された床版の図面は、電子データ化され、あるいはプリント出力され、橋梁の床版の保守点検及び自動撮影ロボットの移動制御に利用することができる。
尚、本発明は上述した各実施形態に限定されず、各実施形態の構成を適宜組み合わせたもの、又は本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1−1、1−2、1−3 図面作成装置
10 撮像装置
12 画像入力部
14 画像DB
16 変換部
20、20−2 床版画像取得部
22 トリミング部
24 床版画像生成部
30、30−2、30−3 図面修正部
32、32−2 割り当て部
34、34−2 位置合わせ部
40 図面入力部
42 図面DB
44 図面取得部
50 手動操作部
52 表示部
54 実寸サイズ情報
60 実寸サイズ情報取得部
70 実寸サイズ情報付加部
100、200−1、200−2、304 床版画像
120 格間画像
150 移動ボタン
152 回転ボタン
160 ひび割れ
170 遊離石灰
200 図面
301、302、303 分割画像
S10−S20 ステップ

Claims (13)

  1. 撮像装置により点検対象である床版を撮像して取得した床版画像であって、前記床版に配列された格間毎の床版画像を取得する床版画像取得部と、
    前記床版を示す第1の図面であって、少なくとも前記床版の複数の格間の概略の矩形枠情報を含む第1の図面を取得する図面取得部と、
    前記床版画像から得られる格間の第1の矩形枠により、前記第1の図面の対応する格間の第2の矩形枠を前記第1の矩形枠と相似形に変形させ、前記第1の図面を第2の図面に修正する図面修正部と、
    前記床版画像取得部により取得した格間毎の床版画像のうちの少なくとも1つの床版画像中の基準被写体の実寸サイズ情報を取得し、前記取得した前記実寸サイズ情報に基づいて前記床版の実寸サイズ情報を取得する実寸サイズ情報取得部と、
    を備えた図面作成装置。
  2. 前記床版画像取得部は、前記撮像装置により前記格間を複数回に分割して撮像した複数の分割画像を取得し、前記取得した複数の分割画像を合成して格間毎に1枚の床版画像を取得する請求項1に記載の図面作成装置。
  3. 前記撮像装置により前記床版を撮像して取得した床版画像を射影変換する変換部を有し、
    前記床版画像取得部は、前記変換部により射影変換された前記床版画像を取得する請求項1又は2に記載の図面作成装置。
  4. 前記取得した前記格間毎の床版画像と前記取得した前記第1の図面とを表示する表示部と、前記表示部に表示された前記床版画像及び前記第1の図面を操作する手動操作部と、を備え、
    前記図面修正部は、
    前記表示部に表示された前記床版画像を、前記表示部に表示された前記第1の図面内の前記床版画像に対応する格間に前記手動操作部による手動操作で移動させて割り当てる割り当て部と、
    前記割り当て部により割り当てられた前記床版画像の格間を示す第1の矩形枠に沿って、前記第1の図面の対応する格間の第2の矩形枠を前記手動操作部による手動操作により一致させる位置合わせ部と、
    を有する請求項1から3のいずれか1項に記載の図面作成装置。
  5. 前記図面修正部は、
    前記取得した前記格間毎の床版画像を、前記第1の図面内の前記床版画像に対応する格間に自動的に割り当てる割り当て部と、
    前記割り当て部により割り当てられた前記床版画像の格間を示す第1の矩形枠を画像処理により認識し、前記認識した前記第1の矩形枠に基づいて前記第1の図面の対応する格間の第2の矩形枠を前記第1の矩形枠に自動的に一致させる位置合わせ部と、
    を有する請求項1から3のいずれか1項に記載の図面作成装置。
  6. 前記取得した前記格間毎の床版画像と前記取得した前記第1の図面とを表示する表示部と、前記表示部に表示された前記床版画像を操作する手動操作部と、を備え、
    前記図面修正部は、
    前記表示部に表示された前記床版画像を、前記表示部に表示された前記第1の図面内の前記床版画像に対応する格間に前記手動操作部による手動操作で移動させて割り当てる割り当て部と、
    前記割り当て部により割り当てられた前記床版画像の格間を示す第1の矩形枠を画像処理により認識し、前記認識した前記第1の矩形枠に基づいて前記第1の図面の対応する格間の第2の矩形枠を前記第1の矩形枠に自動的に一致させる位置合わせ部と、
    を有する請求項1から3のいずれか1項に記載の図面作成装置。
  7. 前記床版画像中の基準被写体は、前記格間内の損傷部であり、
    前記実寸サイズ情報取得部は、前記床版画像取得部により取得した前記床版画像から前記損傷部の実寸サイズ情報を取得し、前記取得した前記実寸サイズ情報に基づいて前記床版の実寸サイズ情報を算出する請求項1から6のいずれか1項に記載の図面作成装置。
  8. 前記床版画像中の基準被写体は、前記格間の少なくとも一辺を示す縁部であり、
    前記実寸サイズ情報取得部は、前記床版画像取得部により取得した前記床版画像から前記格間の少なくとも一辺を示す縁部の実寸サイズ情報を取得し、前記取得した前記実寸サイズ情報に基づいて前記床版の実寸サイズ情報を算出する請求項1から6のいずれか1項に記載の図面作成装置。
  9. 前記実寸サイズ情報取得部により取得した前記床版の実寸サイズ情報を、前記第2の図面に付加する実寸サイズ情報付加部を備えた請求項1から8のいずれか1項に記載の図面作成装置。
  10. 前記床版画像取得部により取得した格間毎の床版画像から前記第1の矩形枠に沿って格間画像を切り出すトリミング部と、
    前記トリミング部により切り出した前記格間画像を連結し、前記床版の全体の床版画像を生成する床版画像生成部と、
    を更に備えた請求項1から9のいずれか1項に記載の図面作成装置。
  11. 撮像装置により点検対象である床版を撮像して取得した床版画像であって、前記床版に配列された格間毎の床版画像を取得するステップと、
    前記床版を示す第1の図面であって、少なくとも前記床版の複数の格間の概略の矩形枠情報を含む第1の図面を取得するステップと、
    前記床版画像から得られる格間の第1の矩形枠により、前記第1の図面の対応する格間の第2の矩形枠を前記第1の矩形枠と相似形に変形させ、前記第1の図面を第2の図面に修正するステップと、
    前記取得した格間毎の床版画像のうちの少なくとも1つの床版画像中の基準被写体の実寸サイズ情報を取得し、前記取得した前記実寸サイズ情報に基づいて前記床版の実寸サイズ情報を取得するステップと、
    を含む図面作成方法。
  12. 前記床版画像を取得するステップは、前記撮像装置により前記格間を複数回に分割して撮像した複数の分割画像を取得し、前記取得した複数の分割画像を合成して格間毎に1枚の床版画像を取得する請求項11に記載の図面作成方法。
  13. 前記取得した前記床版の実寸サイズ情報を、前記第2の図面に付加するステップを含む請求項11又は12に記載の図面作成方法。
JP2016125536A 2016-06-24 2016-06-24 図面作成装置及び図面作成方法 Active JP6564738B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016125536A JP6564738B2 (ja) 2016-06-24 2016-06-24 図面作成装置及び図面作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016125536A JP6564738B2 (ja) 2016-06-24 2016-06-24 図面作成装置及び図面作成方法

Publications (2)

Publication Number Publication Date
JP2017228208A JP2017228208A (ja) 2017-12-28
JP6564738B2 true JP6564738B2 (ja) 2019-08-21

Family

ID=60892006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016125536A Active JP6564738B2 (ja) 2016-06-24 2016-06-24 図面作成装置及び図面作成方法

Country Status (1)

Country Link
JP (1) JP6564738B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113167037B (zh) * 2018-11-29 2023-04-25 富士胶片株式会社 构造物的修复施工方法选定***、修复施工方法选定方法及修复施工方法选定服务器
JP7245757B2 (ja) * 2019-09-24 2023-03-24 鹿島建設株式会社 建築物側面図作成システム及び建築物側面図作成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2684191B2 (ja) * 1988-07-11 1997-12-03 三井造船株式会社 コンクリート構造物の点検診断システム
JP4232064B2 (ja) * 1999-10-25 2009-03-04 株式会社ニコン 画像処理を用いたひび割れ評価装置
JP4790090B2 (ja) * 2010-02-19 2011-10-12 西日本旅客鉄道株式会社 構造物管理用図面作成装置、及びその処理プログラム
JP6467612B2 (ja) * 2014-11-21 2019-02-13 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム

Also Published As

Publication number Publication date
JP2017228208A (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
Sapirstein Accurate measurement with photogrammetry at large sites
US11189009B2 (en) Image processing apparatus and image processing method
JP6805351B2 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP6874096B2 (ja) 損傷図編集装置及びプログラム
JP2005215917A (ja) 施工図作成支援方法およびリプレースモデル作成方法
Altuntas et al. Image based methods for surveying heritage of masonry arch bridge with the example of Dokuzunhan in Konya, Turkey
JP6564738B2 (ja) 図面作成装置及び図面作成方法
WO2021014775A1 (ja) 画像表示装置、方法及びプログラム
JP5823340B2 (ja) 配筋記録システム、配筋記録方法
CN112415010A (zh) 一种成像检测方法及***
Murtiyoso et al. Technical considerations in Low-Cost heritage documentation
Bruno et al. Integrated processing of photogrammetric and laser scanning data for frescoes restoration
JP6823719B2 (ja) 画像合成方法、画像合成装置、及び記録媒体
JP4426254B2 (ja) 三次元モデル作成方法
JP7329951B2 (ja) 画像処理装置およびその制御方法
JP7184249B2 (ja) 避雷保護範囲生成システムおよびプログラム
US20220130030A1 (en) Information display apparatus, information display method, and information display program
JP2004021578A (ja) 画像処理方法
JP7326446B2 (ja) 画像表示装置、方法及びプログラム
JP6316240B2 (ja) 測定装置及び測定方法
CN115176281A (zh) 三维显示装置、方法及程序
Abu Hanipah et al. Development of the 3D dome model based on a terrestrial laser scanner
JP3441657B2 (ja) 画像点設定装置及びこの画像点設定装置を用いた写真測量方法
RU2226262C2 (ru) Способ обновления цифровой карты местности и устройство для осуществления этого способа
Jauregui et al. Bridge inspection using virtual reality and photogrammetry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190729

R150 Certificate of patent or registration of utility model

Ref document number: 6564738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250