JP2022045012A - Appearance inspection support system and appearance inspection support method - Google Patents
Appearance inspection support system and appearance inspection support method Download PDFInfo
- Publication number
- JP2022045012A JP2022045012A JP2020150468A JP2020150468A JP2022045012A JP 2022045012 A JP2022045012 A JP 2022045012A JP 2020150468 A JP2020150468 A JP 2020150468A JP 2020150468 A JP2020150468 A JP 2020150468A JP 2022045012 A JP2022045012 A JP 2022045012A
- Authority
- JP
- Japan
- Prior art keywords
- development
- visual inspection
- inspection support
- generation unit
- support system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000007689 inspection Methods 0.000 title abstract description 31
- 238000011161 development Methods 0.000 claims abstract description 136
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000011179 visual inspection Methods 0.000 claims description 59
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 12
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 17
- 239000002828 fuel tank Substances 0.000 description 101
- 238000013461 design Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000005856 abnormality Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004445 quantitative analysis Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、人体よりサイズの大きい人工物又は自然物の外観検査を支援するためのコンピュータを利用したシステム及び方法に関する。 The present invention relates to a computer-based system and method for assisting in visual inspection of an artificial or natural object larger than the human body.
例えば、巨大な貯蔵タンクが林立するタンクヤードでは、各タンクの塗装の劣化や腐食などの異常状態を人が外観観察（例えば、目視と携帯カメラによる写真撮影）をすることによって調べる。異常部分の面積がある程度よりも広い範囲である場合には、タンクには修繕が施される。 For example, in a tank yard where huge storage tanks stand, a person observes the appearance (for example, visual inspection and photography with a portable camera) to investigate abnormal conditions such as deterioration and corrosion of the paint on each tank. If the area of the anomaly is larger than a certain area, the tank will be repaired.
このような大型の対象物の検査では、人が対象物の周囲を歩きまわって異常を見つけて写真撮影する。そして、撮影された沢山の写真を用いて検査結果レポートを作成するなどの作業に要する労力と時間は相当に大きい。また、タンクの高い部分のように、人が近づいて観察することが難しい個所も少なくない。 In the inspection of such a large object, a person walks around the object to find an abnormality and take a picture. And, the labor and time required for the work such as creating an inspection result report using many photographs taken are considerably large. In addition, there are many places where it is difficult for people to approach and observe, such as the high part of the tank.
こうした問題の解決の一助として、無人航空機の利用がある。例えば特許文献１には、カメラを備える飛行装置により撮影された検査対象物の複数の画像に基づいて、検査対象物の３次元モデルを生成するシステムが開示されている。このシステムは、上記複数の画像に基づいて検査対象の異常を検出し、検出した異常の３次元座標系における位置を特定し、異常の位置に対応付けて画像を記憶し、上記３次元モデル上での任意の位置（座標）の指定を受け付け、指定された位置に対応する画像を特定して表示する。
The use of unmanned aerial vehicles is one of the ways to solve these problems. For example,
特許文献１に開示されたシステムによれば、検査物の複数の画像に基づいて生成される３次元モデル上に、検出した異常個所をマッピングする。これにより、異常個所に対応する写真画像を見ることができる。
According to the system disclosed in
しかしながら、対象物の修繕の要否又は費用見積もりなどを判断する場合には、対象物の異常部分が対象物のどの位置に存在し、その面積の値又はその割合がいくつであるかというような、異常部分の定量的な情報が特定されることが求められる。すなわち、その定量的情報がレポートなどの書面上に図面や文を用いて的確に表現されることが求められる。この目的のためには、ディスプレイ画面に表示された３次元モデル上で異常個所の写真画像が見れるだけでは不十分である。 However, when deciding whether or not repair of the object is necessary or cost estimation, the position of the abnormal part of the object is located in the object, and the value of the area or its ratio is such as. , Quantitative information on abnormal parts is required to be identified. That is, it is required that the quantitative information is accurately expressed on documents such as reports using drawings and sentences. For this purpose, it is not enough to see the photographic image of the abnormal part on the 3D model displayed on the display screen.
また、無人飛行体での写真撮影が制限される対象物が存在する。例えば、ある貯蔵タンクの隣に近接して別の貯蔵タンクが存在し、両タンクに挟まれた領域が無人飛行体の飛行には狭すぎる場合、その領域に面したタンク部分を無人飛行体で撮影することが難しい。あるいは、安全上の理由からその上空に無人飛行体を飛行させることが禁じられている対象物の場合、対象物の屋根をその真上から無人飛行体で撮影することができない。 In addition, there are objects for which photography with unmanned aircraft is restricted. For example, if there is another storage tank next to one storage tank and the area between the two tanks is too narrow for the flight of an unmanned aircraft, the tank part facing that area should be an unmanned aircraft. Difficult to shoot. Alternatively, in the case of an object for which it is prohibited to fly an unmanned aircraft over it for safety reasons, the roof of the object cannot be photographed by the unmanned aircraft from directly above it.
本発明は、上記の問題に鑑みてなされたものであり、その一つの目的は、現実の要求や制限に、より適応した対象物検査を支援できる外観検査支援システムを提供することである。 The present invention has been made in view of the above problems, and one object thereof is to provide a visual inspection support system capable of assisting an object inspection more adapted to actual demands and restrictions.
一実施形態にかかる外観検査支援システムは、対象物が表示される複数の画像を取得する画像取得部と、対象物の展開図を生成する展開図生成部と、画像に基づいて対象物の所定の状態が現れる展開図上の所定の領域を検出する状態検出部とを備え、展開図と所定の領域に関する情報の表示をユーザに提供する。 The visual inspection support system according to one embodiment has an image acquisition unit that acquires a plurality of images on which an object is displayed, a development drawing generation unit that generates a development view of the object, and a predetermined object based on the image. It is provided with a state detection unit for detecting a predetermined area on the developed view in which the state of the above appears, and provides the user with a display of information on the developed view and the predetermined area.
図１は、一実施形態にかかる外観検査支援システム１の概略図である。外観検査支援システム１は、「対象物」の一例としての燃料タンクの外観検査を支援する。なお、外観検査支援システム１は、燃料タンクの外観検査に限らず、橋梁、船舶又は岩壁等、他の種類の物体の外観検査の支援をしてもよい。すなわち、外観検査支援システム１は、例えば人体よりも大きい人工物又は自然物について、「所定の状態」の一例としての錆の発生の有無や程度、あるいは、損傷や変形や変質などの異常の有無や程度について、外観観察を通して検査する作業を支援する。
FIG. 1 is a schematic diagram of a visual
外観検査支援システム１は、例えば、「移動体」の一例としてのカメラ２４を有する無人航空機２（以下、ドローン２と示す場合がある）と「携帯可能な撮影装置」の一例としての、ユーザに携行される携帯カメラ３の少なくとも一方から取得された、燃料タンクが表示される複数の画像に基づいて、外観検査を支援する。外観検査支援システム１は、例えば、ユーザに使用されるユーザ端末４と双方向通信可能に接続され、ユーザ端末４を介して（または、ユーザ端末４を介さずに）、ドローン２と携帯カメラ３のいずれか一方又は双方から、対象物を撮影した複数の画像を取得して、取得した対象物の複数の画像を、その対象物に関連付けて外観検査支援システム１内に登録する。
The visual
なお、ドローン２は、空中を飛行する移動体だけに限らず、燃料タンクつまり対象物を撮影する機能を備えた他の種類の移動体であってもよい。他の種類の移動体は、例えば、固体表面上を走行する装置、液体面上を航行する装置又は液中を潜航する装置、さらには、人工衛星のように宇宙空間を飛翔するもの等であり得る。さらには、ドローン２に代えて、または、それと組み合わせて、対象物を撮影する機能をもつ有人の移動体や、対象物の近くに設置された固定カメラのように特定の場所や領域に配置された撮影装置等も、対象物の画像を得るために使用されてよい。以下では、ドローン２が空中を飛行するものであって、燃料タンクの発錆状況の外観検査に使用される場合を例にとり、説明する。
The
ドローン２は、燃料タンクの周囲又は上空を飛行することにより、燃料タンクの外観を撮影する。ドローン２は、例えば、飛行装置２１と、位置測定装置２２と、方位測定装置２３と、カメラ２４とを内蔵、搭載又は付属する。飛行装置２１は、ドローン２を飛行させ、かつその飛行を制御する。
The
位置測定装置２２は、ドローン２又はカメラ２４の３次元位置情報を測定する。３次元位置情報は、例えば、緯度、経度又は高度等の３次元地理座標である。位置測定装置２２には、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）又はＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）が用いられてもよい。なお、位置測定装置２２には、ＧＮＳＳ又はＲＴＫが用いられる装置に限られない。
The
方位測定装置は、カメラ２４の視線（光軸）又はドローン２の３次元方位を測定する。３次元方位は、例えば、ロール角、ピッチ角及びヨー角によって設定される。方位測定装置２３は、例えば、ジャイロセンサである。なお、方位測定装置２３は、ジャイロセンサに限られない。
The orientation measuring device measures the line of sight (optical axis) of the
カメラ２４は、燃料タンクの外観を撮影する。本実施例において、カメラ２４によって撮影される画像７（１），７（２）（図３参照）は、燃料タンクが表示される静止画を一例にあげて説明するが、撮影される画像７（１），７（２）は静止画に限らず動画でもよい。画像７（１），７（２）は、撮影される動画のうちの一つの静止画として設定されてもよい。以下、画像７（１），７（２）を特に区別しない場合には、画像７と示す場合がある。
The
携帯カメラ３は、手動で燃料タンクの外観を撮影するために使用される。携帯カメラ３は、例えば、写真撮影装置３１と、位置測定装置３２と、方位測定装置３３とを内蔵、搭載又は付属する。写真撮影装置３１は、燃料タンクの外観を撮影し、画像７を保存する。写真撮影装置３１は、例えば、レンズ又はシャッター等のカメラ部品ある。
The
位置測定装置３２は、携帯カメラ３の３次元位置を測定する。方位測定装置３３は、携帯カメラ３の視線（光軸）の３次元方位を測定する。３次元方位は、例えば、水平面上の方位角と垂直面上の方位角とを含む。
The
携帯カメラ３は、ドローン２に代えて、又は、ドローン２よる撮影の補助として使用されてよい。例えば、ドローン２の飛行が困難又は禁止される場所があり得る。そのような場所は、例えば、燃料タンクとそれに近接する建造物との間の狭い空間、又は、安全確保のためにドローン２の飛行が制限される領域等の場所である。そのような場所で携帯カメラ３を用いた撮影が行われ得る。また、ドローン２の飛行可能な場所からは物陰に隠れて撮影できない部分が燃料タンクにある場合、その部分の撮影に携帯カメラ３が用いられてよい。
The
すなわち、携帯カメラ３は、ドローン２が撮影可能な燃料タンクの外観の範囲とは異なる他の範囲を撮影することによって、外観検査するのに不足する画像７を補ってもよい。なお、ドローン２からの画像７のみで外観検査支援システム１が燃料タンクの発錆状態を説明するレポートを生成することができる場合には、携帯カメラ３は必ずしも使用されなくてもよい。携帯カメラ３のみで外観検査支援システム１が燃料タンクの発錆状態を説明するレポートを生成することができる場合には、ドローン２は必ずしも使用されなくてもよい。
That is, the
ユーザ端末４は、外観検査支援システム１のユーザ（燃料タンクなどの対象物の外観検査を行う者、対象物の写真撮影を行う者、外観検査の結果を受け取り利用する者、等）が使用する情報処理通信端末である。ユーザ端末４は、例えば、パーソナルコンピュータ、スマートフォン又はタブレット端末等である。なお、ユーザ端末４は、パーソナルコンピュータ、スマートフォン、タブレット端末に限られず、ドローン２又は携帯カメラ３と一体的に形成される装置でもよい。
The
ユーザ端末４は、ドローン２及び／又は携帯カメラ３から、燃料タンクの多数の画像を取得する。取得された各画像７には、画像それ自体のデータと、それぞれの画像７に対応する付属データとが含まれる。
The
各画像７の付属データには、例えば、その画像７についての外部標定要素と内部標定要素とが含まれる。外部標定要素のデータには、例えば、燃料タンクをドローン２又は携帯カメラ３が撮影した際における、ドローン２、カメラ２４又は携帯カメラ３の３次元位置を表したパラメータと、ドローン２、カメラ２４又は携帯カメラ３の３次元方位を表したパラメータ等が含まれる。
The attached data of each
内部標定要素には、例えば、カメラ２４又は携帯カメラ３の、焦点距離のパラメータ、及び／又はレンズ歪み係数などのパラメータ等が含まる。ユーザ端末４は、取得された多数の画像７を外観検査支援システム１へと送る。
The internal control element includes, for example, a parameter of the focal length of the
さらに、ユーザ端末４は、表示装置４１を備える。ユーザ端末４は、外観検査支援システム１に含まれる後述の複数の機能１１～１７を制御するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示装置４１に表示させる。
Further, the
外観検査支援システム１は、ユーザ端末４からの燃料タンクを撮影した多数の画像７に基づいて、燃料タンクの「所定の領域」の一例としての発錆個所を説明するレポートを生成する。外観検査支援システム１は、例えば、データベース１０と、画像取得部１１と、３次元モデル生成部１２と、設計図取得部１３と、展開図生成部１４と、状態検出部１５と、展開図編集部１６と、レポート生成部１７とを備える。なお、図中において、「部」を省略して示す場合がある。
The visual
外観検査支援システム１は、典型的には、図２に示すように、ストレージ（記憶部）６１、ＣＰＵ６２、メモリ６３及び通信部６４を含む。ストレージ６１には、ＣＰＵ６２に実行されることにより、例えば、データベース１０っと画像取得部１１と、３次元モデル生成部１２と、設計図取得部１３と、展開図生成部１４と、状態検出部１５と、展開図編集部１６と、レポート生成部１７としてＣＰＵ６２を動作させるコンピュータプログラムが記録される。
The visual
ＣＰＵ６２は、ストレージ６１からメモリ６３にロードされた上記コンピュータプログラムを実行することにより、ストレージ６１に格納された各種のデータを操作及び加工する。これにより、外観検査支援システム１は機能１０～１７を実現する。
The
データベース１０は、検査対象である１以上の燃料タンクのそれぞれについて、撮影された複数の画像７、並びに、後述される３次元モデル、設計図、単純化モデル、展開図、及びレポートなど、外観検査に利用される各種のデータを、ストレージ６に保存して管理する。データベース１０は、他の機能部１１～１７の各々に対して、各機能部が読み込みを要求するデータを提供し、また、各機能部からその機能が保存を要求するデータを受け取って保存する。
The
画像取得部１１は、ユーザ端末４から、ある燃料タンクを撮影した複数（通常は多数）の撮影画像を取得する。画像取得部１１は、取得されたその燃料タンクの画像を、その燃料タンクの識別情報に関連付けてデータベース１０に登録する。したがって、異なる燃料タンクの画像が、それぞれの燃料タンクに関連付けれてデータベースに１０に登録され得る。データベース１０に登録された各燃料タンクの多数の画像は、画像３次元モデル生成部１２、展開図生成部１４及びレポート生成部１７などの各種機能に供給され（読み込まれ）得る。
The
３次元モデル生成部１２は、ある燃料タンクの複数の撮影画像に基づいて、その燃料タンクの３次元モデル１２１（例えば、図３に示された三次元モデル１２１（１）あるいは図４に示された三次元モデル１２１（２）など）を生成する。３次元モデル生成部１２は、生成された燃料タンクの３次元モデル１２１を、その燃料タンクに関連付けてデータベース１０に登録する。登録された３次元モデル１２１は、展開図生成部１４及び／又は状態検出部１５等に供給され（読み込まれ）得る。
The three-dimensional
３次元モデル生成部１２は、燃料タンクの複数の画像７に基づいて、３次元モデル１２１の表面に色をつけてもよい。すなわち、３次元モデル生成部１２は、画像７を３次元モデル１２１に投影させることによって、３次元モデル１２１の表面に画像７に基づく燃料タンクの表面色と実質的に同じ色、これに似た色、又は少なくとも燃料タンクの検出したい発錆個所が肉眼で識別可能な色をつけてもよい。以下、このような色のつけられた３次元モデル１２１を色付きの３次元モデル１２１と呼ぶ場合がある。
The 3D
３次元モデル生成部１２は、燃料タンクを撮影した画像に基づいて３次元モデル１２１を生成することに限られない。３次元モデル生成部１２は、設計図取得部１３から取得した燃料タンクの設計図に基づいて３次元モデル１２１を生成してもよい。
The three-dimensional
設計図取得部１３は、燃料タンクの設計図をユーザ端末４から取得する。設計図取得部１３は、燃料タンクの設計図をその燃料タンクに関連付けてデータベース１０に登録する。データベース１０に登録された設計図は、３次元モデル生成部１２及び／又は展開図生成部１４に供給され得る。
The design
展開図生成部１４は、データベース１０に登録された燃料タンクの３次元モデル１２１に基づいて、その燃料タンクの３次元形状をそれに近い幾何学的形状に単純化した単純化モデル１２２（例えば、図３に示された単純化モデル１２２（１）、図４に示された単純化モデル１２２（２）、あるいは図５に示された単純化モデル１２２（３）等）を作成する。さらに展開図生成部１４は、その単純化モデル１２２の表面を展開した平面的な１以上の図から構成される展開図１４１（例えば、図３又は図４の展開図１４１（１）、あるいは図５の展開図１４１（２）等）を生成する。
Based on the three-
図３に示された例では、屋根が側壁上端から下方へ若干距離下がっている燃料タンクの３次元モデル１２１（１）に基づいて、単純な円筒形の単純化モデル１２２（１）が作成される。そして、その単純化モデル１２１（１）の側壁と屋根をそれぞれ平面図に展開することで、その燃料タンクの展開図１４１（１）が作成される。他方、図４の例では、多角錐形の屋根を持つ燃料タンクの３次元モデル１２１（２）に基づいて、図３の場合と同様の単純な円筒形の単純化モデル１２２（２）が作成される。そして、その単純化モデル１２２（２）から、図３の場合と同様の展開図１４１（１）が作成される。あるいは、図５の例では、多角錐形の屋根を持つ燃料タンクの３次元モデル１２１（２）に基づいて、円錐形の屋根を持つ単純化モデル１２２（３）が作成される。そして、その単純化モデル１２２（３）の側壁と屋根をそれぞれ平面図に展開することで、展開図１４１（２）が作成される。このように、展開図生成部１４は、異なる形状と構成をもつ単純化モデル１２２を生成して、それぞれの単純化モデル１２２からその展開図１４４を生成することができる。なお、図示の例に限られず、他の形状又は構造をもつ単純化モデルと展開図を生成してもよい。
In the example shown in FIG. 3, a simple cylindrical simplified model 122 (1) is created based on the three-dimensional model 121 (1) of the fuel tank whose roof is slightly lowered from the upper end of the side wall. To. Then, by unfolding the side wall and the roof of the simplified model 121 (1) in a plan view, a developed view 141 (1) of the fuel tank is created. On the other hand, in the example of FIG. 4, a simple cylindrical simplified model 122 (2) similar to the case of FIG. 3 is created based on the three-dimensional model 121 (2) of the fuel tank having a polygonal pyramid roof. Will be done. Then, from the simplified model 122 (2), the same development view 141 (1) as in the case of FIG. 3 is created. Alternatively, in the example of FIG. 5, a simplified model 122 (3) with a conical roof is created based on the three-dimensional model 121 (2) of a fuel tank with a polygonal pyramid roof. Then, by expanding the side wall and the roof of the simplified model 122 (3) into a plan view, the developed view 141 (2) is created. In this way, the development
展開図生成部１４は、燃料タンクの複数の画像７に基づいて、単純化モデル１２２に展開図１４１に色を付与し、その結果として、展開図１４１に色が付与される。すなわち、展開図生成部１４は、単純化モデル１２２の表面に複数の画像７の対応する画素の色を投影することで、単純化モデル１２２の表面に、燃料タンクと実質的に同じ色、又は、少なくとも燃料タンクの検出したい発錆個所が肉眼又は自動的な画像処理で識別可能な色を、付与する。このように色が付与された単純化モデル１２２を展開図１４１に変換することで、展開図１４１に上記の色が付与される。
The development
以下、展開図生成部１４によって色が付与された単純化モデル１２２と展開図１４１をそれぞれ、色付き単純化モデル１２２及び色付きの展開図１４１と呼ぶ場合がある。展開図生成部１４は、燃料タンクの色付き単純化モデル１２２と色付きの展開図１４１をその燃料タンクに関連付けてデータベース１０に登録する。データベース１０に登録された色付き単純化モデル１２２と色付きの展開図１４１は、状態検出部１５に供給され得る。
Hereinafter, the
なお、展開図生成部１４は、３次元モデル１２１に基づいて単純化モデル１２２と展開図１４１を生成することに限られない。展開図生成部１４は、設計図取得部１３から取得した設計図に基づいて単純化モデル１２２と展開図１４１を生成してもよいし、あるいは、ユーザの手動操作によって単純化モデル１２２と展開図１４１を作成してもよい。
The development
展開図生成部１４は、複数の画像７に基づいて単純化モデル１２２と展開図１４４に色を付与することに限られない。展開図生成部１４は、色付きの３次元モデル１２１に基づいて、単純化モデル１２２と展開図１４４に色を付与してもよい。
The development
状態検出部１５は、色付きの展開図１４１に基づいて、燃料タンクの特定状態の個所、例えば所定の異常個所、例えば発錆個所を検出する。すなわち、状態検出部１５は、展開図１４１の表面色から燃料タンクの発錆個所を検出し、その発錆個所を示すために、展開図１４１に「印」の一例としての錆マーク１５１（図６参照）を記す。
The
以下、発錆個所が示された展開図１４１を検出結果展開図１５２と示す場合がある。状態検出部１５は、燃料タンクの検出結果展開図１５２をその燃料タンクに関連付けてデータベース１０に登録する。登録された検出結果展開図１５２は展開図編集部１６へ供給され得る。
Hereinafter, the
なお、状態検出部１５は、色付きの展開図１４１に基づいて発錆個所などの特定状態個所を検出することだけに限られない。対象物の画像７に基づいて、又は、それらの画像７が投影された他のモデル、例えば３次元モデル１２１あるいは単純化モデル１２２に基づいて、同検出を行ってもよい。
The
展開図編集部１６は、いずれかのユーザ端末４から要求があれば、検出結果展開図１５２を、それをユーザが編集可能に構成されたＧＵＩ（グラフィカル・ユーザ・インタフェース）に組み込んだ上で、そのＧＵＩをそのユーザ端末４の表示装置４１へ表示させる。ユーザは、表示装置４１上のＧＵＩに表示される検出結果展開図１５２を編集することにより、検査結果レポートへの掲載に適したレポート用展開図１５３（図７参照）を作成することができる。
If there is a request from any of the
図６に例示されるように、検出結果展開図１５２は燃料タンクの異なる部分をそれぞれ表す複数の２次元図１４３、１４４から構成され得る。図６の例示では、一つの２次元図１４３は燃料タンクの側壁面を表し、別の２次元図１４４は燃料タンクの屋根面を表している。上述したＧＵＩを操作することで、ユーザは、検出結果展開図１５２を構成する複数の２次元図１４３、１４４の相対位置を編集可能である。例えば、図６に例示された検出結果展開図１５２の屋根面を表す２次元図１４４の位置を、図７に例示される位置へ移動させるなどの編集ができる。
As illustrated in FIG. 6, the detection
また、上述したＧＵＩを操作することによって、例えば、図７に例示された修正ツール８を操作することによって、ユーザは検出結果展開図１５２上で、状態検出部１５によって自動的に検出された錆マーク１５１を修正することができる。例えば、誤検出された錆マークを削除したり、検出漏れの発錆個所に新たな錆マークを追加したりすることができる。とくに錆は、雨水に溶けて発錆個所の下方の領域まで流れ落ちてその領域を錆色にしていることが多く、そのような領域（例えば、図７に示された錆マーク１５１の修正ツール８で囲まれた部分）も発錆個所として誤って自動検出されるおそれがある。そこで、人が肉眼で検出結果展開図１５２を観察して、自動検出結果を修正できることのメリットは大きい。
Further, by operating the GUI described above, for example, by operating the correction tool 8 illustrated in FIG. 7, the user can automatically detect rust on the detection
展開図編集部１６は、検出結果展開図１５２を編集することで作られたレポート用展開図１５３に基づいて、発錆個所の定量分析、例えば、燃料タンクの表面積に対する発錆個所の面積の割合の計算等、を行う。展開図編集部１６は、燃料タンクのレポート用展開図１５３と定量分析結果とを、その燃料タンクに関連づけてデータベース１０に登録する。登録されたレポート用展開図１５３と定量分析結果は、レポート生成部１７に供給され得る。
The development
レポート生成部１７は、展開図編集部１６によって生成されたレポート用展開図１５３と発錆個所の定量分析結果とに基づいて、外観検査結果を表すレポートを生成する。レポート生成部１７は、いずれかのユーザ端末４から供給されると、レポートをユーザが編集可能なように構成されたＧＵＩ上にそのレポートを組み込んだ上で、そのＧＵＩをそのユーザ端末４の表示装置４１に表示させる。レポートには、少なくとも、発錆個所の定量分析の結果と、レポート用展開図１５３とが自動的に掲載される。
The
レポートを編集できる上記ＧＵＩ上でユーザによりレポート用展開図１５３が編集された場合には、レポート生成部１７は、展開図編集部１６を呼び出してレポート用展開図１５３を再生成してもよい。レポート生成部１７は、再生成されるレポート用展開図１５３に基づいてレポートを再生成し、再生成されたレポートを表示装置４１に表示させてもよい。
When the report development diagram 153 is edited by the user on the GUI that can edit the report, the
レポート生成部１７は、ユーザ端末４からのユーザの要求に応じて、燃料タンクのユーザにより所望された部位の画像７を表示装置４１に表示させたり、その画像７をレポートに加えたりすることができる。すなわち、レポート生成部１７は、例えば、ＧＵＩ上に表示された発錆個所のうちのいずれかがユーザによって選択された場合には、ユーザによって選択された発錆個所の画像７をデータベース１０から取得して、そのＧＵＩ上に表示することができる。レポート生成部１７は、その表示された画像７をレポート中のユーザ所望の位置に加えることができる。
The
図８は、外観検査支援システム１が行う処理の全体的な流れ図である。
FIG. 8 is an overall flow chart of the processing performed by the visual
ステップＳ１で、画像取得部１１が、いずれかのユーザ端末４から、１以上の検査対象、例えば１以上の燃料タンク、を撮影した複数の画像を取得し、取得した各燃料タンクの複数の画像を、各燃料タンクに関連付けてデータベース１０に登録する。
In step S1, the
その後、ステップＳ２で、いずれかのユーザ端末４からの対象物選択要求を受けて、展開図生成部１４が、データベース１０にと登録された１以上の検査対象の中から、一つの検査対象、例えば一つの燃料タンクを選択する。その後、ステップＳ３で、展開図生成部１４が、選択された燃料タンクの展開図がデータベース１０内に既にあるかどうかを判断する。その判断の結果がYesであれば、制御はステップＳ５へ進み、Noであれば、制御はステップＳ４へ進む。
After that, in step S2, upon receiving the object selection request from any
ステップＳ４では、展開図生成部１４が、選択された燃料タンクの展開図を作成する。その際、３次元モデル生成部１２又は設計図取得部１３も、必要に応じて、展開図作成に関与する。ここで作成される展開図は、燃料タンクの画像の色が投影された色付き展開図であってよい。その後、制御はステップＳ５へ進む。
In step S4, the development
ステップＳ５では、状態検出部１５が、検査対象の燃料タンクの例えば色付き展開図から、異常個所、例えば発錆個所を検出する。その後、ステップＳ６で、状態検出部１５が、検出された異常個所、例えば発錆個所を、その燃料タンクの展開図に投影する（例えば、展開図の発錆個所に錆マークを付ける）。発錆箇所が投影された（錆マークのつけられた）展開図が前述の検出結果展開図である。
In step S5, the
ステップＳ５の異常個所検出は、ステップＳ４の展開図作成の前に行われてもよい。その場合、状態検出部１５は、燃料タンクの画像７に基づいて、又は、それらの画像７が投影された３次元モデル１２１に基づいて、異常個所の検出を行なうことができる。
The abnormal portion detection in step S5 may be performed before the development drawing of step S4 is created. In that case, the
その後、ステップＳ７で、展開図編集部１６が、いずれかのユーザ端末４からの要求に応じて、検出結果展開図をそのユーザ端末４に表示させてユーザに自動的な検査結果を確認させる。そして、そのユーザ端末４に入力されるユーザ操作に応じて、検出結果展開図の編集、及び必要があれば修正を行う。さらに、展開図編集部１６が、更なる修正の必要がなくなった検出結果展開図に基づいて、発錆個所の面積や面積比などの定量的な計算を行う。
After that, in step S7, the development
その後、ステップＳ８で、レポート生成部１６が、いずれかのユーザ端末４からの要求に応じて、その燃料タンクの検出結果展開図及び必要あれば特定個所の画像やその他の登録データを用いて、その燃料タンクの検査結果を表すレポートを作成する。
After that, in step S8, the
図９は、図３のステップＳ４の展開図作成の流れを示す。 FIG. 9 shows a flow of creating a development view in step S4 of FIG.
Ｓ１１で、ユーザがユーザ端末４から展開図生成部１４に対して作成方法を選択する。ステップＳ１２で、選択された作成方法が手動か自動かが判断され、前者であれば制御はステップＳ１３へ進む。
In S11, the user selects a creation method from the
ステップＳ１３では、ユーザがユーザ端末４から展開図生成部１４に対して、単純化モデルの諸元を指定する。その諸元には、例えば、形状種（例えば円筒、球、直方体、円錐、等）及び寸法（例えば高さ、半径、長さ、幅、等）等の単純化モデルの３次元形状を特定するための形状パラメータが含まれる。その後、ステップＳ１５で、指定された形状パラメータに基づいて単純化モデルが作成される。その後、ステップＳ１４で、展開図生成部１４が、指定された諸元に基づいて、燃料タンクの単純化モデルを作成する。
In step S13, the user specifies the specifications of the simplified model from the
上述のステップＳ１２で展開図の自動作成が選ばれた場合には、制御はステップＳ１５へと進み、そこで、３次元モデル生成部１２によって、検査対象の燃料タンクの多数の３次元点群が生成される。ここで、燃料タンクの３次元点群とは、その燃料タンクの多数の特徴点のそれぞれの３次元位置データを意味する。その後、ステップＳ１６で、上述の３次元点群をメッシュ状に繋ぐことによって、その燃料タンクの３次元モデル（３次元メッシュモデル）１２１（図３、図４、図５参照）が生成される。
If automatic development drawing is selected in step S12 above, control proceeds to step S15, where the
その後、ステップＳ１７で、その燃料タンクの単純化モデル１２２（図３、図４、図５参照）が生成される。
Then, in step S17, a
単純化モデル１２２の３次元形状は、それを２次元の展開図に展開することが可能なものであれば、特に限定はないが、ユーザにとって検査対象の実物と展開図との位置関係が把握しやすい構造の展開図（例えば、側面図と平面図とのセット、あるいは、正面図と右側面図と左側面図と背面図と平面図のセット、等）に展開され得るものが好ましい。例えば、単純化モデル１２２の形状は、燃料タンクの３次元形状の中から、検査目的に大きく影響しない細かい形状要素が簡略化又は省略された形状であってよい。また、単純化モデル１２２の形状は、例えば、円筒型、直方型、円錐型、多角錐型、球形又はそれらの組み合わせ等の幾何学的形状であってよい。
The three-dimensional shape of the
ステップＳ１４又はＳ１７で燃料タンクの単純化モデル１２２が生成された後、ステップＳ１８で、その燃料タンクの画像７に基づく色がその単純化モデル１２２に付けられる。その後、ステップＳ１９で、色付きの単純化モデル１２２が、２次元の展開図１４１（図３、図４、図５参照）に変換される。
After the fuel
ステップＳ１８で生成された展開図１４１には、その展開図１４１と検査対象との位置関係又は方向関係を示す補助情報が記されていてもよい。例えば、図３に例示された燃料タンクを円筒形に単純化した展開図１４１（１）には、燃料タンクの各方向を示す補助情報、例えば、０°（正面方向）、９０°（左側面方面）、１８０°（背面方向）及び２７０°（右側面方向）が付加されている。
The
図１０は、図９のステップＳ１５の３次元点群生成の流れを示す。 FIG. 10 shows the flow of three-dimensional point cloud generation in step S15 of FIG.
ステップＳ２１で、３次元モデル生成部１２が、データベース１０から燃料タンクの複数の画像７を読み込む。その後、ステップＳ２２で、３次元モデル生成部１２が、それらの画像７から、その燃料タンクの特徴点に相当する画素が多数抽出される。３次元モデル生成部１２は、燃料タンクの特徴的な形状、色又は模様をもつ部分の点を特徴点として抽出してよい。３次元モデル生成部１２は、例えば、燃料タンクに備えられる階段、凸部、凹部又は窓等の点を特徴点として抽出してもよい。
In step S21, the three-dimensional
その後、３次元モデル生成部１２は、燃料タンクの複数の画像７から外部標定要素と内部標定要素とを算出する（Ｓ２３）。３次元モデル生成部１２は、画像７から抽出された多数の特徴点相当の画素と、外部標定要素と内部標定要素とに基づいて、燃料タンクの多数の特徴点のそれぞれの３次元位置（つまり３次元点群）を算出する（Ｓ２４）。
After that, the three-dimensional
なお、３次元モデル１２１の生成方法は、上述した方法に限られない。３次元モデル生成部１２は、例えば、画像７から３次元モデル１２１を生成する方法を学習させたニューラルネットワークを用いることによって、３次元モデル１２１を生成してもよい。
The method of generating the three-
図１１は、図９のステップＳ１７の単純化モデル生成の流れを示す。 FIG. 11 shows the flow of generation of the simplified model in step S17 of FIG.
ステップＳ３１で、展開図生成部１４が、データベース１０内に、検査対象の燃料タンクの設計図面があるかどうかを判定する。その判定結果がＹｅｓならば、設計図取得部１３は、データベース１０からその燃料タンクの設計図面を読み込む（Ｓ３２）。その判定結果がＮｏならば、展開図生成部１４が、データベース１０からその燃料タンクの３次元モデルを読み込む（Ｓ３３）。
In step S31, the development
その後、展開図生成部１４は、その燃料タンクの設計図面又は３次元モデルに基づいて、単純化モデルの諸元、例えば、形状種や寸法を決定する（Ｓ３４）。なお、展開図生成部１４は、検査対象の形状又は種類等に応じて、単純化モデルの形状種を決定してもよい。また、展開図生成部１４は、予め設定されている異なる種類の諸元の中から、検査対象物に応じて、特定の諸元を選択してもよい。その後、展開図生成部１４は、決定された諸元に基づいて単純化モデルを生成する（Ｓ３５）。
After that, the development
図１２は、図９のステップＳ１８の単純化モデルの色付け処理の流れを示す。 FIG. 12 shows the flow of the coloring process of the simplified model of step S18 of FIG.
ステップＳ４１で、展開図生成部１４が、データベース１０から、検査対象の燃料タンクの複数の画像７を読み込むと共に、それらの画像７の外部評定要素と内部評定要素を取得する。その燃料タンクの３次元モデルがすでに作成されている場合には、各画像７の外部評定要素と内部評定要素は、図１０のステップＳ２３ですでに算出されてデータベース１０に登録されているから、それを読み込めばいい。他方、その画像７の外部評定要素と内部評定要素がまだ計算されていない場合には、図１０のステップＳ２１からＳ２３と同じ方法で、外部評定要素と内部評定要素を計算すればよい。
In step S41, the development
その後、ステップＳ４２で、展開図生成部１４が、それぞれの画像７の外部評定要素と内部評定要素に基づいて、単純化モデルの表面のすべての座標点を、それぞれの座標点が映っている１以上の画像７の画素に対応付ける。換言すれば、単純化モデルの各座標点がどの画像７のどの画素に写っているかを特定する。たいていの場合、各座標点は２枚以上の異なる画像７内の画素に写っているので、各座標点に対応する画素として２つ以上の画素が特定される。
Then, in step S42, the development
その後、ステップＳ４３で、展開図生成部１４が、単純化モデルの表面の各座標点について、ステップＳ４２で特定された２以上の対応画素の内から、その座標点をカメラの最も正面に近い位置で撮影した１つの対応画素を選択する。その座標点をカメラの正面に位置させて撮影した結果が、その座標点の色を最も正確に示していると判断されるからである。
After that, in step S43, the development
その後、ステップＳ４４で、展開図生成部１４が、ステップ４３で選択した対応画素の画素値を、単純化モデルのその座標点の色に設定する。ステップ４５で、単純化モデルの全ての座標点について、ステップＳ４３とＳ４４の処理を行うことで、単純化モデルの全ての座標点の入りを設定する。これにより、色付き単純化モデルが出来上がる。
After that, in step S44, the development
図１３は、図８のステップＳ５の異常検出の流れを示す。 FIG. 13 shows the flow of abnormality detection in step S5 of FIG.
ステップS５１で、ユーザがユーザ端末４を通じて状態検出部１５に対して、異常検出のための解析方法を選択する。選択された解析方法が機械学習である場合（Ｓ５２、Ｙｅｓ）には、制御はステップS５３進む、ステップS１５では、状態検出部１５が、予め用意された学習済み異常検出モデル（例えば、検査対象である燃料タンクの表面色に基づいて発錆個所などの異常を検出する方法を学習したニューラルネットワーク）を用いて、その燃料タンクの発錆個所などの異常個所を検出する。このとき、異常検出モデルには、例えば、色付きの展開図１４１又は色付きの単純化モデル１２２が入力され、そして、異常検出モデルは、色付きの展開図１４１又は色付きの単純化モデル１２２の表面から、発錆などの異常がある個所を検出する。
In step S51, the user selects an analysis method for abnormality detection for the
ステップＳ５２で、選択された解析方法が画像処理である場合（Ｓ５２、Ｎｏ）には、状態検出部１５は、色付き展開図１４１又は色付き単純化モデル１２２の色データを、必要に応じて、画像処理で異常個所を検出するのに適した所定の色空間の色データに変換する。例えば、元の色データがＲＧＢ系であるところ、これをＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｂｒｉｇｈｔｎｅｓｓ）系、又は、ＨＬＳ（Ｈｕｅ、Ｌｉｇｈｔｎｅｓｓ、Ｓａｔｕｒａｔｉｏｎ）系の色データに変換する（Ｓ５４）。
When the analysis method selected in step S52 is image processing (S52, No), the
その後、ステップＳ５５で、状態検出部１５は、発錆などの異常個所を識別するために予め用意された多次元の特徴空間上で、色付き展開図１４１又は色付き単純化モデル１２２の各位置の色データを評価することにより、発錆などの異常個所を検出する。
After that, in step S55, the
以上説明した一実施形態にかかる外観検査支援システム１は、展開図編集部１６及びレポート生成部１７を備えることによって、対象物の発錆個所等の所定状態個所の定量情報に基づいたレポートを表示装置４１に表示させることができる。これにより、外観検査支援システム１は、所定状態個所の定量情報をレポートに図面や文を用いて的確に表現することができる。その結果、外観検査支援システム１は、現実の要求により適合した対象物検査を支援することができる。
The visual
一実施形態にかかる外観検査支援システム１は、展開図編集部１６を備えることによって、ユーザがＧＵＩ上で展開図１２１を編集することができる。これにより、外観検査支援システム１は、よりユーザに視認性の高い説明用展開図１５３をレポートに載せることができる。
The visual
一実施形態にかかる外観検査支援システム１は、展開図編集部１６を備えることによって、錆マーク１５１等の自動検出結果をユーザが編集することができる。これにより、外観検査支援システム１は、より正確な検査結果をレポートに載せることができる。
The visual
一実施形態にかかる外観検査支援システム１は、レポート生成部１７を備えることによって、検査対象のユーザが所望する部位が表示される画像をＧＵＩ上に表示させることができる。これにより、外観検査支援システム１の利便性が向上する。
By providing the
一実施形態にかかる外観検査支援システム１は、画像取得部１１を備えることにより、ドローン２又は携帯カメラ３の少なくともいずれか一方から画像７を取得することができる。これにより、ドローン２では撮影できない検査対象の外観の範囲を携帯カメラ３の画像７で補完することができる。その結果、外観検査支援システム１は、現実の制限により適合した対象物検査を支援することができる。
The visual
一実施形態にかかる外観検査支援システム１は、燃料タンク以外の様々な種類の人工的な又は自然の検査対象物の外観検査に適用できる。
The visual
以上、本発明の一実施形態を説明したが、これは本発明の説明のための例示にすぎず、それとは異なる様々な態様で本発明を実施することができる。例えば、状態検出部１５は、色付きの展開図又は色付き単純化モデルに代えて、３次元モデル生成部１２からの色付きの３次元モデル１２１又は検査対象の画像７に基づいて、発錆箇所などの異常個所を検出してもよい。
Although one embodiment of the present invention has been described above, this is merely an example for explaining the present invention, and the present invention can be carried out in various aspects different from the above. For example, the
また、例えば、展開図生成部１４は、単純化モデル１２２に代えて、検査対象の設計図面に基づいて展開図１４１を生成してもよい。その場合、展開図生成部１４は、設計図面から作成した展開図の各座標点を、検査対象物の複数の画像７の中の１以上の画素に対応付け、その１以上の対応画素の画素値に基づいて各座標点の色を設定することにより、色付きの展開図を作成することができる。
Further, for example, the development
また、例えば、展開図生成部１４は、単純化モデル１２２に代えて、検査対象の設計図面に基づいて展開図１４１を生成してもよい。その場合、展開図生成部１４は、設計図面から作成した展開図の各座標点を、検査対象物の複数の画像７の中の１以上の画素に対応付け、その１以上の対応画素の画素値に基づいて各座標点の色を設定することにより、色付きの展開図を作成することができる。
Further, for example, the development
１・・・外観検査支援システム，１１・・・画像取得部，１２・・・３次元モデル生成部，１３・・・設計図取得部，１４・・・展開図生成部，１５・・・状態検出部，１６・・・展開図編集部，１７・・・レポート生成部，２・・・ドローン，２１・・・飛行装置，２２・・・位置測定装置，２３・・・方位測定装置，２４・・・カメラ，３・・・携帯カメラ，３１・・・写真撮影装置，３２・・・位置測定装置，３３・・・方位測定装置，４・・・ユーザ端末，４１・・・表示装置 1 ... Visual inspection support system, 11 ... Image acquisition unit, 12 ... 3D model generation unit, 13 ... Design drawing acquisition unit, 14 ... Development drawing generation unit, 15 ... State Detection unit, 16 ... development map editing unit, 17 ... report generation unit, 2 ... drone, 21 ... flight device, 22 ... position measurement device, 23 ... orientation measurement device, 24 ... camera, 3 ... portable camera, 31 ... photography device, 32 ... position measuring device, 33 ... orientation measuring device, 4 ... user terminal, 41 ... display device
Claims (12)
前記対象物の展開図を生成する展開図生成部と、
前記画像に基づいて前記対象物の所定の状態が現れる前記展開図上の所定の領域を検出する状態検出部と、
前記展開図と前記所定の領域に関する情報との表示を出力する手段と
を備える外観検査支援システム。 An image acquisition unit that acquires multiple images in which an object is displayed,
A development drawing generation unit that generates a development drawing of the object, and a development drawing generation unit.
A state detection unit that detects a predetermined area on the developed view in which a predetermined state of the object appears based on the image, and a state detection unit.
A visual inspection support system including means for outputting a display of the developed view and information about the predetermined area.
請求項１に記載の外観検査支援システム。 The visual inspection support system according to claim 1, further comprising a development view editing unit that adjustably displays the relative positions of a plurality of two-dimensional views constituting the development view.
請求項１又は請求項２に記載の外観検査支援システム。 The visual inspection support system according to claim 1 or 2, further comprising a report generation unit that generates a report explaining the predetermined area based on the development drawing.
前記レポート生成部は、前記定量情報に基づいて前記レポートを生成する
請求項３に記載の外観検査支援システム。 The state detection unit calculates quantitative information in the predetermined region and calculates the quantitative information.
The visual inspection support system according to claim 3, wherein the report generation unit generates the report based on the quantitative information.
前記展開図編集部は、前記印を追加又は削除可能に表示させる
請求項２に記載の外観検査支援システム。 The state detection unit marks the detection result of the predetermined area on the development view, and marks the detection result.
The visual inspection support system according to claim 2, wherein the development drawing editing unit displays the mark so that it can be added or deleted.
前記展開図生成部は、前記複数の画像と前記３次元モデルとに基づいて、前記画像が投影される色付きの展開図を生成し、
前記状態検出部は、前記色付きの展開図に基づいて、前記所定の領域を検出する
請求項１乃至５のいずれか１項に記載の外観検査支援システム。 Further, the visual inspection support system includes a three-dimensional model generation unit that generates a three-dimensional model of the object based on the plurality of images.
The development drawing generation unit generates a colored development drawing on which the image is projected based on the plurality of images and the three-dimensional model.
The visual inspection support system according to any one of claims 1 to 5, wherein the state detection unit detects a predetermined area based on the colored development drawing.
前記展開図生成部は、前記単純化モデルに基づいて、前記展開図を生成する
請求項６に記載の外観検査支援システム。 The three-dimensional model generation unit generates a simplified model that is a simplification of the three-dimensional model.
The visual inspection support system according to claim 6, wherein the development drawing generation unit generates the development drawing based on the simplified model.
請求項３又は請求項４に記載の外観検査支援システム。 The visual inspection support according to claim 3 or 4, wherein the report generation unit displays the report editably and adds the image in which a part of the developed view specified by the user is displayed to the report. system.
請求項１乃至８のいずれか１項に記載の外観検査支援システム。 The visual inspection support system according to any one of claims 1 to 8, wherein the image acquisition unit acquires the image taken by at least one of a mobile body provided with a camera or a portable photographing device.
請求項９に記載の外観検査支援システム。 The visual inspection support system according to claim 9, wherein the image acquisition unit acquires the image taken by the flight device of the moving object flying in the air.
請求項１乃至請求項１０のいずれか１項に記載の外観検査支援システム。 The visual inspection support system according to claim 1, wherein the predetermined state is at least one of rust and corrosion.
前記対象物の展開図を生成し、
前記画像に基づいて前記対象物の所定の状態が現れる前記展開図上の所定の領域を検出し、
前記展開図と前記所定の領域に関する情報とを表示させる
外観検査支援方法。 Get multiple images showing the object and
Generate a development view of the object
Based on the image, a predetermined region on the developed view in which a predetermined state of the object appears is detected.
A visual inspection support method for displaying the developed view and information about the predetermined area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020150468A JP2022045012A (en) | 2020-09-08 | 2020-09-08 | Appearance inspection support system and appearance inspection support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020150468A JP2022045012A (en) | 2020-09-08 | 2020-09-08 | Appearance inspection support system and appearance inspection support method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022045012A true JP2022045012A (en) | 2022-03-18 |
Family
ID=80682000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020150468A Pending JP2022045012A (en) | 2020-09-08 | 2020-09-08 | Appearance inspection support system and appearance inspection support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022045012A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117723547A (en) * | 2023-12-13 | 2024-03-19 | 江苏嘉耐高温材料股份有限公司 | Quality monitoring system and method for finished product preparation based on magnesia carbon bricks |
-
2020
- 2020-09-08 JP JP2020150468A patent/JP2022045012A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117723547A (en) * | 2023-12-13 | 2024-03-19 | 江苏嘉耐高温材料股份有限公司 | Quality monitoring system and method for finished product preparation based on magnesia carbon bricks |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3208774B1 (en) | Methods for localization using geotagged photographs and three-dimensional visualization | |
| JP5740884B2 (en) | AR navigation for repeated shooting and system, method and program for difference extraction | |
| CN112793564B (en) | Autonomous parking auxiliary system based on panoramic aerial view and deep learning | |
| US7986825B2 (en) | Model forming apparatus, model forming method, photographing apparatus and photographing method | |
| CN112184890B (en) | Accurate positioning method of camera applied to electronic map and processing terminal | |
| CN110142785A (en) | A kind of crusing robot visual servo method based on target detection | |
| JP6996925B2 (en) | Pile head analysis system, pile head analysis method, and pile head analysis program | |
| KR101871764B1 (en) | Industrial infrastructure management platform building system based on virtual reality | |
| Adams et al. | Unmanned aerial vehicle data acquisition for damage assessment in hurricane events | |
| JP2019070631A (en) | Deterioration diagnosis system using flight vehicle | |
| JP6877293B2 (en) | Location information recording method and equipment | |
| CN113870343A (en) | Relative pose calibration method and device, computer equipment and storage medium | |
| CN113137955B (en) | Unmanned aerial vehicle aerial survey virtual simulation method based on scene modeling and virtual photography | |
| JP2012137933A (en) | Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device | |
| EP3330928A1 (en) | Image generation device, image generation system, and image generation method | |
| JP4588369B2 (en) | Imaging apparatus and imaging method | |
| CN110796032A (en) | Video fence based on human body posture assessment and early warning method | |
| WO2019230604A1 (en) | Inspection system | |
| JP2011169658A (en) | Device and method for pinpointing photographed position | |
| WO2022025283A1 (en) | Measurement processing device, method, and program | |
| JP2022045012A (en) | Appearance inspection support system and appearance inspection support method | |
| CN117557931A (en) | Planning method for meter optimal inspection point based on three-dimensional scene | |
| JP6725736B1 (en) | Image specifying system and image specifying method | |
| CN115357052B (en) | Method and system for automatically exploring interest points in video picture by unmanned aerial vehicle | |
| Pratama et al. | An Overview of Generating VR Models for Disaster Zone Reconstruction Using Drone Footage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |