JP5940393B2 - 点検補助装置及び方法 - Google Patents
点検補助装置及び方法 Download PDFInfo
- Publication number
- JP5940393B2 JP5940393B2 JP2012148416A JP2012148416A JP5940393B2 JP 5940393 B2 JP5940393 B2 JP 5940393B2 JP 2012148416 A JP2012148416 A JP 2012148416A JP 2012148416 A JP2012148416 A JP 2012148416A JP 5940393 B2 JP5940393 B2 JP 5940393B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- unit
- partial area
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Description
なお、(B)に示すのは一例である。L1〜L4の移動順は任意であってよく、L1〜L4以外の任意位置から撮影してもよい。各面P1〜P4を個別に撮影しなくともよく、例えば場所L1のL2の中間付近の場所L5において正面P1と右側面P2の両方を一度に撮影してもよい。鉄塔T1は四角状でなく円状などであってもよい。連続走査の撮影は(1)や(2)に示すような直線状でなく、(A)に示すような部材構造を追いながらジグザク状であってもよく、向きも下部から上部の向き以外の任意の向き乃至順によって撮影してよい。
points、" International journal of Computer Vision、 Vol.60、 No.2、 pp. 91-110、 2004)を用いることができる。この場合、図5の(3)に示すように、SIFT特徴量による局所特徴量は128次元のベクトルとして出力される。
(A)キーポイントの検出
(a)キーポイント候補点の検出
(b)キーポイントのローカライズ
(B)特徴ベクトルの抽出
(c)オリエンテーションの算出
(d)特徴量の抽出
確認必要箇所等にユーザから入力されたマーカー(印)を付記表示して表示を制御する。図11では矩形でマーキングした例として、部分領域描画領域S10内にマーカーM10が示されている。
HFt=HFF-1HF-1F-2…Ht+2t+1Ht+1t
と求まる際にはutをHt+1tを求める際の局所特徴量の各点の座標とすればよく、F<tであってHFtが
HFt=HFF+1HF+1F+2…Ht-2t-1Ht-1t
と求まる際にはutをHt-1tを求める際の局所特徴量の各点の座標とすればよい。
Claims (16)
- 対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記主画像表示部において既に表示された部分領域に対応する領域を前記全景画像表示部に表示された全景画像上に視覚的に重畳表示する表示済み領域描画部、をさらに備えることを特徴とする点検補助装置。 - 対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記全景画像生成部は、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成部が、
各フレーム画像から局所特徴を抽出する局所特徴量抽出部と、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較部と、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定部と、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影部と、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせ部と、
を含み、
前記画像重ね合わせ部が、重ね合わせ後の全景画像の各画素について重ね合わせに際して利用した各フレーム画像の時刻インデックスを保持し、
前記制御部がさらに、前記主画像表示部に現在表示されている部分領域に対応する箇所から前記点検映像を再生する指定をユーザから受け付ける映像再生指定部を含み、
さらに、前記主画像表示部に現在表示されている部分領域に含まれる各画素に関する前記時刻インデックスに基づいて再生開始時刻を決定し、該再生開始時刻から前記点検映像の再生を開始する元点検映像再生部、を備えることを特徴とする点検補助装置。 - 対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記対象物には点検対象としての点検対象部品が配置され、
点検対象部品が撮影された複数のサンプル画像よりその特徴を学習する特徴学習部と、
前記全景画像より、前記特徴学習部における学習結果に基づいて点検対象部品の存在する領域を検出する部品検出部と、をさらに備え、
前記制御部が、
前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、
ユーザからの指定を受け付け、前記検出された領域を順次、前記表示位置制御部にて移動させる部分領域として設定する次部品位置指定部を含むことを特徴とする点検補助装置。 - 前記制御部が、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の縮尺を変更する表示縮尺制御部と、を含むことを特徴とする請求項1ないし3のいずれかに記載の点検補助装置。
- 前記制御部が、前記主画像表示部に表示された部分領域内においてユーザが要点検箇所として特定し、当該要点検箇所の情報をユーザより受け取ることで当該要点検箇所にマーカーを付与することによって、前記主画像表示部による表示を制御するマーキング部、を含むことを特徴とする請求項1ないし4のいずれかに記載の点検補助装置。
- 前記付与するマーカーの形状が矩形であることを特徴とする請求項5に記載の点検補助装置。
- 前記制御部が、前記マーカーを付与された箇所を含む部分領域又は前記付与されたマーカーを追記した全景画像を静止画として出力させる指定をユーザから受け付けるレポーティング部を含み、さらに、当該指定に従って当該静止画の符号化データを生成するレポート画像出力部、を備えることを特徴とする請求項5または6に記載の点検補助装置。
- 前記制御部が前記主画像表示部において表示する部分領域の前記全景画像内での位置を逐次的に自動で変えるための第一指定をユーザから受け付け、当該第一指定に従って前記主画像表示部による表示を制御する自動走査開始指定部と、当該第一指定に従って前記主画像表示部が部分領域の位置を逐次的に自動で変えて表示しているのを停止させるための第二指定をユーザから受け付け、当該第二指定に従って前記主画像表示部による表示を停止させる自動走査停止指定部と、を含むことを特徴とする請求項1ないし7のいずれかに記載の点検補助装置。
- 前記自動走査開始指定部による制御のもとで前記主画像表示部が表示する部分領域を映像として符号化する映像符号化部、をさらに備えることを特徴とする請求項8に記載の点検補助装置。
- 前記全景画像生成部は、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成部が、
各フレーム画像から局所特徴を抽出する局所特徴量抽出部と、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較部と、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定部と、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影部と、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせ部と、
を含むことを特徴とする請求項1ないし9のいずれかに記載の点検補助装置。 - 前記ホモグラフィ行列推定部は、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換する際の変換誤差の総和が最小となるように、前記基準フレーム画像を定めることを特徴とする請求項10に記載の点検補助装置。
- 前記対象物が建造物であることを特徴とする請求項1ないし11のいずれかに記載の点検補助装置。
- 対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記表示・制御ステップにおいて既に表示された部分領域に対応する領域を前記表示された全景画像上に視覚的に重畳表示する表示済み領域描画ステップ、をさらに備えることを特徴とする点検補助方法。 - 対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記全景画像生成ステップでは、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成ステップが、
各フレーム画像から局所特徴を抽出する局所特徴量抽出ステップと、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較ステップと、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定ステップと、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影ステップと、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせステップと、
を含み、
前記画像重ね合わせステップでは、重ね合わせ後の全景画像の各画素について重ね合わせに際して利用した各フレーム画像の時刻インデックスを保持し、
前記表示・制御ステップがさらに、現在表示されている部分領域に対応する箇所から前記点検映像を再生する指定をユーザから受け付ける映像再生指定ステップを含み、
さらに、前記現在表示されている部分領域に含まれる各画素に関する前記時刻インデックスに基づいて再生開始時刻を決定し、該再生開始時刻から前記点検映像の再生を開始する元点検映像再生ステップ、を備えることを特徴とする点検補助方法。 - 対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記対象物には点検対象としての点検対象部品が配置され、
点検対象部品が撮影された複数のサンプル画像よりその特徴を学習する特徴学習ステップと、
前記全景画像より、前記特徴学習ステップにおける学習結果に基づいて点検対象部品の存在する領域を検出する部品検出ステップと、をさらに備え、
前記表示・制御ステップが、
前記表示する部分領域の前記全景画像内での位置を移動させる表示位置制御ステップと、
ユーザからの指定を受け付け、前記検出された領域を順次、前記表示位置制御ステップにて移動させる部分領域として設定する次部品位置指定ステップと、を含むことを特徴とする点検補助方法。 - 前記対象物が建造物であることを特徴とする請求項13ないし15のいずれかに記載の点検補助方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012148416A JP5940393B2 (ja) | 2012-07-02 | 2012-07-02 | 点検補助装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012148416A JP5940393B2 (ja) | 2012-07-02 | 2012-07-02 | 点検補助装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014011720A JP2014011720A (ja) | 2014-01-20 |
JP5940393B2 true JP5940393B2 (ja) | 2016-06-29 |
Family
ID=50108015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012148416A Active JP5940393B2 (ja) | 2012-07-02 | 2012-07-02 | 点検補助装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5940393B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6512391B2 (ja) * | 2014-04-01 | 2019-05-15 | 日本電気株式会社 | 目視監視端末、目視監視方法、及びプログラム |
JP2016005263A (ja) * | 2014-06-19 | 2016-01-12 | Kddi株式会社 | 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法 |
WO2017155005A1 (en) * | 2016-03-09 | 2017-09-14 | Ricoh Company, Ltd. | Image processing method, display device, and inspection system |
JP6835536B2 (ja) * | 2016-03-09 | 2021-02-24 | 株式会社リコー | 画像処理方法、表示装置および点検システム |
JP7091734B2 (ja) * | 2018-03-14 | 2022-06-28 | 株式会社リコー | 入力装置、診断システム、入力方法、及びプログラム |
US10872467B2 (en) * | 2018-06-06 | 2020-12-22 | Ke.Com (Beijing) Technology Co., Ltd. | Method for data collection and model generation of house |
CN113052753B (zh) * | 2019-12-26 | 2024-06-07 | 百度在线网络技术(北京)有限公司 | 全景拓扑结构的生成方法、装置、设备及可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05322778A (ja) * | 1992-05-19 | 1993-12-07 | Ohbayashi Corp | 建造物のリモートセンシング方法 |
JPH11132961A (ja) * | 1997-10-29 | 1999-05-21 | Nikon Corp | 構造物用検査装置 |
JP2001148842A (ja) * | 1998-06-16 | 2001-05-29 | Gold Hakko Gijutsu Kenkyusho:Kk | 構築物無人監視装置 |
JP4146938B2 (ja) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
JP3824454B2 (ja) * | 1999-08-10 | 2006-09-20 | セコム株式会社 | 画像監視システム |
JP4054941B2 (ja) * | 2000-08-10 | 2008-03-05 | セイコーエプソン株式会社 | 印刷イメージ表示装置、印刷イメージ表示方法および印刷イメージ表示処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
-
2012
- 2012-07-02 JP JP2012148416A patent/JP5940393B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014011720A (ja) | 2014-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5940393B2 (ja) | 点検補助装置及び方法 | |
US11263807B2 (en) | Method for the automatic material classification and texture simulation for 3D models | |
US8681257B2 (en) | Image processing apparatus, control method, and storage medium for editing layout positions of image data | |
US8064656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
JP6032812B2 (ja) | 検査補助装置 | |
US20170024920A1 (en) | Method and Related Apparatus for Capturing and Processing Image Data | |
JP5577793B2 (ja) | 画像処理装置および方法、並びにプログラム | |
EP2112817A1 (en) | Composition analysis method, image device having composition analysis function, composition analysis program, and computer-readable recording medium | |
US8861892B2 (en) | Method and apparatus for determining projection area of image | |
JP5854951B2 (ja) | パノラマ画像生成装置 | |
JP5751630B2 (ja) | 検査補助装置及び方法 | |
JP2007067847A (ja) | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 | |
KR20100103776A (ko) | 화상 처리 장치, 동화상 재생 장치, 이것들에 있어서의 처리 방법 및 프로그램 | |
JP5803058B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US20130208984A1 (en) | Content scene determination device | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
WO2007129591A1 (ja) | 遮蔽物映像識別装置及び方法 | |
KR20150127015A (ko) | 파노라마의 생성 방법 | |
CN112444205B (zh) | 检测设备和检测方法 | |
JP4960442B2 (ja) | アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム | |
JP2013257643A (ja) | 画像処理システム及びプログラム | |
JP6118295B2 (ja) | マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム | |
JP2008090570A (ja) | 情報処理装置及び情報処理方法 | |
JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2016129281A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160518 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5940393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |