JP6911149B2 - スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP6911149B2 JP6911149B2 JP2019556812A JP2019556812A JP6911149B2 JP 6911149 B2 JP6911149 B2 JP 6911149B2 JP 2019556812 A JP2019556812 A JP 2019556812A JP 2019556812 A JP2019556812 A JP 2019556812A JP 6911149 B2 JP6911149 B2 JP 6911149B2
- Authority
- JP
- Japan
- Prior art keywords
- preset
- business device
- display
- detected
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 102
- 238000001514 detection method Methods 0.000 title claims description 82
- 239000003086 colorant Substances 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims 5
- 230000009466 transformation Effects 0.000 claims 2
- 238000002594 fluoroscopy Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 238000007796 conventional method Methods 0.000 description 10
- 230000002547 anomalous effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Image Analysis (AREA)
Description
本願は、2017年8月29日に提出された、中国特許出願第201710754580.7号で、名称が「スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体」である中国特許出願の優先権をパリ条約により主張し、当該出願の全体内容は参照の方式により本願に組み込まれる。
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する動作と、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する。
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することと、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む。
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するステップと、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するステップと、を実現する。
S1において、前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する。
S31において、前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラー、例えば、赤、緑、青の3種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである。
小サイズの長方形のエリアの幅L1を利用してL3=θ1L2=θ2L1により大サイズの長方形フレームの幅を算出することができ、L3′と記し、同様に、中サイズの長方形フレームの幅L2を利用して大サイズの長方形の幅を算出することができ、L3″と記し、本願において誤差を低減するために、好ましくは、式1に従ってこの2つの値の平均値を取って大サイズの長方形の幅とする。
L3=(L3′+L3″)/2…式1
次にスクリーンの長さと幅の比例関係L/W=ζに基づき大サイズの長方形の長さWを算出する。これにより大サイズの長方形のエリア範囲を取得することができ、大サイズの長方形のエリア範囲は画面の最大表示エリアである、即ち図6に示す最大サイズの長方形エリアの外輪郭曲線である。
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得し、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得し、
前記マスク画像の各境界線の延長線に基づき前記4つの境界線の交差点を取得し、前記4つの境界線の交差点及び前記4つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形フレームの範囲を決定し、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する。
P_enhanced=(I−q)m+q…式2
ここで、mは強調係数であり、実際の状況に応じて決定することができ、ここでフィルタは実際の状況に応じて選択することができ、ここにおいてガイデットフィルタを選択して画像Pに対してフィルタリング処理を行う。
ε=(enhanced満足度)/(enhanced最高満足度)…式3
α=(1/2)ln((1−ε)/ε)…式4
mTn=mTn−1e−α…式5
y=mx+b…式6
ここで、mは勾配であり、bはy切片であり、m及びbが決定されれば、直線は一意に決定される。ρ0は原点の当該直線との代数距離を表し、θ0は当該直線に直交する線のx軸との夾角を表すと、以下の式を有する。
m=−(1/tanθ0)…式7
b=ρ0/sinθ0…式8
よって、当該直線は次のように表すこともできる。
y=(−(cosθ0/sinθ0))x+(ρ0/sinθ0)…式9
より一般的な形式として以下のように書き換えることができる。
ρ=xcosθ+ysinθ…式10
なお、(ρ,θ)は極座標で表す形式として想到されやすいことである。(ρ,θ)を直角座標の形式で表す、即ちρ及びθに対して直交処理を行うと、(ρ,θ)はハフ空間と呼ばれる。
pk=rk/Nr…式11
特徴値がkを取る場合に、スポットとして判断されるが実際にスポットではない数量が実際にスポットではない数量を占める比率は以下のとおりである。
uk=(dr−rk)/(Nd−Nr)…式12
ここにおいて特徴値がkを取る場合の重み値係数を得る必要があり、以下のとおりに定義することができる。
wk=(pk/(1−pk))/(uk/(1−uk))…式13
上式を用いると、特徴値がkを取る場合に、スポットが正確に判断される確率を可能な限り高めるとともに、スポットとして判断されるが実際にスポットではない確率が低いほど、重み値wkが大きいようにすることができる。各特徴のパラメータwk値が最大の方をSimpleBlobDetectorアルゴリズムによる特徴点検出で決定すべきパラメータとして選択する。これによりこのパラメータの具体的な数値を人為的に判定する必要はない。
画像に対して分離を行い、図14が参照されるように、ここで定着されている従来の方法としてミーンシフト分離アルゴリズムを利用してクラックの分離を行う。次に、分離後の画像に対して次のとおりにクラックの認識を行う。分離後にいくつかの連通するエリアが確認され、ここで連通するエリアとはクラックの分離後に形成された画像エリアを指し、検出された連通するエリアの数量が1より大きい場合、画像にクラックがあると判断してもよく、クラックは網状であるかスクリーンを横切る1本のクラックである可能性がある。連通するエリアが1つのみである場合、図14が参照されるように、クラックのX軸に対する投影距離H、y軸に対する投影距離Rをそれぞれ取得する。H<閾値D且つR<閾値Dである場合、スクリーンにクラックがないことを示す。ここで、閾値Dは距離を表す値であり、H及びRがいずれも当該値より小さい場合に当該線はクラックではなく、ノイズ点であると見なすことができる。H及びRのいずれかが当該閾値より大きい場合にスクリーンに横方向又は縦方向のクラックが存在するが、ただし当該クラックはスクリーン全体にわたるものではないと判断でき、図14に示すのは横方向のクラックの1種の形態である。
第1の検出モジュール20は、前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するために用いられる。
第2の検出モジュール30は、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するために用いられる。
ステップS10において、前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する。
当該実施例においてロボットは無人業務エリア内に配置されてもよく、無人業務エリアの業務機器は1つ以上とすることができる。リアルタイムに、定時的に、アイドル状態である時又は検出コマンドを受信した時に、ロボットが無人業務エリアに移動するように制御し、無人業務エリア内の各業務機器のスクリーン表示状態に対する検出を開始することができる。ただし、ロボットが予め設定された時間内で業務を処理する必要がない場合、ロボットはアイドル状態であることを決定する。
ステップS301において、前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラー、例えば、赤、緑、青の3種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は、前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである。
小サイズの長方形のエリアの幅L1を利用してL3=θ1L2=θ2L1により大サイズの長方形フレームの幅を算出することができ、L3′と記し、同様に、中サイズの長方形フレームの幅L2を利用して大サイズの長方形の幅を算出することができ、L3″と記し、本願において誤差を低減するために、好ましくは、式1に従ってこの2つの値の平均値を取って大サイズの長方形の幅とする。
L3=(L3′+L3″)/2…式1
次にスクリーンの長さと幅の比例関係L/W=ζに基づき大サイズの長方形の長さWを算出する。これにより大サイズの長方形のエリア範囲を取得することができ、大サイズの長方形のエリア範囲は画面の最大表示エリアである、即ち図6に示す最大サイズの長方形エリアの外輪郭曲線である。
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得し、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得し、
前記マスク画像の各境界線の延長線に基づき前記4つの境界線の交差点を取得し、前記4つの境界線の交差点及び前記4つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形フレームの範囲を決定し、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する。
収集されたスクリーンの異常状態の画像は不均一な照明、スクリーンの表面の不規則な隙間及び機器等の影響を受け、収集された画像がノイズを有するため、これらのノイズを除去するとともに、スクリーンの異常状態の細部を保持し、クラックと背景のコントラストを可能な限り高めることにより、後続の分離と認識を容易にする必要がある。図9の前処理前及び図10の前処理図後の画像から分かるように、ノイズ除去−強調された画像の方はノイズ干渉が少なく、問題は明瞭に反映される。
グレースケール処理されたスクリーン画像を入力画像Pとし、同様にグレースケール処理されたスクリーン画像をガイド画像Iとし、ノイズフィルタでフィルタリングされた画像をqとして、式2を利用して入力画像Pを強調する。
P_enhanced=(I−q)m+q…式2
ここで、mは強調係数であり、実際の状況に応じて決定することができ、ここでフィルタは実際の状況に応じて選択することができ、ここにおいてガイデットフィルタを選択して画像Pに対してフィルタリング処理を行う。
ε=(enhanced満足度)/(enhanced最高満足度)…式3
α=(1/2)ln((1−ε)/ε)…式4
mTn=mTn−1e−α…式5
y=mx+b…式6
ここで、mは勾配であり、bはy切片であり、m及びbが決定されれば、直線は一意に決定される。ρ0は原点の当該直線との代数距離を表し、θ0は当該直線に直交する線のx軸との夾角を表すと、以下の式を有する。
m=−(1/tanθ0)…式7
b=ρ0/sinθ0…式8
よって、当該直線は次のように表すこともできる。
y=(−(cosθ0/sinθ0))x+(ρ0/sinθ0)…式9
より一般的な形式として以下のように書き換えることができる。
ρ=xcosθ+ysinθ…式10
なお、(ρ,θ)は極座標で表す形式として想到されやすいことである。(ρ,θ)を直角座標の形式で表す、即ちρ及びθに対して直交処理を行うと、(ρ,θ)はハフ空間と呼ばれる。
pk=rk/Nr…式11
特徴値がkを取る場合に、スポットとして判断されるが実際にスポットではない数量が実際にスポットではない数量を占める比率は以下のとおりである。
uk=(dr−rk)/(Nd−Nr)…式12
ここにおいて特徴値がkを取る場合の重み値係数を得る必要があり、以下のとおりに定義することができる。
wk=(pk/(1−pk))/(uk/(1−uk))…式13
上式を用いると、特徴値がkを取る場合に、スポットが正確に判断される確率を可能な限り高めるとともに、スポットとして判断されるが実際にスポットではない確率が低いほど、重み値wkが大きいようにすることができる。各特徴のパラメータwk値が最大の方をSimpleBlobDetectorアルゴリズムによる特徴点検出で決定すべきパラメータとして選択する。これによりこのパラメータの具体的な数値を人為的に判定する必要はない。
画像に対して分離を行い、図14が参照されるように、ここで定着されている従来の方法としてミーンシフト分離アルゴリズムを利用してクラックの分離を行う。次に、分離後の画像に対して次のとおりにクラックの認識を行う。分離後にいくつかの連通するエリアが確認され、ここで連通するエリアとはクラックの分離後に形成された画像エリアを指し、検出された連通するエリアの数量が1より大きい場合、画像にクラックがあると判断してもよく、クラックは網状であるかスクリーンを横切る1本のクラックである可能性がある。連通するエリアが1つのみである場合、図14が参照されるように、クラックのX軸に対する投影距離H、y軸に対する投影距離Rをそれぞれ取得する。H<閾値D且つR<閾値Dである場合、スクリーンにクラックがないことを示す。ここで、閾値Dは距離を表す値であり、H及びRがいずれも当該値より小さい場合に当該線はクラックではなく、ノイズ点であると見なすことができる。H及びRのいずれかが当該閾値より大きい場合にスクリーンに横方向又は縦方向のクラックが存在するが、ただし当該クラックはスクリーン全体にわたるものではないと判断でき、図14に示すのは横方向のクラックの1種の形態である。
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じているか否かを判断する動作と、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じていない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する。
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じている場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じているため処理を行う必要があることを指示する動作を実現する。
予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する動作、
又は、前記ロボットがランダムに移動し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御する動作を実現する。
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定されたグラフィックコードは予め設定された情報を含む動作と、前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていないことを決定する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていることを決定する動作とを実現する。
前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである動作と、単色表示の方式で1種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得する動作と、比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアである動作と、取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出する動作と、前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得する動作と、前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作とを実現する。
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得する動作と、前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得する動作と、前記マスク画像の各境界線の延長線に基づき前記4つの境界線の交差点を取得し、前記4つの境界線の交差点及び前記4つの境界線に基づき前記マスク画像の四辺形の位置を決定する動作と、前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する動作と、を実現する。
Claims (15)
- メモリと、プロセッサとを含むスクリーン状態自動検出ロボットであって、
前記メモリにスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが前記プロセッサによって実行される時、
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する動作と、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する
ことを特徴とするスクリーン状態自動検出ロボット。 - 前記プロセッサはさらに、前記スクリーン状態自動検出プログラムを実行することにより、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップの後に、さらに、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じる場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要があることを指示するステップを実現するために用いられる
ことを特徴とする請求項1に記載のスクリーン状態自動検出ロボット。 - ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することは、
予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
又は、前記ロボットがランダムに移動し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
ことを特徴とする請求項1に記載のスクリーン状態自動検出ロボット。 - 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定されたグラフィックコードは予め設定された情報を含むことと、
前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
ことを特徴とする請求項1に記載のスクリーン状態自動検出ロボット。 - 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することは、
前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
単色表示の方式で1種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して干渉防止処理を行うことにより低干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
取得した低干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
ことを特徴とする請求項1または2に記載のスクリーン状態自動検出ロボット。 - 比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して干渉防止処理を行うことにより低干渉画像を取得する前記ステップは、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得することと、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得することと、
前記マスク画像の各境界線の延長線に基づき前記4つの境界線の交差点を取得し、前記4つの境界線の交差点及び前記4つの境界線に基づき前記マスク画像の四辺形の位置を決定することと、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記低干渉画像を取得することとを含む
ことを特徴とする請求項5に記載のスクリーン状態自動検出ロボット。 - スクリーン状態自動検出方法であって、
ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することと、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
ことを特徴とするスクリーン状態自動検出方法。 - ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する前記ステップは、
予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
又は、前記ロボットがランダムに移動し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
ことを特徴とする請求項7に記載のスクリーン状態自動検出方法。 - 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定されたグラフィックコードは予め設定された情報を含むことと、
前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
ことを特徴とする請求項7に記載のスクリーン状態自動検出方法。 - 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
単色表示の方式で1種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して干渉防止処理を行うことにより低干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
取得した低干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
ことを特徴とする請求項7に記載のスクリーン状態自動検出方法。 - 比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して干渉防止処理を行うことにより低干渉画像を取得する前記ステップは、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得することと、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得することと、
前記マスク画像の各境界線の延長線に基づき前記4つの境界線の交差点を取得し、前記4つの境界線の交差点及び前記4つの境界線に基づき前記マスク画像の四辺形の位置を決定することと、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記低干渉画像を取得することとを含む
ことを特徴とする請求項10に記載のスクリーン状態自動検出方法。 - コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが1つ以上のプロセッサによって実行されることにより、
ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するステップと、
前記ロボットが1つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するステップと、を実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。 - ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する前記ステップは、
予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
又は、前記ロボットがランダムに移動し、1つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
ことを特徴とする請求項12に記載のコンピュータ読み取り可能な記憶媒体。 - 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定されたグラフィックコードは予め設定された情報を含むことと、
前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
ことを特徴とする請求項12に記載のコンピュータ読み取り可能な記憶媒体。 - 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの1つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
単色表示の方式で1種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して干渉防止処理を行うことにより低干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
取得した低干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
ことを特徴とする請求項12に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710754580.7A CN107688345B (zh) | 2017-08-29 | 2017-08-29 | 屏幕状态自动检测机器人、方法及计算机可读存储介质 |
CN201710754580.7 | 2017-08-29 | ||
PCT/CN2017/108740 WO2019041516A1 (zh) | 2017-08-29 | 2017-10-31 | 屏幕状态自动检测机器人、方法及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020517926A JP2020517926A (ja) | 2020-06-18 |
JP6911149B2 true JP6911149B2 (ja) | 2021-07-28 |
Family
ID=61155532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556812A Active JP6911149B2 (ja) | 2017-08-29 | 2017-10-31 | スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11361422B2 (ja) |
JP (1) | JP6911149B2 (ja) |
CN (1) | CN107688345B (ja) |
SG (1) | SG11202001417WA (ja) |
WO (1) | WO2019041516A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11210777B2 (en) * | 2016-04-28 | 2021-12-28 | Blancco Technology Group IP Oy | System and method for detection of mobile device fault conditions |
EP3449374B1 (en) | 2016-04-28 | 2024-05-29 | Yougetitback Limited | Systems and methods for detection of mobile device fault conditions |
US12013346B2 (en) | 2018-02-19 | 2024-06-18 | Blancco Technology Group IP Oy | System and method for detection of mobile device fault conditions |
CN110340882A (zh) * | 2018-04-08 | 2019-10-18 | 苏州宝时得电动工具有限公司 | 机器人避障方法、装置、计算机设备及存储介质 |
CN108921843B (zh) * | 2018-07-05 | 2022-08-12 | 深圳市路畅科技股份有限公司 | 一种检测车载导航仪性能的***及方法 |
EP4032017A1 (en) | 2019-09-16 | 2022-07-27 | Assurant, Inc. | System, method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status |
US11580627B2 (en) | 2020-01-06 | 2023-02-14 | Assurant, Inc. | Systems and methods for automatically grading pre-owned electronic devices |
CN111339298B (zh) * | 2020-02-25 | 2024-04-09 | 北京小米松果电子有限公司 | 一种分类预测方法、装置及存储介质 |
CN113221881B (zh) * | 2021-04-30 | 2022-03-22 | 浙大城市学院 | 一种多层级的智能手机屏幕缺陷检测方法 |
CN113709289A (zh) * | 2021-08-31 | 2021-11-26 | 展讯通信(上海)有限公司 | 终端测试的监控***及方法 |
CN114973612A (zh) * | 2022-03-28 | 2022-08-30 | 深圳市揽讯科技有限公司 | Led显示屏故障自动告警监控***及监控方法 |
CN117078672B (zh) * | 2023-10-13 | 2024-07-09 | 南京极景微半导体有限公司 | 基于计算机视觉的手机屏幕缺陷智能检测方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5600574A (en) * | 1994-05-13 | 1997-02-04 | Minnesota Mining And Manufacturing Company | Automated image quality control |
JP2001142512A (ja) * | 1999-11-16 | 2001-05-25 | Mitsubishi Electric Corp | ロボットの遠隔操作システム |
DE10137056C5 (de) * | 2001-07-28 | 2018-09-06 | Rieter Ingolstadt Gmbh | Verfahren zur Wartung einer Textilmaschine |
EP1678940A1 (en) * | 2003-10-21 | 2006-07-12 | Koninklijke Philips Electronics N.V. | Screen image authentication |
CN100531246C (zh) * | 2004-01-23 | 2009-08-19 | 日本诺贝尔株式会社 | 设备检查装置、基于其上的设备检查***以及蜂窝电话保持器 |
KR101166843B1 (ko) * | 2005-08-30 | 2012-07-19 | 엘지디스플레이 주식회사 | Lcd 검사 장비 및 lcd 검사 방법 |
JP4703480B2 (ja) * | 2006-05-17 | 2011-06-15 | 株式会社日立製作所 | 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム |
KR101546850B1 (ko) * | 2008-06-27 | 2015-08-24 | 삼성전자주식회사 | 디스플레이장치의 화질평가방법 및 화질평가장치 |
US20100053604A1 (en) * | 2008-08-31 | 2010-03-04 | Paul Rice | Broken screen detector |
CN101782456B (zh) * | 2009-01-19 | 2012-02-15 | 深圳市新超亮特种显示设备有限公司 | 一种远程检测显示器工作状态的方法及*** |
US8643662B2 (en) * | 2009-04-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Video entertainment picture quality adjustment |
FR3012425B1 (fr) * | 2013-10-24 | 2017-03-24 | European Aeronautic Defence & Space Co Eads France | Robot collaboratif d'inspection visuelle d'un aeronef |
CN103838674A (zh) * | 2014-03-21 | 2014-06-04 | 徐禄勇 | 基于数字图像的智能测试机器人及其使用方法 |
CN105336287B (zh) * | 2014-08-06 | 2019-08-06 | 珠海格力电器股份有限公司 | 显示屏的测试方法、装置和*** |
CN104318879A (zh) * | 2014-10-20 | 2015-01-28 | 京东方科技集团股份有限公司 | 显示装置、显示装置故障分析***和方法 |
US9955150B2 (en) * | 2015-09-24 | 2018-04-24 | Qualcomm Incorporated | Testing of display subsystems |
CN106406289A (zh) * | 2016-11-17 | 2017-02-15 | 北京中科汇联科技股份有限公司 | 一种机器人故障检修***及方法 |
CN106681333A (zh) * | 2017-03-02 | 2017-05-17 | 刘伟豪 | 一种提高变电站巡检机器人稳定性的方法及*** |
CN106960646A (zh) * | 2017-03-30 | 2017-07-18 | 上海与德科技有限公司 | 一种屏幕故障检测方法和装置 |
-
2017
- 2017-08-29 CN CN201710754580.7A patent/CN107688345B/zh active Active
- 2017-10-31 US US16/632,859 patent/US11361422B2/en active Active
- 2017-10-31 JP JP2019556812A patent/JP6911149B2/ja active Active
- 2017-10-31 WO PCT/CN2017/108740 patent/WO2019041516A1/zh active Application Filing
- 2017-10-31 SG SG11202001417WA patent/SG11202001417WA/en unknown
Also Published As
Publication number | Publication date |
---|---|
JP2020517926A (ja) | 2020-06-18 |
US11361422B2 (en) | 2022-06-14 |
WO2019041516A1 (zh) | 2019-03-07 |
SG11202001417WA (en) | 2020-03-30 |
CN107688345A (zh) | 2018-02-13 |
US20200167907A1 (en) | 2020-05-28 |
CN107688345B (zh) | 2019-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911149B2 (ja) | スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
US20150279037A1 (en) | System and Method of Video Wall Setup and Adjustment Using Automated Image Analysis | |
US9405182B2 (en) | Image processing device and image processing method | |
JP4616120B2 (ja) | 画像処理装置及び検査装置 | |
CN112581546B (zh) | 摄像头标定方法、装置、计算机设备和存储介质 | |
US9087253B2 (en) | Method and system for determining edge line in QR code binary image | |
KR101417696B1 (ko) | 패턴 측정 방법, 패턴 측정 장치 및 기록 매체 | |
CN110851299A (zh) | 自动化流程的异常排除方法、装置、设备及存储介质 | |
KR20190051463A (ko) | 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법 | |
US9286669B2 (en) | Image processing apparatus, image processing method and program | |
WO2007123238A1 (ja) | 不良原因設備特定システム | |
US9736468B2 (en) | Calibration method of an image capture system | |
CN111951210A (zh) | 数据的处理方法、装置及设备 | |
JP2018124441A (ja) | システム、情報処理装置、情報処理方法及びプログラム | |
US11544839B2 (en) | System, apparatus and method for facilitating inspection of a target object | |
US20240143122A1 (en) | Systems and Methods for Enhancing Image Content Captured by a Machine Vision Camera | |
CN111079059A (zh) | 页面检查方法、装置、设备及计算机可读存储介质 | |
US11727664B2 (en) | Systems and methods for determining an adaptive region of interest (ROI) for image metrics calculations | |
US11989874B2 (en) | Multi-tier PCBA integrity validation process | |
JP2016017757A (ja) | 情報登録装置及び情報継続登録装置並びに方法及びプログラム | |
GB2612902A (en) | Method of creating an optimized/adaptive ROI based on detection of barcode location in the FOV | |
WO2017000827A1 (zh) | 一种自动筛选图片的方法及装置 | |
KR20160036723A (ko) | 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치 | |
US9571738B2 (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6911149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |