JP7025317B2 - 測距装置を有する物体監視システム - Google Patents

測距装置を有する物体監視システム Download PDF

Info

Publication number
JP7025317B2
JP7025317B2 JP2018205753A JP2018205753A JP7025317B2 JP 7025317 B2 JP7025317 B2 JP 7025317B2 JP 2018205753 A JP2018205753 A JP 2018205753A JP 2018205753 A JP2018205753 A JP 2018205753A JP 7025317 B2 JP7025317 B2 JP 7025317B2
Authority
JP
Japan
Prior art keywords
monitoring
value
distance measurement
target space
shift amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018205753A
Other languages
English (en)
Other versions
JP2020071143A (ja
Inventor
稔 中村
淳 渡邉
祐輝 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2018205753A priority Critical patent/JP7025317B2/ja
Priority to US16/566,885 priority patent/US11454721B2/en
Priority to CN201911008057.5A priority patent/CN111198384B/zh
Priority to DE102019007414.9A priority patent/DE102019007414A1/de
Publication of JP2020071143A publication Critical patent/JP2020071143A/ja
Application granted granted Critical
Publication of JP7025317B2 publication Critical patent/JP7025317B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、測距装置を有する物体監視システムに関し、特にマルチパスの影響を考慮した物体監視システムに関する。
物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するTOF(time of flight)カメラが公知である。TOFカメラは、所定周期で強度変調した参照光を対象空間に照射し、参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値を出力する位相差方式を採用するものが多い。
斯かるTOFカメラは、参照光の経路長を位相差に基づき間接的に測定し測距するため、ある測距点に対し、他の物体を介して多重反射した参照光が強く影響する場合には、測距値が誤って大きくなる現象(所謂、マルチパス)が知られている。マルチパスの影響の抑制又は低減に関する技術としては、例えば下記の特許文献が公知である。
特許文献1には、少なくとも2つの照射領域毎に照射光量を調節可能に構成した光源部を備えた3次元測定装置が開示されている。3次元測定装置は、各照射領域a、b、cにおいて所定の基本光量を照射光量として設定した照射パターンAの露光量の総和と、各照射領域の中の少なくとも1つである照射領域bの照射光量が基本光量より小さい照射パターンBの露光量の総和とを差分し、差分を2倍することにより、照射パターンAに混入する不要反射光の露光成分を算出している。
特許文献2には、撮像センサの視野のうち任意の領域のみを照明する照明モジュール(ストライプ照明)を備えた飛行時間型カメラが開示されている。ピクセル領域ごとに互いに独立して照明及び測定を行う構成は、直接でない光路や多重反射を減らせると同時に、より直接的な光をピクセル領域が受光できるので、多重反射(マルチパス反射)に関して有利となる。
再公表特許2014/097539号 特表2015-513825号公報
TOFカメラを利用し、対象空間の中に定めた監視領域内に監視物体が存在するか否かを測距値に基づき判定する物体監視システムにおいて、監視領域近傍にマルチパスを引き起す外部物体が有る場合には、TOFカメラから出力される測距値が誤って大きくなることがある。この場合、特に監視領域の遠方位置においては、監視領域の中に監視物体が存在していても監視物体が無いと誤判定されてしまう。
一方、監視領域近傍に外部物体が有っても、外部物体の配置や外部物体の反射率に依存して、外部物体が監視領域内の物体測距に大きな影響を及ぼさないこともある。
そこで、マルチパスの影響を考慮してより正確な物体監視を行う技術が求められている。
本開示の一態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の測距値を出力する測距装置を備え、対象空間の中に定めた監視領域内に監視物体が存在するか否かを測距値に基づき物体監視システムであって、対象空間における監視領域外の外部物体の配置及び形状を外部物体の測距値に基づき求め、前記外部物体の反射率を一律の規定値と仮定し、求めた配置及び形状に従って外部物体に起因する測距値のシフト量を推定する手段と、推定したシフト量に基づき、判定手法を補正する手段と、を備える、物体監視システムを提供する。
本開示の他の態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の測距値及び光強度値を出力する測距装置を備え、対象空間の中に定めた監視領域内に監視物体が存在するか否かを前記測距値に基づき判定する物体監視システムであって、対象空間における監視領域外の外部物体の配置及び形状を外部物体の測距値に基づき求め、求めた配置、形状、及び光強度値に従って外部物体に起因する測距値のシフト量を推定する手段と、前記推定したシフト量に基づき、判定手法を補正する手段と、を備える、物体監視システムを提供する
本開示の一態様によれば、マルチパスの影響を考慮したより正確な物体監視を行うことが可能となる。
一実施形態における物体監視システムの構成を示すブロック図である。 物体監視システムの適用例を示す平面図である。 マルチパスを誘発し得る外部物体の一例を示す平面図である。 対象空間における外部物体の配置(ベクトルAi、ベクトルBi、及び法線ベクトルsi)に従って対象空間(点P)における測距値のシフト量を推定する原理を示す概念図である。 外部物体の反射率(ρ)に従って対象空間(点P)における測距値のシフト量を推定する原理を示す概念図である。 外部物体の反射率(ρ’)に従って対象空間(点P)における測距値のシフト量を推定する原理を示す概念図である。 測距値のシフト量の計算式を説明するための概念図である。 多重反射光の光強度値(Lf)及び往路遅延(Tf)の算出式を説明するための概念図である。 外部物体の微小面(Δsi)からの反射光成分の光強度値(ΔLi)及び往路遅延(ΔTi)の算出式を説明するための概念図である。 測距値のシフト量の簡易計算手法を示す概念図である。 測距装置の視線方向における監視領域の範囲を示す平面図である。 測距装置の視線方向における監視領域の範囲を表す範囲値テーブルを示す図である。 外部物体に起因する測距値のシフト量を示す等高線図である。 監視領域の補正を示す平面図である。 補正した監視領域の拡大図である。 物体監視システムの動作の一例を示す概略フローチャートである。 外部物体に起因する測距値の補正量を示す等高線図である。 監視領域に僅かに入った監視物体のマルチパスの影響を受けた測距点群を示す平面図である。 測距値の補正量(シフト量)を推定する監視物体の検出領域を示す図である。 監視物体の測距点群を補正する様子を示す拡大図である。 物体監視システムの動作の一例を示す概略フローチャートである。
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
図1は、一実施形態における物体監視システム1の構成を示すブロック図である。物体監視システム1は、測距装置10、コンピュータ装置20、及び信号出力部27を備え、監視領域内の物体有無を監視するよう構成されている。測距装置10、コンピュータ装置20、及び信号出力部27は、有線、無線などのネットワーク等を介して接続され、相互に通信可能に構成される。他の実施形態では、測距装置10、信号出力部27、及びコンピュータ装置20の少なくとも一部は、バス接続等で一体化されていてもよい。信号出力部27は、外部機器への1つ又は複数の信号出力機能を有し、また1つ又は複数の信号入力機能を有している場合もある。ネットワークの通信制御としては、例えばイーサネット(登録商標)、USB等の通信制御がある。
測距装置10は、例えばTOFカメラであり、対象空間に照射した参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値データ11を出力する。さらに、測距装置10は、対象空間から反射される参照光の光強度値データ12を出力する場合がある。
コンピュータ装置20は、CPU21、RAM22、ROM23、入出力部24、不揮発性メモリ25、及び表示部26を備えている。不揮発性メモリ25は、ユーザによって設定された監視領域の三次元情報を含む監視領域データ31を記憶している。CPU21は、RAM22をワークRAMとしてROM23に記憶された物体監視プログラム30を実行すると、監視領域データ31を不揮発性メモリ25から読出すと共に、入出力部24を介して測距値データ11、光強度値データ12等を測距装置10から読出す。CPU21は、監視領域内の物体有無を測距値データ11及び監視領域データ31に基づき判定し、監視領域内に監視物体が存在する場合には、信号出力部27に作用して物体検知信号を出力する。また、表示部26は、測距装置10からの測距値データ11又は光強度値データ12を画像として表示する。
さらに、本実施形態における物体監視システム1は、監視領域外の外部物体に起因する測距値のシフト量を推定し、推定したシフト量に基づき監視領域内の物体有無判定を補正する機能を有している。CPU21は、対象空間における外部物体の配置を外部物体の測距値データ11に基づき求め、求めた配置に従って外部物体に起因する測距値のシフト量データ32を算出する。また、必要に応じてCPU21は、外部物体の配置に加えて外部物体の光強度値データ12から測距値のシフト量データ32を算出する。測距値のシフト量データ32は、物体監視ログとして外部物体データ33と関連付けて不揮発性メモリ25に記憶されてもよい。
図2は、物体監視システム1の適用例を示す平面図である。本例では、作業台40に載置したワーク41を搬送するロボット42と作業者43との間の干渉を回避するため、監視領域44がユーザによって設定され、物体監視システム1は監視領域44内に作業者43が存在するか否かを測距装置10の測距値データ等に基づき判定する。本例における監視領域44は、安全柵45の開口部近傍に直方体形状として定められているが、測距装置10の対象空間46の中であれば任意の場所に任意の形状で設定できる。また、物体監視システム1が出力する物体検知信号は、一般には安全を配慮して監視領域44の監視によって作業者43から隔離されるロボット、工作機械等の危険源の動力を停止する信号として使用される。
図3は、マルチパスを誘発し得る外部物体47の一例を示す平面図である。外部物体47は、測距装置10の対象空間46の中にあり、且つ、監視領域44の外部に存在する物体として定義される。外部物体47は、壁、柱等の不動体でもよく、図3に示すような段ボール、椅子等の動体でもよい。従って、マルチパスを誘発し得る外部物体47は対象空間46の中に複数存在していることもある。
図3に示す外部物体47の影響により、作業者等の監視物体36の測距値はシフトする(大きくなる)。このため、特に監視領域44の遠方領域48において、実際の監視物体36’は監視領域44内に存在している場合であっても、マルチパスの影響を受けた監視物体36は監視領域44内に存在していないと誤判定されてしまう。この測距値のシフト量は、下記の原理に基づき推定できる。
図4は、対象空間における外部物体の配置(ベクトルAi、ベクトルBi、及び法線ベクトルsi(iは整数))に従って対象空間(点P(jは整数))における測距値のシフト量を推定する原理を示す概念図である。ベクトルAiは、測距装置10の光源から外部物体47の微小面Δsiを結ぶベクトルであり、ベクトルBiは、外部物体47の微小面Δsiから点Pjを結ぶベクトルである。図4では、概略的にA点-D点の4点の微小面を代表的に示しているが、実際には外部物体47の面全体から反射した光が点Pjを照らすことに留意されたい。また、法線ベクトルsiは、外部物体47の微小面Δsiに対して垂直なベクトルである。
測距装置10は光の飛行時間に基づき測距するため、点Pjにおける物体測距は、点Pjから直接反射してくる単反射光の距離遅延Tdだけでなく、外部物体47を介して点Pjから反射してくる多重反射光の往路遅延Tfの影響を受ける。従って、多重反射光の往路遅延Tfは、ベクトルAiの大きさ及びベクトルBiの大きさの和に依存する。また、点Pjにおける物体測距は、点Pjから直接反射してくる単反射光の光強度Loだけでなく、外部物体47を介して点Pjから反射してくる多重反射光の光強度値Lfの影響も受ける。外部物体47の微小面Δsiを考えた場合、微小面Δsiの法線ベクトルsiが測距装置10の方を向いている程、測距装置10の参照光は微小面Δsiに強く照射される。また、微小面Δsiの法線ベクトルsiが点Pjの方を向いている程、点Pjは強い影響を受ける。換言すれば、点Pjにおける物体測距は、対象空間における(即ち点Pjに対する)外部物体47の微小面Δsiの配置(ベクトルAi、ベクトルBi、及び法線ベクトルsi)に依存することとなる。従って、外部物体47に起因する測距値のシフト量は、対象空間における外部物体47の配置を外部物体47の測距値に基づき求め、求めた配置に従って推定することができる。
図5A及び図5Bは、外部物体の反射率(ρ及びρ’(ρ<ρ’))に従って対象空間(例えば点P)における測距値のシフト量を推定する原理を示す概念図である。図5Aには、黒色等の低反射率ρの外部物体47が示されており、図5Bには、白色等の高反射率ρ’の外部物体47が示されている。低反射率ρの外部物体47の場合、点Pjにおける物体測距は、外部物体47の影響を殆ど受けず、点Pjから直接反射してくる単反射光の光強度値Loのみに概ね依存する。しかし、高反射率ρ’の外部物体47の場合、点Pjにおける物体測距は、外部物体47を介して点Pjから反射してくる多重反射光の光強度値Lfにも依存することとなる。従って、外部物体47に起因する測距値のシフト量は、は、前述の配置に加えて、必要に応じて外部物体47の反射率(ρ及びρ’)に基づき推定する。これにより、測距値のシフト量の計算精度が向上する。なお、本願では詳細には触れないが、物体の反射率や配置関係によっては、物体間を複数回にわたって反射した参照光の影響が発生する場合もある。その影響は大きくないものの、これらまで加味して計算することで、更なる精度の向上が期待できる。以下では、斯かるシフト量の理論的な計算式又は簡易的な計算式を説明する。これら計算式は、コンピュータ装置20の計算性能等を顧みて、実機での検証に基づき係数等を補正して使用することに留意されたい。
図6は、測距値のシフト量の計算式を説明するための概念図である。図6のグラフは、測距装置で受光した光のパルス波を示している。グラフの縦軸は光強度を表し、横軸は時間を表す。参照光は、周期Tpで強度変調され、点Pjから直接反射してくる単反射光(i)は、パルス幅Tp/2、光強度値Lo、及び距離遅延Tdを有するものとする。この本来の単反射光に加え、外部物体を介して点Pjから反射してくる多重反射光(ii)は、外部物体の微小面Δsiで反射し、遅延した位相を持つ反射光成分の和で構成される。図7では、図5に示すA点-D点の4点の反射光成分の和を代表的に示している。実際には、単反射光(i)及び多重反射光(ii)を複合した歪んだ複合反射光(iv)を受光することとなる。
測距装置10は、歪んだ複合反射光(iv)を受光した場合、その測距原理から矩形状の等価光(vi)として測距を行うこととなる。多重反射光(ii)を、往路遅延Tf、光強度値Lf、時間幅Tp/2の矩形状の等価光(iii)として考えても、実際に受光する歪んだ複合反射光(iv)に対する等価光(iii)の影響は、(v)及び(vi)に示す通り、等価となる。このとき、陰影部a及び陰影部bの面積が等しいという関係から、陰影部aの時間幅をtとすると、下記式が得られる。
Figure 0007025317000001
さらに、式1を変形すると、下記式が得られる。
Figure 0007025317000002
ここで、陰影部aの時間幅tは、外部物体の影響を受けた複合反射光の等価光(vi)の距離遅延Td’と、外部物体の影響を受けていない単反射光(i)の距離遅延Tdとの差分に等しいため、下記式が得られる。
Figure 0007025317000003
前述の距離遅延同士の差分Td’-Tdは、往復路の距離遅延同士の差分であるため、下記式のように光速cを乗算して2で除算することにより、外部物体に起因する測距値の正味のシフト量Dsが推定される。従って、式3の右辺が求まれば、測距値のシフト量Dsを推定できることとなる。
Figure 0007025317000004
式3において、単反射光(i)の距離遅延Tdは、予め定めた点Pjの位置から求められる。また、単反射光(i)の光強度値Loは、予め定めた点Pjの位置と物体監視システム1で規定される監視物体の反射率から影響が最大となる反射率を想定して計算することが可能である。従って、式3における多重反射光の光強度値Lf及び往路遅延Tfを求めることにより、距離遅延同士の差分Td’-Td、ひいては測距値のシフト量Dsを求めることが可能となる。
図7は、多重反射光の光強度値Lf及び往路遅延Tfの算出式を説明するための概念図である。外部物体の微小面Δsiからの反射光成分は、パルス幅Tp/2、光強度ΔLi、及び往路遅延ΔTiを有するものとする。これら反射光成分を、パルス幅Tp/2、光強度Lf、往路遅延Tfの等価光として考えた場合、Lf、Tfは下記式の通りとなる。
Figure 0007025317000005
Figure 0007025317000006
ここで、式5、式6のΔLi、ΔTiについて検討する。図8は、外部物体47の微小面Δsiからの反射光成分の光強度値ΔLi及び往路遅延ΔTiの算出式を説明するための概念図である。外部物体47の微小面Δsiの面積をΔsi、各微小面Δsiの反射率をρi、ベクトルAiと法線ベクトルsiとの成す角をθi、ベクトルBiと法線ベクトルsiとの成す角をαiとする。微小面Δsiを介して点Pjから反射してくる反射光成分の光強度値ΔLiは、反射率ρiに応じて変化し、距離の二乗に反比例し、θi、αiの各々の余弦に応じて変化する。また、微小面Δsiを介して点Pjから反射してくる反射光成分の往路遅延ΔTiは、ベクトルAi及びベクトルBiの大きさと、光速cとから求められる。従って、ΔLi、ΔTiは、下記式から求められることとなる。ここで、kは比例係数である。
Figure 0007025317000007
Figure 0007025317000008
従って、式6におけるΔTi・ΔLiの関係式は、式7、式8から下記の通りとなる。
Figure 0007025317000009
ここで、法線ベクトルsiは、測距装置が出力した微小面Δsiの周辺の複数の距離情報を使用して推定することが可能である。従って、法線ベクトルsiが求まれば、ベクトルAiとの成す角θiも、ベクトルBiとの成す角αiも求められることとなる。
また、外部物体47の微小面Δsiは、測距装置が出力する測距値に基づき検出されるため、微小面Δsiの法線ベクトルsiは必ず測距装置側を向く。従って、0°≦θi≦90°となる。また、0°<αi<90°の範囲外となる外部物体47の微小面Δsiは、点Pjの方向を向いていない面であるため、測距値のシフト量Dsの計算から除外してもよい。
式7、式9を式5、式6に代入すると、多重反射光の光強度値Lf及び往路遅延Tfは、下記式から求められることとなる。
Figure 0007025317000010
Figure 0007025317000011
式10、式11におけるiは整数であるため、これら式は、多重反射光の光強度値Lf及び往路遅延Tfを離散的な値で計算したものといえる。さらに、式10、式11を下記式のように積分式として表現すると、Lf、Tfを連続的な値で計算したものとなる。即ち、下記の積分式は、外部物体47の反射面Sの全てを介して点Pjから反射してくる多重反射光の光強度値Lf、往路遅延Tfをより精密に計算したものといえる。換言すれば、測距値のシフト量Dsは、外部物体47の測距値から推定した形状に基づき算出されることとなる。なお、下記の積分式ではさらに、反射面Sの反射率を一定値ρsとしていることに留意されたい。また、下記式におけるcosθs、cosαs、ベクトルAs、及びベクトルBsは、反射面Sにおける任意の位置によって定まるものである。
Figure 0007025317000012
Figure 0007025317000013
また、前述した通り、外部物体47における光の反射がランバート反射であると仮定すると、反射面Sにおける反射率ρs、光強度値データLs、及び測距値データAs(即ち、ベクトルAsの大きさ)との間には、下記の関係式が成り立つこととなる。ここで、ksは比例係数である。
Figure 0007025317000014
従って、式14を変形すると、反射面Sの反射率ρsは、下記式に示す通り、反射面Sの代表点の光強度値データLi及び測距値データAiから求めることもできる。
Figure 0007025317000015
さらに、外部物体47の反射面Sが複数個、即ちm個(mは2以上の整数)有る場合には、式12、式13で求めた個々のLfj、Tfj(1≦j≦m)について、さらに下記式の計算を行い、複数の反射面Sに起因する測距値のシフト量Dsを推定することもできる。下記式を応用すれば、外部物体47が対象空間の中に複数存在している場合であっても測距値のシフト量を推定することも可能となる。なお、測距装置10からの参照光が複数の外部物体47を介して点Pから多重反射してくる場合の測距値のシフト量Dsについては、複数の外部物体の配置と、必要に応じて複数の外部物体の反射率とを考慮して推定することになることに留意されたい。
Figure 0007025317000016
Figure 0007025317000017
図9は、測距値のシフト量の簡易計算手法を示す概念図である。以下では、コンピュータ装置の計算性能等を顧みて、測距装置のイメージセンサ50の画素単位に注目した簡易計算手法を説明する。イメージセンサ50の各画素には、視線方向に伴う視野範囲が其々ある。従って、前述した微小面Δsiは、画素uiの視野範囲に存在する外部物体の一部の面に相当すると考えることができる。
各画素の視野範囲において、測距装置のレンズ51の中心から単位距離に位置し、且つ、イメージセンサ50に対して正対した平面の単位面積をs0とした場合、任意の画素uiの測距値Aiが示す位置にある外部物体47の一部の面の面積Δsiは、距離の二乗に比例し、法線ベクトルsiとの成す角θiの余弦に概ね反比例するため、下記の近似式から求めることができる。なお、kは比例係数である。
Figure 0007025317000018
従って、式18を式10、式11に代入し、新たな比例係数kpを使用すると、多重反射光の光強度値Lf、往路遅延Tfは、外部物体47を構成する各画素を単位として簡易化した下記式から求めることができる。
Figure 0007025317000019
Figure 0007025317000020
測距装置10が光強度値データを出力できない場合、又は、さらに計算式を簡易化する方法として、式19、式20において、反射率ρiを一定値とし、新たな比例係数kp1を使用すると、多重反射光の光強度値Lf、往路遅延Tfは、さらに簡易化した下記式から求めることもできる。
Figure 0007025317000021
Figure 0007025317000022
式21、式22は、測距装置が出力する各画素の測距値のみで点Pにおける測距値のシフト量Dsを計算する手法となる。なお、比例係数kp1は、実測に基づき実用を踏まえて定めていく。
また、前述した通り、外部物体47における光の反射がランバート反射であると仮定すると、各画素の光強度値Iiは、各画素が担当する外部物体47の一部の面の反射率を反映する。そこで、式15を式19、式20に代入し、新たな比例係数kp2を使用すると、下記式が得られる。
Figure 0007025317000023
Figure 0007025317000024
式23、式24は、式21、式22に対し、測距装置が出力する各画素の外部物体47の光強度値も用いて点Pjにおける測距値のシフト量Dsを計算する手法となる。これにより、外部物体の反射率による影響を加味できるため、測距値のシフト量Dsの計算精度が向上する。なお、比例係数kp2は、実測に基づき実用を踏まえて定めていく。また、法線ベクトルsiは、注目画素uiに隣接する複数の画素の測距値から求められる。さらに計算式を簡易化するため、cosαiを最大値の1としてもよい。
以下では、前述のように推定したシフト量Dsに基づき、監視領域内の物体有無判定を補正する2つの実施例について説明する。
図10は測距装置10の視線方向における監視領域44の範囲を示す図であり、図11は図10の監視領域44の範囲を表す範囲値テーブル52を示す図である。監視領域44内の監視物体36の有無を判定する手法の一つとして、ユーザが設定した監視領域44に対し、測距装置10のイメージセンサの各画素u(i,j)の視線方向における監視領域44の範囲を表す範囲値テーブル52を予め作成しておき、画素u(i,j)毎に測定された測距値が範囲値テーブル52の近位値Dnearと遠位値Dfarとの範囲内か否かを判定することによって、監視領域44の物体監視を行う手法がある。図10に示す例では、監視物体36の第1測距点群53が範囲値テーブル52の範囲外であるものの、監視物体36の第2測距点群54は範囲値テーブル52の範囲内であるため、監視領域内に監視物体36が存在すると判定される。なお、近位値Dnearは使用せず、遠位値Dfar以内で監視領域内に監視物体36が存在すると判定する物体監視システムもある。
<実施例1(監視領域の補正)>
図12は、外部物体47に起因する測距値のシフト量を示す等高線図である。理解を容易にするため、図12では、監視領域44及びその周辺領域についても測距値のシフト量の等高線が示されているが、本例における測距値のシフト量は、監視領域44の遠方側縁55についてのみ推定されることに留意されたい。なお、監視領域44の遠方側縁55とは、直方体形状の監視領域44であれば、監視領域44の背面、右側面、左側面、上面、及び下面として定義される。測距値のシフト量を監視領域44の遠方側縁55についてのみ推定することにより、コンピュータ装置の計算コストを抑制することができる。
図13は監視領域44の補正を示す平面図であり、図14は補正した監視領域44’の拡大図である。本例では、監視領域44の遠方側縁55についてのみ推定したシフト量分だけ監視領域44を補正(拡張)し、補正した監視領域44’を生成する。即ち、図11の範囲値テーブル52における遠位値Dfarを補正することとなる。図14に示す通り、監視領域44’における第1遠位値56は約25mm分拡張されており、第2遠位値57は約100mm分拡張されている。監視領域44の補正後は、補正した範囲値テーブル52に基づき、補正した監視領域44’内の物体有無判定を行う。これにより、マルチパスの影響を考慮した物体監視が可能となる。
図15は、本例における物体監視システムの動作を示す概略フローチャートである。ステップS10では、外部物体の測距値データを測距装置から取得する。ステップS11では、必要に応じて外部物体の光強度値データを測距装置から取得する。ステップS12では、対象空間における外部物体の配置(ベクトルAi、ベクトルBi、及び法線ベクトルsi)を外部物体の測距値に基づき求める。
ステップS13では、求めた配置と、必要に応じて外部物体の光強度値(L)とに基づき、監視領域の遠方側縁についてのみ測距値のシフト量(Ds)を推定する。ステップS14では、推定したシフト量に基づいて監視領域を補正する。ステップS15では、監視物体が補正した監視領域内か否かを判定する。監視物体が補正した監視領域内に無い場合には(ステップS15のNO)、補正した監視領域に基づき物体有無判定(ステップS15)を繰返す。監視物体が補正した監視領域内に有る場合には(ステップS15のYES)、ステップS16において物体検知信号を出力する。
<実施例2(監視物体の測距値の補正)>
図16は外部物体47に起因する測距値の補正量を示す等高線図であり、図17は監視領域に僅かに入った監視物体36’のマルチパスの影響を受けた測距点群58を示す平面図である。図16及び図17に示す補正量の等高線は、測距装置10が測距した測距値、即ち測距値が示す測距点(位置)を基準に、測距値の補正量(シフト量)の分布を表しており、図12及び図13に示したシフト量の等高線とは分布及び符号が異なることに留意されたい。このように、測距装置10が測距した測距値の補正量(シフト量)を推定し、測距値を補正した監視物体が監視領域内か否かを判定する。
理解を容易にするため、図16及び図17では、監視領域44及びその周辺領域についても測距値の補正量の等高線が示されているが、本例における測距値の補正量(シフト量)は、測距装置10の対象空間46において監視領域44に入る前の監視物体の測距点群58についてのみ推定される。例えば一つの手法として、本例における物体監視システムは、測距装置10の対象空間46において移動する物体を監視物体として補正量(シフト量)の推定を行うことができる。これにより、コンピュータ装置の計算コストを抑制することができる。
また別の手法として、本例における測距値の補正量(シフト量)は、監視物体の測距点群58のように監視領域44の周辺領域の測距点についてのみ推定してもよい。図18は、測距値の補正量(シフト量)を推定する監視物体の検出領域を示す図である。例えば監視物体は、図18に示すように監視領域を所定の拡張距離rで拡張した領域内で測距される物体として検出することができる。拡張距離rは、予め実機による検証等に基づいて求めた一定の距離でもよく、又は、本例における外部物体47により推定した等高線の最低値分の距離、即ち補正量の最大値としてもよい。これより、コンピュータ装置の計算コストを抑制することができる。
図19は、監視物体の測距点群58を補正する様子を示す拡大図である。測距点群58の各測距点(位置)と測距値の補正量を示す等高線図とを照合することで、又は、測距点群58から測距値の補正量(シフト量)を推定することで、測距点群58の各測距点の補正量が得られ、補正された測距点群61を得る。図19に示す例では、監視物体の第1測距値59が約50mm補正(低減)されており、第2測距値60が約60mm補正(低減)されている。監視物体の測距値を補正した後は、補正した測距値に基づき、監視領域44内の物体有無判定を行う。これにより、マルチパスの影響を考慮した物体監視が可能となる。
図19は、本例における物体監視システムの動作を示す概略フローチャートである。ステップS20では、外部物体の測距値データを測距装置から取得する。ステップS21では、必要に応じて外部物体の光強度値データを測距装置から取得する。ステップS22では、対象空間における外部物体の配置(ベクトルAi、ベクトルBi、及び法線ベクトルsi)を外部物体の測距値に基づき求める。
ステップS23では、求めた配置と、必要に応じて外部物体の光強度値(L)とに基づき、監視領域に入る前の監視物体についてのみ測距値の補正量(シフト量)を推定する。ステップS24では、推定した補正量(シフト量)に基づいて監視物体の測距値を補正する。ステップS25では、測距値を補正した監視物体が監視領域内か否かを判定する。測距値を補正した監視物体が監視領域内に無い場合には(ステップS25のNO)、監視物体の測距値の補正量(シフト量)の推定(ステップS23)に戻る。測距値を補正した監視物体が監視領域内に有る場合には(ステップS25のYES)、ステップS26において物体検知信号を出力する。
以上の実施形態によれば、マルチパスの影響を考慮してより正確な物体監視を行うことが可能となる。
前述したフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばCD-ROM等に記録して提供してもよい。
本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
1 物体監視システム
10 測距装置
11 測距値データ
12 光強度値データ
20 コンピュータ装置
21 CPU
22 RAM
23 ROM
24 入出力部
25 不揮発性メモリ
26 表示部
27 信号出力部
30 物体監視プログラム
31 監視領域データ
32 シフト量データ
33 外部物体データ
36 マルチパスの影響を受けた監視物体
36’ 実際の監視物体
40 作業台
41 ワーク
42 ロボット
43 作業者
44 監視領域
44’ 補正した監視領域
45 安全柵
46 対象空間
47 外部物体
48 監視領域の遠方位置
50 イメージセンサ
51 レンズ
52 範囲値テーブル
53 第1測距点群
54 第2測距点群
55 遠方側縁
56 第1遠位値
57 第2遠位値
58 測距点群
59 第1測距値
60 第2測距値
61 補正した測距点群

Claims (8)

  1. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の測距値を出力する測距装置を備え、前記対象空間の中に定めた監視領域内に監視物体が存在するか否かを前記測距値に基づき判定する物体監視システムであって、
    前記対象空間における前記監視領域外の外部物体の配置及び形状を前記外部物体の前記測距値に基づき求め、前記外部物体の反射率を一律の規定値と仮定し、求めた前記配置及び前記形状に従って前記外部物体に起因する前記測距値のシフト量を推定する手段と、
    前記推定したシフト量に基づき、前記判定手法を補正する手段と、
    を備えることを特徴とする物体監視システム。
  2. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の測距値及び光強度値を出力する測距装置を備え、前記対象空間の中に定めた監視領域内に監視物体が存在するか否かを前記測距値に基づき判定する物体監視システムであって、
    前記対象空間における前記監視領域外の外部物体の配置及び形状を前記外部物体の前記測距値に基づき求め、求めた前記配置、前記形状、及び前記光強度値に従って前記外部物体に起因する前記測距値のシフト量を推定する手段と、
    前記推定したシフト量に基づき、前記判定手法を補正する手段と、
    を備えることを特徴とする物体監視システム。
  3. 前記シフト量は、前記監視領域の遠方側縁についてのみ推定される、請求項1又は2に記載の物体監視システム。
  4. 前記判定手法の補正は、前記監視領域を補正することによって行われる、請求項1から3のいずれか一項に記載の物体監視システム。
  5. 前記判定は、前記測距装置の視線方向における前記監視領域の範囲を表す範囲値テーブルに基づき行われ、前記判定手法の補正は、前記範囲値テーブルを補正することによって行われる、請求項1から4のいずれか一項に記載の物体監視システム。
  6. 前記判定手法の補正は、前記監視物体の前記測距値を補正することによって行われる、請求項1又は2に記載の物体監視システム。
  7. 前記シフト量は、前記対象空間内で移動する前記監視物体についてのみ推定される、請求項1、2、又は6に記載の物体監視システム。
  8. 前記監視物体は、前記監視領域を所定の拡張距離で拡張した領域内の物体として検出される、請求項1、2、6、又は7に記載の物体監視システム。
JP2018205753A 2018-10-31 2018-10-31 測距装置を有する物体監視システム Active JP7025317B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018205753A JP7025317B2 (ja) 2018-10-31 2018-10-31 測距装置を有する物体監視システム
US16/566,885 US11454721B2 (en) 2018-10-31 2019-09-11 Object monitoring system including distance measuring device
CN201911008057.5A CN111198384B (zh) 2018-10-31 2019-10-22 具有测距装置的物体监视***
DE102019007414.9A DE102019007414A1 (de) 2018-10-31 2019-10-24 Gegenstandsüberwachungssystem mit distanzmesseinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205753A JP7025317B2 (ja) 2018-10-31 2018-10-31 測距装置を有する物体監視システム

Publications (2)

Publication Number Publication Date
JP2020071143A JP2020071143A (ja) 2020-05-07
JP7025317B2 true JP7025317B2 (ja) 2022-02-24

Family

ID=70327039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205753A Active JP7025317B2 (ja) 2018-10-31 2018-10-31 測距装置を有する物体監視システム

Country Status (4)

Country Link
US (1) US11454721B2 (ja)
JP (1) JP7025317B2 (ja)
CN (1) CN111198384B (ja)
DE (1) DE102019007414A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404983B2 (ja) 2020-04-10 2023-12-26 株式会社オートネットワーク技術研究所 給電制御装置
JP7446921B2 (ja) * 2020-05-29 2024-03-11 株式会社東芝 移動体、距離計測方法および距離計測プログラム
CN112327940B (zh) 2020-07-21 2023-01-13 追觅创新科技(苏州)有限公司 自动回充方法、装置、存储介质、充电基座及***
CN113820720B (zh) * 2021-11-22 2022-01-25 成都星宇融科电力电子股份有限公司 基于多参考基点的三维激光中心测距方法、***及终端
CN115600034B (zh) * 2022-12-12 2023-03-10 深圳酷源数联科技有限公司 一种目标图像检测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
CN110456369A (zh) 2019-07-30 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感***及其测距方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113623A (ja) * 1995-10-20 1997-05-02 Nikon Corp 光波測距装置
JPH09113624A (ja) * 1995-10-20 1997-05-02 Nikon Corp 光波測距装置
JP4006577B2 (ja) * 2002-03-13 2007-11-14 オムロン株式会社 監視装置
US7212160B2 (en) * 2004-02-17 2007-05-01 Polytechnic University Locating an object of interest using back tracked-rays derived from multipath signals
JP4727388B2 (ja) * 2005-10-28 2011-07-20 セコム株式会社 侵入検知装置
JP4782899B2 (ja) * 2009-07-22 2011-09-28 パナソニック株式会社 視差検出装置、測距装置及び視差検出方法
JP5740858B2 (ja) * 2010-07-12 2015-07-01 竹中電子工業株式会社 光位相差検出式の物体検知センサ
JP5812713B2 (ja) * 2011-06-20 2015-11-17 三菱電機株式会社 レーザ測距装置
JP6309459B2 (ja) 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーHeptagon Micro Optics Pte.Ltd. ストライプ照明の飛行時間型カメラ
WO2014097539A1 (ja) 2012-12-20 2014-06-26 パナソニック株式会社 3次元測定装置および3次元測定方法
WO2017138033A1 (en) * 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
JP6855938B2 (ja) * 2017-05-31 2021-04-07 富士通株式会社 距離測定装置、距離測定方法および距離測定プログラム
JP2019015706A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
CN110456369A (zh) 2019-07-30 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感***及其测距方法

Also Published As

Publication number Publication date
JP2020071143A (ja) 2020-05-07
CN111198384A (zh) 2020-05-26
CN111198384B (zh) 2024-04-05
US11454721B2 (en) 2022-09-27
DE102019007414A1 (de) 2020-04-30
US20200132846A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP7025317B2 (ja) 測距装置を有する物体監視システム
US10430956B2 (en) Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
Dorrington et al. Separating true range measurements from multi-path and scattering interference in commercial range cameras
US9182221B2 (en) Information processing apparatus and information processing method
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
EP3477251A1 (en) Optical ranging method and optical ranging apparatus
US9134117B2 (en) Distance measuring system and distance measuring method
RU2013135115A (ru) Ручной лазерный дальномер
JP2002202122A (ja) 2次元距離画像センサのキャリブレーション方法
CN111095914A (zh) 三维图像传感***以及相关电子装置以及飞时测距方法
EP3276576B1 (en) Disparity estimation by fusion of range data and stereo data
KR20200079743A (ko) 펄스 위상 이동을 이용한 3차원 거리측정 카메라의 비선형 거리 오차 보정 방법
US11846708B2 (en) Object monitoring system including distance measuring device
CN113822920A (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
KR101266394B1 (ko) 거리측정 센서의 입사각 영향에 따른 오차 보정방법
CN111819468B (zh) 三维图像传感***以及相关电子装置以及飞时测距方法
KR101805253B1 (ko) 물체 인식 장치 및 그를 이용한 물체 인식 방법
KR101559458B1 (ko) 물체 인식 장치 및 그를 이용한 물체 인식 방법
KR101883298B1 (ko) 항공 수심 라이다의 수심 보정 방법
Lim et al. A novel one-body dual laser profile based vibration compensation in 3D scanning
JP2023106904A (ja) 測定装置及び測定方法
Ozendi et al. An emprical point error model for TLS derived point clouds
Schönlieb et al. Coded modulation phase unwrapping for time-of-flight cameras
Hertzberg et al. Detailed modeling and calibration of a time-of-flight camera
WO2020172892A1 (zh) 一种雷达功率控制方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200714

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201217

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210525

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210608

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211130

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220111

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220210

R150 Certificate of patent or registration of utility model

Ref document number: 7025317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150