JPWO2013183738A1 - 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム - Google Patents

情報処理装置、情報処理方法、プログラムおよび監視カメラシステム Download PDF

Info

Publication number
JPWO2013183738A1
JPWO2013183738A1 JP2014520061A JP2014520061A JPWO2013183738A1 JP WO2013183738 A1 JPWO2013183738 A1 JP WO2013183738A1 JP 2014520061 A JP2014520061 A JP 2014520061A JP 2014520061 A JP2014520061 A JP 2014520061A JP WO2013183738 A1 JPWO2013183738 A1 JP WO2013183738A1
Authority
JP
Japan
Prior art keywords
map
conversion
person
camera
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014520061A
Other languages
English (en)
Other versions
JP6206405B2 (ja
Inventor
向井　仁志
仁志 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014520061A priority Critical patent/JP6206405B2/ja
Publication of JPWO2013183738A1 publication Critical patent/JPWO2013183738A1/ja
Application granted granted Critical
Publication of JP6206405B2 publication Critical patent/JP6206405B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

カメラで捉えられた対象物の存在位置を地図上に表示するシステムにおいて、ユーザの手間を軽減し、使い勝手の向上を図る。カメラ画像上の対象物の位置を、変換式を用いて地図上の位置に変換する。変換結果に基づいて、地図上に対象物の存在位置を表示する。ユーザの指定により、地図上における対象物の存在可能領域を設定する。所定時間内の各時刻における変換結果と、設定された対象物の存在可能領域に基づいて、対象物の地図上における軌跡が存在可能領域の内部に収まるように、変換式のパラメータを決定する。

Description

本技術は、情報処理装置、情報処理方法、プログラムおよび監視カメラシステムに関し、特に、カメラで捉えられた対象物の存在位置を地図上に表示するための処理を行う情報処理装置等に関する。
従来、監視カメラで捉えられた人物（対象物）の存在位置をパーソナルコンピュータ（ＰＣ）のモニタに表示された地図上に示す監視カメラシステムが提案されている。このシステムは、監視カメラの撮像画像を監視する警備員（Security Stuff）の状況把握の補助を目的としたものであり、監視カメラの撮像画像に存在する人物が地図上でどこにいるかを一目で把握できる。
このシステムでは、カメラ画像上の人物の位置を地図上の位置に変換する必要がある。この変換のために、カメラ画像上の位置を地図上の位置に変換する変換式（算出式）が使用される。この変換式を使用するためには、変換式のパラメータ（カメラパラメータ）を事前に求める必要がある。例えば、特許文献１には、カメラ画像上の点とそれに対応する地図上の点の情報を、ユーザが手動で入力し、その情報に基づいて、変換式のパラメータを算出することが提案されている。
特開２０１０−１９３１７０号公報
特許文献１に記載の手法では、監視カメラ毎に、ユーザが手動で対応関係を入力しなくてはならず、手間がかかるという問題があった。
本技術の目的は、ユーザの手間を軽減し、使い勝手の向上を図ることにある。
本技術の概念は、
カメラ画像上の対象物の位置を、変換式を用いて地図上の位置に変換する変換部と、
上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示部と、
上記地図上における上記対象物の存在可能領域を設定する領域設定部と、
所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定部とを備える
情報処理装置にある。
本技術においては、変換部により、カメラ画像上の対象物、例えば人物の位置が、変換式を用いて地図上の位置に変換される。表示部により、変換結果に基づいて、地図上に、対象物の存在位置が表示される。この場合、例えば、地図上の対象物の存在位置に、この対象物を示すアイコンが表示される。
領域設定部により、地図上における対象物の存在可能領域が、設定される。この設定は、例えば、ユーザによる地図上で対象物が存在し得る領域の指定に基づいて行われる。パラメータ決定部により、変換式のパラメータが決定される。すなわち、変換式のパラメータは、所定時間内の各時刻における変換結果と、設定された対象物の存在可能領域に基づいて、対象物の地図上における軌跡が存在可能領域の内部に収まるように決定される。
この場合、例えば、パラメータ決定部は、複数の対象物が存在するとき、対象物毎に地図上における軌跡を求めて使用する、ようにされる。また、この場合、例えば、対象物は人物であり、カメラ画像から人物を抽出し、この人物の位置を得る人物抽出部をさらに備える、ようにされる。また、この場合、例えば、ユーザ入力値および固定値に基づいて変換式のパラメータの初期値を設定する初期値設定部をさらに備える、ようにされる。
このように本技術においては、対象物の地図上における軌跡がユーザ指定に係る存在可能領域の内部に収まるように変換式のパラメータが決定されるものである。そのため、ユーザに対する少ない負担で変換式のパラメータを決定できる。従って、ユーザの手間を軽減し、使い勝手の向上を図ることができる。
なお、本技術において、例えば、パラメータ決定部は、一定時間毎に、直前の一定時間の変換結果と、設定された対象物の存在可能領域に基づいて、変換式のパラメータを決定する、ようにされてもよい。この場合、一定時間毎に、変換式のパラメータを、より最適となるように更新でき、何等かの要因による経時変化にも対処可能となる。
また、本技術において、例えば、パラメータ決定部は、対象物の地図上における軌跡が、設定された対象物の存在可能領域の境界からより遠い位置となるように、変換式のパラメータを決定する、ようにされてもよい。これにより、変換式のパラメータをより最適となるように決定できる。
また、本技術において、例えば、パラメータ決定部は、対象物の地図上での移動速度が一定となるように、変換式のパラメータを決定する、ようにされてもよい。これにより、変換式のパラメータをより最適となるように決定できる。
本技術によれば、ユーザの手間を軽減し、使い勝手の向上を図ることができる。
実施の形態としての監視カメラシステムの構成例を示すブロック図である。 変換式に含まれるパラメータ（カメラパラメータ）を説明するための図である。 地図上での人物の存在可能領域をユーザが事前に指定することを説明するための図である。 各時刻のカメラ画像から人物を検出し、その検出位置を逐次記録することを説明するための図である。 パラメータが正しい場合、変換された軌跡が全て人物の存在可能領域の内部に収まることを示す図である。 パラメータが正しくない場合、変換された軌跡の一部が人物の存在可能領域からはみ出すことを示す図である。 監視カメラシステムを構成する監視カメラおよびコンピュータの機能ブロック図である。 監視カメラシステムを構成するコンピュータの動作の一例を示すフローチャートである。 人物の位置がその人物の足元の位置を指すことを説明するための図である。 地図上における人物位置の表示例を示す図である。 カメラパラメータの更新処理の手順を示すフローチャートである。 軌跡Ｐi の人物の存在可能領域に対する収まり度合いを評価する関数を説明するための図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［監視カメラシステムの構成例］
図１は、実施の形態としての監視カメラシステム１０の一例を示している。この監視カメラシステム１０は、監視カメラ１１と、この監視カメラ１１の撮像画像を処理する情報処理装置としてのパーソナルコンピュータ（ＰＣ）１２と、モニタ１３を、備えている。
この監視カメラシステム１０は、監視カメラ１１に映った人物２１が存在する位置を、モニタ１３に表示される地図上に示すシステムである。この監視カメラシステム１０は、監視カメラ１１の撮像画像を監視する警備員（Security Stuff）２２の状況把握の補助を目的としたものであり、監視カメラ１１に映っている人物２１が地図上でどこにいるのかを人目で把握可能とするものである。
ここで、地図とは、例えば、監視カメラ１１が設置されている空間を上方から見た図を意味する。この実施の形態において、この地図は、図示のように、監視カメラ１１が設置されている建物のフロアの見取り図である。この地図上には、監視カメラ１１の設置位置に対応してカメラアイコン（camera icon）が表示されると共に、人物２１の存在位置に対応して人物アイコン（human icon）が表示される。
パーソナルコンピュータ（以下、単に、「コンピュータ」という）１２は、監視カメラ１１に映った人物２１のカメラ画像上での位置から、その人物２１の地図上での位置を算出する。以下の数式（１）および数式（２）は、人物２１のカメラ画像上での位置（ｘ，ｙ）から、地図上での位置（ｕ，ｖ）を算出する式である。
ｕ，ｖは、それぞれ、カメラの焦点の３次元位置（Ｘ，Ｙ，Ｚ）、カメラの３次元向き（θ，φ，η）、焦点距離 ｆ 、カメラ画像の１画素あたりの長さｓ[mm/pixel]、幅と高さ（Ｗ，Ｈ）、そして、カメラ画像上での人物の位置（ｘ，ｙ）の関数になっている（図２参照）。以下の数式（３）は、関数形の具体的な例を示している。しかし、この例は一例であって、これに限定されるものではない。
この関数の（Ｗ，Ｈ）は既知の量で、（Ｘ，Ｙ，Ｚ，θ，φ，η，ｆ，ｓ）はカメラの設置状態によって決まる変数である。この８個の変数は変換式のパラメータであり、以後、「カメラパラメータ」と呼ぶ。すなわち、監視カメラ１１に映った人物２１のカメラ画像上での位置（ｘ，ｙ）からその人物の地図上での位置（ｕ，ｖ）を算出するため、パーソナルコンピュータ１２は、このカメラパラメータを、一定時間毎に、決定する処理を実行する。
本技術のポイントは、地図上での人物２１の存在可能領域を、ユーザに事前に指定してもらう点にある。すなわち、例えば、図３（ａ）に示すようなオフィスの見取り図を地図とした場合、図３（ｂ）に示すように、カメラから見える範囲であって、かつ人の存在しうる領域、この例では、廊下（corridor）の領域を、ユーザに予め指定してもらう。図３（ｂ）の中で、ハッチングが施された領域がそれである。この例では、各部屋の内部はカメラからは見えないので当該領域には該当しない。ユーザはドローツールなどを利用して領域を指定する。
一方で、図４に示すように、各時刻のカメラ画像から人物２１を検出し、その検出位置を逐次記録することで、過去にカメラに映った人物のカメラ画像上での軌跡を取得することができる。本技術は、人物の存在可能領域の情報と過去の人の軌跡の情報からカメラパラメータを求める。
人物のカメラ画像上での軌跡を、カメラパラメータを用いて地図上での軌跡に変換すると、用いたパラメータが正しければ、図５に示すように、変換された軌跡は全て人物の存在可能領域の内部に収まるはずである。もし正しくなければ、図６に示すように、変換された軌跡の一部は人物の存在可能領域からはみ出した結果となる。本技術においては、この人物の存在可能領域への収まり度合やはみ出し度合を定量化し評価関数とすることで、カメラパラメータを求める。
図７は、図１に示す監視カメラシステム１０を構成する監視カメラ１１およびコンピュータ１２の機能ブロック図を示している。監視カメラ１１は、撮像部１１１と、画像データ送信部１１２を有している。撮像部１１１は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどで構成されており、撮像画像を得る。画像データ送信部１１２は、撮像画像（カメラ画像）を、無線あるいは有線により、情報処理装置としてのコンピュータ１２に送信する。
コンピュータ１２は、画像データ受信部１２１と、人物位置抽出部１２２と、ＩＤ割り当て部１２３と、人物位置記録部１２４と、軌跡情報保持部１２５と、地図上位置算出部１２６と、カメラパラメータ保持部１２７と、カメラパラメータ更新部１２８を有している。これらの各部は、カメラ毎に存在する部分である。
また、コンピュータ１２は、地図上位置表示部１３１と、存在可能領域情報入力部１３２と、存在可能領域情報保持部１３３を有している。これらの各部は、各カメラで共通の部分である。
画像データ受信部１２１は、監視カメラ１１から送られてくる撮像画像（カメラ画像）を受信する。人物位置抽出部１２２は、カメラ画像に映っている人物の画像上の位置（ｘ，ｙ）を抽出する。ＩＤ割り当て部１２３は、抽出した人物位置に、人物毎のＩＤ（通し番号）を割り当てる。人物位置記録部１２４は、ＩＤが割り当てられた人物位置の情報を軌跡情報保持部１２５に記録する。ここで、同じＩＤを持つ人物位置の情報をまとめて「軌跡」と呼ぶ。
カメラパラメータ更新部１２８は、一定時間毎に、軌跡情報保持部１２５に保持されている各軌跡と、人物２１の存在可能領域の情報に基づいて、カメラパラメータを求めて、更新する。カメラパラメータ保持部１２７は、一定時間毎に更新されたカメラパラメータを、保持する。地図上位置算出部１２６は、保持されている変換式のパラメータを使用して、抽出された人物位置（ｘ，ｙ）から、地図上の位置（ｕ，ｖ）を算出する。
地図上位置表示部１３１は、モニタ１３の画面に表示されている地図の、算出された地図上位置（ｕ，ｖ）に、人物２１の存在を示す。例えば、この地図上位置（ｕ，ｖ）に、人物２１を示すアイコンを表示する。存在領域情報入力部１３２は、ユーザが地図上に人物２１が存在し得る領域を指定するための入力部である。このユーザ指定に基づいて、人物２１の存在可能領域が設定され、存在可能領域情報保持部１３３はその情報を保持する。
図１に示す監視カメラシステム１０を構成するコンピュータ１２の動作を、図８のフローチャートに沿って、説明する。なお、ステップＳＴ５からステップＳＴ１２までの処理は、カメラ毎に並列処理が行われる。
まず、コンピュータ１２は、ステップＳＴ１において、動作を開始する。次に、コンピュータ１２は、ステップＳＴ２において、監視カメラ１１が設置されているエリアの地図（上から見た見取り図）の画像データを用意し、モニタ１３の画面上に表示する。次に、コンピュータ１２は、ステップＳＴ３において、地図上で監視カメラから見える範囲であって、かつ、人物の存在し得る領域（存在可能領域）を設定する。コンピュータ１２は、この設定を、ユーザの領域指定入力に基づいて行う。
次に、コンピュータ１２は、ステップＳＴ４において、カメラパラメータの初期値を設定する。この場合、各カメラについて、カメラの地図上でのおおよその位置、設置高さ、カメラの方向、俯角、回転角、スケールを設定する。カメラの地図上での位置やカメラの方向については、各カメラで異なるので、例えば、ユーザにおおよその値を指定してもらう。また、それ以外のパラメータについては、各カメラに一般的な値を予め固定値として割り当ててもよい。
次に、コンピュータ１２は、ステップＳＴ５において、カメラ画像（撮像画像）を取得する。次に、コンピュータ１２は、ステップＳＴ６において、カメラ画像に人物２１が映っている場合、その人物２１の画像上での位置（ｘ，ｙ）を抽出する。複数の人物２１が存在する場合は、全ての人物２１の位置をそれぞれ求める。
ここで、位置とは、その人物２１の足元の位置を指す。例えば、図９に示すように、人物抽出の結果が矩形で与えられる場合、その矩形の左上隅のカメラ画像上の位置を（ｘul，ｙul）、右下隅のカメラ画像上の位置を（ｘlr，ｙlr）とすると、ｘ，ｙは、それぞれ、以下の数式（４）、数式（５）に示す値とする。
ｘ＝（ｘlr−ｘul）／２ ・・・（４）
ｙ＝ｙlr ・・・（５）
なお、人物の抽出方法には、例えば、背景差分を用いる方法や事前に学習した人物特有の特徴を発見して抽出する方法など種々の方法がある。十分な精度であれば、いずれの方法を用いてもよい。
背景差分を用いる方法は、例えば、非特許文献「Adaptive background mixture models for real-time tracking」C.Stauffer, W.E.L. Grimson, Computer Vision and Pattern Recognition, 1999」に記載されている。また、事前に学習した人物特有の特徴を発見して抽出する方法は、例えば、非特許文献「Histograms of Oriented Gradients for Human Detection」N.Dalal, B.Triggs, Computer Vision and Pattern Recognition, 2005」に記載されている。
次に、コンピュータ１２は、ステップＳＴ７において、人物ＩＤの割り当てを行う。すなわち、ステップＳＴ６で抽出した人物位置にＩＤ（通し番号）を割り当てる。例えば、処理の開始直後で、抽出した人物位置が１つであれば、「１」という番号を、抽出した人物位置が３つであれば、「１」、「２」、「３」という番号を割り当てる。
ＩＤの割り当ては、端的に言うと、トラッキングである。同一人物の各時刻での位置を、その人物の軌跡として、後のステップでまとめて扱えるようにするために行う。すなわち、現時刻のカメラの画像から抽出した人物位置に対して、ひとつ前の時刻で抽出された人物位置の中に、この人物と同一と考えられる人物位置が存在する場合は、前の時刻でその人物位置に対して割り当てたＩＤと同じＩＤを割り当てる。
この場合、現時刻のカメラの画像から抽出した人物位置それぞれについて、例えば、次の手順で行う。（１）ひとつ前の時刻の画像から抽出された人物位置の数がゼロの場合、これまでに割り当てていない（＝使っていない）新しい番号を当該人物位置のＩＤとして割り当てる。割り当て処理はここで終了し、以降のステップは行わない。
（２）ひとつ前の時刻の画像から抽出された人物位置の数がゼロでない場合、そのそれぞれの人物位置について、現時刻の画像から抽出した当該人物位置とのカメラ画像上でのユークリッド距離を計算する。（３）そして、計算された距離の中から最小値を選択する。
（４）最小値が予め設定された閾値よりも小さければ、その最小値を与えた、前の時刻での人物位置に割り当てたＩＤと同じＩＤを割り当てる。割り当て処理はここで終了し、以降のステップは行わない。（５）最小値が予め設定された閾値よりも大きければ、これまでに割り当てていない（＝使っていない）新しい番号を当該人物位置のＩＤとして割り当てる。
次に、コンピュータ１２は、ステップＳＴ８において、抽出した人物位置（ｘ，ｙ）の情報を、時刻、ＩＤと併せて、コンピュータ１２のハードディスクなどに記録する。以降、同じＩＤを持つ人物位置の情報は、まとめて軌跡と呼ぶ。
次に、コンピュータ１２は、ステップＳＴ９において、人物２１のカメラ画像上の位置（ｘ，ｙ）から、この人物２１の地図上の位置（ｕ，ｖ）を、上述の変換式（数式（１）、数式（２）参照）を用いて算出する。複数の人物位置が検出されている場合には、それぞれに対して独立に計算を行う。
次に、コンピュータ１２は、ステップＳＴ１０において、算出された地図上での人物２１の位置に基づいて、図１０に示すように、地図画像上の対応する位置に、人物を示す人型のアイコンを表示する。
次に、コンピュータ１２は、ステップＳＴ１１において、前回にカメラパラメータの更新処理を行ってから一定時間が経ったかどうかを判定する。ここで、一定時間とは、事前に設定する量で、例えば、半日、一日、あるいは一週間等といった程度の時間である。
一定時間が経過していなければ、コンピュータ１２は、ステップＳＴ５の処理に戻って、一定時刻毎、例えば１フレームあるいは数フレーム毎に、上述したと同様の処理を繰り返す。一方、一定時間が経過している場合には、コンピュータ１２は、ステップＳＴ１２において、カメラパラメータの更新処理を行い、その後に、ステップＳＴ５の処理に戻る。
カメラパラメータの更新処理について説明する。カメラパラメータを、Ｈ ＝ [X,Y,Z,θ,φ,η,f,s]T とする。また、一定時間の間に蓄積された人物位置の軌跡の数をＭとする。Ｍ個の軌跡のうち、ｉ番目の軌跡データをＰi とする。
カメラパラメータの更新処理とは、以下の数式（６）の値を最大化するカメラパラメータを求め、その求まったカメラパラメータで現在のカメラパラメータを置き換える処理である。
ここで、コンピュータ１２は、数式（６）の値を最大化するカメラパラメータを、一般的な最適化手法、例えば、最急降下法（山登り法）、準ニュートン法、レーベンバーグ・マーカート法などを用いて求める。
図１１のフローチャートは、カメラパラメータの更新処理の手順を示している。まず、コンピュータ１２は、ステップＳＴ２１において、現在のカメラパラメータＨを、Ｈ0 にセットする。次に、コンピュータ１２は、ステップＳＴ２２において、上述の数式（６）の値を最大化するカメラパラメータＨ（ハット）を求める。次に、コンピュータ１２は、ステップＳＴ２３において、現在のカメラパラメータＨを、ステップＳＴ２２で求めたＨ（ハット）で置き換える。
コンピュータ１２は、上述の数式（６）のp(H) を、以下の数式（７）に示すように、計算する。
p(H) = N(X0,σX 2)・N(Y0,σY 2)・N(Z0,σZ 2)・N(θ0,σθ 2)・N(φ0,σφ 2)
・N(η0,ση 2)・N(f0,σf 2)・N(s0,σs 2) ・・・（７）
ただし、N(μ,σ2)は、平均値μ、分散σ2の正規分布を示す。また、下添え字の「０」は、更新前の現在のカメラパラメータＨ0 ＝ [X0,Y0,Z0,θ0,φ0,η0,f0,s0]Ｔ を表す。すなわち、p(H) は、Ｈ0の関数である。例えば、N(X0,σX 2) は、以下の数式（８）に示すようになる。
各パラメータの分散（σX 2,σY 2,σZ 2,σθ 2,σφ 2,ση 2,σf 2,σs 2 ）は、それぞれの素性（例えば、（X,Y,Z）であればユーザからのカメラ位置の入力の一般的なばらつき、俯角（φ）や回転角（η）であれば監視カメラに一般的な範囲など）を鑑みて、事前に設定しておく。
コンピュータ１２は、上述の数式（６）のp(Pi|H) を、以下の数式（９）に示すように、計算する。
p(Pi|H) = E1(Pi,H)・E2(Pi,H) ・・・（９）
E1(Pi,H) は、軌跡Ｐi の人物の存在可能領域に対する収まり度合いを評価する関数であり、以下の数式（１０）に示すように、計算される。
ここで、Ｌは、ｉ番目の軌跡を構成する点（人物位置）の総数である。（xi j,yi j）は、ｉ番目の軌跡の中のｊ番目の時刻の人物位置の座標値を表す。また、ｄminは、図１２に示すように、点（u,v）から、人物の存在可能領域の境界までの最短距離を表す。
これにより、E1(Pi,H) は、軌跡が人物の存在可能領域のより内部にあるほど高い評価を与えるものとなる。これは、一般的に人物が通路の端よりも中央部を歩くことの方が多いとい前提に基づいている。
E2(Pi,H) は、軌跡Ｐi における歩行速度の一定度合いを評価する関数であり、軌跡を構成する各点の隣り合う点との間隔が一定なほど高い評価値を与える。このE2(Pi,H) は、以下の数式（１１）に示すように、計算される。この場合、隣接する点との距離の分散を求めている。これは、人物が通常歩く場合は、その歩行速度はおおよそ一定、つまりばらつきは少ないという前提に基づいている。
なお、p(Pi|H) の具体的な計算方法については、上述した評価だけに限定するものではない。それ以外の評価規範を追加することも可能である。例えば、コンピュータ１２は、このp(Pi|H) を、以下の数式（１２）に示すように、E3(Pi,H)を追加して計算することもできる。
p(Pi|H) = E1(Pi,H)・E2(Pi,H)・E3(Pi,H) ・・・（１２）
また、上述の数式（６）の代わりに、以下の数式（１３）を用いてもよい。
ここで、Ｎは、一定時間の間に蓄積された人物位置の総数である。ｘj，ｙj は、そのうちのｊ番目の位置座標である。数式（６）と比べると、数式（１３）は、人物位置の抽出に少々の誤差を許すものである。また、この数式（１３）には、歩行速度に関する評価を含まない。
数式（１３）を用いる場合、数式（６）を用いる場合と比べて、評価は簡略化されている。しかし、その分、実装の容易さ、処理の軽さを重視したものである。なぜなら、過去の一定時間の間に抽出された人物の各瞬間の位置の情報さえあればよく、“軌跡“を必要としない。すなわち、図８のフローチャートにおけるステップＳＴ７の人物ＩＤの割り当て作業を必要としないため、その分、実装が容易になり、処理が軽くなる。
上述したように、図１に示す監視カメラシステム１０においては、人物の地図上における位置（軌跡）がユーザ指定に係る存在可能領域の内部に収まるようにカメラパラメータ（変換式のパラメータ）が決定されるものである。すなわち、ユーザは存在可能領域を指定するだけでよく、ユーザに対する少ない負担でカメラパラメータを決定できる。従って、ユーザの手間を軽減し、使い勝手の向上を図ることができる。
また、図１に示す監視カメラシステム１０においては、一定時間毎に、直前の一定時間の変換結果と、設定された人物の存在可能領域に基づいて、カメラパラメータを決定して、更新するものである。従って、一定時間毎に、カメラパラメータを、より最適となるように更新でき、何等かの要因による経時変化にも対処可能となる。
また、図１に示す監視カメラシステム１０においては、人物の地図上における位置（軌跡）が、設定された対象物の存在可能領域の境界からより遠い位置となるように、カメラパラメータを決定するものである。従って、カメラパラメータをより最適となるように決定することができる。
また、図１に示す監視カメラシステム１０においては、数式（６）を用いる場合には、人物の地図上での移動速度が一定となるように、変換式のパラメータを決定するものである。従って、カメラパラメータをより最適となるように決定することができる。
＜２．変形例＞
なお、上述実施の形態においては、対象物が人物である例を示したが、監視対象は人物に限定されない。人物以外の動物、あるいは自動者、バイク、自転車などの移動物体を対象物とすることもできる。
また、上述実施の形態においては、監視カメラ１１が建物内に設置されている例を示したが、この監視カメラ１１が市街地に配置される監視カメラシステムにあっても、本技術を同様に適用できる。その場合の地図は、監視カメラ１１が配置される市街地を上方から見た図となる。
また、本技術は、以下のような構成をとることもできる。
（１）カメラ画像上の対象物の位置を、変換式を用いて地図上の位置に変換する変換部と、
上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示部と、
上記地図上における上記対象物の存在可能領域を設定する領域設定部と、
所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定部とを備える
情報処理装置。
（２）上記パラメータ決定部は、
一定時間毎に、直前の一定時間の上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記変換式のパラメータを決定する
前記（１）に記載の情報処理装置。
（３）上記パラメータ決定部は、
上記対象物の上記地図上における軌跡が、上記設定された上記対象物の存在可能領域の境界からより遠い位置となるように、上記変換式のパラメータを決定する
前記（１）または（２）に記載の情報処理装置。
（４）上記パラメータ決定部は、
上記対象物の上記地図上における移動速度が一定となるように、上記変換式のパラメータを決定する
前記（１）から（３）のいずれかに記載の情報処理装置。
（５）上記パラメータ決定部は、
複数の対象物が存在するとき、対象物毎に上記地図上における軌跡を求めて使用する
前記（１）から（４）のいずれかに記載の情報処理装置。
（６）上記対象物は人物であり、
上記カメラ画像から上記人物を抽出し、該人物の位置を得る人物抽出部をさらに備える
前記（１）から（５）のいずれかに記載の情報処理装置。
（７）ユーザ入力値および固定値に基づいて上記変換式のパラメータの初期値を設定する初期値設定部をさらに備える
前記（１）から（６）のいずれかに記載の情報処理装置。
（８）カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換ステップと、
上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示ステップと、
上記地図上における上記対象物の存在可能領域を設定する領域設定ステップと、
所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定ステップとを備える
情報処理方法。
（９）コンピュータを、
カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換手段と、
上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示手段と、
上記地図上における上記対象物の存在可能領域を設定する領域設定手段と、
所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定手段と
して機能させるプログラム。
（１０）監視カメラと、
上記監視カメラの撮像画像を処理する情報処理装置とを備え、
上記情報処理装置は、
カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換部と、
上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示部と、
上記地図上における上記対象物の存在可能領域を設定する領域設定部と、
所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定部とを有する
監視カメラシステム。
１０・・・監視カメラシステム
１１・・・監視カメラ
１２・・・パーソナルコンピュータ
１３・・・モニタ
２１・・・人物
２２・・・警備員
１１１・・・撮像部
１１２・・・画像データ送信部
１２１・・・画像データ受信部
１２２・・・人物位置抽出部
１２３・・・ＩＤ割り当て部
１２４・・・人物位置記録部
１２５・・・軌跡情報保持部
１２６・・・地図上位置算出部
１２７・・・カメラパラメータ保持部
１２８・・・カメラパラメータ更新部
１３１・・・地図上位置表示部
１３２・・・存在可能領域情報入力部
１３３・・・存在可能領域情報保持部

Claims (10)

  1. カメラ画像上の対象物の位置を、変換式を用いて地図上の位置に変換する変換部と、
    上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示部と、
    上記地図上における上記対象物の存在可能領域を設定する領域設定部と、
    所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定部とを備える
    情報処理装置。
  2. 上記パラメータ決定部は、
    一定時間毎に、直前の一定時間の上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記変換式のパラメータを決定する
    請求項１に記載の情報処理装置。
  3. 上記パラメータ決定部は、
    上記対象物の上記地図上における軌跡が、上記設定された上記対象物の存在可能領域の境界からより遠い位置となるように、上記変換式のパラメータを決定する
    請求項１に記載の情報処理装置。
  4. 上記パラメータ決定部は、
    上記対象物の上記地図上における移動速度が一定となるように、上記変換式のパラメータを決定する
    請求項１に記載の情報処理装置。
  5. 上記パラメータ決定部は、
    複数の対象物が存在するとき、対象物毎に上記地図上における軌跡を求めて使用する
    請求項１に記載の情報処理装置。
  6. 上記対象物は人物であり、
    上記カメラ画像から上記人物を抽出し、該人物の位置を得る人物抽出部をさらに備える
    請求項１に記載の情報処理装置。
  7. ユーザ入力値および固定値に基づいて上記変換式のパラメータの初期値を設定する初期値設定部をさらに備える
    請求項１に記載の情報処理装置。
  8. カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換ステップと、
    上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示ステップと、
    上記地図上における上記対象物の存在可能領域を設定する領域設定ステップと、
    所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定ステップとを備える
    情報処理方法。
  9. コンピュータを、
    カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換手段と、
    上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示手段と、
    上記地図上における上記対象物の存在可能領域を設定する領域設定手段と、
    所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定手段と
    して機能させるプログラム。
  10. 監視カメラと、
    上記監視カメラの撮像画像を処理する情報処理装置とを備え、
    上記情報処理装置は、
    カメラ画像上の対象物の位置を地図上の位置に変換式を用いて変換する変換部と、
    上記変換結果に基づいて、上記地図上に上記対象物の存在位置を表示する表示部と、
    上記地図上における上記対象物の存在可能領域を設定する領域設定部と、
    所定時間内の各時刻における上記変換結果と、上記設定された上記対象物の存在可能領域に基づいて、上記対象物の上記地図上における軌跡が上記存在可能領域の内部に収まるように、上記変換式のパラメータを決定するパラメータ決定部とを有する
    監視カメラシステム。
JP2014520061A 2012-06-08 2013-06-06 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム Expired - Fee Related JP6206405B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014520061A JP6206405B2 (ja) 2012-06-08 2013-06-06 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012131202 2012-06-08
JP2012131202 2012-06-08
JP2014520061A JP6206405B2 (ja) 2012-06-08 2013-06-06 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
PCT/JP2013/065758 WO2013183738A1 (ja) 2012-06-08 2013-06-06 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム

Publications (2)

Publication Number Publication Date
JPWO2013183738A1 true JPWO2013183738A1 (ja) 2016-02-01
JP6206405B2 JP6206405B2 (ja) 2017-10-04

Family

ID=49712125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014520061A Expired - Fee Related JP6206405B2 (ja) 2012-06-08 2013-06-06 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム

Country Status (5)

Country Link
US (1) US9886761B2 (ja)
EP (1) EP2860970A4 (ja)
JP (1) JP6206405B2 (ja)
CN (1) CN104335577B (ja)
WO (1) WO2013183738A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2854397B1 (en) 2012-05-23 2020-12-30 Sony Corporation Surveillance camera administration device, surveillance camera administration method, and program
WO2015093330A1 (ja) 2013-12-17 2015-06-25 シャープ株式会社 認識データ伝送装置
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10582095B2 (en) * 2016-10-14 2020-03-03 MP High Tech Solutions Pty Ltd Imaging apparatuses and enclosures
US11232687B2 (en) * 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11417013B2 (en) * 2020-10-13 2022-08-16 Sensormatic Electornics, LLC Iterative layout mapping via a stationary camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置
WO2009110417A1 (ja) * 2008-03-03 2009-09-11 ティーオーエー株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
US20100103266A1 (en) * 2007-01-11 2010-04-29 Marcel Merkel Method, device and computer program for the self-calibration of a surveillance camera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816184B1 (en) * 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
KR100392727B1 (ko) * 2001-01-09 2003-07-28 주식회사 한국씨씨에스 컴퓨터 원격감시 제어방식의 폐쇄회로 텔레비전 시스템,이에 이용되는 컴퓨터 비디오 매트릭스 스위처 및제어프로그램
JP2004062980A (ja) * 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
US7263472B2 (en) * 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US20080263592A1 (en) * 2007-04-18 2008-10-23 Fuji Xerox Co., Ltd. System for video control by direct manipulation of object trails
US8310542B2 (en) * 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
JP2010193170A (ja) 2009-02-18 2010-09-02 Mitsubishi Electric Corp カメラキャリブレーション装置及び監視エリア設定装置
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
RU2531876C2 (ru) * 2012-05-15 2014-10-27 Общество с ограниченной ответственностью "Синезис" Способ индексирования видеоданных при помощи карты

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置
US20100103266A1 (en) * 2007-01-11 2010-04-29 Marcel Merkel Method, device and computer program for the self-calibration of a surveillance camera
WO2009110417A1 (ja) * 2008-03-03 2009-09-11 ティーオーエー株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREAS GIRGENSOHN ET AL.: "DOTS:Support for Effective Video Surveillance", MULTIMEDIA '07 PROCEEDINGS OF THE 15TH INTERNATIONAL CONFERENCE ON MULTIMEDIA, JPN7017002510, 23 September 2007 (2007-09-23), pages 423 - 432, XP002734597, ISSN: 0003611832, DOI: 10.1145/1291233.1291332 *
BENJAMIN COIFMAN ET AL.: "A real-time computer vision system for vehicle tracking and traffic surveillance", TRANSPORTATION RESEARCH PART C 6, JPN7017002511, 1 January 1998 (1998-01-01), pages 271 - 288, ISSN: 0003611833 *

Also Published As

Publication number Publication date
CN104335577B (zh) 2018-06-12
WO2013183738A1 (ja) 2013-12-12
JP6206405B2 (ja) 2017-10-04
US20150170354A1 (en) 2015-06-18
EP2860970A1 (en) 2015-04-15
US9886761B2 (en) 2018-02-06
EP2860970A4 (en) 2016-03-30
CN104335577A (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
JP6206405B2 (ja) 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
JP6977730B2 (ja) 人流推定装置、人流推定方法およびプログラム
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
JP4881766B2 (ja) カメラ間連結関係情報生成装置
JP7463052B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP6159179B2 (ja) 画像処理装置、画像処理方法
JP5925068B2 (ja) 映像処理装置、映像処理方法、およびプログラム
KR20150021526A (ko) 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
JPWO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
KR20110034545A (ko) 화상 처리 장치 및 화상 처리 방법
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
WO2016031313A1 (ja) 体調検出装置、体調検出方法及び体調検出プログラム
JP2010140425A (ja) 画像処理システム
JP2004298285A (ja) 歩行状態・歩行者属性判定装置および判定方法
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP6336935B2 (ja) 移動物体追跡装置
JP5930808B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2020095651A (ja) 生産性評価システム、生産性評価装置、生産性評価方法、及びプログラム
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
JP2017017488A (ja) 監視システム、撮影制御方法及びプログラム
KR20130104018A (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
JP2020201674A (ja) 映像解析装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170821

R151 Written notification of patent or utility model registration

Ref document number: 6206405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees