JP7455598B2 - 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム - Google Patents
画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP7455598B2 JP7455598B2 JP2020017074A JP2020017074A JP7455598B2 JP 7455598 B2 JP7455598 B2 JP 7455598B2 JP 2020017074 A JP2020017074 A JP 2020017074A JP 2020017074 A JP2020017074 A JP 2020017074A JP 7455598 B2 JP7455598 B2 JP 7455598B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- frame
- image processing
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 126
- 238000003672 processing method Methods 0.000 title claims description 10
- 239000000284 extract Substances 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 description 23
- 230000010365 information processing Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
当該画像中の物体等の位置及び名称とを対応付けた教師データを大量に用意することができる。しかし、この手法では、手動でアノテーション処理を行ったフレームから離れるにつれて、誤差が累積し、画像における物体の位置と検出した物体の位置とが徐々にずれていくという問題がある。画像における物体の位置と検出した物体の位置とがずれた教師データで機械学習すると、学習済みモデルの質が低くなるおそれがある。動画像の各フレームの画像について自動で適切なアノテーション処理を行うには、高精度な自動アノテーション処理が可能となる動画像の区間を適切に選択することが好ましい。
即ち、第1の態様は、
画像中に現れる物体の位置及び名称を特定する処理を行う画像処理装置であって、
移動体に取り付けられたカメラで撮影された動画像と、前記動画像に対応付けられている前記移動体の走行情報とを格納する記憶部と、
前記走行情報に基づいて、前記動画像から、前記移動体が所定走行状態である期間の、前記動画像の区間を、前記画像中に現れる物体の位置及び名称を特定する処理を行うために抽出する画像処理部と、
を備える画像処理装置とする。
タ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
(構成例)
図1は、本実施形態の画像処理装置の構成例を示す図である。画像処理装置100は、画像処理部102、入力部104、出力部106、通信部108、記憶部110を有する。画像処理装置100は、車両等に搭載されるカメラで撮影された動画像と、当該動画像が撮影された際の車両の走行状態を示す走行情報とを対応付けて記憶部110に格納している。車両は移動体の一例である。車両の走行情報には、車両の操舵角を示す操舵情報や車両の速度を示す速度情報が含まれる。当該動画像と走行情報とは、通信部108により、車両や他の情報処理装置等から通信ネットワーク等を介して取得される。画像処理装置100は、記憶部110に格納される動画像から、自動でアノテーション処理を行うのに適した動画像の区間を抽出する。画像処理装置100は、車両の走行情報に基づいて、当該動画像の区間を抽出する。画像処理装置100は、抽出された動画像の区間に含まれるフレームの画像について、画像に含まれる物体についてアノテーション処理を行う。物体には、例えば、標識、車両、建物などの人工物、植物、地形、岩、動物などの自然物等が含まれ得る。アノテーション処理は、画像と当該画像中の所定の物体の位置(範囲)及び名称とを対応付ける処理である。画像処理装置100は、画像と画像中の物体の位置(範囲)及び名称とを対応付けて、記憶部110に格納する。物体の名称は、物体の状態、性質などの物体に関連する情報であってもよい。アノテーション処理された画像と物体の位置及び名称とは、アノテーション処理を行う学習済み推定モデルの機械学習における教師データとして使用され得る。
て、静止物(静止している物体)または直進移動物(直進移動している物体)であるかを判定する。画像処理部102は、静止物または直進移動物と判定された物体について、追跡を行う。画像処理部102は、追跡に基づいて、アノテーション処理を行い、他のフレームの画像中の物体の位置及び名称を記憶部110に格納する。画像処理部102は、出力部106に他のフレームの画像及び当該画像に含まれる物体の位置及び名称を表示し、利用者等に確認結果を入力部104より入力させる。
ドライブ(HDD、Hard Disk Drive)である。また、記憶部93は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。記憶部93は、二次記憶装置とも呼ばれる。
ネル、CRT(Cathode Ray Tube)ディスプレイ、PDP(Plasma Display Panel)等の表示装置、プリンタ等の出力装置を含む。また、出力部95は、スピーカのような音声の出力装置を含むことができる。
図3は、本実施形態の画像処理装置100の動作フローの例を示す図である。ここでは、画像処理装置100の記憶部110には、通信部108等により受信された車両に搭載されるカメラで撮影された動画像及び動画像が撮影された際の車両の走行情報とが対応付けられて格納されているとする。
ker)など)が使用され得る。2フレームの画像における同一の特徴点の位置の差を、特
徴点の移動ベクトルという。物体が静止物である場合、時間的に前のフレームの画像の方向に、特徴点が追跡される。また、物体の大きさが最大となるフレームの画像が選択されるため、物体の大きさが小さくなるフレームの画像の方向に、特徴点が追跡される。画像処理部102は、抽出した各画像における各物体の特徴点を記憶部110に格納する。なお、例えばカメラが車両の前方ではなく後方に取り付けられている場合は、画像の中の物体の大きさは時間が経つほど小さくなる。この場合は時間的に後のフレームの画像の方向に特徴点を追跡すればよい。要するに、画像中の物体の大きさが小さくなる方向に特徴点を追跡すればよい。
上記の例では、S102において、画像処理部102は、車両が直線走行(直進走行)している動画像の区間を抽出したが、車両が静止している同画像の区間を抽出してもよい。このとき、S102において、画像処理部102は、動画像に対応付けられた車両の走行状態を示す走行情報の速度が0km/hである際に撮影された動画像の区間を抽出する。速度が0km/hであることは、車両が停止していることを示している。抽出された動画像は、アノテーション処理を行う画像として使用される。画像処理部102は、抽出した動画像の区間を記憶部110に格納する。また、このとき、S105において、画像処理部102は、各物体の特徴点の移動ベクトルに基づいて、S104で抽出された特徴点を含む物体が、直進移動物(直進移動している物体)であるかを判定する。特徴点を含む物体が直進移動物である場合、特徴点は画像内で直線上を移動する。静止しているカメラで撮影された動画像において、直進移動物は画像内で直線上を移動する。画像処理部102は、ある物体の最初に抽出された特徴点及び後から抽出された特徴点が1つの直線上に存在する場合に、当該特徴点を含む物体が直進移動物であると判定する。このようにすることで、画像処理部102は、静止している車両から撮影された動画像から教師データとして使用される画像と当該画像に含まれる物体の位置及び名称とを記憶部110に格納することができる。
画像処理装置100は、車両等に搭載されるカメラで撮影された動画像と、当該動画像が撮影された際の車両の走行状態を示す走行情報とを対応付けて記憶部110に格納している。画像処理装置100は、記憶部110に格納される動画像から、車両が直進走行または静止している際に撮影された動画像の区間を、車両の走行情報に基づいて、抽出する
。当該動画像の区間は、自動でアノテーション処理を行うのに適した画像が含まれる動画像の区間である。画像処理装置100は、自動でアノテーション処理を行うのに適した画像が含まれる動画像の区間を抽出することができる。画像処理装置100は、出力部106に抽出した動画像を表示し、利用者に、動画像のフレームの画像に含まれる物体を含む範囲(領域)を選択させ、当該物体の名称を入力させる。このとき、画像処理装置100は、動画像の各フレームに含まれる同一の物体について、物体の大きさが最大となるフレームの画像において、物体の領域を選択させる。物体の大きさが最大となるフレームで物体の領域を選択させることで、選択された領域と物体との誤差を最も小さくできる。物体が静止物である場合には、時間的に後のフレームの画像であるほど画像における物体の大きさが大きくなる。画像処理装置100は、選択された物体の領域(範囲)において、物体の特徴点を抽出する。画像処理装置100は、物体が静止物である場合、時間的に前のフレームの画像の方向に、物体の特徴点を追跡する。画像処理装置100は、物体の特徴点がエピポーラ拘束線上を移動するとき、当該物体は静止物であると判定する。画像処理装置100は、物体が静止物であると判定したとき、物体の範囲(領域、位置)が特徴点と同様にエピポーラ拘束線上を移動するとみなして、物体の範囲を追跡する。画像処理装置100は、エピポーラ拘束線上を移動する物体を静止物とみなすことで、静止物の判定を容易にすることができる。画像処理装置100は、追跡の結果、画像における実際の物体の位置が追跡(算出)した物体の位置と異なる場合に、当該画像を削除して教師データとして使用しないことで、アノテーション処理を行う学習済み推定モデルの精度を向上させることができる。画像処理装置100は、車両に搭載されるカメラで撮影された動画像から、精度の高い、アノテーション処理を行う学習済み推定モデルの教師データを生成することができる。
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
102: 画像処理部
104: 入力部
106: 出力部
108: 通信部
110: 記憶部
90: 情報処理装置
91: プロセッサ
92: メモリ
93: 記憶部
94: 入力部
95: 出力部
96: 通信制御部
Claims (9)
- 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理を行う画像を処理対象画像として抽出する画像処理装置であって、
移動体に取り付けられたカメラで撮影された動画像と、当該動画像の撮影時における当該移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
前記選択した動画像から処理対象画像を抽出する、
プロセッサを備える画像処理装置。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理装置であって、
移動体に取り付けられたカメラで撮影された動画像と、当該動画像の撮影時における当該移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
前記選択した動画像に含まれる第1のフレームの画像における物体が当該第1のフレームの画像とは異なる第2のフレームの画像において追跡できたとき、前記第1のフレームの画像に対応付けられた物体の位置及び名称を前記第2のフレームの画像に対応付ける、プロセッサを備えるアノテーション処理装置。 - 前記プロセッサは、
前記第1のフレームの画像における物体の位置の前記追跡を、前記動画像における直進移動物に対して実行する、
請求項2に記載のアノテーション処理装置。 - 前記プロセッサは、
前記追跡の結果に基づく前記第2のフレームの画像における物体の位置と、前記第2のフレームの画像における実際の当該物体の位置が異なるとき、当該第2のフレームの画像を当該物体の位置及び名称を対応付けて記憶する画像から削除する、
請求項2に記載のアノテーション処理装置。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理を行う画像を処理対象画像として抽出する画像処理方法であって、
移動体に取り付けられたカメラで撮影された動画像において、前記移動体が直線走行状態または停止状態である期間の動画像から処理対象画像を抽出する、
画像処理方法。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理を行う画像を処理対象画像として抽出する画像処理方法であって、
移動体に取り付けられたカメラで撮影された動画像と、前記動画像の撮影時における前記移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から動画像における前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
当該選択された動画像から処理対象画像を抽出する、
画像処理方法。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理方法であって、
移動体に取り付けられたカメラで撮影された動画像と、当該動画像の撮影時における当該移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
前記選択した動画像に含まれる第1のフレームの画像における物体が当該第1のフレームの画像とは異なる第2のフレームの画像において追跡できたとき、当該第1のフレームの画像に対応付けられた物体の位置及び名称を当該第2のフレームの画像に対応付ける、アノテーション処理方法。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理を行う画像を処理対象画像として抽出する画像処理のプログラムであって、
移動体に取り付けられたカメラで撮影された動画像と、前記動画像の撮影時における前記移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
当該選択した動画像から処理対象画像を抽出する、
ことをプロセッサが実行するための画像処理プログラム。 - 画像中に現れる物体の位置及び名称を当該画像に対応付けるアノテーション処理のプログラムであって、
移動体に取り付けられたカメラで撮影された動画像と、当該動画像の撮影時における当該移動体の走行情報とを取得し、
前記取得した走行情報に基づいて、前記取得した動画像の中から前記移動体が直線走行状態または停止状態である期間の動画像を選択し、
前記選択した動画像に含まれる第1のフレームの画像における物体が当該第1のフレームの画像とは異なる第2のフレームの画像において追跡できたとき、当該第1のフレームの画像に対応付けられた物体の位置及び名称を当該第2のフレームの画像に対応付けて記憶する、
ことをプロセッサが実行するための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020017074A JP7455598B2 (ja) | 2020-02-04 | 2020-02-04 | 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020017074A JP7455598B2 (ja) | 2020-02-04 | 2020-02-04 | 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021124882A JP2021124882A (ja) | 2021-08-30 |
JP2021124882A5 JP2021124882A5 (ja) | 2023-01-11 |
JP7455598B2 true JP7455598B2 (ja) | 2024-03-26 |
Family
ID=77459020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020017074A Active JP7455598B2 (ja) | 2020-02-04 | 2020-02-04 | 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7455598B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007316839A (ja) | 2006-05-24 | 2007-12-06 | Kazuo Iwane | Cv映像によるcvタグ入出力検索装置 |
JP2017162436A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
JP2019008519A (ja) | 2017-06-23 | 2019-01-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム |
-
2020
- 2020-02-04 JP JP2020017074A patent/JP7455598B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007316839A (ja) | 2006-05-24 | 2007-12-06 | Kazuo Iwane | Cv映像によるcvタグ入出力検索装置 |
JP2017162436A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
JP2019008519A (ja) | 2017-06-23 | 2019-01-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021124882A (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114727022B (zh) | 在全向视频中的跟踪感兴趣对象 | |
JP6007497B2 (ja) | 画像投影装置ならびに画像投影制御装置およびプログラム | |
JP2010239605A (ja) | 映像編集装置 | |
JP4957807B2 (ja) | 移動物検知装置及び移動物検知プログラム | |
JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
CN111954055B (zh) | 视频特效的展示方法、装置、电子设备及存储介质 | |
CN110781823B (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
JP2019132664A (ja) | 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム | |
JP6810359B2 (ja) | 情報処理装置、制御方法、プログラム | |
CN108648140B (zh) | 图像拼接方法、***、设备及存储介质 | |
CN109934851A (zh) | 一种标注方法、装置及机器可读存储介质 | |
WO2017104372A1 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
CN110084230B (zh) | 基于图像的车身方向检测方法和装置 | |
CN111105695A (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
Stanimirovic et al. | [Poster] A Mobile Augmented reality system to assist auto mechanics | |
US9785839B2 (en) | Technique for combining an image and marker without incongruity | |
JP7455598B2 (ja) | 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム | |
JP6930389B2 (ja) | 画像収集装置、プログラム、及び方法 | |
KR101492366B1 (ko) | 차량 사고 감지 방법 및 그 장치 | |
CN111401229B (zh) | 视觉小目标自动标注方法、装置及电子设备 | |
CN111951328A (zh) | 一种物***置检测方法、装置、设备和存储介质 | |
CN114529587B (zh) | 一种视频目标跟踪方法、装置、电子设备及存储介质 | |
JP7334460B2 (ja) | 作業支援装置及び作業支援方法 | |
CN117459661A (zh) | 一种视频处理方法、装置、设备及机器可读存储介质 | |
JP2015019296A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7455598 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |