JP2020201841A - Image processing program, image processing apparatus, and image processing method - Google Patents
Image processing program, image processing apparatus, and image processing method Download PDFInfo
- Publication number
- JP2020201841A JP2020201841A JP2019109839A JP2019109839A JP2020201841A JP 2020201841 A JP2020201841 A JP 2020201841A JP 2019109839 A JP2019109839 A JP 2019109839A JP 2019109839 A JP2019109839 A JP 2019109839A JP 2020201841 A JP2020201841 A JP 2020201841A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- area
- image frame
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 61
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 37
- 238000010191 image analysis Methods 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 description 61
- 230000008859 change Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。 The present invention relates to an image processing program, an image processing apparatus, and an image processing method.
ＰＴＺ（Pan-Tilt-Zoom）カメラは、撮影方向を３次元空間における水平方向及び垂直方向に回転させる制御と、映像をズームイン及びズームアウトする制御とを組み合わせて、遠隔で操作することが可能なカメラである。ＰＴＺカメラは、高速道路、工場、大型店舗、商業施設、駅、空港等のように、多数の車両又は人が混在する様々な場所において、監視カメラとして設置されることがある。 The PTZ (Pan-Tilt-Zoom) camera can be operated remotely by combining the control of rotating the shooting direction in the horizontal and vertical directions in the three-dimensional space and the control of zooming in and out of the image. It's a camera. The PTZ camera may be installed as a surveillance camera in various places where a large number of vehicles or people coexist, such as highways, factories, large stores, commercial facilities, stations, airports, and the like.
視野移動可能なカメラを用いた高速道路等の監視に関連して、カメラ旋回中の画像の乱れを防止する静止画像伝送方式が知られている（例えば、特許文献１を参照）。車に搭載して前を走行する車両までの距離を認識する距離認識装置、及び車両の進行方向前方に存在する道路の道路形状を認識する道路形状認識装置も知られている（例えば、特許文献２及び特許文献３を参照）。 A still image transmission method for preventing image distortion while the camera is turning is known in connection with monitoring of a highway or the like using a camera having a movable field of view (see, for example, Patent Document 1). A distance recognition device that recognizes the distance to a vehicle that is mounted on a vehicle and travels in front of the vehicle, and a road shape recognition device that recognizes the road shape of a road existing in front of the vehicle in the traveling direction are also known (for example, patent documents). 2 and Patent Document 3).
ＰＴＺカメラの撮影方向又はズーム倍率が変化すると撮影範囲も変化するため、ＰＴＺカメラの映像を画像解析により解析する場合、解析対象の領域を決定することが困難である。 Since the shooting range changes when the shooting direction or zoom magnification of the PTZ camera changes, it is difficult to determine the area to be analyzed when analyzing the image of the PTZ camera by image analysis.
なお、かかる問題は、ＰＴＺカメラの映像を解析する場合に限らず、様々な撮像装置により撮影された画像を解析する場合において生ずるものである。 It should be noted that such a problem occurs not only in the case of analyzing the image of the PTZ camera but also in the case of analyzing the image taken by various imaging devices.
１つの側面において、本発明は、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することを目的とする。 In one aspect, it is an object of the present invention to determine a region to be analyzed in an image captured by an imaging device according to an imaging direction.
１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、撮像装置により撮影方向を変えながら撮影された動画像データの中から、撮影方向が特定の状態のときに撮影された画像フレームを抽出する。
（２）コンピュータは、記憶部に記憶されている複数の画像データと、画像フレームとに基づき、複数の画像データの中から画像データを特定する。
（３）コンピュータは、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、画像フレームにおける解析対象の領域を決定する。
（４）コンピュータは、決定した結果を出力する。
In one proposal, the image processing program causes the computer to perform the following processing.
(1) The computer extracts an image frame taken when the shooting direction is in a specific state from the moving image data taken while changing the shooting direction by the imaging device.
(2) The computer identifies the image data from the plurality of image data based on the plurality of image data stored in the storage unit and the image frame.
(3) The computer determines the area to be analyzed in the image frame based on the information about the area to be analyzed stored in association with the specified image data.
(4) The computer outputs the determined result.
１つの側面によれば、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することができる。 According to one aspect, the area to be analyzed in the image captured by the imaging device can be determined according to the imaging direction.
以下、図面を参照しながら、実施形態を詳細に説明する。
ＰＴＺカメラは、設置時に所定の撮影条件を示す情報を記憶している。所定の撮影条件には、水平方向の回転角度、垂直方向の回転角度、及びズーム倍率が含まれる。そして、撮影条件を指定する操作入力を受け付けると、ＰＴＺカメラは、プリセット機能により、記憶している情報に基づいて、水平方向及び垂直方向に撮影方向を回転させ、ズームイン又はズームアウトの動作を行う。
Hereinafter, embodiments will be described in detail with reference to the drawings.
The PTZ camera stores information indicating predetermined shooting conditions at the time of installation. Predetermined imaging conditions include a horizontal rotation angle, a vertical rotation angle, and a zoom magnification. Then, when the operation input for specifying the shooting conditions is received, the PTZ camera rotates the shooting direction in the horizontal and vertical directions based on the stored information by the preset function, and performs a zoom-in or zoom-out operation. ..
ＰＴＺカメラは、複数の撮影条件を示す情報を記憶することができるため、オペレータは、いずれかの撮影条件を指定する操作を行うだけでよく、撮影対象に応じて撮影方向及びズーム倍率の調整を行う必要がない。 Since the PTZ camera can store information indicating a plurality of shooting conditions, the operator only has to perform an operation of specifying one of the shooting conditions, and adjusts the shooting direction and zoom magnification according to the shooting target. No need to do.
しかしながら、高速道路等にＰＴＺカメラを設置して道路状況を監視する場合、広範囲に渡って多数のＰＴＺカメラが設置されるため、撮影されたすべての映像をオペレータが目視でチェックすることは困難である。そこで、道路を撮影した映像に対する画像解析を行って、車両等を自動的に検知し、検知された結果に基づいて道路状況を監視することが望ましい。 However, when a PTZ camera is installed on a highway or the like to monitor road conditions, it is difficult for the operator to visually check all the captured images because a large number of PTZ cameras are installed over a wide area. is there. Therefore, it is desirable to perform image analysis on the image of the road, automatically detect the vehicle, etc., and monitor the road condition based on the detected result.
しかし、ＰＴＺカメラの撮影方向又はズーム倍率が変化すると、撮影された映像の画像フレームに写っている道路の位置及び形状も変化する。このため、道路を解析対象とする画像解析を行う場合、解析対象の領域を決定することが困難である。 However, when the shooting direction or zoom magnification of the PTZ camera changes, the position and shape of the road in the image frame of the shot image also changes. Therefore, when performing image analysis on a road as an analysis target, it is difficult to determine an analysis target area.
なお、かかる問題は、道路上に設置されたＰＴＺカメラの映像を解析する場合に限らず、様々な場所に設置された撮像装置により撮影された画像を解析する場合において生ずるものである。 It should be noted that such a problem occurs not only when analyzing the image of the PTZ camera installed on the road but also when analyzing the image taken by the image pickup apparatus installed at various places.
図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１及び領域決定部１１２を含む。記憶部１１１は、複数の画像データを記憶し、領域決定部１１２は、記憶部１１１が記憶する画像データを用いて画像処理を行う。
FIG. 1 shows an example of a functional configuration of the image processing apparatus of the embodiment. The
図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、領域決定部１１２は、撮像装置により撮影方向を変えながら撮影された動画像データの中から、撮影方向が特定の状態のときに撮影された画像フレームを抽出する（ステップ２０１）。
FIG. 2 is a flowchart showing an example of image processing performed by the
次に、領域決定部１１２は、記憶部１１１が記憶する複数の画像データと、画像フレームとに基づき、複数の画像データの中から画像データを特定する（ステップ２０２）。そして、領域決定部１１２は、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、画像フレームにおける解析対象の領域を決定し（ステップ２０３）、決定した結果を出力する（ステップ２０４）。
Next, the
図１の画像処理装置１０１によれば、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することができる。
According to the
図３は、図１の画像処理装置１０１の具体例を示している。図３の画像処理装置３０１は、記憶部３１１、画像取得部３１２、状態判定部３１３、領域決定部３１４、領域変更部３１５、画像解析部３１６、及び出力部３１７を含む。記憶部３１１及び領域決定部３１４は、図１の記憶部１１１及び領域決定部１１２にそれぞれ対応する。
FIG. 3 shows a specific example of the
撮像装置３０２は、例えば、様々な場所に設置されたＰＴＺカメラ等の可動式カメラであり、撮影範囲の映像を撮影する。撮像装置３０２は、高速道路等の道路上に設置されていてもよく、工場、大型店舗、商業施設、駅、空港等に設置されていてもよい。
The
画像処理装置３０１は、監視センター、データセンター等に設置されたサーバ等の情報処理装置（コンピュータ）であり、通信ネットワークを介して撮像装置３０２と通信することができる。
The
撮像装置３０２は、画像処理装置３０１又は別の装置から、撮影条件を指定する制御情報を受信し、受信した制御情報に基づいて、撮影方向及びズーム倍率を変更する動作を行う。例えば、撮像装置３０２は、プリセット機能により、複数の撮影条件それぞれを示す識別情報（ＩＤ）を事前に記憶しており、受信した制御情報に含まれるＩＤに従って、撮影方向及びズーム倍率を変更する。
The
記憶部１１１は、複数のプリセット画像３２１と、複数のプリセット画像３２１それぞれに対応付けられた領域情報３２２と、設定ファイル３２４とを記憶している。各プリセット画像３２１は、プリセット機能により設定された所定の撮影条件で撮影された画像データであり、各領域情報３２２は、対応するプリセット画像３２１内に設定された検知領域の座標情報である。
The
検知領域は、画像解析における解析対象の領域の一例であり、領域情報３２２は、解析対象の領域に関する情報の一例である。設定ファイル３２４には、検知領域の座標情報を含む、画像解析の設定条件が記録されている。
The detection area is an example of an area to be analyzed in image analysis, and the
撮像装置３０２により撮影方向を変えながら撮影される映像は、時系列の画像フレームを含む動画像データであり、通信ネットワークを介して画像処理装置３０１へ送信される。画像取得部３１２は、通信ネットワークを介して、撮像装置３０２が出力する映像から画像フレーム３２３を取得し、記憶部３１１に格納する。
The image captured by the
状態判定部３１３は、時系列の画像フレーム３２３に含まれる特徴点の移動量に基づいて、撮像装置３０２の状態を判定する。撮像装置３０２の状態としては、撮像装置３０２が旋回中であり撮影方向が変化している状態、風又は振動により撮像装置３０２が揺れることで撮影方向が変化している状態、撮影方向が所定時間長以上変化していない状態等が挙げられる。
The
撮像装置３０２の撮影方向が変化すると、画像フレーム３２３に含まれる静止物体の特徴点が移動するため、特徴点の移動量を用いて状態を判定することで、撮影方向が変化したか否かを検知することができる。
When the shooting direction of the
領域決定部３１４は、特定の状態のときに撮影された画像フレーム３２３を抽出し、複数のプリセット画像３２１の中から、その画像フレーム３２３に対応するプリセット画像３２１を特定する。例えば、領域決定部３１４は、画像フレーム３２３と各プリセット画像３２１とをテンプレートマッチングにより比較し、最大のマッチングスコアを有するプリセット画像３２１を、画像フレーム３２３に対応するプリセット画像３２１として特定する。
The
そして、領域決定部３１４は、特定されたプリセット画像３２１に対応付けて記憶されている領域情報３２２を用いて、画像フレーム３２３内における検知領域を決定し、設定ファイル３２４に記録されている検知領域を、決定された検知領域に更新する。
Then, the
これにより、プリセット機能により設定された撮影条件で撮影された画像フレーム３２３内において、その撮影条件に応じた検知領域が決定され、設定ファイル３２４に記録される。したがって、撮影条件に応じた適切な画像領域を解析対象として、画像解析を行うことが可能になる。
As a result, in the
例えば、状態判定部３１３は、画像フレーム間における特徴点の移動量に基づいて、撮影方向が所定時間長以上変化していない状態を特定の状態として検出する。そして、領域決定部３１４は、その状態のときに撮影された画像フレーム３２３内における検知領域を決定する。これにより、撮像装置３０２の撮影方向が固定された状態の安定した画像フレーム３２３を用いて、画像解析を行うことが可能になる。
For example, the
ところで、撮像装置３０２が回転することで、撮影方向が水平方向又は垂直方向に変化すると、撮像装置３０２の機械的な回転誤差（プリセット誤差）によって、画像フレーム３２３とプリセット画像３２１との間に誤差が発生する。このため、プリセット画像３２１に対応付けられている領域情報３２２は、画像フレーム３２３内の正しい検知領域を示しているとは限らない。
By the way, when the
図４は、道路上に設置された撮像装置３０２のプリセット誤差に起因する検知領域の誤差の例を示している。図４（ａ）は、画像フレーム３２３が水平方向（ｘ方向）の誤差を含む場合の検知領域の例を示している。領域４０１は、左へ４０画素だけずれている画像フレーム３２３内で決定された検知領域を表し、領域４０２は、画像フレーム３２３がずれていない場合に決定される本来の検知領域を表す。
FIG. 4 shows an example of an error in the detection region due to a preset error of the
この場合、矢印４１１が示すように、領域４０１は、領域４０２よりも右へ４０画素だけずれている。このため、領域４１２内に写っている車両の一部が領域４０１から外れてしまい、領域４０１の画像から正しい車両検知を行うことが難しくなる。
In this case, as indicated by arrow 411, the area 401 is displaced to the right by 40 pixels from the
図４（ｂ）は、画像フレーム３２３が垂直方向（ｙ方向）の誤差を含む場合の検知領域の例を示している。領域４０３は、下へ３５画素だけずれている画像フレーム３２３内で決定された検知領域を表す。
FIG. 4B shows an example of a detection region when the
この場合、矢印４１３が示すように、領域４０３は、領域４０２よりも上へ３５画素だけずれている。このため、領域４１４内に写っている車両の一部が領域４０２から外れているにもかかわらず、その車両の全体が領域４０３内に収まっており、領域４０３の画像から正しい車速を求めることが難しくなる。
In this case, as indicated by arrow 413, the area 403 is displaced above the
そこで、領域変更部３１５は、画像フレーム３２３の誤差を補正して、決定された検知領域を変更し、変更後の検知領域を設定ファイル３２４に記録する。例えば、領域変更部３１５は、画像フレーム３２３に含まれる特徴点Ｐ１と、特定されたプリセット画像３２１に含まれ、特徴点Ｐ１と対応する特徴点Ｐ２とのずれに応じて、画像フレーム３２３における検知領域を変更する。
Therefore, the
画像解析部３１６は、設定ファイル３２４に記録された検知領域の画像を用いて画像解析を行い、解析結果３２５を生成して記憶部３１１に格納する。出力部３１７は、解析結果３２５を出力する。
The
画像フレーム３２３に含まれる特徴点とプリセット画像３２１に含まれる特徴点とのずれに応じて、画像フレーム３２３における検知領域を変更することで、画像フレーム３２３内の正しい検知領域を求めることができる。したがって、変更後の検知領域を用いて画像解析を行うことで、解析結果３２５の精度が向上する。
The correct detection area in the
図５は、領域決定部３１４が行う検知領域決定処理の例を示している。図５（ａ）は、道路が写っている画像フレーム３２３に対する検知領域決定処理の例を示している。この場合、領域決定部３１４は、画像フレーム３２３と、プリセット画像５０１及びプリセット画像５０２の各々とを、テンプレートマッチングにより比較し、マッチングスコアを求める。
FIG. 5 shows an example of the detection area determination process performed by the
プリセット画像５０１に対するマッチングスコアが“０．９８”であり、プリセット画像５０２に対するマッチングスコアが“０．１２”である場合、領域決定部３１４は、プリセット画像５０１が画像フレーム３２３に対応していると判定する。そして、領域決定部３１４は、プリセット画像５０１の領域情報３２２を用いて、画像フレーム３２３内における検知領域５１１を決定する。
When the matching score for the
図５（ｂ）は、別の画像フレーム３２３に対する検知領域決定処理の例を示している。この場合、領域決定部３１４は、画像フレーム３２３と、プリセット画像５０１及びプリセット画像５０２の各々とを、テンプレートマッチングにより比較し、マッチングスコアを求める。
FIG. 5B shows an example of the detection area determination process for another
プリセット画像５０１に対するマッチングスコアが“０．１２”であり、プリセット画像５０２に対するマッチングスコアが“０．９８”である場合、領域決定部３１４は、プリセット画像５０２が画像フレーム３２３に対応していると判定する。そして、領域決定部３１４は、プリセット画像５０２の領域情報３２２を用いて、画像フレーム３２３内における検知領域５１２を決定する。
When the matching score for the
図６は、領域変更部３１５が行う検知領域変更処理の例を示している。図６（ａ）は、道路が写っている画像フレーム３２３における変更前の検知領域の例を示している。この例では、プリセット画像６０１に対するマッチングスコアの方が、プリセット画像６０２に対するマッチングスコアよりも大きいため、プリセット画像６０１の領域情報３２２を用いて、画像フレーム３２３内における検知領域６１１が決定される。
FIG. 6 shows an example of the detection area change process performed by the
しかしながら、撮像装置３０２のプリセット誤差により、画像フレーム３２３は、プリセット画像６０１に対して左へ１６画素だけずれており、上へ２４画素だけずれている。このため、検知領域６１１は、画像フレーム３２３に写っている道路上の本来の検知領域よりも右へ１６画素だけずれており、下へ２４画素だけずれている。
However, due to the preset error of the
そこで、領域変更部３１５は、画像フレーム３２３を右へ１６画素だけずらし、下へ２４画素だけずらすことで、画像フレーム３２３の位置を補正し、プリセット画像６０１の領域情報３２２を用いて、補正後の画像フレーム３２３内における検知領域を決定する。
Therefore, the
図６（ｂ）は、補正後の画像フレーム３２３における変更後の検知領域の例を示している。変更後の検知領域６１２は、道路上の本来の検知領域と一致している。
FIG. 6B shows an example of the changed detection area in the corrected
次に、図７から図９までを参照しながら、特徴点に基づく検知領域変更方法について説明する。 Next, a method of changing the detection area based on the feature points will be described with reference to FIGS. 7 to 9.
図７は、道路が写っているプリセット画像３２１上に配置された特徴点の例を示している。領域変更部３１５は、プリセット画像３２１上に複数の特徴点を配置する。この例では、複数の特徴点が均一間隔で一様に配置されている。
FIG. 7 shows an example of feature points arranged on the
図８は、図７のプリセット画像３２１に対応する画像フレーム３２３上で追跡された特徴点の例を示している。領域変更部３１５は、プリセット画像３２１上に配置された特徴点の位置から、オプティカルフローを用いて、画像フレーム３２３上で特徴点を追跡する。そして、領域変更部３１５は、プリセット画像３２１と画像フレーム３２３との間における各特徴点の移動量を計算する。各特徴点の移動量は、画像フレーム３２３に含まれる特徴点Ｐ１と、プリセット画像３２１に含まれ、特徴点Ｐ１と対応する特徴点Ｐ２とのずれの一例である。
FIG. 8 shows an example of feature points tracked on the
ただし、プリセット画像３２１上の特徴点のうち追跡が失敗した特徴点は、移動量の計算から除外される。また、追跡が成功した特徴点のうち、移動量が所定値よりも大きい特徴点は、車両等の特徴点である可能性が高いため、画像フレーム３２３のずれ量の計算から除外される。
However, among the feature points on the
次に、領域変更部３１５は、除外されなかった複数の特徴点の移動量を用いて、プリセット画像３２１と画像フレーム３２３との間におけるアフィン変換を求め、画像フレーム３２３の水平方向（ｘ方向）及び垂直方向（ｙ方向）のずれ量を計算する。そして、領域変更部３１５は、計算されたずれ量を用いて、画像フレーム３２３を逆方向へずらすことで、画像フレーム３２３の誤差を補正する。
Next, the
図９は、道路が写っている画像フレーム３２３に対する補正処理の例を示している。図９（ａ）は、補正前の画像フレーム３２３の例を示している。補正前の画像フレーム３２３は、プリセット画像３２１に対して左へ６画素だけずれており、上へ９画素だけずれている。このため、検知領域９０１及び検知領域９０２は、道路上の本来の検知領域よりも右へ６画素だけずれており、下へ９画素だけずれている。
FIG. 9 shows an example of correction processing for the
そこで、領域変更部３１５は、画像フレーム３２３を右へ６画素だけずらし、下へ９画素だけずらすことで、画像フレーム３２３の位置を補正する。
Therefore, the
図９（ｂ）は、補正後の画像フレーム３２３の例を示している。補正後の画像フレーム３２３における検知領域９１１及び検知領域９１２は、道路上の本来の検知領域と一致している。
FIG. 9B shows an example of the corrected
図１０は、状態判定部３１３が行う状態判定処理の例を示している。状態判定部３１３は、時系列の各画像フレーム３２３から特徴点を検出し、オプティカルフローを用いて、画像フレーム間における各特徴点の移動量を計算する。例えば、状態判定部３１３は、コーナー検出法を用いて、コーナー部分の特徴点を検出する。
FIG. 10 shows an example of the state determination process performed by the
図１０（ａ）は、道路が写っている画像フレーム３２３から検出された特徴点の例を示しており、図１０（ｂ）は、画像フレーム間における特徴点の移動量の例を示している。
FIG. 10 (a) shows an example of the feature points detected from the
例えば、状態判定部３１３は、現在の画像フレーム３２３から検出された各特徴点と、直前の画像フレーム３２３から検出された各特徴点との間の移動量の統計値を計算し、その統計値を閾値と比較することで、撮像装置３０２の状態を判定する。移動量の統計値としては、平均値、中央値、最頻値等が用いられる。
For example, the
図１０（ｂ）の例では、移動量の統計値が所定の閾値よりも大きいため、撮像装置３０２が旋回中であると判定される。状態判定部３１３は、移動量の統計値を用いて、風又は振動により撮像装置３０２が揺れている状態、撮像装置３０２が旋回した後に停止した状態等を検出することもできる。撮像装置３０２が旋回した後に停止した状態は、撮影方向が所定時間長以上変化していない状態の一例である。
In the example of FIG. 10B, since the statistical value of the movement amount is larger than the predetermined threshold value, it is determined that the
撮像装置３０２が揺れている状態が検出された場合、領域変更部３１５は、揺れによる画像フレーム３２３のずれを補正して、検知領域を変更する。一方、撮像装置３０２が旋回した後に停止した状態が検出された場合、領域決定部３１４は、その画像フレーム３２３に対応するプリセット画像３２１を特定し、特定されたプリセット画像３２１の領域情報３２２を用いて、新たな検知領域を決定する。そして、領域変更部３１５は、画像フレーム３２３の誤差を補正して、検知領域を変更する。
When the shaking state of the
図１１は、図３の画像処理装置３０１が行う画像処理の第１の具体例を示すフローチャートである。図１１の画像処理は、Ｎ枚（Ｎは１以上の整数）の画像フレーム３２３の間隔で、各画像フレーム３２３に対して行われる。
FIG. 11 is a flowchart showing a first specific example of image processing performed by the
まず、状態判定部３１３は、処理対象の画像フレーム３２３から特徴点を検出する（ステップ１１０１）。次に、状態判定部３１３は、Ｎ枚前に画像処理が行われた画像フレーム３２３と、処理対象の画像フレーム３２３との間における各特徴点の移動量を計算し、移動量の統計値を求める（ステップ１１０２）。
First, the
そして、状態判定部３１３は、統計値と閾値Ｔとを比較する（ステップ１１０３）。統計値が閾値Ｔ以上である場合（ステップ１１０３，ＹＥＳ）、状態判定部３１３は、シーンチェンジが検出されたと判定して、不図示の時間計測処理を行う。
Then, the
時間計測処理において、状態判定部３１３は、所定時間長の計測を開始し、Ｎ枚後の画像フレーム３２３を処理対象として、ステップ１１０１以降の処理を繰り返す。したがって、撮像装置３０２が旋回中であり、シーンチェンジが連続して検出されている間は、所定時間長の計測のリセット及び再開が繰り返される。そして、所定時間長の計測が開始された後、シーンチェンジが検出されないまま所定時間長が経過した場合、状態判定部３１３は、撮像装置３０２が旋回した後に停止した状態が検出されたと判定し、時間計測処理を終了する。
In the time measurement process, the
撮像装置３０２が旋回した後に停止した状態が検出された場合、領域決定部３１４は、その時点の処理対象の画像フレーム３２３に対応するプリセット画像３２１を特定する（ステップ１１０５）。そして、領域決定部３１４は、特定されたプリセット画像３２１の領域情報３２２を用いて、画像フレーム３２３内における検知領域を決定し、決定された検知領域を設定ファイル３２４に記録する。
When the stopped state is detected after the
次に、領域変更部３１５は、プリセット画像３２１上に複数の特徴点を配置する（ステップ１１０６）。そして、領域変更部３１５は、画像フレーム３２３上で特徴点を追跡して各特徴点の移動量を計算し、プリセット画像３２１と画像フレーム３２３との間におけるアフィン変換を求めることで、画像フレーム３２３のずれ量を計算する（ステップ１１０７）。
Next, the
次に、領域変更部３１５は、ずれ量を用いて画像フレーム３２３の誤差を補正することで、設定ファイル３２４の検知領域を変更する（ステップ１１０８）。そして、画像処理装置３０１は、設定ファイル３２４に従って画像解析処理を行う（ステップ１１０４）。
Next, the
一方、統計値が閾値Ｔよりも小さい場合（ステップ１１０３，ＮＯ）、画像処理装置３０１は、設定ファイル３２４に従って画像解析処理を行う（ステップ１１０４）。
On the other hand, when the statistical value is smaller than the threshold value T (
図１２は、図１１のステップ１１０４における画像解析処理の例を示すフローチャートである。この例では、道路が写っている画像フレーム３２３を処理対象として、画像解析処理が行われる。
FIG. 12 is a flowchart showing an example of the image analysis process in
まず、画像解析部３１６は、処理対象の画像フレーム３２３が、映像に含まれる最初の画像フレーム３２３であるか否かをチェックする（ステップ１２０１）。処理対象の画像フレーム３２３が最初の画像フレーム３２３である場合（ステップ１２０１，ＹＥＳ）、画像解析部３１６は、初期化処理を行う（ステップ１２０８）。
First, the
一方、処理対象の画像フレーム３２３が最初の画像フレーム３２３ではない場合（ステップ１２０１，ＮＯ）、画像解析部３１６は、処理対象の画像フレーム３２３においてシーンチェンジが検出されたか否かをチェックする（ステップ１２０２）。シーンチェンジが検出された場合（ステップ１２０２，ＹＥＳ）、画像解析部３１６は、初期化処理を行う（ステップ１２０８）。
On the other hand, when the
一方、シーンチェンジが検出されていない場合（ステップ１２０２，ＮＯ）、画像解析部３１６は、処理対象の画像フレーム３２３から、設定ファイル３２４に記録された検知領域に対応する画像を抽出する。そして、画像解析部３１６は、抽出された画像を用いて、検知領域の背景差分を計算する（ステップ１２０３）。
On the other hand, when the scene change is not detected (
次に、画像解析部３１６は、背景差分を用いて車両検知処理を行い（ステップ１２０４）、車両追跡処理を行い（ステップ１２０５）、事象検知処理を行う（ステップ１２０６）。これにより、車両の通過、渋滞、事故、逆走等の事象が検知される。そして、画像解析部３１６は、検知された事象を示す解析結果３２５を生成し、出力部３１７は、解析結果３２５を出力する（ステップ１２０７）。
Next, the
図１３は、図３の画像処理装置３０１が行う画像処理の第２の具体例を示すフローチャートである。図１３のステップ１３０１、ステップ１３０２、ステップ１３０４、ステップ１３０５、及びステップ１３０７〜ステップ１３１０の処理は、図１１のステップ１１０１〜ステップ１１０８の処理と同様である。ステップ１３０３及びステップ１３０４の閾値Ｔ２は、ステップ１１０３の閾値Ｔと等しく、ステップ１３０３の閾値Ｔ１は、閾値Ｔ２よりも小さい。
FIG. 13 is a flowchart showing a second specific example of image processing performed by the
状態判定部３１３は、移動量の統計値を求めた後、統計値と閾値Ｔ１とを比較し、統計値と閾値Ｔ２とを比較する（ステップ１３０３）。統計値が閾値Ｔ１以上かつ閾値Ｔ２未満である場合（ステップ１３０３，ＹＥＳ）、状態判定部３１３は、撮像装置３０２が揺れている状態が検出されたと判定する。
After obtaining the statistical value of the movement amount, the
そこで、領域変更部３１５は、統計値を用いて画像フレーム３２３を逆方向へずらすことで、画像フレーム３２３のずれを補正し、設定ファイル３２４の検知領域を変更する（ステップ１３０６）。そして、画像処理装置３０１は、ステップ１３０４以降の処理を行う。
Therefore, the
ステップ１３０６において、領域変更部３１５は、ステップ１１０７と同様にして画像フレーム３２３のずれ量を計算し、計算されたずれ量を用いて画像フレーム３２３を補正してもよい。
In
図１の画像処理装置１０１及び図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の画像処理装置３０１において、画像フレーム３２３が事前に記憶部３１１に格納されている場合は、画像取得部３１２を省略することができる。
The configurations of the
撮像装置３０２の状態を判定する必要がない場合は、状態判定部３１３を省略することができる。撮像装置３０２のプリセット誤差が小さく、決定された検知領域を変更する必要がない場合は、領域変更部３１５を省略することができる。画像解析が外部の装置で行われる場合は、画像解析部３１６及び出力部３１７を省略することができる。
When it is not necessary to determine the state of the
画像処理装置３０１は、２台以上の撮像装置３０２それぞれから出力される映像に対して、画像処理を行うこともできる。
The
図２及び図１１〜図１３のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１及び図１３の画像処理において、撮像装置３０２の状態を判定する必要がない場合は、ステップ１１０１〜ステップ１１０３及びステップ１３０１〜ステップ１３０４の処理を省略することができる。
The flowcharts of FIGS. 2 and 11 to 13 are merely examples, and some processes may be omitted or changed depending on the configuration or conditions of the image processing apparatus. For example, in the image processing of FIGS. 11 and 13, when it is not necessary to determine the state of the
撮像装置３０２のプリセット誤差が小さく、決定された検知領域を変更する必要がない場合は、ステップ１１０６〜ステップ１１０８及びステップ１３０８〜ステップ１３１０の処理を省略することができる。画像解析が外部の装置で行われる場合は、ステップ１１０４及びステップ１３０５の処理を省略することができる。
When the preset error of the
図１１及び図１３の画像処理において、状態判定部３１３は、特徴点の移動量の統計値を閾値と比較する代わりに、カルマンフィルタ等のフィルタ処理を用いて、撮像装置３０２の状態を判定してもよい。
In the image processing of FIGS. 11 and 13, the
撮像装置３０２が道路以外の場所に設置されている場合は、図１２の画像解析処理とは異なる画像解析処理が行われる。
When the
図４〜図１０に示した画像フレーム及びプリセット画像は一例に過ぎず、画像フレーム及びプリセット画像は、撮影対象に応じて変化する。検知領域及び特徴点は、画像フレーム及びプリセット画像に応じて変化する。 The image frames and preset images shown in FIGS. 4 to 10 are merely examples, and the image frames and preset images change depending on the shooting target. The detection area and the feature point change according to the image frame and the preset image.
図１４は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１４の情報処理装置は、ＣＰＵ（Central Processing Unit）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を含む。これらの構成要素はハードウェアであり、バス１４０８により互いに接続されている。
FIG. 14 shows a hardware configuration example of an information processing device (computer) used as the
メモリ１４０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１４０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
The
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図１の領域決定部１１２として動作する。ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、図３の状態判定部３１３、領域決定部３１４、領域変更部３１５、及び画像解析部３１６としても動作する。
The CPU 1401 (processor) operates as the
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、解析結果３２５であってもよい。出力部１４０４は、図３の出力部３１７として用いることができる。
The
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。補助記憶装置１４０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
The
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
The
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１４０２、補助記憶装置１４０５、又は可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体である。
In this way, the computer-readable recording medium that stores the programs and data used for processing is physical (non-temporary) recording such as
ネットワーク接続装置１４０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受信し、それらをメモリ１４０２にロードして使用することができる。ネットワーク接続装置１４０７は、図３の画像取得部３１２として用いることができる。ネットワーク接続装置１４０７は、出力部３１７としても用いることができる。
The
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。可搬型記録媒体１４０９又は通信ネットワークを使用しない場合は、媒体駆動装置１４０６又はネットワーク接続装置１４０７を省略してもよい。
The information processing device does not have to include all the components of FIG. 14, and some components may be omitted depending on the application or conditions. For example, the
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 Having described in detail the embodiments of the disclosure and its advantages, those skilled in the art will be able to make various changes, additions and omissions without departing from the scope of the invention as expressly stated in the claims. Let's do it.
図１乃至図１４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
さらに、前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定する処理をコンピュータに実行させることを特徴とする付記１に記載の画像処理プログラム。
（付記３）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記判定する処理は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記２に記載の画像処理プログラム。
（付記４）
さらに、前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域を変更する処理をコンピュータに実行させることを特徴とする付記１〜３のいずれか１項に記載の画像処理プログラム。
（付記５）
さらに、前記画像フレームにおける解析対象の領域を用いて画像解析を行う処理をコンピュータに実行させることを特徴とする付記１〜４のいずれか１項に記載の画像処理プログラム。
（付記６）
複数の画像データを記憶する記憶部と、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、前記複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、前記決定した結果を出力する領域決定部と、
を備えることを特徴とする画像処理装置。
（付記７）
前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定する状態判定部をさらに備えることを特徴とする付記６に記載の画像処理装置。
（付記８）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記状態判定部は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記７に記載の画像処理装置。
（付記９）
前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域を変更する領域変更部をさらに備えることを特徴とする付記６〜８のいずれか１項に記載の画像処理装置。
（付記１０）
前記画像フレームにおける解析対象の領域を用いて画像解析を行う画像解析部をさらに備えることを特徴とする付記６〜９のいずれか１項に記載の画像処理装置。
（付記１１）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
ことを特徴とする画像処理方法。
（付記１２）
さらに、前記コンピュータは、前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定することを特徴とする付記１１に記載の画像処理方法。
（付記１３）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記判定する処理は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記１２に記載の画像処理方法。
（付記１４）
さらに、前記コンピュータは、前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域ことを特徴とする付記１１〜１３のいずれか１項に記載の画像処理方法。
（付記１５）
さらに、前記コンピュータは、前記画像フレームにおける解析対象の領域を用いて画像解析を行うことを特徴とする付記１１〜１４のいずれか１項に記載の画像処理方法。
The following additional notes will be further disclosed with respect to the embodiments described with reference to FIGS. 1 to 14.
(Appendix 1)
From the moving image data taken while changing the shooting direction by the imaging device, the image frame shot when the shooting direction is in a specific state is extracted.
Based on the plurality of image data stored in the storage unit and the image frame, the image data is specified from the plurality of image data, and the image data is specified.
The area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data.
An image processing program for causing a computer to execute a process of outputting the determined result.
(Appendix 2)
Further, the image processing program according to Appendix 1, wherein a computer is made to execute a process of determining the specific state based on the amount of movement of the feature points included in the moving image data.
(Appendix 3)
The specific state is a state in which the shooting direction has not changed for a predetermined time length or more, and the determination process is based on the amount of movement of the feature points included in the moving image data between image frames. The image processing program according to Appendix 2, wherein it determines a state in which the direction has not changed for a predetermined time length or more.
(Appendix 4)
Further, according to the deviation between the first feature point included in the image frame and the second feature point included in the specified image data and corresponding to the first feature point, the analysis target in the image frame The image processing program according to any one of Items 1 to 3, wherein a computer executes a process of changing the area of the above.
(Appendix 5)
The image processing program according to any one of Supplementary note 1 to 4, further comprising causing a computer to execute a process of performing image analysis using an area to be analyzed in the image frame.
(Appendix 6)
A storage unit that stores multiple image data and
From the moving image data shot while changing the shooting direction by the imaging device, an image frame shot when the shooting direction is in a specific state is extracted, and based on the plurality of image data and the image frame. , The image data is specified from the plurality of image data, and the area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data. The area determination unit that outputs the determined result and
An image processing device characterized by comprising.
(Appendix 7)
The image processing apparatus according to Appendix 6, further comprising a state determination unit for determining that a specific state is obtained based on the amount of movement of feature points included in the moving image data.
(Appendix 8)
The specific state is a state in which the shooting direction has not changed for a predetermined time length or more, and the state determination unit takes the picture based on the amount of movement of the feature points included in the moving image data between image frames. The image processing apparatus according to Appendix 7, wherein it determines a state in which the direction has not changed for a predetermined time length or more.
(Appendix 9)
A region to be analyzed in the image frame according to the deviation between the first feature point included in the image frame and the second feature point included in the specified image data and corresponding to the first feature point. The image processing apparatus according to any one of Appendix 6 to 8, further comprising an area changing unit for changing the above.
(Appendix 10)
The image processing apparatus according to any one of Supplementary note 6 to 9, further comprising an image analysis unit that performs image analysis using a region to be analyzed in the image frame.
(Appendix 11)
An image processing method performed by a computer
The computer
From the moving image data taken while changing the shooting direction by the imaging device, the image frame shot when the shooting direction is in a specific state is extracted.
Based on the plurality of image data stored in the storage unit and the image frame, the image data is specified from the plurality of image data, and the image data is specified.
The area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data.
An image processing method characterized by outputting the determined result.
(Appendix 12)
Further, the image processing method according to Appendix 11, wherein the computer determines that the specific state is obtained based on the amount of movement of feature points included in the moving image data.
(Appendix 13)
The specific state is a state in which the shooting direction has not changed for a predetermined time length or more, and the determination process is based on the amount of movement of the feature points included in the moving image data between image frames. The image processing method according to Appendix 12, wherein it is determined that the direction has not changed for a predetermined time length or more.
(Appendix 14)
Further, the computer uses the image according to the deviation between the first feature point included in the image frame and the second feature point included in the specified image data and corresponding to the first feature point. The image processing method according to any one of Supplementary note 11 to 13, wherein the area to be analyzed in the frame.
(Appendix 15)
The image processing method according to any one of Supplementary note 11 to 14, wherein the computer performs image analysis using a region to be analyzed in the image frame.
１０１、３０１ 画像処理装置
１１１、３１１ 記憶部
１１２、３１４ 領域決定部
３０２ 撮像装置
３１２ 画像取得部
３１３ 状態判定部
３１５ 領域変更部
３１６ 画像解析部
３１７ 出力部
３２１ プリセット画像
３２２ 領域情報
３２３ 画像フレーム
３２４ 設定ファイル
３２５ 解析結果
４０１〜４０３、４１２、４１４ 領域
４１１、４１３ 矢印
５０１、５０２、６０１、６０２ プリセット画像
５１１、５１２、６１１、６１２、９０１、９０２、９１１、９１２ 検知領域
１４０１ ＣＰＵ
１４０２ メモリ
１４０３ 入力装置
１４０４ 出力装置
１４０５ 補助記憶装置
１４０６ 媒体駆動装置
１４０７ ネットワーク接続装置
１４０８ バス
１４０９ 可搬型記録媒体
101, 301
1402
Claims (7)
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
処理をコンピュータに実行させるための画像処理プログラム。 From the moving image data taken while changing the shooting direction by the imaging device, the image frame shot when the shooting direction is in a specific state is extracted.
Based on the plurality of image data stored in the storage unit and the image frame, the image data is specified from the plurality of image data, and the image data is specified.
The area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data.
An image processing program for causing a computer to execute a process of outputting the determined result.
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、前記複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、前記決定した結果を出力する領域決定部と、
を備えることを特徴とする画像処理装置。 A storage unit that stores multiple image data and
From the moving image data shot while changing the shooting direction by the imaging device, an image frame shot when the shooting direction is in a specific state is extracted, and based on the plurality of image data and the image frame. , The image data is specified from the plurality of image data, and the area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data. The area determination unit that outputs the determined result and
An image processing device characterized by comprising.
前記コンピュータが、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
ことを特徴とする画像処理方法。 An image processing method performed by a computer
The computer
From the moving image data taken while changing the shooting direction by the imaging device, the image frame shot when the shooting direction is in a specific state is extracted.
Based on the plurality of image data stored in the storage unit and the image frame, the image data is specified from the plurality of image data, and the image data is specified.
The area to be analyzed in the image frame is determined based on the information about the area to be analyzed stored in association with the specified image data.
An image processing method characterized by outputting the determined result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019109839A JP2020201841A (en) | 2019-06-12 | 2019-06-12 | Image processing program, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019109839A JP2020201841A (en) | 2019-06-12 | 2019-06-12 | Image processing program, image processing apparatus, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020201841A true JP2020201841A (en) | 2020-12-17 |
Family
ID=73742226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019109839A Pending JP2020201841A (en) | 2019-06-12 | 2019-06-12 | Image processing program, image processing apparatus, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020201841A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192069A (en) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | Vehicle traffic monitoring apparatus and program |
| JP2016018411A (en) * | 2014-07-09 | 2016-02-01 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
-
2019
- 2019-06-12 JP JP2019109839A patent/JP2020201841A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192069A (en) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | Vehicle traffic monitoring apparatus and program |
| JP2016018411A (en) * | 2014-07-09 | 2016-02-01 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887318B2 (en) | Object tracking | |
| JP5663352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR102132248B1 (en) | Control apparatus, method of controlling image sensing device, and computer-readable storage medium | |
| JP6184271B2 (en) | Imaging management apparatus, imaging management system control method, and program | |
| JP3801137B2 (en) | Intruder detection device | |
| US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
| KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
| KR100879623B1 (en) | Automated wide area surveillance system using ptz camera and method therefor | |
| JP2015104016A (en) | Subject detection apparatus, imaging apparatus, subject detection apparatus control method, subject detection apparatus control program, and storage medium | |
| JP6551226B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| KR102282470B1 (en) | Camera apparatus and method of object tracking using the same | |
| JP4987513B2 (en) | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM | |
| KR102128319B1 (en) | Method and Apparatus for Playing Video by Using Pan-Tilt-Zoom Camera | |
| JP2002374521A (en) | Method and device for monitoring mobile object | |
| JP2005346425A (en) | Automatic tracking system and automatic tracking method | |
| CN113033353A (en) | Pedestrian trajectory generation method based on overlook image, storage medium and electronic device | |
| KR102107137B1 (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
| JP2020201841A (en) | Image processing program, image processing apparatus, and image processing method | |
| JP2006173872A (en) | Camera controller | |
| JP2013179614A (en) | Imaging apparatus | |
| KR101272631B1 (en) | Apparatus for detecting a moving object and detecting method thereof | |
| JP2006012013A (en) | Mobile object tracking device | |
| JP2021022783A (en) | Control device, tracking system, control method, and program | |
| JP5230404B2 (en) | Imaging device, control method thereof, and program | |
| KR102430033B1 (en) | Method for detecting object and apparatus thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230711 |