JP7281760B2

JP7281760B2 - Measuring system, vehicle, measuring device, measuring program and measuring method

Info

Publication number: JP7281760B2
Application number: JP2022522192A
Authority: JP
Inventors: 拓妹尾; 正浩平野; 則政岸; 正俊石川; 健二鈴木; ▲尭▼ 潘; 笑笑仲; 浩史丸山
Original assignee: KOTEI INFORMATICS CORPORATION; University of Tokyo NUC
Current assignee: KOTEI INFORMATICS CORPORATION; University of Tokyo NUC
Priority date: 2020-05-14
Filing date: 2021-05-13
Publication date: 2023-05-26
Anticipated expiration: 2041-05-13
Also published as: JPWO2021230314A1; WO2021230314A1; CN115135959A

Description

本発明は、計測システム、車両、計測装置、計測プログラム及び計測方法に関する。 The present invention relates to a measuring system, a vehicle, a measuring device, a measuring program and a measuring method.

産業界において、自動車や移動ロボット等を周囲の対象物（障害物又は移動体）と衝突しないように制御することが求められている。そのために、周囲の対象物の変位・速度・加速度といった物理量の計測が求められている。特許文献１には、対象物の速度を計測可能な物体速度算出装置が開示されている。 BACKGROUND ART In the industrial world, it is required to control automobiles, mobile robots, etc. so as not to collide with surrounding objects (obstacles or moving bodies). Therefore, it is required to measure physical quantities such as displacement, velocity, and acceleration of surrounding objects. Patent Literature 1 discloses an object velocity calculation device capable of measuring the velocity of an object.

特開２０１９－５３０１１号公報Japanese Patent Application Laid-Open No. 2019-53011

ところで、例えば自動車の隊列走行を考慮すると、衝突回避を担保しつつ車間距離を詰めて走行することができれば経済的なメリットが大きい。しかしながら、特許文献１に記載される装置は、システムの応答性が不十分で、側方からの突然の割り込みや衝突被害軽減ブレーキ等には対処できない。これは自動車に限らず、あらゆる移動体について同様のことが想定される。 By the way, considering, for example, platooning of automobiles, it is economically advantageous if it is possible to shorten the inter-vehicle distance while ensuring collision avoidance. However, the device described in Patent Document 1 has insufficient system responsiveness and cannot cope with sudden interruptions from the side, collision damage mitigation braking, and the like. This is not limited to automobiles, but is assumed to be the same for all moving bodies.

本発明では上記事情に鑑み、周囲の対象物と衝突しないような制御に寄与する技術を提供することとした。 In view of the above circumstances, the present invention provides a technique that contributes to control so as not to collide with surrounding objects.

本発明の一態様によれば、対象物を計測する計測システムが提供される。この計測システムは、撮像装置と、計測装置とを備える。撮像装置は、画角に含まれる対象物の動画を撮像可能に構成される。計測装置は、距離取得部と、受付部と、パッチ設定部と、計測部とを備える。距離取得部は、ある時刻における対象物までの距離を取得するように構成される。受付部は、動画に含まれる各フレームを受け付けるように構成される。パッチ設定部は、ある時刻以後の各フレームに対して、対象物の少なくとも一部を含むパッチを設定するように構成される。計測部は、取得された距離と、フレームごとに設定されたパッチの拡大率とに基づいて、対象物までの所望時刻の距離を計測可能に構成される。 According to one aspect of the invention, a measurement system for measuring an object is provided. This measurement system includes an imaging device and a measurement device. The imaging device is configured to be capable of imaging a moving image of an object included in an angle of view. The measurement device includes a distance acquisition section, a reception section, a patch setting section, and a measurement section. The distance acquisition unit is configured to acquire the distance to the object at a certain time. The receiving unit is configured to receive each frame included in the moving image. The patch setting unit is configured to set a patch including at least part of the object for each frame after a certain time. The measurement unit is configured to be able to measure the distance to the object at a desired time based on the obtained distance and the patch enlargement factor set for each frame.

かかる計測システムによれば、周囲の対象物と衝突しないような制御に寄与する。 Such a measurement system contributes to control so as not to collide with surrounding objects.

計測システム１の全体構成を示す概要図である。1 is a schematic diagram showing the overall configuration of a measurement system 1; FIG. 計測装置３のハードウェア構成を示すブロック図である。3 is a block diagram showing the hardware configuration of the measuring device 3; FIG. 計測装置３（制御部３３）の機能構成を示すブロック図である。3 is a block diagram showing the functional configuration of the measuring device 3 (control section 33); FIG. 撮像装置２が撮像した画像ＩＭを示す概要図であり、図４Ａは、ある時刻ｔ（ｋ）（ｔ＝０と例示）における左画像ＩＭａ及び右画像ＩＭｂを示し、図４Ｂ及び図４Ｃは、ある時刻ｔ（ｋ）以後（ｔ＝１，２と例示）における左画像ＩＭａを示している。4A is a schematic diagram showing an image IM captured by an imaging device 2, FIG. 4A shows a left image IMa and a right image IMb at a certain time t(k) (t=0 as an example), and FIGS. 4B and 4C show The left image IMa after a certain time t(k) (t=1, 2 as an example) is shown. 本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示すもので、特に図５Ａは、前方車両との距離ｄが遠い場合を示し、図５Ｂは前方車両との距離ｄが近い場合を示している。Fig. 5A shows the results of measuring the inter-vehicle distance (distance d) between the present vehicle and a forward vehicle, which is an example of an object OBJ, and the relative velocity v and relative acceleration a of the forward vehicle. FIG. 5B shows a case in which the distance d to the forward vehicle is short. 各参考値Ｒ（ｋ）に対する重み付けの態様を示す概要図である。FIG. 4 is a schematic diagram showing a weighting mode for each reference value R(k); 計測方法の流れを示すアクティビティ図である。FIG. 4 is an activity diagram showing the flow of the measurement method; 第２の実施形態に係る計測システム１のフィルタ適用手順を説明する模式図である。It is a schematic diagram explaining the filter application procedure of the measurement system 1 which concerns on 2nd Embodiment. 予め記憶された複数のパッチＰから、適当なパッチＰが選択される態様を示す模式図である。FIG. 4 is a schematic diagram showing a mode in which an appropriate patch P is selected from a plurality of patches P stored in advance; キーフレーム処理の非同期化を表す概要図である。FIG. 4 is a schematic diagram representing desynchronization of keyframe processing; 本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。It shows the results of measuring the inter-vehicle distance (distance d) between the present vehicle and the preceding vehicle, which is an example of the object OBJ, and the relative velocity v and relative acceleration a of the preceding vehicle. 本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。It shows the results of measuring the inter-vehicle distance (distance d) between the present vehicle and the preceding vehicle, which is an example of the object OBJ, and the relative velocity v and relative acceleration a of the preceding vehicle. 第２の実施形態に係る計測システム１の情報処理の流れの概要を示す概念図である。FIG. 11 is a conceptual diagram showing an overview of the flow of information processing of the measurement system 1 according to the second embodiment;

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。 Embodiments of the present invention will be described below with reference to the drawings. Various features shown in the embodiments shown below can be combined with each other.

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－ＴｒａｎｓｉｔｏｒｙＣｏｍｐｕｔｅｒ－ＲｅａｄａｂｌｅＭｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。 By the way, the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。 Further, in the present embodiment, the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources. . In addition, various information is handled in the present embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. It is represented by high and low, or quantum superposition (so-called quantum bit), and communication and operation can be performed on a circuit in a broad sense.

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（ＳｉｍｐｌｅＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ））等を含むものである。 A circuit in a broad sense is a circuit implemented by appropriately combining at least circuits, circuits, processors, memories, and the like. Application Specific Integrated Circuits (ASICs); Programmable Logic Devices (e.g., Simple Programmable Logic Devices (SPLDs); Complex Programmable Logic Devices (CPLDs); and field It includes a programmable gate array (Field Programmable Gate Array: FPGA).

１．ハードウェア構成
本節では、本実施形態に係る計測システム１のハードウェア構成について説明する。1. Hardware Configuration This section describes the hardware configuration of the measurement system 1 according to this embodiment.

１．１計測システム１
図１は、計測システム１の全体構成を示す概要図である。対象物ＯＢＪを計測する計測システム１は、撮像装置２と、計測装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）等の車両、船舶、移動型ロボット、ドローンや各種飛行体、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、車両に載置されたもの（車両が計測システム１を備える）で、対象物ＯＢＪが車両に対する障害物又は他車両である。1.1 Measurement system 1
FIG. 1 is a schematic diagram showing the overall configuration of the measurement system 1. As shown in FIG. A measurement system 1 for measuring an object OBJ is a system in which an imaging device 2 and a measurement device 3 are electrically connected. The measurement system 1 is preferably used by being installed on a mobile body. Examples of mobile objects include vehicles such as automobiles and trains (including not only public transportation but also amusement vehicles), ships, mobile robots, drones, various flying objects, humans, and animals. In this specification, an automobile is used as an example for explanation, and the automobile on which the measurement system 1 is mounted is defined as the "main automobile". That is, the measurement system 1 is mounted on a vehicle (the vehicle includes the measurement system 1), and the object OBJ is an obstacle to the vehicle or another vehicle.

１．２撮像装置２
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レート（以後周波数ｆと称する）が高いものが採用されることが好ましい。1.2 Imaging device 2
The imaging device 2 is a so-called vision sensor (camera) configured to be able to acquire information of the external world as an image. preferable.

すなわち、撮像装置２は、画角に含まれる対象物ＯＢＪの動画を周波数ｆで撮像可能に構成される。好ましくは、撮像装置２の周波数ｆは、１００Ｈｚ以上であり、具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。 That is, the imaging device 2 is configured to be capable of imaging a moving image of the object OBJ included in the angle of view at the frequency f. Preferably, the frequency f of the imaging device 2 is 100 Hz or more, specifically, 450,475,500,525,550,575,600,625,650,675,700,725,750,775,800,825,850,875,900,925,950,975,1000,1025,1050, 1075, 1100, 1125, 1150, 1175, 1200, 1225, 1250, 1275, 1300, 1325, 1350, 1375, 1400, 1425, 1450, 1475, 1500, 1525, 1550, 1575, 1600, 1625, 1650, 1 675, 1700, 1725, 1750, 1775, 1800, 1825, 1850, 1875, 1900, 1925, 1950, 1975, 2000 Hz, and may be in the range between any two of the values exemplified herein.

ここで、撮像装置２は、異なる視点を有する２以上のカメラを含む。好ましくは、撮像装置２は、左カメラ２ａ及び右カメラ２ｂからなる、いわゆる２眼の撮像装置である。また、左カメラ２ａの画角及び右カメラ２ｂの画角は、互いに重複する領域があることに留意されたい。また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを単独で、又は適宜、複数組み合せて採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム１を用いた計測を実施することができる。 Here, the imaging device 2 includes two or more cameras having different viewpoints. Preferably, the imaging device 2 is a so-called binocular imaging device consisting of a left camera 2a and a right camera 2b. Also, it should be noted that the angle of view of the left camera 2a and the angle of view of the right camera 2b have areas that overlap each other. In addition, in the imaging device 2, a camera capable of measuring not only visible light but also a band such as an ultraviolet range and an infrared range that humans cannot perceive may be employed singly or in combination as appropriate. By adopting such a camera, it is possible to perform measurement using the measurement system 1 according to this embodiment even in a dark field.

（左カメラ２ａ）
左カメラ２ａは、計測システム１において、右カメラ２ｂと並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、左カメラ２ａの画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、左カメラ２ａは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。(Left camera 2a)
The left camera 2a is provided in parallel with the right camera 2b in the measurement system 1, and is configured to be capable of imaging the front left side of the vehicle. Specifically, the angle of view of the left camera 2a captures the road surface extending in front of the vehicle or obstacles positioned in front (for example, vehicles, pedestrians, animals, etc.) ahead. Also, the left camera 2 a is connected to a communication unit 31 of the measuring device 3 to be described later via an electrical communication line (for example, a USB cable), and is configured to be able to transfer captured images to the measuring device 3 .

（右カメラ２ｂ）
右カメラ２ｂは、計測システム１において、左カメラ２ａと並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、右カメラ２ｂの画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、右カメラ２ｂは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。(right camera 2b)
The right camera 2b is provided in parallel with the left camera 2a in the measurement system 1, and is configured to be capable of imaging the front right side of the vehicle. Specifically, the angle of view of the right camera 2b captures the road surface extending in front of the vehicle or the preceding vehicle (that is, an obstacle) positioned in front of the vehicle. Further, the right camera 2 b is connected to a communication unit 31 of the measuring device 3 to be described later via an electrical communication line (for example, a USB cable or the like) so that the captured image can be transferred to the measuring device 3 .

換言すると、撮像装置２は、左カメラ２ａ及び右カメラ２ｂの画角に含まれる対象物ＯＢＪを、左画像ＩＭａ及び右画像ＩＭｂとして時系列に動画として撮像可能に構成される。 In other words, the imaging device 2 is configured to be able to capture the object OBJ included in the angles of view of the left camera 2a and the right camera 2b as moving images in time series as the left image IMa and the right image IMb.

１．３計測装置３
図２は、計測装置３のハードウェア構成を示すブロック図である。図２に示されるように、計測装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が計測装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。1.3 Measuring device 3
FIG. 2 is a block diagram showing the hardware configuration of the measuring device 3. As shown in FIG. As shown in FIG. 2 , the measuring device 3 has a communication unit 31 , a storage unit 32 , and a control unit 33 . It is connected to the. Each component will be further described below.

（通信部３１）
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における左カメラ２ａ及び右カメラ２ｂとは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、計測システム１が計測する対象物ＯＢＪの物理量（距離、速度又は加速度）や本自動車の速度等を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。(Communication unit 31)
The communication unit 31 preferably uses wired communication means such as USB, IEEE1394, Thunderbolt, wired LAN network communication, etc., but wireless LAN network communication, mobile communication such as 3G/LTE/5G, Bluetooth (registered trademark) communication, etc. is required. may be included depending on That is, it is more preferable to implement as a set of these communication means. In particular, the left camera 2a and the right camera 2b in the imaging device 2 described above can be configured to receive images by communicating according to a predetermined high-speed communication standard (for example, USB 3.0, camera link, etc.). preferable. In addition, a monitor (not shown) for displaying the physical quantity (distance, speed or acceleration) of the object OBJ measured by the measurement system 1 and the speed of the vehicle, and automatic control (automatic control) of the vehicle based on the measurement results. An automatic controller (not shown) may be connected to control the operation.

（記憶部３２）
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。(storage unit 32)
The storage unit 32 stores various information defined by the above description. This is, for example, a storage device such as a solid state drive (SSD), or a random access memory (Random Access Memory: RAM) or the like. A combination of these may also be used.

特に、記憶部３２は、撮像装置２における左カメラ２ａ及び右カメラ２ｂによって撮像され、且つ通信部３１が受信した画像ＩＭ（左画像ＩＭａ及び右画像ＩＭｂ）を記憶する。ここで、画像ＩＭは、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。 In particular, the storage unit 32 stores images IM (left image IMa and right image IMb) captured by the left camera 2a and the right camera 2b of the imaging device 2 and received by the communication unit 31 . Here, the image IM is arrangement information comprising, for example, 8-bit RGB pixel information.

また、記憶部３２は、次に説明する制御部３３が読み出し可能な各種のプログラムを記憶している。 The storage unit 32 also stores various programs that can be read by the control unit 33, which will be described below.

（制御部３３）
制御部３３は、計測装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、計測装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図３に示されるように、制御部３３における各機能部として実行されうる。これらについては、第２節において詳述する。(control unit 33)
The control unit 33 processes and controls overall operations related to the measuring device 3 . The control unit 33 is, for example, a central processing unit (CPU) (not shown). The control unit 33 implements various functions related to the measuring device 3 by reading out a predetermined program stored in the storage unit 32 . That is, by specifically realizing information processing by software (stored in the storage unit 32) by hardware (the control unit 33), as shown in FIG. can be executed. These are described in detail in Section 2.

なお、図２においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。 Although FIG. 2 shows a single controller 33, the present invention is not limited to this, and a plurality of controllers 33 may be provided for each function. A combination thereof may also be used.

２．機能構成
本節では、本実施形態の機能構成について説明する。図３は、計測装置３（制御部３３）の機能構成を示すブロック図である。図４は、撮像装置２が撮像した画像ＩＭを示す概要図であり、図４Ａは、ある時刻ｔ（ｋ）（ｔ＝０と例示）における左画像ＩＭａ及び右画像ＩＭｂを示し、図４Ｂ及び図４Ｃは、ある時刻ｔ（ｋ）以後（ｔ＝１，２と例示）における左画像ＩＭａを示している。前述の制御部３３に関して、計測装置３は、受付部３３０と、距離取得部３３１と、パッチ設定部３３２と、演算部３３３と、計測部３３４と、ペダルワーク推定部３３５とを備える。以下、各構成要素についてさらに説明する。2. Functional Configuration This section describes the functional configuration of this embodiment. FIG. 3 is a block diagram showing the functional configuration of the measuring device 3 (control section 33). FIG. 4 is a schematic diagram showing an image IM captured by the imaging device 2, FIG. 4A shows a left image IMa and a right image IMb at a certain time t(k) (t=0 as an example), FIG. 4C shows the left image IMa after a certain time t(k) (t=1, 2 as an example). Regarding the control unit 33 described above, the measurement device 3 includes a reception unit 330 , a distance acquisition unit 331 , a patch setting unit 332 , a calculation unit 333 , a measurement unit 334 and a pedal work estimation unit 335 . Each component will be further described below.

（受付部３３０）
受付部３３０は、撮像装置２によって撮像された動画に含まれる各フレームを受け付けるように構成される。具体的には、受付部３３０は、通信部３１を介して左画像ＩＭａ及び右画像ＩＭｂを受信し、これらを記憶部３２に記憶させる。また、計測装置３が撮像装置２以外の他の機器と接続されている場合は、それらの機器から送信された情報を受信するように実施してもよい。(Reception unit 330)
The reception unit 330 is configured to receive each frame included in the moving image captured by the imaging device 2 . Specifically, the reception unit 330 receives the left image IMa and the right image IMb via the communication unit 31 and causes the storage unit 32 to store them. Further, when the measuring device 3 is connected to devices other than the imaging device 2, it may be implemented so as to receive information transmitted from those devices.

（距離取得部３３１）
距離取得部３３１は、ある時刻ｔ（ｋ｜ｋ＝０，１，２・・・）における対象物ＯＢＪまでの距離ｄ（ｋ）を取得するように構成される。すなわち、ある時刻ｔ（ｋ）とは、複数の時刻であり、例えば、ある時刻ｔ（ｋ）とは、計測を開始した初期時刻ｔ（０）である。距離取得部３３１は、周波数ｆよりも低い周波数ｇで距離ｄ（ｋ）をある時刻ｔ（ｋ）ごとに取得するように構成される。ところで前述の通り、撮像装置２が左カメラ２ａ及び右カメラ２ｂを有する。したがって、好ましくは、距離取得部３３１は、ある時刻ｔ（ｋ）において異なる視点で撮像された２以上の画像ＩＭ（左画像ＩＭａ及び右画像ＩＭｂ）を用いた多視点画像処理に基づいて、距離ｄ（ｋ）を取得するように構成される。(Distance acquisition unit 331)
The distance acquisition unit 331 is configured to acquire the distance d(k) to the object OBJ at a given time t(k|k=0, 1, 2, . . . ). That is, a given time t(k) is a plurality of times, for example, a given time t(k) is the initial time t(0) at which measurement is started. The distance acquisition unit 331 is configured to acquire the distance d(k) at a frequency g lower than the frequency f at each time t(k). By the way, as described above, the imaging device 2 has the left camera 2a and the right camera 2b. Therefore, preferably, the distance acquisition unit 331 calculates the distance based on multi-viewpoint image processing using two or more images IM (left image IMa and right image IMb) captured from different viewpoints at time t(k). configured to obtain d(k).

多視点画像処理の一例としては三角測量が挙げられる。三角測量では、左画像ＩＭａ及び右画像ＩＭｂそれぞれの画像中における対象物ＯＢＪの位置を画像処理によって求め、その位置の差と、実際の左カメラ２ａ及び右カメラ２ｂの距離（基線）とから、対象物ＯＢＪまでの距離ｄ（ｋ）が算出される。このように三角測量を用いることで、距離取得部３３１が精度高く距離ｄ（ｋ）を取得することができる。ただし、三角測量は相応の計算時間を要するため、距離取得部３３１は、計測システム１が実時間でも動作する程度の周波数ｇである時刻ｔ（ｋ）ごとに取得することとしている。ある時刻ｔ（ｋ）に相当するフレームは、キーフレーム（ＫＦ）と称される。 An example of multi-viewpoint image processing is triangulation. In triangulation, the position of the object OBJ in each of the left image IMa and the right image IMb is obtained by image processing, and from the difference between the positions and the actual distance (base line) between the left camera 2a and the right camera 2b, A distance d(k) to the object OBJ is calculated. By using triangulation in this way, the distance acquisition unit 331 can acquire the distance d(k) with high accuracy. However, since triangulation requires a considerable amount of calculation time, the distance acquisition unit 331 acquires the distance every time t(k), which is a frequency g that allows the measurement system 1 to operate even in real time. A frame corresponding to a certain time t(k) is called a key frame (KF).

周波数ｇの値は特に限定されず、撮像装置２の周波数ｆ（フレームレート）と同じでもよいし、同じでなくてもよい。好ましくは、ｇ≦ｆであり、さらに好ましくは、周波数ｇは、１００Ｈｚ以下であり、具体的には例えば、具体的には例えば、１００，９５，９０，８５，８０，７５，７０，６５，６０，５５，５０，４５，４０，３５，３０，２５，２０，１５，１０，５Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。 The value of the frequency g is not particularly limited, and may or may not be the same as the frequency f (frame rate) of the imaging device 2 . Preferably, g≦f, and more preferably, the frequency g is 100 Hz or less. 60, 55, 50, 45, 40, 35, 30, 25, 20, 15, 10, 5 Hz, and may be in the range between any two of the values exemplified herein.

（パッチ設定部３３２）
パッチ設定部３３２は、ある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。より詳細には、パッチ設定部３３２は、各ある時刻ｔ（ｋ）以後且つその次のある時刻ｔ（ｋ＋１）以前の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。(Patch setting unit 332)
The patch setting unit 332 is configured to set a patch P including at least part of the object OBJ for each frame after a certain time t(k). More specifically, the patch setting unit 332 sets a patch P including at least a part of the object OBJ for each frame after each certain time t(k) and before the next certain time t(k+1). configured to

例えば、ある時刻ｔ（０）以後且つその次のある時刻ｔ（１）以前の各フレームに対して、対象物ＯＢＪを含むパッチＰが設定される。同様に、ある時刻ｔ（１）以後且つその次のある時刻ｔ（２）以前の各フレームに対して、再び対象物ＯＢＪを含むパッチＰが設定される。これが繰り返される。なお、パッチＰの設定は、周期的又は定期的に実施されてもよいし、対象物ＯＢＪまでの距離ｄや相対速度ｖ等に基づいて、不定期又は可変に実施されてもよい。パッチＰの設定方法は、特に限定されるものではないが、例えば、記憶部３２に種々の対象物ＯＢＪとこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶させ、パッチ設定部３３２がかかる学習済みモデルに基づいて、パッチＰを設定するとよい。特に好ましくは、学習済みモデルによって得られる矩形領域（バウンディングボックス）に対して、各座標や高さ等を調整したものがパッチＰとして使用されるとよい。また、パッチＰは正方形に設定されるとよい。特に正方形状にパッチＰを設定することによって計算コストを削減し、撮像装置２における高い周波数ｆで各フレームごとにパッチＰを設定・更新することができる。 For example, a patch P including the object OBJ is set for each frame after a certain time t(0) and before the next certain time t(1). Similarly, a patch P including the object OBJ is again set for each frame after a certain time t(1) and before the next certain time t(2). This is repeated. The setting of the patch P may be performed periodically or periodically, or may be performed irregularly or variably based on the distance d to the object OBJ, the relative speed v, and the like. The method of setting the patch P is not particularly limited. 332 may set the patch P based on the learned model. Particularly preferably, the patches P are obtained by adjusting the coordinates, height, etc. of the rectangular area (bounding box) obtained by the learned model. Also, the patch P is preferably set to be square. In particular, by setting the patch P in a square shape, the calculation cost can be reduced, and the patch P can be set and updated for each frame at a high frequency f in the imaging device 2 .

また、ある時刻ｔ（０）、ｔ（１）・・・での深層学習を実施するため、ある時刻ｔ（ｋ）から次のある時刻ｔ（ｋ＋１）までの間の時刻においては、ある時刻ｔ（ｋ）に設定されたパッチＰと同じ位置及び大きさのパッチＰを切り出して計測に使用することとなる。 In order to perform deep learning at certain times t(0), t(1), . A patch P having the same position and size as the patch P set at t(k) is cut out and used for measurement.

（演算部３３３）
演算部３３３は、ある時刻ｔ（ｋ）ごとに設定された複数のパッチＰ（ｋ）に対する所望時刻のパッチＰの拡大率と、これに基づく複数の、所望時刻（例えば現在時刻）の距離ｄの参考値Ｒ（ｋ）を演算する。つまり、距離取得部３３１によって取得された距離ｄ（ｋ）及びこれに対応するパッチＰ（ｋ）を基準として、所望時刻におけるフレームのパッチＰの拡大率に基づいて、対象物ＯＢＪまでの所望時刻の距離ｄの参考値Ｒ（ｋ）が導出される。複数の参考値Ｒ（ｋ）は、記憶部３２にそれぞれ記憶される。(Calculation unit 333)
The calculation unit 333 calculates the expansion rate of the patch P at the desired time with respect to the plurality of patches P(k) set for each time t(k), and the distance d of the desired time (for example, the current time) based on this. A reference value R(k) of is calculated. In other words, the distance d(k) obtained by the distance obtaining unit 331 and the corresponding patch P(k) are used as references, and the desired time to the object OBJ is calculated based on the enlargement ratio of the patch P of the frame at the desired time. A reference value R(k) for the distance d of is derived. A plurality of reference values R(k) are stored in the storage unit 32, respectively.

より具体的に説明する。例えば、対象物ＯＢＪが本自動車の前方車両であれば、本自動車と前方車両との距離は、刻一刻と変化する。したがって、図４Ａ～図４Ｃに示されるように、パッチ設定部３３２によって設定されたパッチＰ内のコンテンツ（対象物ＯＢＪの少なくとも一部が該当）の大きさも、フレームごとに変化することとなる。本実施形態では、キーフレーム（ある時刻ｔ（ｋ））において取得した距離ｄ（ｋ）と、そのキーフレームにおけるパッチＰ内のコンテンツの大きさ（以後パッチＰの拡大率と称する）とを紐付け、その以後の各フレームでは、パッチＰの拡大率から距離ｄの参考値Ｒ（ｋ）を演算することとしている。 More specific description will be given. For example, if the object OBJ is a vehicle in front of the vehicle, the distance between the vehicle and the vehicle in front changes from moment to moment. Therefore, as shown in FIGS. 4A to 4C, the size of the content (corresponding to at least part of the object OBJ) within the patch P set by the patch setting unit 332 also changes for each frame. In this embodiment, the distance d(k) obtained at a key frame (a certain time t(k)) is linked to the size of the content in the patch P at that key frame (hereinafter referred to as the patch P enlargement ratio). In each subsequent frame, the reference value R(k) of the distance d is calculated from the enlargement ratio of the patch P.

ここで、好ましくは、演算部３３３は、フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、パッチＰ間に含まれるコンテンツ（対象物ＯＢＪの少なくとも一部）のマッチングをとることでパッチの拡大率Ｐを演算する。パワースペクトルによってブレの影響を除去できる。また、対数極座標変換と位相限定相関法とによって、コンテンツの、平行移動、回転及び拡大縮小変位を得ることができる。すなわち、この拡大縮小変位がパッチＰの拡大率である。もちろん、あくまでも一例でありこの限りではない。なお、計測装置３の制御レートがボトルネックとならない場合であれば、最大で撮像装置２の周波数ｆで距離ｄを計測することができる。 Here, preferably, the calculation unit 333 applies the log-polar coordinate transformation and the phase-only correlation method to the power spectrum obtained by Fourier transforming the frame, and converts the content (object OBJ (at least a part of) is matched to calculate the enlargement factor P of the patch. The power spectrum can remove the effects of blurring. Also, the translation, rotation and scaling displacement of the content can be obtained by the log-polar transformation and the phase-only correlation method. That is, this enlargement/reduction displacement is the patch P's enlargement ratio. Of course, this is only an example and is not limited to this. If the control rate of the measurement device 3 does not become a bottleneck, the distance d can be measured at the maximum frequency f of the imaging device 2 .

なお、さらに好ましくは、距離ｄの参考値Ｒ（ｋ）のサンプル数は、本自動車又は他車両の速度によって可変に構成される。これについては第３節でさらに詳述する。 More preferably, the number of samples of the reference value R(k) of the distance d is configured to be variable depending on the speed of the present automobile or other vehicle. More on this in Section 3.

（計測部３３４）
計測部３３４は、取得された距離ｄ（ｋ）と、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測可能に構成される。好ましくは、計測部３３４は、複数の参考値Ｒ（ｋ）に重み付け演算をすることで、所望時刻の距離ｄを計測可能に構成される。重み付けの手法は特に限定されず、例えば、ロバスト推定であるＭ推定やＲＡＮＳＡＣ等が適宜採用されうる。本実施形態において、計測システム１は本自動車に搭載されていることから、所望時刻の一例としては現在時刻が挙げられる。(Measurement unit 334)
The measurement unit 334 is configured to be able to measure the distance d to the object OBJ at a desired time based on the acquired distance d(k) and the enlargement ratio of the patch P set for each frame. Preferably, the measurement unit 334 is configured to be able to measure the distance d at the desired time by weighting the plurality of reference values R(k). The weighting method is not particularly limited, and for example, M-estimation, RANSAC, or the like, which is robust estimation, can be appropriately adopted. In this embodiment, since the measurement system 1 is mounted on the vehicle, the current time is an example of the desired time.

さらに好ましくは、計測部３３４は、計測された対象物ＯＢＪまでの所望時刻の距離ｄに対してフィルタを適用することで、本自動車に対する対象物ＯＢＪの相対速度ｖ又は相対加速度ａを推定的に計測可能に構成される。換言すると、外れ値等を除外してより正確に物理量を計測するために、計測部３３４は、フィルタを用いて、相対速度ｖや相対加速度ａ等の物理量を推定的に計測することとしている。このフィルタは、例えば、カルマンフィルタやベイズフィルタ等、制御系の状態空間を推定するものであれば特に限定されるものではない。図５は、本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示すもので、特に図５Ａは、前方車両との距離ｄが遠い場合を示し、図５Ｂは前方車両との距離ｄが近い場合を示している。なお、別途本自動車の速度及び加速度を計測する他の技術を併用すれば、対象物ＯＢＪの一例である前方車両の速度及び加速度を計測することも可能である。 More preferably, the measurement unit 334 applies a filter to the measured distance d to the object OBJ at the desired time to estimate the relative velocity v or the relative acceleration a of the object OBJ with respect to the vehicle. Configured to be measurable. In other words, in order to more accurately measure physical quantities by excluding outliers and the like, the measurement unit 334 presumably measures physical quantities such as relative velocity v and relative acceleration a using a filter. This filter is not particularly limited as long as it estimates the state space of the control system, such as a Kalman filter or a Bayesian filter. FIG. 5 shows the results of measuring the inter-vehicle distance (distance d) between the present vehicle and a forward vehicle, which is an example of an object OBJ, and the relative velocity v and relative acceleration a of the forward vehicle. The case where the distance d to the vehicle is long is shown, and FIG. 5B shows the case where the distance d to the forward vehicle is short. If another technique for measuring the speed and acceleration of the present automobile is separately used, it is also possible to measure the speed and acceleration of the preceding vehicle, which is an example of the object OBJ.

（ペダルワーク推定部３３５）
ペダルワーク推定部３３５は、計測された距離ｄに基づいて、他車両のペダルワークを推定するように構成される。計測システム１によれば、高い時間分解能且つ素早い応答速度で前方車両（対象物ＯＢＪ）との車間距離を計測することができる。ペダルワーク推定部３３５は、このように計測された距離ｄと、本自動車の運動挙動（既存の他の技術を併用）とに基づいて、前方車両の運転者又は自動運転機能が、アクセルやブレーキをどのように踏んでいるかを示すペダルワークを推定することができる。ペダルワークの推定にあたっては、車種等により個体差があることから、前方車両の車種を認識させて、予め記憶部３２に記憶させた車種ごとのペダルワークをまとめたルックアップテーブルや学習済みモデル等に基づいて、ペダルワーク推定部３３５がペダルワークを推定可能に構成されるとよい。(Pedal work estimation unit 335)
The pedal work estimator 335 is configured to estimate the pedal work of the other vehicle based on the measured distance d. According to the measurement system 1, the inter-vehicle distance to the forward vehicle (object OBJ) can be measured with high time resolution and quick response speed. Based on the distance d thus measured and the motion behavior of the vehicle (using other existing technologies), the pedal work estimation unit 335 determines whether the driver of the vehicle ahead or the automatic driving function is accelerating or braking. It is possible to estimate the pedal work that indicates how the pedal is stepped on. In estimating the pedal work, since there are individual differences depending on the vehicle type, etc., the vehicle type of the preceding vehicle is recognized, and a lookup table or learned model that summarizes the pedal work for each vehicle type stored in advance in the storage unit 32 is used. The pedal work estimating section 335 may be configured to be able to estimate the pedal work based on.

より詳細には、加速度等の高次の微分情報が計測可能となることにより、前方車両のペダルワークを推定することができる。この情報に基づいて本自動車を自動運転に応用するにあたって、加減速の頻度を抑えることにより、エネルギー効率の高い制御挙動（電気自動車に搭載されるバッテリーの消耗度合いを減少させる等）が可能となることも期待される。さらには、電気自動車における回生システムとの連携も効率化できると考えており、ブレーキを踏んでいるときのみエネルギー回生を行うなど発展的な回生システムの開発が期待される。 More specifically, the ability to measure high-order differential information such as acceleration makes it possible to estimate the pedal work of the preceding vehicle. When applying this vehicle to autonomous driving based on this information, by reducing the frequency of acceleration and deceleration, highly energy-efficient control behavior (such as reducing the degree of consumption of the battery installed in an electric vehicle) becomes possible. is also expected. Furthermore, we believe that it will be possible to improve the efficiency of cooperation with regenerative systems in electric vehicles, and development of expansive regenerative systems such as regenerating energy only when the brakes are being applied is expected.

このように、前方車両のペダルワークを推定することによって、今後の自動運転技術等の発展に大きく貢献すると期待される。特に、衝突回避を担保しつつ車間距離を詰めた隊列走行をすることが可能となり、経済的な効果が大きいと考えられる。また、前方車両はあくまでも一例であり、後続車両や四方を走行中の車両のペダルワーク推定、前方車両の速度推定、又は加減速推定を行うこともできる。これにより、車両の交差点通過、右左折、合流、割り込み、混雑時等の運転行動予測を可能とする。すなわち、運転者又は自動運転機能の運転の癖を考慮した車間距離制御や停止制御が可能となり、交通の安全性担保に寄与する。 By estimating the pedal work of the vehicle in front in this way, it is expected to greatly contribute to the development of automatic driving technology in the future. In particular, it is possible to travel in platoons with a narrow inter-vehicle distance while ensuring collision avoidance, which is considered to have a large economic effect. In addition, the preceding vehicle is merely an example, and it is also possible to perform pedal work estimation of a following vehicle or a vehicle running in all directions, speed estimation, or acceleration/deceleration estimation of a forward vehicle. This makes it possible to predict the driving behavior of vehicles passing through intersections, turning left or right, merging, cutting in, and congested traffic. In other words, inter-vehicle distance control and stop control that take into consideration the driving habits of the driver or the automatic driving function are possible, contributing to securing traffic safety.

３．車速に応じたサンプル数の設定
本節では、車速に応じたサンプル数の設定について、対象物ＯＢＪが本自動車の前方を走行する前方車両として詳述する。図６は、各参考値Ｒ（ｋ）に対する重み付けの態様を示す概要図である。図６に示されるように、過去に設定された各パッチＰ（ｋ）及び距離ｄ（ｋ）に基づいて導出された距離ｄの参考値Ｒ（ｋ）に対して、それぞれ重み付けを行うことで、計測部３３４によって計測される距離ｄの精度を高めることができる。また、前述の通り、好ましくは、参考値Ｒ（ｋ）のサンプル数は、本自動車又は前方車両の速度によって可変に構成される。より好ましくは、本自動車に対する前方車両の相対速度ｖによって可変に構成される。図６に示される例では、Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）の３つのサンプルに対して重み付けを行って、距離ｄが計測されている。3. Setting the Number of Samples According to Vehicle Speed In this section, the setting of the number of samples according to vehicle speed will be described in detail, assuming that object OBJ is a forward vehicle traveling in front of the present automobile. FIG. 6 is a schematic diagram showing a manner of weighting each reference value R(k). As shown in FIG. 6, by weighting the reference value R(k) of the distance d derived based on each patch P(k) and the distance d(k) set in the past, , the accuracy of the distance d measured by the measuring unit 334 can be improved. Also, as described above, preferably, the number of samples of the reference value R(k) is configured to be variable depending on the speed of the present vehicle or the preceding vehicle. More preferably, it is configured to be variable according to the relative speed v of the forward vehicle with respect to the vehicle. In the example shown in FIG. 6, three samples R(k), R(k-1), and R(k-2) are weighted to measure the distance d.

本自動車及び前方車両を含む隊列走行がなされる場合、その車間距離は予め定められたＴＨＷ（ＴｉｍｅＨｅａｄｗａｙ）に応じて決定されることが多い。例えば、高速走行時であれば、車間距離は相対的に長くなり、低速走行時は車間距離が相対的に短くなる。 When platooning including the main vehicle and the preceding vehicle, the inter-vehicle distance is often determined according to a predetermined THW (Time Headway). For example, when the vehicle is traveling at high speeds, the inter-vehicle distance is relatively long, and when the vehicle is traveling at low speeds, the inter-vehicle distance is relatively short.

すなわち、高速走行時は、前方車両が遠方にあるため、ある時刻ｔ（ｋ）に取得された距離ｄ（ｋ）及びこれを参照して計測される所望時刻の距離ｄの推定精度が低くなる。したがって、参考値Ｒのサンプル数を多くすることで精度を維持する必要がある。 That is, when the vehicle is traveling at a high speed, the vehicle ahead is far away, so the accuracy of estimating the distance d(k) obtained at a certain time t(k) and the distance d at the desired time measured with reference to this is low. . Therefore, it is necessary to maintain the accuracy by increasing the number of samples of the reference value R.

一方、低速走行時は、前方車両が近くにあるため、ある時刻ｔ（ｋ）に取得された距離ｄ（ｋ）及びこれを参照して計測される所望時刻の距離ｄの推定精度は高くなる。したがって、参考値Ｒのサンプル数を少なくすることで、計算コストを抑制することができる。 On the other hand, when traveling at low speed, the vehicle ahead is nearby, so the accuracy of estimating the distance d(k) obtained at a certain time t(k) and the distance d at the desired time measured with reference to this is high. . Therefore, by reducing the number of samples of the reference value R, the calculation cost can be suppressed.

なお、参考値Ｒのサンプル数は、車速によって大小があるものの、例えば、５以上５００以下であればよい。具体的には例えば、５，１０，１５，２０，２５，３０，３５，４０，４５，５０，５５，６０，６５，７０，７５，８０，８５，９０，９５，１００，１０５，１１０，１１５，１２０，１２５，１３０，１３５，１４０，１４５，１５０，１５５，１６０，１６５，１７０，１７５，１８０，１８５，１９０，１９５，２００，２０５，２１０，２１５，２２０，２２５，２３０，２３５，２４０，２４５，２５０，２５５，２６０，２６５，２７０，２７５，２８０，２８５，２９０，２９５，３００，３０５，３１０，３１５，３２０，３２５，３３０，３３５，３４０，３４５，３５０，３５５，３６０，３６５，３７０，３７５，３８０，３８５，３９０，３９５，４００，４０５，４１０，４１５，４２０，４２５，４３０，４３５，４４０，４４５，４５０，４５５，４６０，４６５，４７０，４７５，４８０，４８５，４９０，４９５，５００であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。 The number of samples of the reference value R varies depending on the vehicle speed, but may be, for example, 5 or more and 500 or less. Specifically, for example, 115, 120, 125, 130, 135, 140, 145, 150, 155, 160, 165, 170, 175, 180, 185, 190, 195, 200, 205, 210, 215, 220, 225, 230, 235, 240,245,250,255,260,265,270,275,280,285,290,295,300,305,310,315,320,325,330,335,340,345,350,355,360, 365, 370, 375, 380, 385, 390, 395, 400, 405, 410, 415, 420, 425, 430, 435, 440, 445, 450, 455, 460, 465, 470, 475, 480, 485, 490, 495, 500 and may be in the range between any two of the numbers exemplified herein.

４．計測方法
本節では、対象物ＯＢＪを計測する計測方法について詳述する。対象物ＯＢＪを計測する計測方法は、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備える。撮像ステップでは、画角に含まれる対象物ＯＢＪの動画を撮像する。距離取得ステップでは、ある時刻ｔ（ｋ）における対象物ＯＢＪまでの距離ｄを取得する。パッチ設定ステップでは、動画に含まれるある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定する。計測ステップでは、取得された距離ｄと、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測する。4. Measurement Method This section describes in detail the measurement method for measuring the object OBJ. A measurement method for measuring the object OBJ includes an imaging step, a distance acquisition step, a patch setting step, and a measurement step. In the imaging step, a moving image of the object OBJ included in the angle of view is captured. In the distance obtaining step, the distance d to the object OBJ at a given time t(k) is obtained. In the patch setting step, a patch P including at least part of the object OBJ is set for each frame after a certain time t(k) included in the moving image. In the measurement step, the distance d to the object OBJ at a desired time is measured based on the obtained distance d and the enlargement ratio of the patch P set for each frame.

図７は、計測方法の流れを示すアクティビティ図である。以下、図７における各アクティビティに沿ってこの計測方法を具体的に説明する。なお、図示の通り、アクティビティＡ１～Ａ５は、時系列で繰り返される。 FIG. 7 is an activity diagram showing the flow of the measurement method. This measurement method will be specifically described below along with each activity in FIG. Note that, as illustrated, activities A1 to A5 are repeated in chronological order.

［ここから］
（アクティビティＡ１）
撮像装置２（左カメラ２ａ及び右カメラ２ｂ）が対象物を１００ｆｐｓ以上の撮像レートで画像（左画像ＩＭａ及び右画像ＩＭｂ）として撮像する。[from here]
(Activity A1)
The imaging device 2 (left camera 2a and right camera 2b) captures an object as images (left image IMa and right image IMb) at an imaging rate of 100 fps or more.

（アクティビティＡ２）
受付部３３０が画像ＩＭを受け付ける。パッチ設定部３３２が画像ＩＭに対してパッチＰ（ｋ）を設定する。(Activity A2)
Reception unit 330 receives image IM. A patch setting unit 332 sets a patch P(k) for the image IM.

（アクティビティＡ３）
画像ＩＭがキーフレーム（すなわちある時刻ｔ（ｋ））である場合は、距離取得部３３１が三角測量によって、対象物ＯＢＪまでの距離ｄ（ｋ）を取得する。(Activity A3)
When the image IM is a key frame (that is, a certain time t(k)), the distance acquisition unit 331 acquires the distance d(k) to the object OBJ by triangulation.

（アクティビティＡ４）
演算部３３３が、パッチＰの拡大率を演算することで、距離ｄの参考値Ｒを演算する。より具体的には、演算部３３３が、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とに基づいて、所望時刻（例えば現在）の距離ｄの参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…を演算し、その結果を記憶部３２に記憶させる。なお、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とは、すでに記憶部３２に記憶されたものを制御部３３が読み出されている。(Activity A4)
The computing unit 333 computes the reference value R of the distance d by computing the magnification of the patch P. FIG. More specifically, the calculation unit 333 calculates the patches P(k), P(k−1), P(k−2), . . . and the distances d(k), d(k− 1), based on d(k-2), . . . , calculate reference values R(k), R(k-1), R(k-2), . The result is stored in the storage unit 32 . Each patch P(k), P(k-1), P(k-2), and the distances d(k), d(k-1), d(k-2) obtained at that time . . means that the control unit 33 has read out what has already been stored in the storage unit 32 .

（アクティビティＡ５）
計測部３３４が、参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…に対して重み付け演算を実行して、所望時刻（例えば現在）の距離ｄを計測する。なお、本自動車の車速に応じて、参考値Ｒ（ｋ）のサンプル数を可変としてもよい。また、必要に応じて、カルマンフィルタ等のフィルタを用いて、相対速度ｖや相対加速度ａを計測するようにしてもよい。さらに、ペダルワーク推定部３３５によって前方車両のペダルワークが推定されてもよい。
［ここまで］(Activity A5)
A measuring unit 334 performs a weighting operation on the reference values R(k), R(k-1), R(k-2), . Note that the number of samples of the reference value R(k) may be variable according to the vehicle speed of the vehicle. Moreover, if necessary, a filter such as a Kalman filter may be used to measure the relative velocity v and the relative acceleration a. Further, the pedal work estimator 335 may estimate the pedal work of the forward vehicle.
[to this point]

このような計測方法によれば、周囲の対象物ＯＢＪと衝突しないような制御に寄与する。特に、本自動車及び前方車両を含めて、従来よりも車間距離を詰めることも可能となる。そして、複数の車両が車間距離を詰めて走行することにより、経済的に大きな効果が得られる。また、いわゆるＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）と呼ばれる前車追従装置において、適切な車間距離を維持することで、燃費向上、渋滞防止、割込み事故防止に寄与する。 Such a measurement method contributes to control so as not to collide with surrounding objects OBJ. In particular, it is possible to reduce the inter-vehicle distance, including the main vehicle and the preceding vehicle, more than before. A large economic effect can be obtained by driving a plurality of vehicles with a close inter-vehicle distance. Also, in a preceding vehicle following device called ACC (Adaptive Cruise Control), maintaining an appropriate following distance contributes to improving fuel efficiency, preventing traffic jams, and preventing cut-in accidents.

５．第２の実施形態
続いて、第２の実施形態に係る計測システム１について説明する。第２の実施形態に係る計測システム１では、車両同士が重畳した場合や、車間距離変化によって車両画像の大きさが変化した場合に対して、各車両の大きさに合わせたＢｏｕｎｄｉｎｇｂｏｘ（ＢＢ）を適切に生成可能なトラッキング手法が提供される。これにより、継続して安定した時系列情報が取得可能になり、各車両の距離・速度をロバストに求めることができる。5. Second Embodiment Next, a measurement system 1 according to a second embodiment will be described. In the measurement system 1 according to the second embodiment, when vehicles are superimposed on each other or when the size of the vehicle image changes due to a change in the inter-vehicle distance, a bounding box (BB) adapted to the size of each vehicle is provided. is provided. This makes it possible to continuously obtain stable time-series information, and to robustly determine the distance and speed of each vehicle.

特に、前方車は前々方車の全体を完全に遮蔽することはなく、その一部を視認することができる状態であると仮定する。緊急ブレーキ等の応用を考慮すると、精度だけでなく高速性も重要な要素であると考え、物体追跡手法であるＭｉｎｉｍｕｍＯｕｔｐｕｔＳｕｍｏｆＳｑｕａｒｅｄＥｒｒｏｒ（ＭＯＳＳＥ）を改良することが好ましい。一般的に使われるトラッキング手法に比べて、ＭＯＳＳＥは、計算時間の少ない手法となっている。本実施形態では、高フレームレートのカメラを使用する条件のもと、画像変動が少ない特徴を利用しながら、計算コストと精度のバランスを図るようにアルゴリズムを調整する。 In particular, it is assumed that the vehicle in front does not completely block the vehicle in front of it, and part of it can be visually recognized. Considering applications such as emergency braking, not only accuracy but also high speed are important factors, and it is preferable to improve the object tracking method Minimum Output Sum of Squared Error (MOSSE). Compared to commonly used tracking methods, MOSSE is a method with less computation time. In this embodiment, under the condition of using a camera with a high frame rate, the algorithm is adjusted so as to strike a balance between calculation cost and accuracy while utilizing features with little image variation.

図８は、第２の実施形態に係る計測システム１のフィルタ適用手順を説明する模式図である。ＭＯＳＳＥでは、Ｂｏｕｎｄｉｎｇｂｏｘ内の対象、すなわち前方車両を学習する機能が備わっているが、本実施形態では、図左カメラ２ａから得られる左画像ＩＭａと、右カメラ２ｂから得られる右画像ＩＭｂとに対してかけるフィルタを共有することが好ましい。このような態様によれば、従来のように、各撮像装置２ごとにフィルタを用いて対象をトラッキングする場合に比べ、精度及び頑健性の高いトラッキングを実現することができる。 FIG. 8 is a schematic diagram illustrating a filter application procedure of the measurement system 1 according to the second embodiment. MOSSE has a function of learning an object in the bounding box, that is, a forward vehicle. It is preferable to share a filter to be applied to. According to this aspect, it is possible to achieve highly accurate and robust tracking compared to the conventional case where each imaging device 2 uses a filter to track an object.

また、第２の実施形態に係る計測システム１では、記憶部３２が複数のパッチＰを予め記憶していることが好ましい。キーフレームにおいては、パッチ設定部３３２は、予め記憶された複数のパッチＰのうち、Ｂｏｕｎｄｉｎｇｂｏｘの大きさがトラッキング対象である前方車の大きさに合うパッチＰを選択して、これを設定する。 Moreover, in the measurement system 1 according to the second embodiment, it is preferable that the storage unit 32 stores a plurality of patches P in advance. In the key frame, the patch setting unit 332 selects and sets a patch P whose size of the bounding box matches the size of the forward vehicle to be tracked from among a plurality of patches P stored in advance. .

パッチ設定部３３２は、予め設定された複数のパッチＰのうちから１つを選択することで、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成されるとよい。好ましくは、パッチＰの大きさ（パッチサイズ）は、予め離散的に定めておいたサイズから選択し、事前計算しておいたキーフレームにおけるパッチサイズと同じ大きさになりやすいようにするとよい。このためには、現在のフレームにおけるパッチサイズと同じサイズを有するパッチＰに関して、キーフレームにおいて事前処理が済んでいるとよい。すなわち、パッチ設定部３３２は、ある時刻のフレームにおいて、複数のパッチＰに対する予め定められた処理を実行する。事前処理については後述する。 The patch setting unit 332 may be configured to set a patch P including at least part of the object OBJ by selecting one of a plurality of patches P set in advance. Preferably, the size of the patch P (patch size) is selected from sizes that are discretely determined in advance so that it tends to be the same size as the patch size in the precalculated key frame. For this purpose, it is preferable to have pre-processed in the keyframes with a patch P having the same size as the patch size in the current frame. In other words, the patch setting unit 332 executes predetermined processing on multiple patches P in a frame at a certain time. Preprocessing will be described later.

さらに、利用可能なキーフレームの数を増やすため、事前に複数の大きさのパッチＰが記憶部３２に記憶されているとよい。図９は、予め記憶された複数のパッチＰから、適当なパッチＰが選択される態様を示す模式図である。このような態様によれば、急減速や急加速等のスケール変化が激しいシーンでも、適切なパッチＰを選択することができ、より高い精度の推定が可能となる。 Furthermore, in order to increase the number of usable keyframes, it is preferable that a plurality of sizes of patches P are stored in the storage unit 32 in advance. FIG. 9 is a schematic diagram showing how an appropriate patch P is selected from a plurality of patches P stored in advance. According to such a mode, it is possible to select an appropriate patch P even in a scene in which there is a drastic change in scale, such as sudden deceleration or sudden acceleration, so that estimation with higher precision becomes possible.

ここで、キーフレームにおけるパッチＰの事前処理についてさらに説明する。第１の実施形態においても述べたように、キーフレームと現在のフレームとから同じ大きさのパッチＰを切り取り且つ対数極座標変換を施した画像に対して、位相限定相関法を用いることで、各フレームにおけるパッチＰの拡大率が推定されている。本実施形態では、かかる処理において、対数極座標変換や離散フーリエ変換等の、キーフレームに対する処理を事前に計算しておくことが好ましい。 The pre-processing of patch P in keyframes will now be further described. As described in the first embodiment, by using the phase-only correlation method on an image obtained by cutting a patch P of the same size from the key frame and the current frame and performing logarithmic-polar coordinate transformation, each The magnification of patch P in the frame is estimated. In this embodiment, in such processing, it is preferable to calculate in advance processing for key frames, such as logarithmic polar transformation and discrete Fourier transformation.

さらに、このような処理を、トラッキングとは非同期に実施することが好ましい。非同期とすることで、キーフレームの、事前処理の済んだパッチＰだけを、拡大率の推定に利用することができる。図１０は、キーフレーム処理の非同期化を表す概要図である。図１０に示されるように、現在時刻において、キーフレームＫＦ１～ＫＦ３でのパッチＰの事前処理が完了しているものの、キーフレームＫＦ４でのパッチＰの事前処理が完了していない。このため、現在時刻のフレームにおけるパッチＰの拡大率の推定には、キーフレームＫＦ１～ＫＦ３でのパッチＰが用いられる。 Furthermore, it is preferable to perform such processing asynchronously with tracking. By being asynchronous, only the pre-processed patch P of the keyframe can be used to estimate the magnification. FIG. 10 is a schematic diagram showing desynchronization of keyframe processing. As shown in FIG. 10, at the current time, preprocessing of patch P in keyframes KF1 to KF3 has been completed, but preprocessing of patch P in keyframe KF4 has not been completed. Therefore, the patch P in the key frames KF1 to KF3 is used for estimating the enlargement ratio of the patch P in the frame at the current time.

図１１及び図１２は、本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。図１１では、道路がカーブしている場合が示され、図１２では、道路に勾配がある場合が示されている。このように、第２の実施形態に係る計測システム１によれば、道路が所定の条件を有する場合であっても、第１の実施形態に比してさらに頑健性を有して、前方車両を認識することができる。その結果、周囲の対象物ＯＢＪと衝突しないような制御に寄与する。特に、本自動車及び前方車両を含めて、従来よりも車間距離を詰めることも可能となる。そして、複数の車両が車間距離を詰めて走行することにより、経済的に大きな効果が得られる。また、いわゆるＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）と呼ばれる前車追従装置において、適切な車間距離を維持することで、燃費向上、渋滞防止、割込み事故防止に寄与する。 11 and 12 show the results of measuring the inter-vehicle distance (distance d) between the present vehicle and the preceding vehicle, which is an example of the object OBJ, and the relative velocity v and relative acceleration a of the preceding vehicle. FIG. 11 shows the case where the road is curved, and FIG. 12 shows the case where the road has a slope. As described above, according to the measurement system 1 according to the second embodiment, even when the road has a predetermined condition, it is more robust than the first embodiment, and the forward vehicle can be recognized. As a result, it contributes to control so as not to collide with surrounding objects OBJ. In particular, it is possible to reduce the inter-vehicle distance, including the main vehicle and the preceding vehicle, more than before. A large economic effect can be obtained by driving a plurality of vehicles with a close inter-vehicle distance. Also, in a preceding vehicle following device called ACC (Adaptive Cruise Control), maintaining an appropriate following distance contributes to improving fuel efficiency, preventing traffic jams, and preventing cut-in accidents.

図１３は、第２の実施形態に係る計測システム１の情報処理の流れの概要を示す概念図である。前述した第２の実施形態に係る計測システム１の動作については、図１３を合わせて参照されたい。 FIG. 13 is a conceptual diagram showing an overview of the flow of information processing in the measurement system 1 according to the second embodiment. Please also refer to FIG. 13 for the operation of the measurement system 1 according to the second embodiment described above.

６．その他
次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。6. Others The measurement system 1 according to the present embodiment may be further ingenuity in the following aspects.

（１）例えば計測システム１を搭載した本自動車であれば、計測された対象物ＯＢＪの物理量に基づいて、一部又は全部について自動運転がなされてもよい。例えば、衝突を回避するためのブレーキ動作や、ハンドル動作が考えられうる。また、計測された対象物ＯＢＪの認識状況を、本自動車の運転者が認知できるように、本自動車内に取り付けられたモニターに表示されるように実施してもよい。
（２）前述の実施形態では、左カメラ２ａ及び右カメラ２ｂからなる２眼の撮像装置２を用いているが、３つ以上のカメラを用いた３眼以上の撮像装置２を実施してもよい。この際、異なる種類のカメラ（例えば、可視光カメラ及び赤外線カメラ）を組み合わせて実施してもよい。カメラの個数を増やすことで、計測システム１による計測に係るロバスト性が向上する。あるいは、多視点画像処理に基づく距離ｄ（ｋ）の取得を行うための別のカメラを用いてもよく、このカメラは前述の周波数ｇ（周波数ｆよりも低い）相当の撮像レートを有するものでよい。解像度は、高いことが好ましい。
（３）撮像装置２及び計測装置３を備える計測システム１としてではなく、計測装置３を単体で実施してもよい。このような計測装置３を、事後的に距離ｄを計測可能なドライブレコーダやドライブシミュレータ等に応用することができる。かかる場合、パッチ設定部３３２は、ある時刻ｔ（ｋ）以前又は以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。
（４）コンピュータを計測装置３として機能させる計測プログラムを実施してもよい。
（５）距離取得部３３１による距離ｄ（ｋ）の取得は、２眼の撮像装置２を用いた三角測量に限らず、他の手法によって実現してもよい。例えば撮像装置２以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。
（６）本自動車に代えて、ドローン等３次元に移動可能な移動体に計測システム１を搭載してもよい。かかる場合、位相限定相関法に基づくスケールを用いて距離ｄを推定することに代えて、予め画像と距離ｄとの関係を深層学習によって学習させた学習済みモデルを用いて、対象物ＯＢＪとなる他の３次元移動体の距離ｄを推定可能に実施されてもよい。
（７）重み付けされた複数の参考値Ｒ（ｋ）に代えて、複数の参考値Ｒ（ｋ）を非線形な関数に入力した値を用いてもよい。(1) For example, in the case of the present automobile equipped with the measurement system 1, part or all of the automobile may be automatically driven based on the measured physical quantity of the object OBJ. For example, a braking operation to avoid a collision or a steering operation can be considered. Further, the recognition status of the measured object OBJ may be displayed on a monitor installed in the vehicle so that the driver of the vehicle can recognize it.
(2) In the above-described embodiment, the two-lens imaging device 2 consisting of the left camera 2a and the right camera 2b is used. good. At this time, different types of cameras (for example, a visible light camera and an infrared camera) may be used in combination. By increasing the number of cameras, the robustness of measurement by the measurement system 1 is improved. Alternatively, another camera may be used for acquiring the distance d(k) based on multi-viewpoint image processing, and this camera has an imaging rate equivalent to the aforementioned frequency g (lower than frequency f). good. A high resolution is preferred.
(3) The measuring device 3 may be used alone instead of the measuring system 1 including the imaging device 2 and the measuring device 3 . Such a measuring device 3 can be applied to a drive recorder, a drive simulator, etc. that can measure the distance d after the fact. In such a case, the patch setting unit 332 is configured to set a patch P including at least part of the object OBJ for each frame before or after a certain time t(k).
(4) A measurement program that causes a computer to function as the measurement device 3 may be implemented.
(5) Acquisition of the distance d(k) by the distance acquisition unit 331 is not limited to triangulation using the binocular imaging device 2, and may be realized by other methods. For example, a mode using a sensor other than the imaging device 2, such as a laser displacement sensor, an infrared sensor, or the like, may be employed.
(6) Instead of the automobile, the measurement system 1 may be mounted on a moving object such as a drone that can move three-dimensionally. In such a case, instead of estimating the distance d using a scale based on the phase-only correlation method, a trained model in which the relationship between the image and the distance d is learned by deep learning in advance is used to obtain the object OBJ. It may be implemented so that the distance d of another three-dimensional moving object can be estimated.
(7) Instead of multiple weighted reference values R(k), values obtained by inputting multiple reference values R(k) into a nonlinear function may be used.

さらに、次に記載の各態様で提供されてもよい。
前記計測システムにおいて、前記撮像装置は、異なる視点を有する２以上のカメラを含み、前記距離取得部は、前記ある時刻において前記異なる視点で撮像された２以上の画像に基づいて、前記距離を取得するように構成される、もの。
前記計測システムにおいて、前記撮像装置は、周波数ｆで前記動画を撮像可能に構成され、前記ある時刻は、複数の時刻であり、前記距離取得部は、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記周波数ｆは、１００Ｈｚ以上である、もの。
前記計測システムにおいて、演算部をさらに備え、前記演算部は、前記ある時刻ごとに設定された複数のパッチに対する所望時刻のパッチの拡大率と、これに基づく複数の、前記所望時刻の距離の参考値を演算するように構成され、前記計測部は、複数の前記参考値に重み付け演算をすることで、前記所望時刻の距離を計測可能に構成される、もの。
前記計測システムにおいて、前記演算部は、前記フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、前記パッチ間に含まれる前記対象物の少なくとも一部のマッチングをとることで、前記パッチの拡大率を演算するように構成される、もの。
前記計測システムにおいて、車両に載置されたもので、前記対象物は、前記車両に対する障害物又は他車両である、もの。
前記計測システムにおいて、ペダルワーク推定部をさらに備え、前記ペダルワーク推定部は、計測された前記距離に基づいて、前記他車両のペダルワークを推定するように構成される、もの。
前記計測システムにおいて、前記参考値のサンプル数は、前記車両又は前記他車両の速度によって可変に構成される、もの。
前記計測システムにおいて、前記計測部は、計測された前記対象物までの前記所望時刻の距離に対してフィルタを適用することで、前記対象物の速度又は加速度を推定的に計測可能に構成される、もの。
前記計測システムにおいて、記憶部をさらに備え、前記記憶部は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶し、前記パッチ設定部は、前記学習済みモデルに基づいて、前記パッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、予め設定された複数のパッチのうちから１つを選択することで、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、前記ある時刻のフレームにおいて、前記複数のパッチに対する予め定められた処理を実行する、もの。
車両であって、前記計測システムを備える、もの。
対象物を計測する計測装置であって、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、前記受付部は、動画に含まれる各フレームを受け付けるように構成され、ここで前記動画は、画角に含まれる前記対象物を撮像した動画で、前記パッチ設定部は、前記ある時刻以前又は以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。
計測プログラムであって、コンピュータを前記計測システムとして機能させる、もの。
対象物を計測する計測方法であって、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる前記対象物の動画を撮像し、前記距離取得ステップでは、ある時刻における前記対象物までの距離を取得し、前記パッチ設定ステップでは、前記動画に含まれる前記ある時刻以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定し、前記計測ステップでは、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測する、方法。
もちろん、この限りではない。Furthermore, it may be provided in each aspect described below.
In the measurement system, the imaging device includes two or more cameras having different viewpoints, and the distance acquisition unit acquires the distance based on two or more images captured from the different viewpoints at the certain time. things that are configured to
In the measurement system, the imaging device is configured to be capable of capturing the moving image at a frequency f, the certain time is a plurality of times, and the distance acquisition unit captures the distance at a frequency g lower than the frequency f. is obtained at each time, and the patch setting unit sets a patch including at least part of the object for each frame after each time and before the next time. A thing that is configured to
In the measurement system, the frequency f is 100 Hz or higher.
The measurement system further comprises a computing unit, wherein the computing unit provides a magnification rate of a patch at a desired time with respect to the plurality of patches set for each certain time, and a plurality of reference distances at the desired time based on this. and the measuring unit is configured to be able to measure the distance at the desired time by weighting the plurality of reference values.
In the measurement system, the computing unit uses logarithmic polar coordinate transformation and a phase-only correlation method on the power spectrum obtained by Fourier transforming the frame, and calculates at least the object included between the patches. configured to compute an enlargement factor of said patch by taking part matching.
In the measurement system described above, the system is placed on a vehicle, and the object is an obstacle to the vehicle or another vehicle.
The measurement system further includes a pedal work estimator, wherein the pedal work estimator is configured to estimate the pedal work of the other vehicle based on the measured distance.
In the measurement system, the number of samples of the reference value is variable depending on the speed of the vehicle or the other vehicle.
In the measurement system, the measurement unit is configured to be able to presumably measure the velocity or acceleration of the object by applying a filter to the measured distance to the object at the desired time. ,thing.
The measurement system further includes a storage unit, wherein the storage unit stores a learned model in which correlations between various objects and rectangular regions with respect to them are learned in advance, and the patch setting unit stores the learned model. configured to set said patch based on.
In the measurement system, the patch setting unit is configured to set a patch including at least part of the object by selecting one of a plurality of preset patches.
In the measurement system, the patch setting unit executes predetermined processing on the plurality of patches in the frame at the certain time.
A vehicle comprising the measurement system.
A measuring device for measuring an object, comprising a distance acquisition unit, a reception unit, a patch setting unit, and a measurement unit, wherein the distance acquisition unit acquires the distance to the object at a certain time. wherein the receiving unit is configured to receive each frame included in a moving image, wherein the moving image is a moving image obtained by imaging the object included in the angle of view, and the patch setting unit includes the A patch including at least part of the object is set for each frame before or after the time, and the measurement unit measures the obtained distance and the patch set for each frame. , and the distance to the object at a desired time can be measured based on the magnifying power of
A measurement program that causes a computer to function as the measurement system.
A measurement method for measuring an object, comprising an imaging step, a distance acquisition step, a patch setting step, and a measurement step, wherein the imaging step captures a moving image of the object included in an angle of view, The distance obtaining step obtains a distance to the object at a certain time, and the patch setting step includes at least part of the object for each frame after the certain time included in the moving image. A method, wherein a patch is set, and in the measuring step, the distance to the object at a desired time is measured based on the acquired distance and the enlargement ratio of the patch set for each frame.
Of course, this is not the only case.

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Finally, while various embodiments of the invention have been described, these have been presented by way of example and are not intended to limit the scope of the invention. The novel embodiment can be embodied in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

１：計測システム
２：撮像装置
２ａ：左カメラ
２ｂ：右カメラ
３：計測装置
３０：通信バス
３１：通信部
３２：記憶部
３３：制御部
３３０：受付部
３３１：距離取得部
３３２：パッチ設定部
３３３：演算部
３３４：計測部
３３５：ペダルワーク推定部
Ｄ：重み付け距離データ
ＩＭ：画像
ＩＭａ：左画像
ＩＭｂ：右画像
ＯＢＪ：対象物
Ｐ：パッチ
ａ：加速度
ｄ：距離
ｆ：周波数
ｇ：周波数
ｔ：時刻
ｖ：速度1: measurement system 2: imaging device 2a: left camera 2b: right camera 3: measurement device 30: communication bus 31: communication unit 32: storage unit 33: control unit 330: reception unit 331: distance acquisition unit 332: patch setting unit 333: calculation unit 334: measurement unit 335: pedal work estimation unit D: weighted distance data IM: image IMa: left image IMb: right image OBJ: object P: patch a: acceleration d: distance f: frequency g: frequency t : Time v : Velocity

Claims

対象物を計測する計測システムであって、
撮像装置と、計測装置とを備え、
前記撮像装置は、画角に含まれる前記対象物の動画を周波数ｆで撮像可能に構成され、
前記計測装置は、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、
前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、
前記ある時刻は、複数の時刻であり、
前記距離取得部は、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記受付部は、前記動画に含まれる各フレームを受け付けるように構成され、
前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、
前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。 A measurement system for measuring an object,
Equipped with an imaging device and a measuring device,
The imaging device is configured to be able to capture a moving image of the object included in the angle of view at a frequency f ,
The measurement device includes a distance acquisition unit, a reception unit, a patch setting unit, and a measurement unit,
The distance acquisition unit is configured to acquire a distance to the object at a certain time,
The certain time is a plurality of times,
The distance acquisition unit is configured to acquire the distance at a frequency g lower than the frequency f at each time,
The receiving unit is configured to receive each frame included in the moving image,
The patch setting unit is configured to set a patch including at least part of the object for each frame after each certain time and before the next certain time ,
The measurement unit is configured to be able to measure the distance to the object at a desired time based on the obtained distance and the enlargement ratio of the patch set for each frame.

請求項１に記載の計測システムにおいて、
前記撮像装置は、異なる視点を有する２以上のカメラを含み、
前記距離取得部は、前記ある時刻において前記異なる視点で撮像された２以上の画像に基づいて、前記距離を取得するように構成される、もの。 In the measurement system according to claim 1,
The imaging device includes two or more cameras having different viewpoints,
The distance acquisition unit is configured to acquire the distance based on two or more images captured from the different viewpoints at the certain time.

請求項１又は請求項２に記載の計測システムにおいて、
前記周波数ｆは、１００Ｈｚ以上である、もの。 In the measurement system according to claim 1 or claim 2 ,
The said frequency f is 100 Hz or more.

請求項１～請求項３の何れか１つに記載の計測システムにおいて、
演算部をさらに備え、
前記演算部は、前記ある時刻ごとに設定された複数のパッチに対する所望時刻のパッチの拡大率と、これに基づく複数の、前記所望時刻の距離の参考値を演算するように構成され、
前記計測部は、複数の前記参考値に重み付け演算をすることで、前記所望時刻の距離を計測可能に構成される、もの。 In the measurement system according to any one of claims 1 to 3 ,
further equipped with a calculation unit,
The calculating unit is configured to calculate an enlargement ratio of a patch at a desired time for a plurality of patches set for each certain time and a reference value of a plurality of distances at the desired time based on this,
The measurement unit is configured to be able to measure the distance at the desired time by weighting the plurality of reference values.

請求項４に記載の計測システムにおいて、
前記演算部は、前記フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、前記パッチ間に含まれる前記対象物の少なくとも一部のマッチングをとることで、前記パッチの拡大率を演算するように構成される、もの。 In the measurement system according to claim 4 ,
The computing unit performs matching of at least part of the object included between the patches using logarithmic polar transformation and a phase-only correlation method on the power spectrum obtained by Fourier transforming the frame. which is configured to compute a magnification factor of said patch by taking.

請求項５に記載の計測システムにおいて、
車両に載置されたもので、
前記対象物は、前記車両に対する障害物又は他車両である、もの。 In the measurement system according to claim 5 ,
placed on the vehicle,
The object is an obstacle to the vehicle or another vehicle.

請求項６に記載の計測システムにおいて、
ペダルワーク推定部をさらに備え、
前記ペダルワーク推定部は、計測された前記距離に基づいて、前記他車両のペダルワークを推定するように構成される、もの。 In the measurement system according to claim 6 ,
Further equipped with a pedal work estimation unit,
The pedal work estimation unit is configured to estimate the pedal work of the other vehicle based on the measured distance.

請求項６又は請求項７に記載の計測システムにおいて、
前記参考値のサンプル数は、前記車両又は前記他車両の速度によって可変に構成される、もの。 In the measurement system according to claim 6 or claim 7 ,
The number of samples of the reference value is variably configured according to the speed of the vehicle or the other vehicle.

請求項１～請求項８の何れか１つに記載の計測システムにおいて、
前記計測部は、計測された前記対象物までの前記所望時刻の距離に対してフィルタを適用することで、前記対象物の速度又は加速度を推定的に計測可能に構成される、もの。 In the measurement system according to any one of claims 1 to 8 ,
The measurement unit is configured to be able to presumptively measure the velocity or acceleration of the object by applying a filter to the measured distance to the object at the desired time.

請求項１～請求項９の何れか１つに記載の計測システムにおいて、
記憶部をさらに備え、
前記記憶部は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶し、
前記パッチ設定部は、前記学習済みモデルに基づいて、前記パッチを設定するように構成される、もの。 In the measurement system according to any one of claims 1 to 9 ,
further comprising a storage unit,
The storage unit stores learned models in which correlations between various objects and rectangular regions corresponding to them are learned in advance,
The patch setting unit is configured to set the patch based on the learned model.

請求項１～請求項１０の何れか１つに記載の計測システムにおいて、
前記パッチ設定部は、予め設定された複数のパッチのうちから１つを選択することで、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。 In the measurement system according to any one of claims 1 to 10 ,
The patch setting unit is configured to set a patch including at least part of the object by selecting one of a plurality of preset patches.

請求項１１に記載の計測システムにおいて、
前記パッチ設定部は、前記ある時刻のフレームにおいて、前記複数のパッチに対する予め定められた処理を実行する、もの。 In the measurement system according to claim 11 ,
The patch setting unit executes predetermined processing for the plurality of patches in the frame at the certain time.

車両であって、
請求項１～請求項１２の何れか１つに記載の計測システムを備える、もの。 a vehicle,
An object comprising a measurement system according to any one of claims 1 to 12 .

対象物を計測する計測装置であって、
距離取得部と、受付部と、パッチ設定部と、計測部とを備え、
前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、
前記ある時刻は、複数の時刻であり、
前記距離取得部は、周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記受付部は、動画に含まれる各フレームを受け付けるように構成され、ここで前記動画は、画角に含まれる前記対象物を前記周波数ｆで撮像した動画で、
前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、
前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。 A measuring device for measuring an object,
a distance acquisition unit, a reception unit, a patch setting unit, and a measurement unit;
The distance acquisition unit is configured to acquire a distance to the object at a certain time,
The certain time is a plurality of times,
The distance acquisition unit is configured to acquire the distance at a frequency g lower than the frequency f at each time,
The receiving unit is configured to receive each frame included in a moving image, wherein the moving image is a moving image obtained by imaging the object included in the angle of view at the frequency f ,
The patch setting unit is configured to set a patch including at least part of the object for each frame after each certain time and before the next certain time ,
The measurement unit is configured to be able to measure the distance to the object at a desired time based on the obtained distance and the enlargement ratio of the patch set for each frame.

計測プログラムであって、
コンピュータを請求項１～請求項１２の何れか１つに記載の計測システムとして機能させる、もの。 A measurement program,
A computer that functions as the measurement system according to any one of claims 1 to 12 .

対象物を計測する計測方法であって、
撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備え、
前記撮像ステップでは、画角に含まれる前記対象物の動画を周波数ｆで撮像し、
前記距離取得ステップでは、ある時刻における前記対象物までの距離を取得し、
前記ある時刻は、複数の時刻であり、
前記距離取得ステップでは、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記パッチ設定ステップでは、前記動画に含まれる各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定し、
前記計測ステップでは、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測する、方法。 A measuring method for measuring an object,
comprising an imaging step, a distance acquisition step, a patch setting step, and a measurement step,
In the imaging step, a moving image of the object included in the angle of view is imaged at a frequency f ;
In the distance acquisition step, a distance to the object at a certain time is acquired;
The certain time is a plurality of times,
In the distance acquisition step, the distance is acquired at each time at a frequency g lower than the frequency f,
In the patch setting step, a patch including at least part of the object is set for each frame after each certain time included in the moving image and before the next certain time ;
In the measuring step, the distance to the object at a desired time is measured based on the obtained distance and the patch enlargement factor set for each frame.