JP2005323021A - In-vehicle imaging system and imaging method - Google Patents

In-vehicle imaging system and imaging method Download PDF

Info

Publication number
JP2005323021A
JP2005323021A JP2004138028A JP2004138028A JP2005323021A JP 2005323021 A JP2005323021 A JP 2005323021A JP 2004138028 A JP2004138028 A JP 2004138028A JP 2004138028 A JP2004138028 A JP 2004138028A JP 2005323021 A JP2005323021 A JP 2005323021A
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
imaging system
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004138028A
Other languages
Japanese (ja)
Inventor
Takahiro Okamoto
高宏 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004138028A priority Critical patent/JP2005323021A/en
Publication of JP2005323021A publication Critical patent/JP2005323021A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an in-vehicle imaging system and an imaging method that can easily compress an image. <P>SOLUTION: The in-vehicle imaging system has an imaging system 42 which is mounted to a vehicle and picks up a video image, a vehicle speed detection part 50 which detects the moving speed of the vehicle, an optical flow calculation part 48 which calculates an optical flow of a still subject by using the moving speed detected by the vehicle speed detection part 50, an object movement part 40 which moves respective objects included in the image picked up by the imaging system 42 by using the calculated optical flow, and an image compression part 44 which compresses the image by finding differences between the image in which the objects are moved by the object movement part 40 and an image of next frame. The in-vehicle imaging system is further equipped with a 3D camera system which calculates the distance and the direction of each object included in the image picked up by the imaging system 42. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像を圧縮することができる車載撮像システムに関する。特に本発明は、オブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する車載撮像システム、および撮像方法に関する。   The present invention relates to an in-vehicle imaging system capable of compressing an image. In particular, the present invention relates to an in-vehicle imaging system and an imaging method for compressing an image by obtaining a difference between an image obtained by moving an object and an image of the next frame.

従来、動画を圧縮する技術に関する規格としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）があり、フレーム間における画像の差分を求めることにより動画像を圧縮する方法が知られている。具体的には、ビデオエンコーダ（画像圧縮符号化器）は、あるフレームの画像領域に対する次のフレームにおける同じ画像領域の位置の動きを移動ベクトルとして算出し、この移動ベクトルと先のフレームの画像領域を用いて次のフレームの画像を予測することにより、次のフレームの画像を圧縮する（例えば非特許文献１参照）。   Conventionally, there is a moving picture experts group (MPEG) as a standard relating to a technique for compressing a moving image, and a method of compressing a moving image by obtaining an image difference between frames is known. Specifically, the video encoder (image compression encoder) calculates the movement of the position of the same image area in the next frame relative to the image area of a certain frame as a movement vector, and this movement vector and the image area of the previous frame Is used to predict the next frame image, thereby compressing the next frame image (see Non-Patent Document 1, for example).

亀山 渉、花山 剛 監修 「ディジタル放送教科書（上）」、株式会社ＩＤＧジャパン発行、２００３年２月１日Supervised by Wataru Kameyama and Tsuyoshi Hanayama “Digital Broadcasting Textbook (above)”, published by IDG Japan Co., Ltd., February 1, 2003

しかしながら、移動ベクトルを算出する場合、ビデオエンコーダは、連続して撮像される各フレームの間隔内で各画像領域のマッチング処理を行う必要がある。そして走行する車両から撮像される動画像を圧縮する場合、画像内に含まれる各オブジェクトがフレーム間で大きく移動するので、ビデオエンコーダは各オブジェクトに対して広い領域内でのマッチング処理を短時間内に行う必要があり、このような場合に、各オブジェクトの移動ベクトルを求めることが困難となり、高い圧縮率が得られないという課題があった。   However, when calculating a movement vector, the video encoder needs to perform matching processing of each image region within the interval between frames that are continuously captured. When compressing a moving image captured from a traveling vehicle, each object included in the image moves greatly between frames, so that the video encoder performs matching processing within a wide area for each object within a short time. In such a case, it is difficult to obtain the movement vector of each object, and there is a problem that a high compression rate cannot be obtained.

そこで本発明は、上記の課題を解決することのできる車載撮像システム、および撮像方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Then, an object of this invention is to provide the vehicle-mounted imaging system and imaging method which can solve said subject. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

このような課題を解決するために、本発明の第１の形態における車載撮像システムは、車両に搭載され、ビデオ画像を撮像する撮像システムと、車両の移動速度を検出する車速検出部と、車速検出部によって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部と、オプティカルフロー算出部によって算出されたオプティカルフローを用いて、撮像システムにより撮像される画像に含まれる各オブジェクトを移動させるオブジェクト移動部と、オブジェクト移動部によってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する画像圧縮部とを備えた。画像に含まれるオブジェクトは、車両の移動に伴って大きく移動するので、連続する画像に含まれるオブジェクトを比較することのみでは、オブジェクトの移動ベクトルを求めることは難しい。しかしながら本発明では、オブジェクトのオプティカルフローを簡易かつ適切に算出することができるので、このオプティカルフローを用いて画像の圧縮率を高めることができる。   In order to solve such a problem, the in-vehicle imaging system according to the first embodiment of the present invention is mounted on a vehicle, and an imaging system that captures a video image, a vehicle speed detection unit that detects a moving speed of the vehicle, a vehicle speed, Included in an image captured by the imaging system using an optical flow calculation unit that calculates an optical flow of a stationary subject using the moving speed detected by the detection unit, and an optical flow calculated by the optical flow calculation unit An object moving unit that moves each object, and an image compression unit that compresses an image by obtaining a difference between an image obtained by moving the object by the object moving unit and an image of the next frame are provided. Since the object included in the image greatly moves as the vehicle moves, it is difficult to obtain the movement vector of the object only by comparing the objects included in successive images. However, in the present invention, since the optical flow of the object can be calculated easily and appropriately, the compression rate of the image can be increased using this optical flow.

本形態による車載撮像システムは、撮像システムにより撮像される画像に含まれる各オブジェクトの距離および方向を算出する３Ｄカメラシステムを更に備え、撮像システムは、３Ｄカメラシステムを有してもよい。これにより、各オブジェクトまでの距離を測定することができるので、オプティカルフロー算出部は正確にオプティカルフローを求めることができる。   The in-vehicle imaging system according to the present embodiment further includes a 3D camera system that calculates the distance and direction of each object included in an image captured by the imaging system, and the imaging system may include a 3D camera system. Thereby, since the distance to each object can be measured, the optical flow calculation unit can accurately obtain the optical flow.

本形態による車載撮像システムは、車両の舵角を検出する舵角検出部を更に備え、オプティカルフロー算出部は、更に、舵角検出部によって検出された舵角を用いて静止被写体のオプティカルフローを算出してもよい。このように舵角を用いて静止被写体のオプティカルフローを算出するので、オプティカルフローをより正確に算出することができる。   The in-vehicle imaging system according to the present embodiment further includes a steering angle detection unit that detects the steering angle of the vehicle, and the optical flow calculation unit further performs an optical flow of the stationary subject using the steering angle detected by the steering angle detection unit. It may be calculated. Since the optical flow of the stationary subject is calculated using the steering angle in this way, the optical flow can be calculated more accurately.

本形態による車載撮像システムは、３Ｄカメラシステムにより算出された各オブジェクトの距離、ならびに車速検出部によって検出された移動速度を用いて、撮像システムが次に撮像する画像におけるオブジェクトの拡大率を算出するオブジェクト拡大率算出部と、オブジェクト拡大率算出部により算出された拡大率を用いて、撮像システムにより撮像されたオブジェクトを拡大するオブジェクト拡大部とを更に備え、画像圧縮部は、オブジェクトをオブジェクト移動部によって移動し、更にオブジェクト拡大部によって拡大した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮してもよい。これにより、より高い圧縮率で画像を圧縮することができる。   The in-vehicle imaging system according to the present embodiment calculates the magnification rate of the object in the next image captured by the imaging system using the distance of each object calculated by the 3D camera system and the moving speed detected by the vehicle speed detection unit. An image enlargement unit further includes an object enlargement rate calculation unit and an object enlargement unit that enlarges an object imaged by the imaging system using the enlargement rate calculated by the object enlargement rate calculation unit. The image may be compressed by obtaining a difference between the image moved by the object enlargement and further enlarged by the object enlargement unit and the image of the next frame. Thereby, an image can be compressed with a higher compression rate.

本形態による車載撮像システムは、オブジェクト移動部によってオブジェクトを移動した画像の特徴点と、次のフレームの画像の特徴点とを抽出する特徴点抽出部と、特徴点抽出部が抽出した次のフレームの画像の特徴点に、特徴点抽出部が抽出した、オブジェクトを移動した画像の特徴点の位置を合わせるべく、オブジェクトを再度移動させる位置合わせ部とを更に備え、画像圧縮部は、位置合わせ部がオブジェクトを再度移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮してもよい。これにより、より高い圧縮率で画像を圧縮することができる。   The in-vehicle imaging system according to the present embodiment includes a feature point extracting unit that extracts a feature point of an image obtained by moving an object by an object moving unit and a feature point of an image of the next frame, and a next frame extracted by the feature point extracting unit. The image compression unit further includes an alignment unit that moves the object again to match the position of the feature point of the image extracted by the feature point extraction unit extracted by the feature point extraction unit to the feature point of the image. The image may be compressed by obtaining a difference between the image obtained by moving the object again and the image of the next frame. Thereby, an image can be compressed with a higher compression rate.

本発明の第２の形態における撮像方法は、車両に搭載され、ビデオ画像を撮像する撮像ステップと、車両の移動速度を検出する車速検出ステップと、車速検出ステップによって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出ステップと、オプティカルフロー算出ステップによって算出されたオプティカルフローを用いて、撮像システムにより撮像される画像に含まれる各オブジェクトを移動させるオブジェクト移動ステップと、オブジェクト移動ステップによってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する画像圧縮ステップとを備える。   An imaging method according to a second aspect of the present invention is mounted on a vehicle and uses an imaging step for capturing a video image, a vehicle speed detection step for detecting the movement speed of the vehicle, and a movement speed detected by the vehicle speed detection step. An optical flow calculating step for calculating the optical flow of the stationary subject, an object moving step for moving each object included in the image captured by the imaging system using the optical flow calculated by the optical flow calculating step, and an object An image compression step of compressing the image by obtaining a difference between the image obtained by moving the object by the moving step and the image of the next frame.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の開発手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all the combinations of features described in the embodiments are not included in the invention. It is not always essential for development means.

図１は、本発明に係る車載撮像システム１００を搭載した車両１０を示す。車載撮像システム１００は、撮像システムを備えており、車両１０の前方を連続して撮像することでビデオ画像を取得する。本発明の車載撮像システム１００は車両１０から撮像したビデオ画像を、効果的に圧縮することを目的とする。   FIG. 1 shows a vehicle 10 equipped with an in-vehicle imaging system 100 according to the present invention. The in-vehicle imaging system 100 includes an imaging system, and acquires video images by continuously imaging the front of the vehicle 10. The in-vehicle imaging system 100 of the present invention aims to effectively compress video images captured from the vehicle 10.

図２は、車載撮像システム１００が撮像する画像を説明する図である。車両１０の走行中に、撮像システムが被写体を撮像した場合、タイミングＴ１において撮像された画像の略中央に含まれるオブジェクト６００は、次のタイミングＴ２には、画像の周辺部へと移動したオブジェクト６０２として現われる。被写体が静止している場合、車両１０の走行により生じるオブジェクトの移動は、画像の中心付近では小さく生じ、周囲においては大きく生じる。   FIG. 2 is a diagram for explaining an image captured by the in-vehicle imaging system 100. When the imaging system captures a subject while the vehicle 10 is traveling, the object 600 included in the approximate center of the image captured at timing T1 is moved to the peripheral portion of the image at the next timing T2. Appears as. When the subject is stationary, the movement of the object caused by the traveling of the vehicle 10 is small near the center of the image and large near the periphery.

ここで従来、動画を圧縮する技術に関する規格としてＭＰＥＧが知られている。ＭＰＥＧに対応したビデオエンコーダは、あるフレームの画像領域に対する、次のフレームにおける同じ画像領域の位置の動きを、移動ベクトルとして算出し、この移動ベクトルと先のフレームの画像領域を用いて、次のフレームの画像を予測することにより、次のフレームの画像を圧縮する。しかしながら、走行する車両から撮像される動画像を圧縮する場合、画像内に含まれる各オブジェクトがフレーム間で大きく移動するので、ビデオエンコーダは各オブジェクトに対して広い領域内でのマッチング処理を短時間内に行う必要があり、このような場合に、各オブジェクトの移動ベクトルを求めることが困難となり、高い圧縮率が得られないという課題がある。   Conventionally, MPEG is known as a standard relating to a technique for compressing moving images. A video encoder that supports MPEG calculates the movement of the position of the same image area in the next frame relative to the image area of a certain frame as a movement vector, and uses the movement vector and the image area of the previous frame to By predicting the image of the frame, the image of the next frame is compressed. However, when compressing a moving image picked up from a traveling vehicle, each object included in the image moves greatly between frames, so the video encoder performs matching processing in a wide area for each object in a short time. In such a case, it is difficult to obtain the movement vector of each object, and there is a problem that a high compression rate cannot be obtained.

本図の例において、複数のフレーム内の同一のオブジェクトの位置を結ぶと、車両１０に対する被写体の相対速度に応じた移動ベクトルが得られる。この場合、各オブジェクトの移動ベクトルは、車両１０から被写体までの距離が近いほど大きくなる。ここで、本明細書では、被写体が静止していると仮定した場合に、車両１０の走行状態と、車両１０から被写体までの距離によって定まる画像内における各オブジェクトの動きをオプティカルフローと呼び、画像内の各オブジェクトの実際の動きを移動ベクトルと呼ぶ。また、撮像される対象を被写体と呼び、画像に撮像された被写体をオブジェクトと呼ぶ。そして本発明では、オブジェクト６００に生じるオプティカルフローを用いて、次のタイミングＴ２における位置へとオブジェクト６００を移動させた画像であるオブジェクト６０２を含む画像を生成し、この画像と、次のタイミングＴ２で実際に撮像された画像との差分を求めることにより、画像を圧縮することを目的とする。   In the example of this figure, when the positions of the same object in a plurality of frames are connected, a movement vector corresponding to the relative speed of the subject with respect to the vehicle 10 is obtained. In this case, the movement vector of each object becomes larger as the distance from the vehicle 10 to the subject is shorter. Here, in this specification, when it is assumed that the subject is stationary, the movement of each object in the image determined by the traveling state of the vehicle 10 and the distance from the vehicle 10 to the subject is called an optical flow. The actual movement of each object is called a movement vector. A subject to be imaged is referred to as a subject, and a subject captured in an image is referred to as an object. In the present invention, an optical flow generated in the object 600 is used to generate an image including the object 602, which is an image obtained by moving the object 600 to the position at the next timing T2, and this image and the next timing T2 are generated. An object is to compress an image by obtaining a difference from an actually captured image.

尚、車両１０が走行することにより、車両１０が被写体に近づくと、画像に含まれるオブジェクトは拡大される。そこで本発明の車載撮像システム１００は、移動させたオブジェクトを更に拡大することにより、圧縮率を向上させることを目的とする。また、被写体が移動している場合、次のフレームの画像におけるオブジェクト６０４は、静止していると仮定して移動させたオブジェクト６０２とは異なる位置に現われる。そこで本発明では、移動させたオブジェクトの位置を補正することにより、オブジェクトの圧縮率を向上させることを目的とする。   Note that when the vehicle 10 travels and the vehicle 10 approaches the subject, the object included in the image is enlarged. Therefore, the vehicle-mounted imaging system 100 of the present invention aims to improve the compression rate by further enlarging the moved object. When the subject is moving, the object 604 in the image of the next frame appears at a position different from the object 602 moved on the assumption that the object is stationary. Therefore, an object of the present invention is to improve the compression rate of an object by correcting the position of the moved object.

図３は、車載撮像システム１００の詳細な構成の一例を示す。車載撮像システム１００は、３Ｄカメラシステム４０、車速検出部４２、舵角検出部４４、旋回速度算出部４６、オプティカルフロー算出部４８、オブジェクト移動部５０、オブジェクト拡大率算出部５２、オブジェクト拡大部５４、特徴点抽出部５６、位置合わせ部５８、画像圧縮部６０、および画像格納部６２を備える。ここで３Ｄカメラシステム４０は、撮像システムの一例である。   FIG. 3 shows an example of a detailed configuration of the in-vehicle imaging system 100. The in-vehicle imaging system 100 includes a 3D camera system 40, a vehicle speed detection unit 42, a rudder angle detection unit 44, a turning speed calculation unit 46, an optical flow calculation unit 48, an object movement unit 50, an object enlargement rate calculation unit 52, and an object enlargement unit 54. , A feature point extraction unit 56, a registration unit 58, an image compression unit 60, and an image storage unit 62. Here, the 3D camera system 40 is an example of an imaging system.

３Ｄカメラシステム４０は車両１０に搭載され、ビデオ画像を撮像する。ここで３Ｄカメラシステム４０は、車両１０の進行方向に光軸が一致するように車両１０に予め配置される。３Ｄカメラシステム４０は内部に２つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両１０を基準とした被写体までの距離を算出する。また３Ｄカメラシステム４０は、撮像された画像における被写体の位置を用いて、車両１０の進行方向に対する被写体の方向を算出する。これにより、３Ｄカメラシステム４０は、車両１０を基準とする被写体までの位置を算出する。   The 3D camera system 40 is mounted on the vehicle 10 and captures a video image. Here, the 3D camera system 40 is arranged in advance in the vehicle 10 such that the optical axis coincides with the traveling direction of the vehicle 10. The 3D camera system 40 includes two cameras inside, and calculates the distance to the subject with reference to the vehicle 10 using the shift of the position of the feature point of the subject imaged by each camera. Further, the 3D camera system 40 calculates the direction of the subject relative to the traveling direction of the vehicle 10 using the position of the subject in the captured image. Thereby, the 3D camera system 40 calculates a position to the subject with the vehicle 10 as a reference.

車速検出部４２は車両１０の移動速度を検出し、舵角検出部４４は車両１０の舵角を検出する。旋回速度算出部４６は、車速検出部４２が検出した移動速度および、舵角検出部４４が検出した舵角に基づいて、車両１０の旋回速度を算出する。旋回速度算出部４６は、車速検出部４２が検出した移動速度に、舵角検出部４４が検出した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。   The vehicle speed detection unit 42 detects the moving speed of the vehicle 10, and the steering angle detection unit 44 detects the steering angle of the vehicle 10. The turning speed calculation unit 46 calculates the turning speed of the vehicle 10 based on the movement speed detected by the vehicle speed detection unit 42 and the steering angle detected by the steering angle detection unit 44. The turning speed calculation unit 46 calculates the turning speed of the vehicle 10 by multiplying the moving speed detected by the vehicle speed detection unit 42 by the magnitude of the change in the steering angle detected by the steering angle detection unit 44.

ここで車両１０が直進する場合、画像内の各オブジェクトには、車両１０の移動速度に応じた移動ベクトルが生じる。本発明では、各被写体が静止していると仮定した場合に、車両１０の走行状態によって各被写体に生じる移動ベクトルを、各静止被写体のオプティカルフローとして算出する。この各オプティカルフローの大きさは、車両１０の移動速度、車両１０からオブジェクトまでの距離、および車両１０に対する被写体の方向から定まる。また、各オプティカルフローの方向は、車両１０から被写体までの距離と方向、即ち、車両１０から被写体までの相対的位置により定まる。そこで本例のオプティカルフロー算出手段４８は、車速検出部４２が検出した移動速度、および３Ｄカメラシステム４０が算出した各オブジェクトまでの距離および方向、即ち画像内におけるオブジェクトの位置に基づいて、各オブジェクトのオプティカルフローを算出する。   Here, when the vehicle 10 goes straight, a movement vector corresponding to the moving speed of the vehicle 10 is generated in each object in the image. In the present invention, when it is assumed that each subject is stationary, a movement vector generated in each subject depending on the traveling state of the vehicle 10 is calculated as an optical flow of each stationary subject. The magnitude of each optical flow is determined from the moving speed of the vehicle 10, the distance from the vehicle 10 to the object, and the direction of the subject with respect to the vehicle 10. The direction of each optical flow is determined by the distance and direction from the vehicle 10 to the subject, that is, the relative position from the vehicle 10 to the subject. Therefore, the optical flow calculation means 48 of this example is based on the moving speed detected by the vehicle speed detection unit 42 and the distance and direction to each object calculated by the 3D camera system 40, that is, the position of the object in the image. The optical flow of is calculated.

また車両１０が微小時間内において旋回した場合、画像内の各オブジェクトには、左右の方向へのオプティカルフローが生じる。このオプティカルフローの方向は、旋回を行った方向と逆方向であり、その大きさは、車両１０の旋回速度に比例する。そこでオプティカルフロー算出手段４８は、旋回速度算出部４６により算出された旋回速度を用いて、旋回によって生じる計算上のオプティカルフローを算出する。本例では、旋回した場合に生じた各オブジェクトのオプティカルフローを、車両１０が直進した場合に生じた各オブジェクトのオプティカルフローへ加算することにより、車両１０が旋回しながら進む場合における各オブジェクトの計算上のオプティカルフローを算出する。   Further, when the vehicle 10 turns within a minute time, an optical flow in the left and right direction is generated in each object in the image. The direction of this optical flow is opposite to the direction in which the vehicle turns, and its magnitude is proportional to the turning speed of the vehicle 10. Therefore, the optical flow calculation means 48 calculates the calculated optical flow generated by the turn using the turning speed calculated by the turning speed calculation unit 46. In this example, the optical flow of each object that occurs when the vehicle 10 turns is added to the optical flow of each object that occurs when the vehicle 10 goes straight, thereby calculating each object when the vehicle 10 moves while turning. Calculate the optical flow above.

オブジェクト移動部５０は、オプティカルフロー算出部４８によって算出されたオプティカルフローを用いて、３Ｄカメラシステム４０により撮像される画像に含まれる各オブジェクトを移動させる。この場合、オブジェクト移動部５０は、オプティカルフロー算出部４８によって算出されたオプティカルフローを用いて、３Ｄカメラシステム４０によって次のフレームの画像が撮像されるタイミングに各オブジェクトが移動すると推定される位置へ各オブジェクトを移動させる。   The object moving unit 50 moves each object included in the image captured by the 3D camera system 40 using the optical flow calculated by the optical flow calculating unit 48. In this case, the object moving unit 50 uses the optical flow calculated by the optical flow calculating unit 48 to a position where each object is estimated to move at the timing when an image of the next frame is captured by the 3D camera system 40. Move each object.

ここで、画像内のオブジェクトの大きさは、車両１０から被写体までの距離に応じて変化する。より具体的には、異なるフレームにおける同一のオブジェクトの大きさの変化率は、被写体から車両１０までの距離の変化率に反比例する。そこで、オブジェクト拡大率算出部５２は、３Ｄカメラシステム４０により算出された各被写体までの位置と、車速検出部４２によって検出された移動速度とを用いて、３Ｄカメラシステム４０が次のフレームの画像を撮像するタイミングにおけるオブジェクトまでの距離を算出することにより、オブジェクトの拡大率を算出する。   Here, the size of the object in the image changes according to the distance from the vehicle 10 to the subject. More specifically, the change rate of the size of the same object in different frames is inversely proportional to the change rate of the distance from the subject to the vehicle 10. Therefore, the object enlargement ratio calculation unit 52 uses the position to each subject calculated by the 3D camera system 40 and the moving speed detected by the vehicle speed detection unit 42 so that the 3D camera system 40 can output an image of the next frame. The magnification of the object is calculated by calculating the distance to the object at the timing of imaging.

より具体的には、オブジェクト拡大率算出部５２は、３Ｄカメラシステム４０により算出された各オブジェクトの位置と、車速検出部４２によって検出された移動速度を用いて、３Ｄカメラシステム４０が次に撮像するタイミングにおけるオブジェクトの位置を推定する。そしてオブジェクト拡大率算出部５２は、推定したオブジェクトの位置から車両１０までの距離で、先に算出したオブジェクトまでの距離を割ることにより、オブジェクトの拡大率を算出する。オブジェクト拡大部５４は、オブジェクト拡大率算出部５２により算出された拡大率を用いて、３Ｄカメラシステム４０により撮像されたオブジェクトを拡大する。尚、オブジェクトまでの距離とは、そのオブジェクトが含まれる、３Ｄカメラシステム４０の光軸に垂直な平面までの距離であってもよい。   More specifically, the object enlargement ratio calculation unit 52 uses the position of each object calculated by the 3D camera system 40 and the moving speed detected by the vehicle speed detection unit 42 to capture the next image. The position of the object at the timing of Then, the object enlargement ratio calculation unit 52 calculates the object enlargement ratio by dividing the distance to the previously calculated object by the estimated distance from the object position to the vehicle 10. The object enlargement unit 54 enlarges the object imaged by the 3D camera system 40 using the enlargement rate calculated by the object enlargement rate calculation unit 52. The distance to the object may be a distance to a plane perpendicular to the optical axis of the 3D camera system 40 that includes the object.

特徴点抽出部５６は、オブジェクト移動部５０によってオブジェクトを移動した画像の特徴点と、次のフレームの画像の特徴点とを抽出する。ここで特徴点抽出部５６が抽出する特徴点とは、エッジや、特定の直線や曲線、特定の形状、或いは特定の色を持つ領域などであってよい。   The feature point extraction unit 56 extracts the feature points of the image in which the object is moved by the object moving unit 50 and the feature points of the image of the next frame. Here, the feature points extracted by the feature point extraction unit 56 may be edges, specific straight lines and curves, specific shapes, or regions having specific colors.

位置合わせ部５８は、特徴点抽出部５６が抽出した次のフレームの画像の特徴点に、特徴点抽出部５６が抽出した、オブジェクトを移動した画像の特徴点の位置を合わせるべく、オブジェクトを再度移動させる。   The alignment unit 58 re-aligns the object with the feature point of the next frame image extracted by the feature point extraction unit 56 in order to align the position of the feature point of the image moved by the feature point extraction unit 56 and moved. Move.

画像圧縮部６０は、オブジェクト移動部５０によってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する。本例の画像圧縮部６０は、オブジェクトをオブジェクト移動部５０によって移動し、更にオブジェクト拡大部５４によって拡大し、位置合わせ部５８がオブジェクトを再度移動した画像と、次のフレームの画像との差分を求めることにより画像を圧縮する。   The image compression unit 60 compresses the image by obtaining a difference between the image obtained by moving the object by the object moving unit 50 and the image of the next frame. The image compressing unit 60 of this example moves the object by the object moving unit 50, further enlarges it by the object enlarging unit 54, and calculates the difference between the image in which the alignment unit 58 has moved the object again and the image of the next frame. Compress the image by seeking.

画像格納部６２は、画像圧縮部６０が圧縮した画像を格納する。この場合、画像格納部６２は、画像圧縮部６０が算出した差分を示す情報に対応づけて、オブジェクト移動部５０が算出した各オブジェクトのオプティカルフロー、オブジェクト拡大率算出部５２が算出した各オブジェクトの拡大率、および特徴点抽出部５６が算出した各オブジェクトの特徴点の位置を示す情報のそれぞれを格納する。なお特徴点抽出部５６は特徴点の位置を示す情報から各オブジェクトの移動ベクトルを算出してもよい。この場合、画像格納部６２は、各オブジェクトの移動ベクトルと拡大率とを、差分を示す情報に対応づけて格納する。   The image storage unit 62 stores the image compressed by the image compression unit 60. In this case, the image storage unit 62 associates the information indicating the difference calculated by the image compression unit 60 with the optical flow of each object calculated by the object moving unit 50 and the object expansion rate calculated by the object enlargement rate calculating unit 52. Each of the magnification rate and the information indicating the position of the feature point of each object calculated by the feature point extraction unit 56 is stored. Note that the feature point extraction unit 56 may calculate a movement vector of each object from information indicating the position of the feature point. In this case, the image storage unit 62 stores the movement vector and the enlargement ratio of each object in association with information indicating the difference.

このように、本発明の車載撮像システム１００においては、車両１０の移動速度から、オブジェクトのオプティカルフローを適切に算出することができるので、この算出されたオプティカルフローを用いて画像の圧縮率を高めることができる。また本発明の車載撮像システム１００は、舵角を用いてオブジェクトのオプティカルフローを算出するので、オプティカルフローをより正確に算出することができる。更には、オブジェクトを拡大すると共に、オブジェクトの位置ずれを補正した画像を生成した後で、次のフレームの画像との差分を求めるので、車載撮像システム１００は、高い圧縮率で動画像を圧縮することができる。   As described above, in the in-vehicle imaging system 100 of the present invention, the optical flow of the object can be appropriately calculated from the moving speed of the vehicle 10, and thus the compression rate of the image is increased using the calculated optical flow. be able to. Moreover, since the vehicle-mounted imaging system 100 of the present invention calculates the optical flow of the object using the steering angle, the optical flow can be calculated more accurately. Furthermore, after enlarging the object and generating an image in which the positional deviation of the object is corrected, the difference from the next frame image is obtained, so the in-vehicle imaging system 100 compresses the moving image at a high compression rate. be able to.

また本例において車載撮像システム１００は、撮像システムの一例として３Ｄカメラシステム４０を備えたが、他の例においては、２次元のカメラを有する撮像システムであってもよい。この場合、２次元カメラの光軸は、車両１０の進行方向と略同一に設置される。そして撮像システムは、撮像される画像の中心からの位置に応じて、車両１０からオブジェクトまでの距離を予めテーブルとして格納する。これにより２次元カメラを有する撮像システムは、各オブジェクトのまでの距離を容易に算出することができる。   In the present example, the in-vehicle imaging system 100 includes the 3D camera system 40 as an example of the imaging system. However, in another example, the in-vehicle imaging system 100 may be an imaging system having a two-dimensional camera. In this case, the optical axis of the two-dimensional camera is installed substantially the same as the traveling direction of the vehicle 10. Then, the imaging system stores the distance from the vehicle 10 to the object as a table in advance according to the position from the center of the image to be captured. Thereby, the imaging system having a two-dimensional camera can easily calculate the distance to each object.

図４および図５は、車載撮像システム１００の動作の一例を示すフローチャートである。図６は、車載撮像システム１００の動作の詳細を説明する図である。３Ｄカメラシステム４０は車両１０に搭載され、車両１０の前方を連続して撮像する（Ｓ１００）。３Ｄカメラシステム４０は、内部に２つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両１０を基準とした被写体までの距離を求めると共に、撮像された画像における被写体の位置を用いて、車両１０の進行方向に対する被写体の方向を求める（Ｓ１０５）。   4 and 5 are flowcharts showing an example of the operation of the in-vehicle imaging system 100. FIG. FIG. 6 is a diagram for explaining the details of the operation of the in-vehicle imaging system 100. The 3D camera system 40 is mounted on the vehicle 10 and continuously images the front of the vehicle 10 (S100). The 3D camera system 40 includes two cameras inside. The 3D camera system 40 obtains the distance to the subject with respect to the vehicle 10 using the deviation of the position of the feature point of the subject imaged by each camera, and is imaged. Using the position of the subject in the image, the direction of the subject with respect to the traveling direction of the vehicle 10 is obtained (S105).

車速検出部４２は車両１０の移動速度を検出し、舵角検出部４４は車両１０の舵角を検出する（Ｓ１１０）。そして旋回速度算出部４６は、車速検出部４２が検出した移動速度および、舵角検出部４４が検出した舵角に基づいて、車両１０の旋回速度を算出する（Ｓ１１５）。ここで旋回速度算出部４６は、車速検出部４２が検出した移動速度に、舵角検出部４４が検出した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。   The vehicle speed detection unit 42 detects the moving speed of the vehicle 10, and the steering angle detection unit 44 detects the steering angle of the vehicle 10 (S110). Then, the turning speed calculation unit 46 calculates the turning speed of the vehicle 10 based on the movement speed detected by the vehicle speed detection unit 42 and the steering angle detected by the steering angle detection unit 44 (S115). Here, the turning speed calculation unit 46 calculates the turning speed of the vehicle 10 by multiplying the moving speed detected by the vehicle speed detection unit 42 by the magnitude of the change in the steering angle detected by the steering angle detection unit 44.

オプティカルフロー算出手段４８は、車速検出部４２が測定した移動速度、および３Ｄカメラシステム４０が算出した各オブジェクトまでの距離、およびオブジェクトの方向、即ち画像内におけるオブジェクトの位置に基づいて、各被写体が静止していると仮定した場合における、各オブジェクトのオプティカルフローを算出する（Ｓ１２０）。本例のオプティカルフロー算出部４８は、旋回速度算出部４６により算出された旋回速度を用いて、旋回によって生じるオプティカルフローを、車両１０が直進した場合に生じた各オブジェクトのオプティカルフローへ加算することにより、車両１０が旋回しながら進む場合における各オブジェクトのオプティカルフローを算出する。   The optical flow calculation means 48 determines whether each subject is based on the moving speed measured by the vehicle speed detection unit 42, the distance to each object calculated by the 3D camera system 40, and the direction of the object, that is, the position of the object in the image. When it is assumed that the object is stationary, the optical flow of each object is calculated (S120). The optical flow calculation unit 48 of this example uses the turning speed calculated by the turning speed calculation unit 46 to add the optical flow generated by the turning to the optical flow of each object generated when the vehicle 10 goes straight. Thus, the optical flow of each object when the vehicle 10 travels while turning is calculated.

オブジェクト移動部５０は、オプティカルフロー算出部４８が算出したオプティカルフローを用いて、各オブジェクトを移動させる（Ｓ１２５）。オブジェクト拡大率算出部５２は、３Ｄカメラシステム４０により算出された各オブジェクトの位置と、車速検出部４２によって検出された移動速度を用いて、３Ｄカメラシステム４０が次に撮像するタイミングにおけるオブジェクトの位置を推定する。そしてオブジェクト拡大率算出部５２は、推定したオブジェクトの位置から車両１０までの距離で、先に算出したオブジェクトまでの距離を割ることにより、オブジェクトの拡大率を算出する（Ｓ１３０）。するとオブジェクト拡大部５４は、オブジェクト拡大率算出部５２により算出された拡大率を用いて、３Ｄカメラシステム４０により撮像されたオブジェクトを拡大する（Ｓ１３５）。   The object moving unit 50 moves each object using the optical flow calculated by the optical flow calculating unit 48 (S125). The object enlargement rate calculation unit 52 uses the position of each object calculated by the 3D camera system 40 and the moving speed detected by the vehicle speed detection unit 42 to position the object at the next timing when the 3D camera system 40 captures an image. Is estimated. Then, the object enlargement ratio calculation unit 52 calculates the object enlargement ratio by dividing the distance to the previously calculated object by the estimated distance from the object position to the vehicle 10 (S130). Then, the object enlargement unit 54 enlarges the object imaged by the 3D camera system 40 using the enlargement rate calculated by the object enlargement rate calculation unit 52 (S135).

特徴点抽出部５６は、オブジェクト移動部５０によってオブジェクトを移動した画像の特徴点と、次のフレームの画像の特徴点とを抽出する（Ｓ１４０）。そして位置合わせ部５８は、特徴点抽出部５６が抽出した次のフレームの画像の特徴点に、特徴点抽出部５６が抽出した、オブジェクトを移動した画像の特徴点の位置を合わせるべく、オブジェクトを再度移動させる（Ｓ１４５）。   The feature point extraction unit 56 extracts the feature point of the image in which the object is moved by the object moving unit 50 and the feature point of the image of the next frame (S140). Then, the alignment unit 58 aligns the object with the feature point of the image of the next frame extracted by the feature point extraction unit 56 in order to align the position of the feature point of the image obtained by moving the object extracted by the feature point extraction unit 56. Move again (S145).

ここで図６（ａ）は、ステップＳ１２０からステップＳ１４０における車載撮像システム１００の動作の一例を説明する図である。本図の例において、オプティカルフロー算出部４８は、撮像された画像に含まれるオブジェクト６０６のオプティカルフロー６１２を算出すると（Ｓ１２０）、オブジェクト６０６を、算出したオプティカルフロー６１２が示す位置６０７へと移動させる（Ｓ１２５）。ここでオブジェクト拡大率算出部５２はオブジェクト６０６を移動させた場合における拡大率を算出し（Ｓ１３０）、オブジェクト拡大部５４は、移動させたオブジェクト６０８を、オブジェクト６０９へと拡大する（Ｓ１３５）。そして、次のフレームの画像を３Ｄカメラシステム４０から取得すると、特徴点抽出部５６は、拡大されたオブジェクト６０９を含む所定の範囲内でマッチング処理を行うことにより、拡大されたオブジェクト６０９のエッジと、次のフレームに含まれるオブジェクト６１０のエッジとを抽出する（Ｓ１４０）。そして位置合わせ部５８は、拡大したオブジェクト６０８を、次のフレームにおいて抽出されたエッジが示す位置６１４へ再度移動させる（Ｓ１４５）。   Here, FIG. 6A is a diagram illustrating an example of the operation of the in-vehicle imaging system 100 in steps S120 to S140. In the example of this figure, when the optical flow calculation unit 48 calculates the optical flow 612 of the object 606 included in the captured image (S120), the optical flow calculation unit 48 moves the object 606 to the position 607 indicated by the calculated optical flow 612. (S125). Here, the object enlargement rate calculation unit 52 calculates the enlargement rate when the object 606 is moved (S130), and the object enlargement unit 54 enlarges the moved object 608 to the object 609 (S135). When the next frame image is acquired from the 3D camera system 40, the feature point extraction unit 56 performs matching processing within a predetermined range including the enlarged object 609, thereby detecting the edge of the enlarged object 609. Then, the edge of the object 610 included in the next frame is extracted (S140). Then, the alignment unit 58 moves the enlarged object 608 again to the position 614 indicated by the edge extracted in the next frame (S145).

画像圧縮部６０は、オブジェクトをオブジェクト移動部５０によって移動し、更にオブジェクト拡大部５４によって拡大し、位置合わせ部５８がオブジェクトを再度移動した画像と、次のフレームの画像との差分を求める（Ｓ１５０）。これにより画像圧縮部６０は画像を圧縮する。   The image compressing unit 60 moves the object by the object moving unit 50 and further enlarges the object by the object enlarging unit 54, and obtains a difference between the image obtained by moving the object again by the alignment unit 58 and the image of the next frame (S150). ). Thereby, the image compression unit 60 compresses the image.

画像格納部６２は、画像圧縮部６０が圧縮した画像を格納する（Ｓ１５５）。この場合、画像格納部６２は、画像圧縮部６０が算出した差分に対応づけて、オブジェクト移動部５０が算出した各オブジェクトのオプティカルフロー、オブジェクト拡大率算出部５２が算出した各オブジェクトの拡大率、および特徴点抽出部５６が算出した各オブジェクトの特徴点の位置を示す情報のそれぞれを格納する。   The image storage unit 62 stores the image compressed by the image compression unit 60 (S155). In this case, the image storage unit 62 associates the difference calculated by the image compression unit 60 with the optical flow of each object calculated by the object moving unit 50, the enlargement rate of each object calculated by the object enlargement rate calculation unit 52, And each of the information which shows the position of the feature point of each object which the feature point extraction part 56 calculated is stored.

そして、３Ｄカメラシステム４０による撮像が終了しない場合（Ｓ１６０：ＮＯ）、本フローチャートは、ステップＳ１００へ進み、ステップＳ１００からステップＳ１５５までの動作を繰り返す。これにより、車載撮像システム１００は、３Ｄカメラシステム４０により撮像される動画像を圧縮する。   If imaging by the 3D camera system 40 does not end (S160: NO), the flowchart proceeds to step S100, and the operations from step S100 to step S155 are repeated. Thereby, the vehicle-mounted imaging system 100 compresses the moving image imaged by the 3D camera system 40.

ここで図６（ｂ）は、続けて動画像を圧縮する動作の一例を説明する図である。説明の為に、３Ｄカメラシステム４０が連続して撮像する画像１２、１４、１６、１８・・、および各オブジェクトが再度移動された画像１３、１５、１７・・・を示す。最初のフレームの画像１２を用いて次のフレームの画像１４を圧縮する場合、画像格納部６２は、各オブジェクトのオプティカルフロー、拡大率、特徴点の位置を示す情報、および次のフレームの画像１４とオブジェクトが再度移動された画像１３との差分を示す情報を、１枚目のフレーム画像１２に対応づけて格納する。   Here, FIG. 6B is a diagram for explaining an example of an operation for continuously compressing a moving image. For the sake of explanation, images 12, 14, 16, 18,... Continuously captured by the 3D camera system 40 and images 13, 15, 17,. When the image 14 of the next frame is compressed using the image 12 of the first frame, the image storage unit 62 displays the optical flow, the enlargement ratio, the information indicating the position of the feature point of each object, and the image 14 of the next frame. And information indicating the difference between the object 13 and the image 13 in which the object is moved again are stored in association with the first frame image 12.

そして、３Ｄカメラシステム４０が更に次のフレームの画像１６を圧縮する場合、オブジェクト移動部５０および位置合わせ部５８は、次に算出したオプティカルフロー、拡大率、および特徴点の位置を示す情報を用いて、オブジェクトを再度移動させた画像１３から、オブジェクトを更に再度移動させた画像１５を生成する。そして画像圧縮部６０は、この画像１５と、更に次のタイミングで撮像された画像１６との差分を求めることにより、圧縮を行う。   When the 3D camera system 40 further compresses the image 16 of the next frame, the object moving unit 50 and the alignment unit 58 use information indicating the next calculated optical flow, enlargement ratio, and feature point position. Thus, an image 15 in which the object is moved again is generated from the image 13 in which the object is moved again. Then, the image compression unit 60 performs compression by obtaining a difference between the image 15 and the image 16 captured at the next timing.

以下、連続して撮像される画像１８以降の画像についても、車載撮像システム１００は、同様に圧縮を行う。そして所定の枚数の画像の圧縮が終了すると、１枚目に格納された画像１２に代えて、各オブジェクトを再度移動させる画像を生成するための画像として、画像格納部６２は、所定枚数の画像の次に撮像された画像を新たに格納する。これにより、誤差が累積することにより圧縮率が低下することを防止する。３Ｄカメラシステム４０による撮像が終了した場合（Ｓ１６０：ＹＥＳ）、本フローチャートは終了する。   Hereinafter, the in-vehicle imaging system 100 similarly compresses the images after the image 18 continuously captured. When the compression of the predetermined number of images is completed, the image storage unit 62 uses the predetermined number of images as an image for generating an image for moving each object again instead of the first image 12 stored. Next, a newly captured image is stored. This prevents the compression rate from being lowered due to the accumulation of errors. When the imaging by the 3D camera system 40 is finished (S160: YES), this flowchart is finished.

以上の説明から明らかなように本実施形態によれば、画像圧縮部６０はオブジェクト移動部４０によってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮するので、簡易に画像を圧縮することができる。   As is clear from the above description, according to the present embodiment, the image compression unit 60 compresses the image by obtaining the difference between the image obtained by moving the object by the object moving unit 40 and the image of the next frame. The image can be easily compressed.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements are also included in the technical scope of the present invention.

本発明に係る車載撮像システム１００を搭載した車両１０を示す。The vehicle 10 carrying the vehicle-mounted imaging system 100 which concerns on this invention is shown. 車載撮像システム１００が撮像する画像を説明する図である。It is a figure explaining the image which the vehicle-mounted imaging system 100 images. 車載撮像システム１００の詳細な構成の一例を示す。An example of the detailed structure of the vehicle-mounted imaging system 100 is shown. 車載撮像システム１００の動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of the operation of the in-vehicle imaging system 100. 車載撮像システム１００の動作の一例を示すフローチャートである。4 is a flowchart illustrating an example of the operation of the in-vehicle imaging system 100. 車載撮像システム１００の動作の詳細を説明する図である。（ａ）は、ステップＳ１２０からステップＳ１４０における車載撮像システム１００の動作の一例を説明する図である。（ｂ）は、続けて動画像を圧縮する動作の一例を説明する図である。It is a figure explaining the detail of operation | movement of the vehicle-mounted imaging system. (A) is a figure explaining an example of operation | movement of the vehicle-mounted imaging system 100 in step S120 to step S140. (B) is a figure explaining an example of the operation | movement which compresses a moving image continuously.

符号の説明Explanation of symbols

１０・・・車両、１２〜１８・・・画像、４０・・・３Ｄカメラシステム、４２・・・車速検出部、４４・・・舵角検出部、４６・・・旋回速度算出部、４８・・・オプティカルフロー算出部、５０・・・オブジェクト移動部、５２・・・オブジェクト拡大率算出部、５４・・・オブジェクト拡大部、５６・・・特徴点抽出部、５８・・・位置合わせ部、６０・・・画像圧縮部、６２・・・画像格納部、１００・・・車載撮像システム、６００、６０２、６０４、６０６、６０８、６０９、６１０・・・オブジェクト、６１２・・・オプティカルフロー、６０７、６１４・・・位置 DESCRIPTION OF SYMBOLS 10 ... Vehicle, 12-18 ... Image, 40 ... 3D camera system, 42 ... Vehicle speed detection part, 44 ... Steering angle detection part, 46 ... Turning speed calculation part, 48. .. Optical flow calculation unit, 50... Object movement unit, 52... Object enlargement rate calculation unit, 54... Object enlargement unit, 56... Feature point extraction unit, 58. 60: Image compression unit, 62: Image storage unit, 100: On-vehicle imaging system, 600, 602, 604, 606, 608, 609, 610 ... Object, 612: Optical flow, 607 614 ... position

Claims (6)

車両に搭載され、ビデオ画像を撮像する撮像システムと、
車両の移動速度を検出する車速検出部と、
前記車速検出部によって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部によって算出されたオプティカルフローを用いて、前記撮像システムにより撮像される画像に含まれる各オブジェクトを移動させるオブジェクト移動部と、
前記オブジェクト移動部によってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する画像圧縮部と
を備えた車載撮像システム。 An imaging system mounted on a vehicle for capturing video images;
A vehicle speed detector for detecting the moving speed of the vehicle;
An optical flow calculation unit that calculates an optical flow of a stationary subject using the moving speed detected by the vehicle speed detection unit;
An object moving unit that moves each object included in an image captured by the imaging system, using the optical flow calculated by the optical flow calculating unit;
An in-vehicle imaging system including an image compression unit that compresses an image by obtaining a difference between an image obtained by moving the object by the object moving unit and an image of a next frame. 前記撮像システムにより撮像される画像に含まれる各オブジェクトの距離および方向を算出する３Ｄカメラシステムを更に備え、
前記撮像システムは、前記３Ｄカメラシステムを有する請求項１に記載の車載撮像システム。 A 3D camera system for calculating the distance and direction of each object included in the image captured by the imaging system;
The in-vehicle imaging system according to claim 1, wherein the imaging system includes the 3D camera system. 車両の舵角を検出する舵角検出部を更に備え
前記オプティカルフロー算出部は、更に、前記舵角検出部によって検出された舵角を用いて静止被写体のオプティカルフローを算出する請求項１に記載の車載撮像システム。 The steering flow detector further includes a steering angle detection unit that detects a steering angle of the vehicle. The optical flow calculation unit further calculates an optical flow of a stationary subject using the steering angle detected by the steering angle detection unit. In-vehicle imaging system. 前記３Ｄカメラシステムにより算出された各オブジェクトの距離、ならびに前記車速検出部によって検出された移動速度を用いて、前記撮像システムが次に撮像する画像におけるオブジェクトの拡大率を算出するオブジェクト拡大率算出部と、
前記オブジェクト拡大率算出部により算出された拡大率を用いて、前記撮像システムにより撮像されたオブジェクトを拡大するオブジェクト拡大部と
を更に備え
前記画像圧縮部は、オブジェクトを前記オブジェクト移動部によって移動し、更に前記オブジェクト拡大部によって拡大した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する請求項２に記載の車載撮像システム。 An object enlargement ratio calculation unit that calculates an enlargement ratio of an object in an image captured next by the imaging system, using the distance of each object calculated by the 3D camera system and the moving speed detected by the vehicle speed detection unit. When,
An object enlargement unit that enlarges the object imaged by the imaging system using the enlargement rate calculated by the object enlargement rate calculation unit, and the image compression unit moves the object by the object moving unit, The in-vehicle imaging system according to claim 2, wherein the image is further compressed by obtaining a difference between an image enlarged by the object enlargement unit and an image of a next frame. 前記オブジェクト移動部によってオブジェクトを移動した画像の特徴点と、次のフレームの画像の特徴点とを抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した次のフレームの画像の特徴点に、前記特徴点抽出部が抽出した、オブジェクトを移動した画像の特徴点の位置を合わせるべく、オブジェクトを再度移動させる位置合わせ部と
を更に備え、
前記画像圧縮部は、前記位置合わせ部がオブジェクトを再度移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する請求項１に記載の車載撮像システム。 A feature point extracting unit that extracts a feature point of an image obtained by moving an object by the object moving unit and a feature point of an image of the next frame;
An alignment unit that moves the object again in order to match the position of the feature point extracted by the feature point extraction unit to the feature point of the image that has moved the object to the feature point of the image of the next frame extracted by the feature point extraction unit; Further comprising
The in-vehicle imaging system according to claim 1, wherein the image compression unit compresses an image by obtaining a difference between an image obtained by moving the object again by the alignment unit and an image of a next frame. 車両に搭載された撮像システムを用いてビデオ画像を撮像する撮像ステップと、
車両の移動速度を検出する車速検出ステップと、
前記車速検出ステップによって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出ステップと、
前記オプティカルフロー算出ステップによって算出されたオプティカルフローを用いて、前記撮像システムにより撮像される画像に含まれる各オブジェクトを移動させるオブジェクト移動ステップと、
前記オブジェクト移動ステップによってオブジェクトを移動した画像と、次のフレームの画像との差分を求めることにより、画像を圧縮する画像圧縮ステップと
を備えた撮像方法。 An imaging step of imaging a video image using an imaging system mounted on the vehicle;
A vehicle speed detecting step for detecting a moving speed of the vehicle;
An optical flow calculating step of calculating an optical flow of the stationary subject using the moving speed detected by the vehicle speed detecting step;
An object moving step of moving each object included in an image captured by the imaging system using the optical flow calculated by the optical flow calculating step;
An imaging method comprising: an image compression step of compressing an image by obtaining a difference between an image obtained by moving the object by the object moving step and an image of a next frame.
JP2004138028A 2004-05-07 2004-05-07 In-vehicle imaging system and imaging method Pending JP2005323021A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004138028A JP2005323021A (en) 2004-05-07 2004-05-07 In-vehicle imaging system and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004138028A JP2005323021A (en) 2004-05-07 2004-05-07 In-vehicle imaging system and imaging method

Publications (1)

Publication Number Publication Date
JP2005323021A true JP2005323021A (en) 2005-11-17

Family

ID=35469981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004138028A Pending JP2005323021A (en) 2004-05-07 2004-05-07 In-vehicle imaging system and imaging method

Country Status (1)

Country Link
JP (1) JP2005323021A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104181A (en) * 2006-10-17 2008-05-01 Harman Becker Automotive Systems Gmbh Sensor-assisted video compression
JP2008167267A (en) * 2006-12-28 2008-07-17 Mitsubishi Electric Corp Stereo image encoding apparatus, stereo image encoding method and stereo image encoding program
JP2009027563A (en) * 2007-07-20 2009-02-05 Fujifilm Corp Image processor, image processing method, and program
JP2012151711A (en) * 2011-01-20 2012-08-09 Renesas Electronics Corp Semiconductor integrated circuit mountable to recording apparatus and method for operating the same
JP2012244432A (en) * 2011-05-19 2012-12-10 Sharp Corp Image correction method and stereoscopic image photographing device
JP2013051522A (en) * 2011-08-30 2013-03-14 Honda Elesys Co Ltd Image compression device, image compression method, and image compression program
JP2013239143A (en) * 2011-12-06 2013-11-28 Mobileye Technologies Ltd Road vertical contour detection
WO2016009587A1 (en) * 2014-07-18 2016-01-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and content delivery method
WO2016013147A1 (en) * 2014-07-22 2016-01-28 パナソニックＩｐマネジメント株式会社 Encoding method, decoding method, encoding apparatus and decoding apparatus
JP2017526193A (en) * 2015-07-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Video encoding method and system
JP2017529710A (en) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ How to evaluate the search area
JP2017529709A (en) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ How to build an optical flow field
WO2019035305A1 (en) * 2017-08-18 2019-02-21 ソニー株式会社 Information processing device and information processing method

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
JP2008104181A (en) * 2006-10-17 2008-05-01 Harman Becker Automotive Systems Gmbh Sensor-assisted video compression
US8358686B2 (en) 2006-10-17 2013-01-22 Harman Becker Automotive Systems Gmbh Video compression system
KR101365395B1 (en) * 2006-10-17 2014-02-19 하만 베커 오토모티브 시스템즈 게엠베하 Sensor assisted video compression
JP2008167267A (en) * 2006-12-28 2008-07-17 Mitsubishi Electric Corp Stereo image encoding apparatus, stereo image encoding method and stereo image encoding program
JP4660463B2 (en) * 2006-12-28 2011-03-30 三菱電機株式会社 Stereo image encoding device
JP2009027563A (en) * 2007-07-20 2009-02-05 Fujifilm Corp Image processor, image processing method, and program
US9501879B2 (en) 2011-01-20 2016-11-22 Renesas Electronics Corporation Semiconductor integrated circuit mountable on recording device and method of operating the same
JP2012151711A (en) * 2011-01-20 2012-08-09 Renesas Electronics Corp Semiconductor integrated circuit mountable to recording apparatus and method for operating the same
JP2012244432A (en) * 2011-05-19 2012-12-10 Sharp Corp Image correction method and stereoscopic image photographing device
JP2013051522A (en) * 2011-08-30 2013-03-14 Honda Elesys Co Ltd Image compression device, image compression method, and image compression program
JP2013239143A (en) * 2011-12-06 2013-11-28 Mobileye Technologies Ltd Road vertical contour detection
CN106464900A (en) * 2014-07-18 2017-02-22 松下电器（美国）知识产权公司 Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and content delivery method
WO2016009587A1 (en) * 2014-07-18 2016-01-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and content delivery method
JPWO2016009587A1 (en) * 2014-07-18 2017-05-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Image encoding method, image decoding method, image encoding device, image decoding device, and content distribution method
US10225560B2 (en) 2014-07-22 2019-03-05 Sovereign Peak Ventures, Llc Coding method for coding moving image
JPWO2016013147A1 (en) * 2014-07-22 2017-04-27 パナソニックＩｐマネジメント株式会社 Encoding method, decoding method, encoding device, and decoding device
WO2016013147A1 (en) * 2014-07-22 2016-01-28 パナソニックＩｐマネジメント株式会社 Encoding method, decoding method, encoding apparatus and decoding apparatus
JP2017526193A (en) * 2015-07-31 2017-09-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Video encoding method and system
JP2017529709A (en) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ How to build an optical flow field
JP2017529710A (en) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ How to evaluate the search area
US10321153B2 (en) 2015-07-31 2019-06-11 SZ DJI Technology Co., Ltd. System and method for constructing optical flow fields
US10708617B2 (en) 2015-07-31 2020-07-07 SZ DJI Technology Co., Ltd. Methods of modifying search areas
US10834392B2 (en) 2015-07-31 2020-11-10 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
US10904562B2 (en) 2015-07-31 2021-01-26 SZ DJI Technology Co., Ltd. System and method for constructing optical flow fields
WO2019035305A1 (en) * 2017-08-18 2019-02-21 ソニー株式会社 Information processing device and information processing method

Similar Documents

Publication Publication Date Title
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
JP5284048B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US9001222B2 (en) Image processing device, image processing method, and program for image processing for correcting displacement between pictures obtained by temporally-continuous capturing
WO2020007320A1 (en) Method for fusing multi-visual angle images, apparatus, computer device, and storage medium
JP2005323021A (en) In-vehicle imaging system and imaging method
JP2006338272A (en) Vehicle behavior detector and vehicle behavior detection method
US20170259830A1 (en) Moving amount derivation apparatus
JP6377970B2 (en) Parallax image generation apparatus and parallax image generation method
JP4042750B2 (en) Image processing apparatus, computer program, and image processing method
CN110650295B (en) Image processing method and device
JP2006339960A (en) Device and method for object detection
JP2017058274A (en) Measurement device, method, and program
JP2003304561A (en) Stereo image processing apparatus
JP2008309637A (en) Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system
JP6693314B2 (en) Vehicle approaching object detection device
JP5173549B2 (en) Image processing apparatus and imaging apparatus
JP5107154B2 (en) Motion estimation device
US9827906B2 (en) Image processing apparatus
JP2009092551A (en) Method, apparatus and system for measuring obstacle
JP6057629B2 (en) Image processing apparatus, control method thereof, and control program
CN114926514B (en) Registration method and device of event image and RGB image
JP2008224323A (en) Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program
JP2018147241A (en) Image processing device, image processing method, and image processing program
JP2006172064A (en) Object tracking device and method
JP2008293400A (en) Video monitoring system and method for setting monitoring area

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208